{"id":24516,"date":"2023-03-09T14:35:18","date_gmt":"2023-03-09T13:35:18","guid":{"rendered":"https:\/\/blog.mi.hdm-stuttgart.de\/?p=24516"},"modified":"2023-06-18T17:15:27","modified_gmt":"2023-06-18T15:15:27","slug":"wie-ticketmaster-taylor-swift-verargerte-und-was-software-developer-daraus-lernen-konnen","status":"publish","type":"post","link":"https:\/\/blog.mi.hdm-stuttgart.de\/index.php\/2023\/03\/09\/wie-ticketmaster-taylor-swift-verargerte-und-was-software-developer-daraus-lernen-konnen\/","title":{"rendered":"Wie Ticketmaster Taylor Swift ver\u00e4rgerte und was Software Developer daraus lernen k\u00f6nnen"},"content":{"rendered":"\n

Verkaufsstarts f\u00fcr gro\u00dfe Ereignisse wie Konzerte oder Sportveranstaltungen sind immer mit Spannung erwartete Ereignisse. Doch wenn es bei diesen Verkaufsstarts zu Problemen kommt, kann dies f\u00fcr Veranstalter und Kunden gleicherma\u00dfen \u00e4rgerlich sein. Ein bekanntes Beispiel hierf\u00fcr ist das Debakel von Ticketmaster bei dem Verkauf von Taylor Swift Tickets f\u00fcr ihre “Eras Tour” letzten November. Aufgrund technischer Probleme war es f\u00fcr Kunden nur schwer m\u00f6glich Tickets zu kaufen, was zu Frustration und Entt\u00e4uschung f\u00fchrte.<\/p>\n\n\n\n

Doch wie kam es dazu? Das ist nicht das erste Mal, dass ein System unter zu gro\u00dfer Last zusammenbricht. Black Friday ist hier ein bekanntes Beispiel. Selbst Ticketmaster ist das in der Vergangenheit schon mehrfach passiert. Doch Taylor Swift hat die Aufmerksamkeit darauf noch einmal erh\u00f6ht und bevorstehende Gro\u00dfevents, wie die Beyonc\u00e9 Tour, erh\u00f6hen die Relevanz weiter. In diesem Blogeintrag werden wir zun\u00e4chst die Taylor Swift Situation untersuchen, um herauszufinden wie es aus technischer Sicht dazu kommen konnte. Anschlie\u00dfend schauen wir auf m\u00f6gliche Ma\u00dfnahmen, die helfen k\u00f6nnen, um in der Zukunft besser mit solch starken Anstiegen im Traffic umzugehen und Abst\u00fcrze zu vermeiden.<\/p>\n\n\n\n

Was passiert ist<\/h2>\n\n\n\n

Taylor Swift ist eine der beliebtesten Musikerinnen des letzten Jahrzehnts und ihre Fans haben ihre R\u00fcckkehr auf Tournee sehnlichst erwartet. Im Jahr 2022 ver\u00f6ffentlichte sie ein neues Album und k\u00fcndigte die zugeh\u00f6rige \u201eEras Tour\u201c an. Ihre erste seit sechs Jahren. Entsprechend gro\u00df war der Andrang auf die Tickets. Der Kartenverkauf erwies sich jedoch f\u00fcr viele als chaotisch und frustrierend, da das System von Ticketmaster unter dem Gewicht einer noch nie dagewesenen Nachfrage \u00fcberlastet war.<\/p>\n\n\n\n

Wie Ticketmaster sich auf den Ansturm vorbereitete<\/h2>\n\n\n\n

Der Verkauf der Tickets startete am 15. November 2022. Zum Verkauf standen insgesamt 2,4 Millionen Tickets f\u00fcr 52 verschiedene Shows. Aufgrund dieser hohen Zahlen und der gro\u00dfen Bekanntheit von Taylor Swift war schon im Vorhinein klar, dass es einen gro\u00dfen Andrang auf die Tickets geben wird. Um diesen Andrang zu steuern und gleichzeitig Bots und Scalpers vom Kauf der Tickets fernzuhalten wurde das eigens entwickelte System Verified Fans eingesetzt. Ein Konto bei Verified Fan war Voraussetzung, um Tickets erwerben zu k\u00f6nnen, denn von dort bekam eine begrenzte Anzahl an Fans einen eindeutigen Code, mit dem sie Zugang zum Ticketkaufprozess erhielten. Insgesamt haben sich 3,5 Mio Fans bei Verified Fans angemeldet. Von diesen erhielten am Verkaufstag 1,5 Mio nach Zufallsprinzip einen direkten Zugangscode und die restlichen 2 Mio Fans wurden zu einer Warteschlange hinzugef\u00fcgt. Auf diese Nachfrage war das System eingestellt.<\/p>\n\n\n\n

Thundering Herd st\u00fcrmt das Ticketmaster System<\/h2>\n\n\n\n

Zur \u00dcberraschung von Ticketmaster wurde die Website am Tag des Kartenverkaufs jedoch von weit mehr Besuchern \u00fcberschwemmt als erwartet: 14 Millionen versuchten auf die Website zuzugreifen. Deutlich mehr als die geplanten 1,5 Millionen Fans. Der \u00fcberm\u00e4\u00dfige Datenverkehr wurde unter anderem durch Bots und Scalpers verursacht, die eigentlich gar keinen Zugang zur Website h\u00e4tten haben sollen sowie durch Fans, die keinen Code erhalten hatten, aber trotzdem versuchten auf die Website zuzugreifen.<\/p>\n\n\n\n

Eben solch eine enorme Menge an Personen, die schlagartig, zur gleichen Zeit Anfragen stellen, wird auch als Thundering Herd bezeichnet. Vorstellen kann man sich das im Prinzip wie eine Horde wildgewordener Stiere, die auf das Ticketmaster System losgeht und es f\u00f6rmlich niederstampft. Das Thundering Herds Problem entsteht, wenn eine Menge an Clients oder Prozessen pl\u00f6tzlich und zur gleichen Zeit auf eine bestimmte Ressource zugreifen wollen. Auf diese schlagartig gestiegene Nachfrage ist die Ressource nicht vorbereitet und kann nicht alle gleichzeitig bearbeiten. Als Folge st\u00fcrzt sie ab und steht nicht mehr zur Verf\u00fcgung. Daraus kann als Resultat ein Cascading Failure entstehen, wenn die unbearbeiteten Requests sich auf andere Netzwerkknoten verteilt.<\/p>\n\n\n\n

Cascading Failure f\u00fchrt zu Systemfehlern und Abst\u00fcrzen<\/h2>\n\n\n\n

Ein Cascading Failure in der IT bezieht sich auf eine Situation, in der ein Fehler in einem Teil des Systems eine Kettenreaktion ausl\u00f6st, die schlie\u00dflich zu einem vollst\u00e4ndigen Systemausfall f\u00fchren kann. Ausl\u00f6ser kann der Ausfall eines einzelnen Knotens oder Teilsystems sein, wodurch die Last auf weniger Knoten des verbleibenden Systems verteilt wird. Dadurch steigt die Wahrscheinlichkeit weiterer Systemausf\u00e4lle, was zu einem Schneeballeffekt f\u00fchrt. Cascading Failures sind \u00e4u\u00dferst kritisch, da sie einen gesamten Dienst innerhalb kurzer Zeit lahmlegen und menschliches Eingreifen erforderlich machen k\u00f6nnen.<\/p>\n\n\n\n

Eben solch einen pl\u00f6tzlichen Ansturm wie eine Thundering Herd und somit \u00dcberlastung des Systems erlebte Ticketmaster. Das f\u00fchrte zu einem Cascading Failure und letztendlich zu Systemfehlern und Abst\u00fcrzen der Seite. Ein wesentliches Problem war, dass es keine Begrenzung f\u00fcr die Anzahl der angenommenen Requests gab. User konnten immer wieder, w\u00e4hrend sie noch auf die Antwort zu ihrer ersten Anfrage warteten, ungeduldig weitere Requests schicken, ohne dass diese abgelehnt wurden. Gleichzeitig lie\u00df das Bots freie Hand, sodass unter anderem DDoS Attacken ausgef\u00fchrt werden konnten. Insgesamt summierte sich die Anzahl an Requests so auf rund 3,5 Milliarden! Das \u00dcberstieg den vorherigen Spitzenwert um das Vierfache.<\/p>\n\n\n\n

\"\"<\/a>
Abb. 1: Traffic-Verlauf auf der Ticketmaster Website letztes Jahr macht die Thundering Herd sichtbar [1]<\/figcaption><\/figure>\n\n\n\n

Fans am Boden zerst\u00f6rt, Taylor Swift w\u00fctend<\/h2>\n\n\n\n

Die Auswirkung: das System war v\u00f6llig \u00fcberlastet, wodurch es zu verschiedensten Systemfehlern kam. Fans wurden von der Warteliste gestrichen und verloren Tickets, die sich bereits in ihrem Einkaufswagen befanden. Rund 15% der Interaktionen auf der Seite enthielten Fehler. Um das System wieder zu stabilisieren, wurden mehr Fans in Warteschlangen gesetzt. Sie mussten so stundenlange Wartezeiten in Kauf nehmen, um zum Teil am Ende nur eine Fehlermeldung angezeigt zu bekommen. Die Erfahrung war so frustrierend, dass sogar Taylor Swift ihre Ver\u00e4rgerung zum Ausdruck brachte:<\/p>\n\n\n\n

\n

\u201cI\u2019m not going to make excuses for anyone because we asked [Ticketmaster], multiple times, if
they could handle this kind of demand and we were assured they could. \u2026 It really pisses me
off that a lot of [fans] feel like they went through several bear attacks to get them.\u201d<\/p>\n– Taylor Swift [2]<\/cite><\/blockquote>\n\n\n\n

Doch was kann verbessert werden, dass es nicht noch einmal zu so einer Situation kommt und auf so eine gro\u00dfe Nachfrage besser reagiert werden kann?<\/p>\n\n\n\n

Wie in Zukunft alle Swifties gl\u00fccklich werden k\u00f6nnten<\/h2>\n\n\n\n

Der erste Gedanke, um mit solch einem Traffic Spike umzugehen: Skalieren. Letztendlich braucht es deutlich mehr Kapazit\u00e4ten, um die Masse an Requests bearbeiten zu k\u00f6nnen.<\/p>\n\n\n\n

1. Horizontales skalieren<\/h2>\n\n\n\n

Eine M\u00f6glichkeit das zu erreichen ist \u00fcber horizontales Skalieren. Darunter wird die M\u00f6glichkeit verstanden, die Anzahl an System Ressourcen gem\u00e4\u00df den Kapazit\u00e4tsanspr\u00fcchen anzupassen. Im Gegensatz zum vertikalen Skalieren wird die Kapazit\u00e4t nicht \u00fcber die Verbesserung einzelner Komponenten oder die Erh\u00f6hung der Leistungsf\u00e4higkeit der vorhandenen Ressourcen ver\u00e4ndert. Stattdessen werden zus\u00e4tzliche Ressourcen, wie zum Beispiel weitere Server oder Computer, hinzugef\u00fcgt, um die Kapazit\u00e4t eines Systems zu erh\u00f6hen. Das horizontale Skalieren bietet insbesondere den Vorteil, dass relativ einfach und schnell zus\u00e4tzliche Kapazit\u00e4ten geschaffen werden k\u00f6nnen, um den Workload zu bearbeiten. Ticketmaster setzt bereits seit 2014 auf Microservices. Daher eignet sich die Infrastruktur gut f\u00fcr eine horizontale Skalierung.<\/p>\n\n\n\n

Dabei gibt es zwei Ans\u00e4tze, wann die Skalierung erfolgen kann:<\/p>\n\n\n\n