Auf dem Laufenden bleiben: Folgen Sie uns auf Twitter (@grandcentrix) und werden Sie grandcentrix Fan auf Facebook!

Quizduell im Ersten – Fragen und Antworten zur Technik

Quizduell im Ersten – Fragen und Antworten zur Technik

Das Quizduell im Ersten ist offline und grandcentrix leidet mit.

Wenn ein TV Experiment so prominent scheitert, wie das Quizduell im Ersten, erfolgt die spontane mediale Aufbereitung unter großem Druck. Kein Wunder also, dass die Darstellung technischer Zusammenhänge verkürzt werden muss und Ursachenforschung zunächst nur an der Oberfläche erfolgen kann.

grandcentrix stellt in diesem Beitrag Antworten auf die Fragen zusammen, die uns in den vergangenen sieben Tagen erreicht haben.

Wer ist grandcentrix?

Wir sind im fünften Jahr unserer Unternehmensgeschichte eines der grössten App Entwicklungshäuser im deutschsprachigen Markt. grandcentrix fokussiert ausschließlich auf App Entwicklung in den Geschäftsfeldern Retail, Connected Home und Media und betreut primär App Großproduktionen.

In welchem Vertragsverhältnis steht grandcentrix zum Quizduell im Ersten?

grandcentrix ist Vertragspartner von ITV Studios Germany, dem Produzenten des Quizduell im Ersten.

Das Quizduell ist eine Produktion der ITV Studios Germany im Auftrag der ARD-Werbung für Das Erste. Die Redaktion liegt beim Norddeutschen Rundfunk (NDR). ITV Studios Germany ist ein erfahrener TV Produzent, der unter anderem für das sehr erfolgreiche “Ich bin ein Star – Holt mich hier raus!” verantwortlich zeichnet.

Wer ist FEO Media?

FEO Media AB mit Sitz in Stockholm ist Entwickler und Unternehmen hinter der klassischen Quizduell App und Lizenzgeber gegenüber ITV Studios.

Was sind die technischen Rahmenbedingungen?

Die Lizenzvereinbarungen zwischen ITV Studios und FEO Media sehen vor, dass für das TV Quizduell ein eingebetteter Browser im Vollbildschirm Modus (“Web View”) genutzt werden kann. Die Quizduell im Ersten Erweiterung ist also keine native Weiterentwicklung der klassischen Quizduell App, sondern eine eigenständige, eingebettete Web Anwendung.

grandcentrix realisiert die Web Anwendung für iOS und Android mit dem Web Framework AngularJS.

Aus diesem Setup ergeben sich signifikante Einschränkungen bezogen auf die Technologien, die für die Umsetzung des Quizduell im Ersten angewendet werden können.

Was ist die grösste technische Herausforderung?

Die grösste Herausforderung besteht in der für das Funktionieren des Formats erforderlichen TV Synchronität. Anders ausgedrückt: Sämtliche Benutzer an ihren Smartphones müssen innerhalb gewisser Toleranzen parallel geschaltet werden.

Aufgrund der technischen Rahmenbedingungen und weil entschieden wurde, auch älterer Android und iOS Betriebssystem-Versionen zu unterstützen, geht dies nur über die Abfrage eines zentral gesteuerten Show Status in regelmässigen, kurzen Intervallen.

Technisch fragt also jedes Smartphone, mit dem am Quizduell im Ersten teilgenommen wird, in einem 1 – 10 Sekunden-Intervall nach der Phase, in der sich die Sendung befindet.

Bei 100.000 Benutzern sind dies im Extremfall 100.000 HTTP Anfragen je Sekunde, die in Wellen auf die grandcentrix Plattform zurollen.

Wie hoch ist die QPS Rate genau?

Um Lastangaben für Web Architekturen vergleichbar zu machen, spricht man auch von Queries per Second (QPS).

grandcentrix hat das Quizduell im Ersten im Rahmen von Lasttests für bis zu 85.000 QPS ausgelegt. Zum Vergleich: Im Juli 2013 musste die Twitter Plattform weltweit 300.000 QPS handhaben (Quelle).

Für die Quizduell im Ersten App sind nun zusätzlich Spitzenlasten von bis zu 330.000 QPS geplant, deren Skalierung auch in diesem Grenzbereich sicherzustellen ist.

Was genau ging während der Premiere schief?

Jörg Pilawa hat es in seiner Sendung vom 14. Mai richtig erklärt: Kurzfristig vor Sendungsbeginn gestellte Anforderung an Statistik und Auswertung haben die Skalierung des Systems maßgeblich beeinträchtigt.

Im Detail: Die Mobile Mass Response Plattform von grandcentrix ist dafür ausgelegt, innerhalb kürzester Zeit Antworten von einem Massenpublikum entgegen zu nehmen und zu zählen. Darüber hinaus kann ein Live TV Sendungsablauf innerhalb technologiebedingter Toleranzen mit dem Publikum synchronisiert werden.

Als dann die oben genannten, zusätzlichen Anforderungen hinsichtlich der Auswertung und Verknüpfung demographischer Merkmale der Mitspieler festgelegt wurden, konnte deren Berechnung in Echtzeit nicht mehr in der geforderten Skalierung gewährleistet werden konnte.

Die sehr kurzfristige Realisierung dieser Anforderungen hat bei der Premiere zum technischen Totalausfall geführt.

Wurde die Lösung vor der Premiere denn nicht Lasttests unterzogen?

Selbstverständlich wurden bereits in den Wochen vor der Premiere umfangreiche Lasttests durchgeführt, wie dies von grandcentrix im Rahmen der Go-Live-Begleitung für jede Produktion der Fall ist.

Die Entscheidung für das Einschalten der Auswertung und Verknüpfung der Massendaten ist dann sehr kurzfristig und im Eifer des Gefechts und ohne erneute Tests getroffen worden.

grandcentrix testet seine Mass Response Lösungen gegen den vertraglich vereinbarten Leistungsumfang immer vor Bereitstellung zur Sendung.

Wie geht es nun weiter?

Mit dem Rückbau der Plattform auf den ursprünglich angebotenen und abgenommenen Stand wurde von grandcentrix am Dienstag nach der Premiere begonnen. Die Arbeiten daran laufen sprichwörtlich Rund um die Uhr und werden voraussichtlich am Dienstag (20.05.2014) abgeschlossen sein.

Parallel führt grandcentrix gemeinsam mit einem externen Dienstleister weitere Belastungstests durch, um für alle Eventualitäten gerüstet zu sein.

War grandcentrix erstmalig mit einem Internet-Dienst in dieser Grössenordnung konfrontiert?

Nein.

Die Mobile Mass Response Plattform von grandcentrix wird bereits im zweiten Jahr in Folge auch für die mobilen Apps des Eurovision Song Contest eingesetzt. Beim Finale des ESC am 10. Mai 2014 kam es zu keinerlei technischer Störung bei im Vergleich um den Faktor zehn höherer Anfangslast gegenüber dem Quizduell im Ersten.

Wie kam es zu dem Datenleck?

Auch das Datenleck ist auf “menschliches Versagen” zurück zu führen.

Im Verlauf der Formatentwicklung wurde die Entscheidung getroffen, zum Zwecke des Senkens der Einstiegshürde ins Spiel auf einen separaten Passwortschutz für die Quizduell im Ersten Benutzerprofile zu verzichten.

Die Lösung war somit an dieser Stelle technisch unsicher.

Nach Bekanntwerden der Schwachstelle hat grandcentrix im Auftrag von ITV Studios Germany die Profilfunktion vollständig aus der Quizduell im Ersten App entfernt. Die bis zu diesem Zeitpunkt registrierten Profile wurden stillgelegt.

grandcentrix arbeitet zurzeit gemeinsam mit FEO Media an einer übergreifenden Sicherheitsstrategie, die Handhabbarkeit und Sicherheitsbedürfnis in Einklang bringt.

Die Profilfunktionen werden – wenn überhaupt – erst nach Freigabe durch den Datenschutzbeauftragten des NDR und externen Penetrationstests wieder in die App aufgenommen. Die Entscheidung liegt beim ausstrahlenden Sender in Abstimmung mit dem Produzenten.

Gab es einen Angriff durch Hacker?

Ein Angriff durch Dritte kann als Ursache für den Ausfall bei der Premiere mit an Sicherheit grenzender Wahrscheinlichkeit ausgeschlossen werden.

Tatsächlich hatten die kurzfristig integrierten, umfangreichen Berechnungen in Echtzeit dazu geführt, dass die Plattform von grandcentrix automatisiert Rechenkapazität im Grenzbereich bereitzustellen versucht hat.

Dieses Szenario stellte sich auf den ersten Blick wie ein koordinierter Denial-of-Service Angriff dar, was dazu führte, dass zunächst von “Hackern” die Rede war.

War zu irgendeinem Zeitpunkt die Sicherheit meines Smartphones berührt?

Nein.

Sämtliche technischen Einschränkungen und das Datenleck bezogen sich zu jedem Zeitpunkt auf die Plattform selbst, nicht auf die App auf dem Smartphone.

15.000 Server?

Die von grandcentrix verwendete Infrastruktur setzt auf virtuelle Maschinen auf, in denen jeweils mehrere Runtime Instanzen aktiv sind. In diesen Runtimes ist die Spiellogik in auf Laufzeit optimiertem Go Code abgebildet.

grandcentrix’ Berechnungen sahen für das Quizduell im Ersten zur Vorabendzeit ca. 1.000 dieser Instanzen vor, die ca. 30 Minuten vor Sendungsbeginn über Lastgeneratoren “vorgewärmt” werden.

Das am Premierenabend aufgetretenen Problem, verursachte bereits ca. fünf Minuten nach Sendungsbeginn eine automatische Skalierung auf 15.000 Instanzen und zum Sendungsende hin sogar auf 25.000 Instanzen.

Es handelte sich also nicht um 15.000 physikalische Server, sondern um Runtime Hosts innerhalb virtueller Maschinen.

Dennoch haben auch grandcentrix’ Infrastruktur Partner einen derartigen Sprung in bislang noch keiner produktiven Lösung gesehen.

Im Internet gab es viel Häme und Kritik, wie geht Ihr damit um?

Sender und Produzent haben beim Quizduell im Ersten immer offen von einem TV Experiment gesprochen.

Eine vergleichbare Lösung gibt es im deutschen TV Markt nicht. Weder bezogen auf den geplanten Grad der direkten Interaktivität, noch auf die technologische Komplexität. Auch wenn andere Sender die Quizduell Berichterstattung zynisch zu nutzen versucht haben, um ihre eigenen Angebote ins Rampenlicht zu stellen, leistet keine zurzeit am Markt verfügbare App echte TV Synchronität, an die sich ITV Studios Germany mit dem Quizduell gewagt hat.

Hinzu kommt: Keine App eines Senders ist auf über 14 Millionen Smartphones in Deutschland installiert.

Wir sind stolz auf unseren Auftraggeber ITV Studios Germany und auf ARD/NDR die dieses Wagnis eingegangen sind.

Dass es, wenn etwas schief geht, im Nachhinein immer Menschen gibt, die es besser können und wissen, gehört zur allgemeinen Lebenserfahrung. Wir fragen uns, warum sich bisher niemand an das Thema getraut hat.

Wer es wirklich besser kann, darf sich gerne bei uns bewerben und im Rahmen unseres Einstellungs-Assesments ein Proof-of-Concept unter Beweis stellen.

Last but not least freuen wir uns aber vor allem über die vielen motivierenden Nachrichten, die unser Team angespornt haben, den Rückbau in Rekordzeit zu leisten.

Wo bekomme ich weitere Informationen?

Für Presseanfragen wenden Sie sich bitte an die Pressestelle des NDR.

Categorized: latest
Tagged: , ,