Flurfunk - Weltweite IT-Ausfälle, CVE Koordination & Acquisitions

Max ist zurück, Flurfunk ist zurück. Hi.

Hi Robert, schön wieder da zu sein. Wie war es im Urlaub? Oder sollte ich sagen, hier, Konnichiwa?

Urlaub, das wäre sehr, sehr schön, wenn ich mal Urlaub machen dürfte.

Nein, ich war leider mal wieder geschäftlich in Japan, aber es ist trotzdem jedes Mal schön.

Ich schaffe es in drei bis vier bis fünf Tagen meistens die dreifache Anzahl

an Rahmensuppen zu essen gegenüber meiner Aufenthaltsdauer.

Das ist immer so mein Ziel, das zu machen und dem Ziel bin ich mal wieder gerecht geworden.

Sehr gut. Wenn nicht dort, wo dann?

Ja, und es ist auch, also wirklich das Kulinarische ist unglaublich.

Also erstmal ist alles sehr lecker, aber es ist halt auch unglaublich günstig.

Ich habe in so einem Rahmenshop eine riesen Rahmensuppe, das war mehr so ein Topf als eine Schüssel.

Dazu Gyoza, Fried Chicken und eine Cola für sieben Euro.

Das liegt bei denen, glaube ich, einfach in der Kultur mit drin.

Ja, die kochen halt alle nicht. Also die Kollegen, mit denen ich immer spreche,

die kochen halt auch einfach zu Hause nicht.

Das heißt, es wird halt einfach entweder auswärts gegessen oder Convenience-Food mitgenommen.

Also du kriegst selbst bei 7-Eleven teilweise echt coole Sachen so vorgeheizt

oder so für einen schmalen Taler.

Und ja, ich bin unglaublich gerne da. Ich bin zum September wieder da,

dann vielleicht im Herbst nochmal und ich bin da einfach sehr, sehr gerne.

Cool, klingt gut. Gut. Das ist noch so ein Ziel, das steht noch auf meiner Liste.

Wenn man Essig, ich weiß nicht, wenn man gerade Langzeitinvestor in so manche

Firmen ist, dann muss man jetzt gerade erstmal, glaube ich, schauen,

wie man sich den nächsten Urlaub leisten kann. Wollen wir gleich damit einsteigen?

Können wir gleich damit einsteigen, ja. Oder beziehungsweise,

wenn ich jetzt vorgehabt hätte, auch heute dort vielleicht hinzufliegen,

dann wäre da auch Essig draus geworden, ja.

Stimmt, stimmt, ja. Ja, wie wollen wir einsteigen?

Ich würde mal sagen Troy Hunt, ein unglaublich guter Mensch,

also technisch unglaublich versiert, der ja auch Heather Bean Pond nach vorne

gebracht hat damals, hat vorhin einen sehr kurzen Tweet, glaube ich,

this is the biggest IT-Failure oder Outage of all time.

Und ja, wie hat es für dich heute Morgen angefangen? Weil ich hatte dich nicht

darauf aufmerksam gemacht, aber ich glaube, ich hatte dich so ein bisschen auf

den Scale dann aufmerksam gemacht.

Du hast mich ein bisschen mehr auf den Scale darauf aufmerksam gemacht,

genau. Ich habe so in den News gelesen schon, wo ich wurde noch in den, ich sage mal, sehr, ähm,

mit gezielten Medien die Nachrichten gesehen hast bezüglich den Outages und

dann erst immer mehr, immer mehr und dann auch wirklich gesehen,

okay, jetzt hat es auch konkret Auswirkungen auf die Finanzbranche,

auf den Wert der Company, da geht es gerade richtig ab.

Und plötzlich, ich glaube wirklich fünf Minuten nachdem du mir geschrieben hast,

ging es auch so in den jeweiligen Signal-Gruppen los,

wo ich drin bin, wo auch andere Security und Leute drin sind und CISOs mit drin

sind und die Meldungen nur hochgeschlagen sind.

Wir sind da und wir sind total unter Wasser gerade.

Jeder hat immer ein bisschen irgendwo mal nach Hilfe gefragt.

Dann ging natürlich diese.

Maßnahme, die empfohlen wurde bezüglich im Safeboot-Modus und diese Dateien dann entfernen.

Das ging dann auch hier rum und jetzt ist halt gerade wirklich so,

dass das Thema, dass sich alle gerade einfach intern irgendwie,

aufstellen müssen, okay, jetzt müssen wir mal All Hands on Deck machen und müssen

wirklich alles quasi händisch anfassen, anders geht es aktuell quasi nicht und

müssen gucken, wie wir das wieder hinkriegen.

Und das hat jetzt mittlerweile auch wirklich ich, einfach einen Scale erreicht,

der also so krass ist, dann muss man fast schon den Hut vorziehen,

weil man jetzt auch zeitgleich, das hatte ich auch auf Twitter dann so gesehen,

ich glaube, der Sven Herpig hat das geschrieben, ja, die Kundenliste ist jetzt

sozusagen auch gleichzeitig über die gesamte Outage-Liste einsehbar.

Kausalität und Korrelation, ne?

Ja, auch wenn man da so, also ich habe auch drüber gelacht, man muss natürlich

ein bisschen vorsichtig sein.

Also ich kenne jetzt auch einige Unternehmen, mit denen ich geschrieben telefoniert

habe, die gesagt haben, dass ihre eigenen Services gar nicht down sind,

aber halt teilweise Schnittstellen down sind, von denen sie abhängig sind,

irgendwelche Supply Chain Dinge offline sind.

Also da muss man insoweit ein bisschen aufpassen, dass das natürlich nicht jedes

Unternehmen, das jetzt down ist, auch zwingend Kunde dieser Firma ist.

Ich glaube, man kann auch mal vorne wegstellen. Ich habe nämlich schon einige

Nachrichten gelesen. Mit äußert ihr euch dazu?

Also erstmal in welcher Autorität, in welcher Rolle?

Max und ich wären vielleicht gerne Kanzler oder so oder auch nicht, aber wir sind es nicht.

Bitte nicht, dann würde mich ja wahrscheinlich Elon Musk irgendwann mal anschreiben

oder so. Nee, nee, das brauche ich nicht.

Aber ich glaube, unser Ziel, dass wir da heute drüber reden,

ist gar nicht, über irgendeine Firma zu reden, wer schuld ist und sonst was.

Ich habe selbst auf LinkedIn geschrieben, so eine Nachbetrachtung muss gemacht

werden. Die wird ganz sicher gemacht werden.

Die wird auch in einem massiven Rahmen gemacht werden.

Also das wird auf staatlicher Ebene auch stattfinden, was da passiert ist.

Es bringt nichts, wenn jetzt jemand schon wieder die ersten,

So vergleiche ich meinen Grillabend von gestern Abend mit den globalen IT-Ausfällen

heute und so sorge ich vor, dass ich immer genug Würstchen habe.

Du liest wieder die abstrusesten Bullshit-Dinge und es ist unglaublich.

In erster Linie, also ich kann ja vielleicht mal kurz sagen,

wie mich das heute Morgen erreicht hat. Ja.

Ich habe Nachrichten von ein, zwei Bekannten bekommen, die in Firmen arbeiten,

die davon auch betroffen waren, die einfach so, ey, ist dir irgendwas bekannt?

Hast du irgendwas vielleicht auch von irgendeinem Inzident irgendwo gelesen?

Weil es war um 8 Uhr noch nicht sofort klar, was da Sache ist.

Und viele haben halt erst mal nur Blu-Screens gesehen.

Und man konnte zwar unten drunter lesen, welche Datei betroffen sind,

aber das kann ja auch alles heißen. Das kann ein Update sein, das kann sonst was sein.

Absolut.

Und das wurde dann immer klarer und ich habe dann mit ein paar Leuten geschrieben

und die haben dann auch gesagt, naja, du, diese Probleme gibt es immer mal wieder,

irgendwie fehlerhafte Patterns oder so.

Und da sage ich, naja, aber der Unterschied ist, wenn du ein Blue Screen zu

erzeugen ist, das eine, dann startet das Ding neu.

Das macht dir schon Probleme, weil du halt teilweise falsche Reihenfolgen hast,

weil Leute nicht wissen, um was es geht, weil sie im Homeoffice hocken.

Das ist ja auch Freitag, das kommt noch dazu.

Natürlich.

Aber wenn das Ding in der ja, will ich aber gleich nochmal absprechen,

wenn das Ding dann allerdings in eine Schleife geht und der einzige Workaround

derzeit zu sein scheint,

dass du in einen Safe-Boot gehst, der, wenn du noch BitLocker drauf hast,

auch gar nicht so einfach ist, weil du diesen blöden BitLocker-Key dann auch noch eingeben musst,

dann hat das eine ganz andere Tragweite und deswegen habe ich schon um 8.30

Uhr gesagt, das wird unglaublich groß.

Blue Screen of Death-Schleife ist ungefähr das Schlimmste Und das ist jetzt

keine Bewertung dessen, wer da was gemacht hat, sondern einfach nur,

das ist so der schlimmste Outcome, was du softwaretechnisch auf einem Windows-System

eigentlich ausrollen kannst.

Ja, es ist unglaublich, was da gerade passiert oder was da passiert ist.

Man sieht zumindest, dass einige Firmen oder zumindest Airlines und so weiter

sich langsam wieder davon erholen. Man will natürlich auch nicht wissen, wie.

Wahrscheinlich viel mit Backup, Restore und so weiter. Und es ist wahrscheinlich

lange davon entfernt, dass die wieder richtig funktionieren,

sondern das ist ein absoluter Notbetrieb.

Ja, also ich ziehe da gerade noch gar keine Lehren oder sonst was drauf,

sondern es ist eher, ich hoffe einfach, dass sich das irgendwie wieder stabilisiert.

Das Problem ist halt, du kannst ja jetzt gerade meinem Verständnis nach,

das kann sich auch immer gerne ändern oder ich belehrt werden,

meinem Verständnis nach kannst du gerade einfach zentral wenig machen.

Die können gerade Update oder Patch rausschicken, wie sie wollen.

Wenn da nicht jemand in den Safeboot zumindest kommt, dann zieht er sich das halt einfach nicht.

Genau. Und du kannst halt, wie du es selber auch schon oder wie wir es jetzt

schon gesagt haben, du musst wirklich teilweise jetzt einfach all hands on deck machen.

Du musst die ganzen Leute rausschicken und musst oder musst,

wenn du so eine groß verteilte Firma bist, müssen die Leute irgendwie alle reinkommen.

Dann musst du die jetzt quasi alle zu dir ins Headquarter schicken lassen und

sagen, hey, ihr müsst rein, um das Problem zu fixen.

Und dann auch wieder, wie teilst du es den Leuten mit?

Weil wenn die ja nur ihren Laptop haben, der jetzt nicht bootet,

haben die ja keine Ahnung, was sie jetzt machen sollen.

Also das ist auch wieder nochmal so ein Ding, wo jetzt bestimmt ganz viele Firmen

nochmal realisieren werden, wir haben überhaupt nicht die Prozesse im Einsatz,

was passiert, wenn mal die IT einfach weg ist, beziehungsweise wenn mein Endpoint

wirklich gar nichts mehr geht und das ganze Supply Chain Thema dahinter, Ja,

das ist genau das, weswegen ich ganz ehrlich wirklich immer noch so hochfroh bin,

dass wir uns immer mehr auch gerade in Europa, aber auch in Amerika immer mehr

in der Regulatorik auch um dieses Thema kümmern müssen, beziehungsweise da die

Priorität immer größer draufgesetzt wird.

Alles genau mal anzuschauen und jetzt nicht eben nur, was sind denn eure typischen

SaaS-Provider, mit denen ihr Infrastruktur macht oder die euch halt irgendwie

einen wichtigen Service für euer Core-Business geben oder so.

Nee, auch solche Provider, die so tief in deinem System quasi mit drin sind,

dass du dir die ganz genau anschauen musst und einfach wirklich auch mal ein

Krisenszenario machen musst,

was passiert, wenn die komplett tot sind oder uns killen?

Und dann einfach dahinter deine DR-Strategie dann aufzubauen.

Also ich habe es glücklicherweise von ein paar anderen Leuten aus anderen Firmen

gehört, die haben wirklich tatsächlich dazu sich schon mal so eine DR-Strategie aufgesetzt.

Deswegen konnten sie bei vielen relativ schnell wieder zurückrudern.

Aber das ist halt für jemanden, der das gar nicht im Blick hatte,

da trifft es dich jetzt so fausthart.

So fausthart. Und es muss natürlich an einem Freitag sein.

Mir tun auch wirklich die Kollegen jetzt echt leid, die da jetzt gerade voll

am Schwitzen sind und mit Sicherheit erstmal kein schönes Wochenende haben werden.

Ich glaube, das mit dem Freitag kann man zumindest wohlwollend aus zwei verschiedenen

Blickwinkeln betrachten.

Das ist natürlich jetzt eine ganz miese Zeit für ganz viele Leute,

die wäre unter der Woche genauso mies gewesen. Es ist natürlich blöd,

wenn Wochenende drauf geht.

Ich glaube aber, dass das bei vielen, die das gerade bearbeiten,

gar nicht so im Fokus steht.

Für das Business dahinter, je nachdem, was man macht, wenn man am Wochenende

nicht großartig tätig ist, ist es vielleicht sogar der bessere Zeitpunkt,

dass es am Freitag passiert ist, als jetzt irgendwie an dem Montag.

Und ich glaube, das, was du gesagt hast, ist unglaublich wichtig,

diese ganze Betrachtung von Supply Chain und so weiter. Ich stimme dir dazu 100 Prozent zu.

Ich weiß natürlich auch, dass du da eine zweite, dritte Ebene dahinter hast.

Ich habe aber jetzt halt auch schon wieder Leute gesehen, die dann einfach so,

ja, brauchen wir halt einen Notfallplan und so. Also erstmal kann ich meine

Due Diligence machen, wie ich möchte bei so einem Unternehmen.

Sowas werde ich nicht aufdecken und sagen, oh ja, das Unternehmen sieht so aus,

als würden sie mal einen fehlerhaften Patch rausschicken.

Wir sprechen jetzt auch nicht von irgendeinem Hinz- und Kunstunternehmen, das kommt noch dazu.

Und selbst diese Notfallpläne oder Recovery-Pläne oder wir sagen,

sowas bricht uns weg, die sind unglaublich wichtig.

Und ich glaube, damit könnte man diese Lage gerade auch abschwächen.

Aber ich glaube, man könnte sie halt gerade maximal abschwächen.

Ich glaube, dass wenn dich sowas global trifft und wechsel Hersteller X mit

Y aus, dann wirst du ein massives Problem haben, egal wie gut dein Recovery-Plan ist.

Die Frage ist einfach, wie schnell kannst du wieder recoveren?

Ja, und du wirst es auch nie verhindern können, das ist immer das,

was wir auch sagen, dass du alles noch so weit abgedeckt haben kannst,

deinen Blick auf alle möglichen Tools und Systeme haben kannst,

aber du wirst niemals dein,

das ist hier das, worüber wir hier jetzt gerade reden, das, was hier heute passiert

ist, das ist so ein typischer Black-Swan-Event.

Den konnte keiner quasi so vorhersagen und deswegen hatte den keiner auch so

irgendwo auf einem Risikoschirm mit drauf.

Und dass uns das jetzt so trifft, dass uns das auch so hart trifft und zwar

wirklich auch die gesamte Wirtschaft.

Ich hatte hier einen Kollegen, der hat mir geschrieben, er konnte heute Morgen nicht mal Milch kaufen.

Also es geht nicht nur von, da sind Flughäfen außer Betrieb gesetzt,

sondern wir haben hier auch wirklich also die Auswirkung auf einzelne Personen

die halt ihrem Tagesgeschäft nicht mehr nachgehen können und sowas hast du nur ganz selten.

Und da wird es jetzt ungemein wichtig, was wir daraus, wirklich auch aus Learnings für uns ziehen.

Wie kommen wir da jetzt raus in der Art und Weise, dass wir für die Zukunft

wissen, wie können wir besser reagieren, wenn sowas passiert?

Also wirklich auch die entsprechenden Pläne dazu aufbauen.

Und wie können wir uns auch eben wieder in so einem Supply Chain Third Party Thema aufstellen,

dass wir uns nicht vielleicht nur hundertprozentig auf einen Anbieter verlassen

Und selbst wenn wir es machen, dass wir dann eine Art Backup-Strategie haben,

wie wenn dieser Supplier einfach weg ist, dass wir trotzdem überlebensfähig bleiben.

Ja, auf alle Fälle.

Und da sage ich halt, na ja, gut, das hat vor, ein Nachteil.

Das hat natürlich den Vorteil, dass ich mich in einer gewissen Weise weniger abhängig mache.

Das hat aber natürlich auch den Nachteil, dass ich dann wieder die Visibilität

zusammenführen muss, dass ich halt irgendwie eine Rohdatenkorrelation machen

muss, wenn ich mal über Telemetrie spreche und so weiter.

Und das ist ein super schmaler Grad und das, was du schon gesagt hast,

so ein Black-Swan-Event wie heute.

Ich kann auch nicht meine komplette Strategie, besonders sondern dass,

wenn ich vielleicht nicht eine Riesen-Governance und so weiter dahinter habe,

kann ich auch nicht immer auf diese Black-Swan-Events auslegen.

Damit will ich weder die Sache kleinreden noch irgendwie sagen,

ach, passiert halt, sondern einfach, das ist superschwierig.

Ja, absolut. Wie gesagt, schauen wir einfach nur, wie wir draus laufen.

Und ich habe selbst hier auch noch, was ich auch ultrainteressant fand,

weil wir da auch wieder nochmal so eine Kausalitätskette jetzt haben,

du hattest selbst Firmen, die ja nicht das automatische Patching quasi mit eingestellt

haben das kannst du ja auch per Policy quasi umgehen bzw.

Verhindern, dass die Updates, die vom Provider reingespielt werden,

nicht sofort auf alles ausgerollt werden und das machst du ja dann eben betriebssystemmäßig

über deine Group Policies,

so und jetzt Jetzt kam aber noch zeitgleich mit hinzu, dass der andere große

Hersteller, über den wir auch schon das ein oder andere Mal geredet haben.

Ähm, jetzt auch wieder letzte Nacht, äh, nochmal einen großen,

äh, einen großen Issue hatte, also da waren ja auch mal irgendwie,

ich glaube, in deren Cloud, ähm, und Office-Paketen, nennen wir es mal so, ähm.

Aber zumindest nur die US-Region, oder nur eine US-Region, was es nicht besser machen soll.

Das hat es nicht besser gemacht. Und um da irgendwie einen Fix einzuspielen,

wurde anscheinend bei einigen Firmen durch dieses Update diese Update-Policies quasi ausgehebelt.

Und deswegen ist bei denen dann der Fall von heute Morgen reingerutscht,

den sie dann nicht mehr verhindern konnten.

Also auch wieder so ein Ding, wo du sagst, wie das zusammengespielt hat,

per Zufall, aber halt ja, das kannst du nicht vorhersehen, sowas.

Obwohl es, glaube ich, auch nochmal doppelt gelagert ist. Das eine ist,

was du in der Software, die jetzt das Ganze zum Crashen gebracht hast,

nativ als Push-Mechanismus, den haben halt die meisten an.

Auch da wiederum kannst du halt für alles argumentieren. Dann kannst du dafür

argumentieren, dass du halt sonst, besonders dass vielleicht in kleineren Firmen

oftmals nicht auf dem neuesten Stand bist, weil du es dir gar nicht leisten

kannst, Patches zu testen. Und dann machst du es dir halt an.

Wie gesagt, es ist auf alle Fälle eine Verkettung. Es ist ein Black Swan Event.

Nein, es lohnt sich gerade, glaube ich, nicht über die Gründe zu diskutieren,

weil das werden, also bei dem Scale, bei den Auswirkungen, wird das auf einer

ganz, ganz, ganz hohen Ebene geschehen. Da kann man sich einfach sicher sein.

Absolut. Also da kannst du davon ausgehen, dass das Management Board zu einigen

Terminen im Weißen Haus,

im Senat, im Bundestag, wo auch immer eingeladen werden wird,