Wie man das Risiko mit einem besseren OKR misst.

Ich bin ein großer Fan von Objective and Key Result (OKR) in Unternehmen, die sie ernst nehmen. Ich beschreibe eine meinungsorientierte Methode, die in ein OKR passt und die Reduzierung (oder Erhöhung) eines ausgewählten Risikos misst. Dies wird die Entscheidung eines Teams, den technischen Aufwand zu reduzieren oder zu erhöhen, um dieses Risiko in Zukunft zu verringern, beeinflussen.

Diese Methode ähnelt der Vorhersage des Wetters durch einen Meteorologen.

Wenn Sie tief in OKRs eintauchen möchten, können Sie dies lesen, ansehen oder lesen.

OKRs sind eine einfache Möglichkeit, ein Motivationsziel auszudrücken und sich zu einer kurzen Liste messbarer Ergebnisse zu verpflichten, die eine Gruppe auf dieses Ziel hinbringen. Sie kaskadieren manchmal von der Geschäftsleitung zu allen Mitarbeitern. OKRs sind eine gängige Praxis bei Technologieunternehmen und vielen Sicherheitsteams, mit denen ich zusammenarbeite.

Nimm zum Beispiel:

Ziel: Verbessern Sie die Authentifizierung von Entwickler-Laptops in die Produktion.

Dieses Ziel ist nicht schlecht, aber viele Möglichkeiten zur Risikomessung werden verpasst.

Mit einer quantifizierbaren Methode werden wir ein seltenes, wirkungsvolles Risiko reduzieren.

Solche Risiken sind normalerweise schwer zu messen.

Historische Daten (noch nie passiert) sind für unsere Zukunft schlecht aussagekräftig (könnte es passieren?).

Mit Prognose- und Schätzmethoden können wir messen, mit welcher Wahrscheinlichkeit ein zukünftiges Szenario eintreten könnte, selbst wenn uns historische Daten für dieses Szenario in der Vergangenheit fehlen. Wir verwenden die „Unsicherheit“ einer Gruppe als Proxy für Risiken und messen sie. Wir werden die kognitiven Vorurteile verwalten, die mit Prognosen verbunden sind.

ZIEL: Schreiben Sie ein Ziel mit einem „Risikoszenario“.

Ihr Ziel ist es, ein Risiko zu reduzieren, das in einem Szenario zum Ausdruck kommt.

Nachfolgend finden Sie das zuvor erwähnte Ziel, das zur Reduzierung eines Risikos festgelegt wurde. Es ist etwas verbesserungswürdig geschrieben:

Ziel: Verbessern Sie die Authentifizierung von Entwickler-Laptops in die Produktion.

Dies ist nicht unbedingt ein schlechtes Ziel, kann aber durch Umschreiben als Szenario verbessert werden.

Ziel: Reduzierung des Risikos, dass ein Gegner im dritten Quartal von einem Entwickler-Laptop aus auf die Produktion zugegriffen hat.

Sie scheinen ähnlich zu sein, oder?

  • Der Hauptunterschied besteht darin, dass ein Szenario probabilistisch ist. Probabilistische Phrasen können prognostiziert werden. Prognosen sind gut recherchiert, allgemein bekannt (z. B. das Wetter), quantitativ und messen Ihre Unsicherheit.

Unsicherheit ist das, was Sie in Ihrem Gehirn dazu bringt, über eine Reihe von Optionen nachzudenken oder eine davon ernst zu nehmen. Wie sich herausstellt, kann die Unsicherheit einer Gruppe auf einfache Weise gemessen werden. Wir werden die Unsicherheit von Experten zum Proxy für unser Messziel machen.

  • Der kleine Unterschied besteht darin, dass das Szenario die Kreativität eines Ingenieurs belohnt.

Verbessert beispielsweise die Reduzierung der Anzahl der Entwickler, die Produktionsanmeldeinformationen benötigen, die Authentifizierung? Nein, das reicht ein bisschen. Aber es würde das Risiko verringern und das Hauptergebnis ist besser mit dem geänderten Ziel vereinbar. Das war das bessere Ziel, daher werden unsere Hauptergebnisse möglicherweise besser ausfallen.

Ein "Risikoszenario" -Ziel schreibt keine Lösung vor. Es wird lediglich eine saubere Prognose erstellt. Ein Szenario kann besser geeignet sein, ein Risiko als ein zukünftiges zu vermeidendes Ereignis zu definieren.

Ein gutes vorhersehbares Szenario beinhaltet eine durchdachte Mischung aus einer Bedrohung, einem Vektor, einem Vermögenswert oder einer Auswirkung. Sie können kreativ über einen bestimmten Umfang oder ein bestimmtes Risiko entscheiden, indem Sie die Spezifität einschränken oder erweitern. Eine Prognose muss einen konkreten Zeitrahmen festlegen.

KENNZAHL DER ERGEBNISSE: Wählen Sie Meilensteine ​​oder Kennzahlen aus und legen Sie eine Prognose fest.

Erstens die einfachen Sachen. Schlüsselergebnisse müssen messbar sein. In den Anfängen von Google sagte Marisa Meyer:

"Es ist kein Schlüsselergebnis, es sei denn, es hat eine Nummer."

Eine einfache Form der Messung sind binäre Leistungen: 1 für erledigt, 0 wenn nicht erledigt. Zum Beispiel: „Wir haben die XYZ-Geschäftsanwendung zu unserer Single Sign On-Plattform hinzugefügt“. Wenn du es getan hast, bekommst du eine "1"!

Eine andere Möglichkeit ist die Auswahl quantitativer Kennzahlen wie "Behebung von X-Fehlern" oder "Reduzierung von X-Vorfällen" oder "Einstellung von N-Ingenieuren". Diese sind notwendig, gemeinsam und repräsentieren Projektziele und Betriebsmetriken. Sie sind wahrscheinlich daran gewöhnt. Sie können auch gute Schlüsselergebnisse erzielen.

Sie messen jedoch nicht wirklich die mit unserem Szenario verbundene Risikoreduzierung. Sie sind vielmehr ein nachlaufender Indikator für die geleistete Arbeit. Diese Arbeit hat zur Minderung eines Risikos beigetragen, Sie haben jedoch noch keine Risikominderung gemessen. Sie gehen einfach davon aus, dass das Risiko aufgrund Ihrer Bemühungen abnimmt.

Aber um wie viel? Was ist, wenn es tatsächlich zugenommen hat?

Vergleichen einer Sicherheitsmetrik mit einem Sicherheitsmaß

Herkömmliche Sicherheitsmetriken sind aufgrund ihres informativen Werts sehr nützlich. Sie informieren über unsere Unsicherheit in Bezug auf ein Risiko, stellen jedoch nicht die Wahrscheinlichkeit eines Risikos dar und drücken häufig nicht die massiven Unsicherheiten aus, die wir in Bezug auf ein bestimmtes Szenario haben können.

Ich glaube zum Beispiel, dass eine historische Anzahl von Schwachstellen oder die Häufigkeit von Regressionen kein direktes Risiko darstellen, aber es hilft mir sicherlich, meine Unsicherheit darüber auszudrücken, ob ein damit verbundenes Szenario aufgrund dieser Daten eintreten würde oder nicht.

Dies liegt daran, dass der Wert, den wir einer einzelnen Metrik zuweisen, in ständigem Fluss ist.

Jede spezifische Metrik kann mein informativster Datenpunkt sein… bis etwas sie ersetzt. Mein Urteil würde die früheren Daten sofort verwerfen, nachdem ich neue Informationen gehört habe, die angesichts der alten Daten oder eines fragilen Modells, das wir für diese Angelegenheit erstellt haben, „oh Mist“ schreien.

Kommen wir nun zum "schwierigen Teil". Machen wir das OKR.

Das ist eigentlich ganz einfach, wenn Sie den Dreh raus haben.

Ein Beispiel für einen OKR, der gemessen werden soll:

Wie bereits erwähnt, wird dieses OKR so aufgebaut, dass es für die Risikomessung mit Prognose- und Schätztechniken kompatibel ist.

Hier ist ein OKR-Beispiel für ein kleines AWS-Sicherheitsteam:

Zielsetzung:

Reduzieren Sie die Wahrscheinlichkeit, dass im dritten Quartal ein AWS-Berechtigungsnachweis für die Produktion der Öffentlichkeit zugänglich gemacht wurde.

Wichtige Ergebnisse:

  1. Commits, die AWS_SECRET_KEY erwähnen, werden in der Sicherheitslücke angezeigt.
  2. Die Fotobackup-Pipeline wird in eine AWS-Rolle verschoben.
  3. Komplette Security Monkey Alarmierungs-Pipeline für unsere Erkennung auf Abruf.
  4. Schließen Sie eine Vorher-Nachher-Vorhersage und eine CloudTrail-Suche ab.

Die ersten wichtigen Ergebnisse (1–3) müssen nicht besprochen werden. Dies sind reine Maschinenbauarbeiten, und Sie können auswählen, was Sie möchten. Das letzte Schlüsselergebnis (Nr. 4) ist das, worauf wir uns konzentrieren werden.

Um dieses Risikoszenario zu messen, verwenden wir ein Prognosefeld. Dies wird unsere Fähigkeit stärken, das zugrunde liegende Risikoszenario des OKR auf probabilistische Weise zu messen.

1. Bevor Sie mit der Arbeit beginnen: Eine "Basis" -Prognose.

Nehmen wir an, dies ist ein OKR für das dritte Quartal des Jahres. Anfang Juni werden einige verschiedene und geschulte Personen, die mit dem OKR vertraut sind, die Wahrscheinlichkeit des Eintretens des Szenarios in probabilistischen Begriffen prognostizieren (prozentuale Annahme).

Unsere Teilnehmer sind Affe (), Einhorn (), Kuh () und Pinguin (). Wir kalibrieren sie kurz, um probabilistisch zu denken (Online-Training). Sie haben Zugriff auf alle verfügbaren Metriken, Modelle, Post-Mortems, Beraterprüfungen oder Infrastrukturdiagramme. Das ist alles nützlich und informiert über ihre Prognose.

Die obige Prognose hat eine 78% ige Gewissheit, dass die CloudTrail-Jagd keinen Vorfall aufdeckt. Es gibt eine 14% ige Gewissheit, dass ein Vorfall entdeckt werden könnte, und eine 6% ige Gewissheit, dass wir in großen Schwierigkeiten stecken werden.

Betrachten Sie nun, dass eine Antwort von 33% aus dem Panel für jede Kategorie völlige Unsicherheit bedeutet hätte, als ob sie buchstäblich keine Informationen oder Meinungen hätten. Das Szenario könnte zum Beispiel in einer anderen Sprache geschrieben worden sein. Dies ist hier nicht der Fall. Die Teilnehmer glauben nicht, dass jede Option der anderen entspricht. Sie halten es für sehr wahrscheinlich, dass sich aufgrund ihrer Kenntnis der Umwelt und möglicher Bedrohungen kein Vorfall ereignen wird.

Daher äußert dieses Gremium mit Wahrscheinlichkeit, dass es in diesem Zeitraum höchstwahrscheinlich keinen Vorfall gibt. Ein entdeckter Vorfall ist jedoch nicht völlig ausgeschlossen. Es passiert in vielen anderen Unternehmen. Sie müssen glauben, dass es eine geringe Wahrscheinlichkeit gibt, dass es passieren könnte.

Tatsächlich scheint ein Diskussionsteilnehmer (Monkey ) sicherer zu sein, dass etwas gefunden wird.

Es ist in Ordnung, dass Monkey eine andere Meinung als die Gruppe vertritt. Wir werden das später besprechen - das Panel muss nicht zustimmen!

2. Jetzt mach deine Arbeit, mach Fortschritte wie gewohnt.

Die Mitte des Quartals konzentriert sich darauf, Ihre Ziele wie gewohnt zu erreichen. Mach einfach Arbeit.

Wie in unseren Zielen angegeben, baut das Team Warnmeldungen auf, überarbeitet eine App für die Verwendung von AWS-Rollen und stellt Security Monkey bereit. Hoffentlich machen sie es gut und beenden sie alle!

Diese Methode hat keinen Einfluss auf Ihre tägliche Arbeit. Es lenkt einfach die Arbeit auf ein messbares Ergebnis hin. Greife das Risiko an, wie du es normalerweise tun würdest.

3. EOQ. Wir haben Fortschritte gemacht! Jetzt vergleichen wir mit der Basislinie.

Wir haben uns verpflichtet, zum Quartalsende zwei Dinge zu tun.

Zunächst bemühen wir uns, CloudTrail-Protokolle genauestens zu untersuchen und festzustellen, ob wir P0-Vorfälle aus unseren Ermittlungsbemühungen herausfiltern können.

Zweitens misst das Panel erneut, mit Ausnahme unserer Unsicherheit für das nächste Quartal (Q4).

Unser Panel ist mit neuen Erkenntnissen ausgestattet. Der Fortschritt dieses Quartals und das Ergebnis der CloudTrail-Jagd werden unsere Meinung zu diesem Szenario stark verändert haben.

Nehmen wir an, das Team hat die anderen wichtigen Ergebnisse erzielt und die Bewertung des Verstoßes ist fehlerfrei ausgefallen.

Wir prognostizieren wieder. Hier sind die Ergebnisse.

Jetzt können wir beobachten, wie viel Sicherheit das Gremium aufgrund seiner Bemühungen gewonnen oder verloren hat. In diesem Beispiel tendierten unsere Überzeugungen sogar noch weiter zur Gewissheit (weg von 33%). Hat unsere Arbeit die Gewissheit unseres Gremiums beeinflusst? Das Panel glaubt es.

In diesem Fall haben wir unsere Sicherheit in Bezug auf dieses Risiko verbessert. Wir haben eine quantitative Verbesserung von 5% in die richtige Richtung.

4. Treffen Sie eine Führungsentscheidung, die sich an Daten orientiert.

Jetzt sind Sie für eine effektive Entscheidungsfindung gerüstet.

Dies scheint eine Verletzung in jedem zehnten Quartal zu prognostizieren.

  • Ist das gut genug
  • Wollen wir das weiter verbessern oder beschäftigen wir andere Risiken?
  • Was ist unsere akzeptable Schwelle?
  • Wie viel Aufwand und Ressourcen brauchen wir, um es zu übertreffen?

Warum dieser Ansatz?

Menschen sind darauf ausgelegt, unterschiedliche Informationsquellen zu verarbeiten und neue Informationen schnell zu absorbieren, um Entscheidungen zu treffen.

Während des gesamten Quartals werden wir zweifellos Informationen erhalten, die unsere Gewissheit über die von uns gewählten Risiken ändern.

Diese Informationen stammen aus vielen Bereichen: die praktische Arbeit selbst, Branchentrends, Verstöße, möglicherweise Berichte über Schwachstellen in anderen Bereichen der Infrastruktur, unsere eigene Exploit-Forschung, ein Bombenfreigabetweet usw.

Unser Vertrauen in diese Informationsquellen ist jedoch dynamisch. Wir können uns nicht auf einzelne statische Kennzahlen verlassen, um unser Risiko darzustellen, da sich ihr Entscheidungswert schnell ändert. Wir könnten unsere eigene Gewissheit als Proxy für diese Risiken verwenden, die bekanntermaßen messbar ist und intensiv recherchiert wurde, wobei die Leitlinien zur Verbesserung der Prognosemethoden als Messinstrument erweitert werden.

In der Tat ist die Ermittlung von Experten ein wichtiger Faktor bei der Beurteilung des probabilistischen Risikos in anderen Branchen wie Nuklear, Luft- und Raumfahrt und Umwelt.

Es ist nicht neu, nur neu für uns.

Isolation gegen die Gefahr der Vorspannung.

Prognosen sind gefährlich, wenn sie nicht konsequent angegangen werden. Die kognitive Verzerrung ist gut erforscht, und diese Ergebnisse müssen häufig wiederholt werden. Die Risiken einer schlechten Prognose werden unterschiedlich begrenzt.

Forschung verteidigt, dass Prognosen verbessert werden können, wenn:

  1. Die Diskussionsteilnehmer sind darin geschult, probabilistisch und voreingenommen zu denken.
  2. Die Diskussionsteilnehmer haben sich zusammengetan, um die Auswirkungen der Voreingenommenheit zu kombinieren und zu glätten. Vielfalt in der Perspektive ist der Schlüssel!
  3. Die Diskussionsteilnehmer werden wiederholt mit dem Ergebnis ihrer Prognosen konfrontiert (Kalibrierung). (Online-Training, offenes Urteilsvermögen, Vertrauenskalibrierung)
  4. Die Diskussionsteilnehmer werden aufgefordert, ein Szenario in detailliertere Teile zu zerlegen, und erhalten transparenten Zugriff auf die verfügbaren Daten, die sie benötigen, um sie zu verstehen.
  5. Ein festes Verständnis des wahren „Schwarzen Schwans“. Sie täuschen Prognostiker.
  6. Versuchen Sie nicht, jedes Risiko vorherzusagen und zu mindern, sondern seien Sie auf einen unvermeidlichen Ausfall vorbereitet.
  7. Entkoppeln Sie Beförderung und Gehalt von OKR- und Prognoseergebnissen, um Sandbagging zu vermeiden, das bereits im Leistungsmanagement der Mitarbeiter ein Problem darstellt.

Wenn Sie die Diskussionsteilnehmer nur nach „Think Fast!“ - Prognosen fragen, erhalten Sie mit Sicherheit schlechte Ergebnisse. Ein rigoroser Ansatz hat höhere Messkosten (Besprechungen), ist jedoch weitaus einfacher als Methoden mit hässlichen Risikomatrixtabellen.

Aber… ich gehe immer von einem Verstoß aus, also funktioniert das nicht!

Es ist absolut richtig anzunehmen, dass Sie verletzt wurden. Ich würde jeder Organisation eine sehr hohe Wahrscheinlichkeit einräumen (99%), dass irgendwo, bei jedem Schweregrad, eine Art von gegnerischer Aktivität auf einem System stattfindet, das sie besitzen. Das ist es, was "Verletzung annehmen" für mich bedeutet.

Es ist jedoch ungesund zu glauben, dass jede Komponente jedes Systems zu jedem Zeitpunkt von jedem Gegner kompromittiert wird. Rationale Leute, selbst die FUD-Slinger, gehen nicht so weit in die Tiefe.

Ein zutiefst pessimistischer Verstand, der rational ist, lässt immer noch Raum für Zweifel, mehr oder weniger als andere. Wenn Sie der Überzeugung sind, dass die Bemühungen des Einzelnen die Risiken verbessern, können Sie diese Verringerung der Unsicherheit in probabilistischen Begriffen messen. Ein Pessimist glaubt sicherlich nicht, dass seine Arbeit die Situation verschlimmert.

Kurz gesagt, sogar eine pessimistische Grundlinie kann verbessert werden, und ein paar Pessimisten in einem Panel zu haben, ist eigentlich eine sehr, sehr gute Sache.

Die Zukunft der Risikoeinschätzung und -prognose

Im Laufe vieler Quartale können wir eine probabilistische Methode noch weiter ausbauen. Wir können Red Teams, Brier Scores und Stichproben aus der Branche als Richtschnur für unsere Prognosen verwenden. Wir können uns auf den Wert der Daten einigen und beobachten, wie diese schwanken. Wir können „Chatham House“ oder Prognosen anonymisieren, um sie mit anderen Sicherheitsteams zu teilen.

Wir können Prognoseergebnisse in Monte-Carlo-Simulationen einfließen lassen und so Lehren aus der NASA, Nuclear Licensing und anderen Bereichen ziehen, die für das Verständnis extremer Risiken über die Cybersicherheit hinausgehen.

Unternehmen haben viele Möglichkeiten, eine Risikoprognosepraxis einzuführen. Enorme Energie ist nicht erforderlich, um gute Ergebnisse zu erzielen. Klein anfangen, wie mit risikobasierten OKRs, kann das Risiko für Ihr Unternehmen nachweislich verringern und Ihr Unternehmen auf einen Weg zum quantitativen Risiko bringen.

Fazit

OKRs sind eine gebräuchliche Methode, um ein Ingenieurteam zu führen. Durch die Erstellung von OKRs, die mit Schätz- und Prognosetechniken kompatibel sind, können wir den Fortschritt bei der Risikominderung besser messen.

Diese Methoden beeinträchtigen nicht die Art und Weise, wie ein Team seine Arbeit erledigt. Sie messen lediglich, wie viel sich dadurch möglicherweise ändert. Wenn Sie derzeit keine Methode zur Risikomessung haben, sollte eine quantitative Methode besser abschneiden als Sie. Diese Strategie hat nur minimale Auswirkungen auf die Konstruktionspraktiken und richtet das Team auf eine messbare Risikominderung aus.

Weitere Lektüre

Risikoprognose: Eine umfassende Darstellung dieser Methode.

Einfache Risikoanalyse: Ein tiefer Einblick in die Vorhersage von Risiken.

Killing Chicken Little: Erkundung der Grenzen und Möglichkeiten der Risikoprognose.

Aufteilung des Sicherheitsrisikos in Szenarien: Aufteilung der Risiken in eine Hierarchie von Szenarien, von allgemeinen zu differenzierteren Szenarien.

Schnelles und langsames Denken: Nobelpreisträgerforschung über menschliche Erkennungsfehler, meist in Form von Vorurteilen.

Superforecasting: Erforschung, wie Erkennungsfehler gemindert und in effektive Prognoseteams umgewandelt werden können.

So messen Sie alles, was mit Cybersicherheit zu tun hat: Eine hervorragende Quelle zur Verteidigung der Prognose als Messmethode. Starke Debatte, die die Rolle der Messung bei der Entscheidungsfindung fördert.

Ryan McGeehan schreibt über Sicherheit auf Medium.