Как измерить риск с лучшим ОКР.

Я стал большим поклонником цели и ключевых результатов (ОКР) в компаниях, которые относятся к ним серьезно. Я опишу взвешенный метод, который вписывается в ОКР и измеряет снижение (или увеличение) выбранного риска. Это сообщит о решении команды уменьшить или увеличить инженерные усилия, чтобы уменьшить этот риск в будущем.

Этот метод похож на то, как метеоролог прогнозирует погоду.

Для глубоких погружений в OKR вы можете прочитать это, посмотреть это или прочитать это.

OKR - это простой способ выразить мотивационную цель и взять короткий список измеримых результатов, которые подталкивают группу к этой цели. Иногда они переходят от исполнительного руководства ко всем сотрудникам. OKR - обычная практика среди технологических компаний и многих групп безопасности, с которыми я работаю.

Взять, к примеру:

Цель: улучшить аутентификацию с ноутбуков разработчиков в производство.

Эта задача неплохая, но многие возможности измерения риска упущены.

Мы снизим редкий, значительный риск с помощью количественного метода.

Эти типы рисков обычно трудно измерить.

Исторические данные (никогда не случались) плохо информируют наше будущее (могло ли это случиться?).

Используя методы прогнозирования и оценки, мы можем измерить, насколько вероятен сценарий будущего, даже если у нас нет исторических данных для этого сценария в прошлом. Мы используем «неопределенность» группы в качестве показателя риска, и мы будем ее измерять. Мы справимся с когнитивными искажениями, связанными с прогнозами.

ЦЕЛЬ: Напишите цель с «сценарием риска».

Ваша цель - снизить риск, выраженный в сценарии.

Ниже упомянутая ранее цель была написана для снижения риска. Это написано с некоторыми возможностями для улучшения:

Цель: улучшить аутентификацию с ноутбуков разработчиков в производство.

Это не обязательно плохая цель, хотя ее можно улучшить, переписав ее как сценарий.

Цель: снизить риск «злоумышленник получил доступ к продукту с ноутбука разработчика в 3 квартале».

Они кажутся похожими, верно?

  • Основное различие заключается в том, что сценарий является вероятностным. Вероятностные фразы можно прогнозировать против. Прогнозирование хорошо изучено, обычно понимается (например, погода), количественно и измеряет вашу неопределенность.

Неопределенность - это та вещь в вашем мозгу, которая заставляет вас пожимать плечами при наборе вариантов или решительно относиться к одному из них. Как выясняется, неопределенность группы может быть измерена прямым способом. Мы собираемся сделать неопределенность экспертов прокси для нашей цели измерения.

  • Незначительное отличие состоит в том, что сценарий вознаграждает творческий потенциал инженера

Например, улучшает ли проверка подлинности уменьшение количества разработчиков, которым требуются производственные учетные данные? Нет, это немного. Но это уменьшит риск, и ключевой результат будет более совместим с измененной целью. Это была лучшая цель, поэтому, возможно, наши ключевые результаты будут лучше в результате.

Цель «сценария риска» не предписывает решение. Это просто устанавливает чистый прогноз. Сценарий может лучше определить риск как будущее событие, которого следует избегать.

Хороший прогнозируемый сценарий включает вдумчивое сочетание угрозы, вектора, актива или воздействия. Вы можете творчески определиться с конкретной областью применения или риском, добавив сужающую или расширяющуюся специфику. Прогноз должен определиться с конкретными сроками.

КЛЮЧЕВЫЕ РЕЗУЛЬТАТЫ: Выберите вехи или метрики и подтвердите прогноз.

Во-первых, легкий материал. Основные результаты должны быть измеримыми. В первые годы существования Google Мариса Мейер сказала:

«Это не ключевой результат, если у него нет номера».

Одной простой формой измерения являются бинарные достижения: 1 - выполнено, 0 - если не выполнено. Например: «Мы добавили бизнес-приложение XYZ на нашу платформу единого входа». Если вы сделали это, вы получите «1»!

Другой - выбрать количественные показатели, такие как «исправить ошибки X», «уменьшить количество инцидентов X» или «нанять N инженеров». Они необходимы, общие и представляют цели проекта и операционные показатели. Вы, наверное, привыкли к этому. Они также могут дать хорошие ключевые результаты.

Тем не менее, они на самом деле не измеряют снижение риска, связанного с нашим сценарием. Скорее, они являются запаздывающим показателем выполненной работы. Эта работа создала ценность для снижения риска, но вы еще не измерили снижение риска. Вы просто предполагаете, что риск уменьшается благодаря вашим усилиям.

Но на сколько? Что, если оно действительно увеличилось?

Сравнение показателя безопасности с измерением достоверности

Традиционные метрики безопасности очень полезны для их информативности. Они сообщают о нашей неопределенности в отношении риска, но не отражают вероятностный характер риска, и часто не отражают огромных неопределенностей, которые мы можем иметь в отношении конкретного сценария.

Например, я считаю, что исторический подсчет уязвимостей или частоты регрессий напрямую не выражает риск, но, несомненно, помогает информировать мою неопределенность относительно того, произойдет ли связанный сценарий или нет в результате этих данных.

Это связано с тем, что значение, которое мы присваиваем отдельной метрике, постоянно меняется.

Любая конкретная метрика может быть моей наиболее информативной точкой данных ... до тех пор, пока что-то не заменит ее. По моему мнению, прежние данные будут устаревшими сразу после того, как вы услышите новую информацию, которая кричит «о, чушь» перед лицом старых данных, или любую хрупкую модель, которую мы пытались создать в этом отношении.

Теперь давайте перейдем к «тяжелой части». Давайте сделаем это ОКР.

Это на самом деле очень легко, когда вы освоитесь.

Пример ОКР, который предназначен для измерения:

Как уже упоминалось, мы собираемся создать этот ОКР, чтобы он был совместим для измерения риска с методами прогнозирования и оценки.

Вот пример OKR для небольшой группы безопасности AWS:

Задача:

Снизить вероятность того, что «производственные учетные данные AWS были представлены широкой публике в 3 квартале»

Основные результаты:

  1. Коммиты с упоминанием AWS_SECRET_KEY отображаются в #security slack.
  2. Конвейер фотобэкапа будет переведен на роль AWS.
  3. Закончите конвейер оповещения Security Monkey о нашем обнаружении по вызову.
  4. Завершите прогноз до и после, и CloudTrail охота.

Первые ключевые результаты (1–3) не требуют обсуждения. Это просто обычные инженерные работы, и вы можете выбрать все, что захотите. Последний ключевой результат (# 4) - это то, на чем мы сосредоточимся в будущем.

Чтобы измерить этот сценарий риска, мы будем использовать панель прогноза. Это укрепит нашу способность измерить сценарий основного риска ОКР вероятностным способом.

1. Перед началом работы: «базовый» прогноз.

Давайте предположим, что это ОКР на третий квартал года. В начале июня несколько разнообразных и обученных людей, знакомых с ОКР, прогнозируют вероятность развития сценария в вероятностных терминах (процентное убеждение).

Нашими участниками являются Обезьяна (), Единорог (), Корова () и Пингвин (). Мы кратко откалибруем их, чтобы мыслить в вероятностных терминах (онлайн-обучение). У них есть доступ к любым доступным метрикам, моделям, посмертным результатам, аудиту консультантов или диаграммам инфраструктуры. Это все полезно и сообщает их прогноз.

Вышеупомянутый прогноз имеет 78% уверенности, что охота на CloudTrail не выявит инцидентов. Существует 14% уверенности в том, что инцидент может быть обнаружен, и 6% уверенности в том, что у нас будут действительно большие проблемы.

Теперь предположим, что ответ 33% от панели для каждой категории показал бы полную неопределенность, как если бы они буквально не имели никакой информации или мнения. Например, сценарий мог быть написан на другом языке. Здесь дело обстоит не так, участники не верят, что каждый вариант равен другому. Они считают, что, скорее всего, не произойдет никаких инцидентов, учитывая их знания об окружающей среде и возможных угрозах.

Таким образом, эта группа выражает вероятностное мнение о том, что, скорее всего, в этот период не произойдет инцидента. Но обнаруженный инцидент не полностью исключен. Это происходит во многих других компаниях. Они должны верить, что есть небольшая вероятность, что это может произойти.

Фактически, участник дискуссии (Обезьяна ) кажется более уверенным, что-то будет найдено.

Это нормально, что у Monkey другое мнение от группы. Мы обсудим это позже - панели не нужно соглашаться!

2. Теперь делай свою работу, делай успехи как обычно.

Середина квартала посвящена достижению ваших целей, как обычно. Просто делай работу.

Как указывалось в наших целях, команда разрабатывает оповещения, реорганизует приложение для использования ролей AWS и развертывает Security Monkey. Надеюсь, они преуспеют и закончат их все!

Этот метод не влияет на повседневную работу, которую вы делаете. Это просто направляет работу к измеримому результату. Атакуйте риск, как обычно.

3. EOQ. Мы добились прогресса! Теперь мы сравним с базовой линией.

Мы решили сделать две вещи в конце квартала.

Во-первых, мы прилагаем все усилия, чтобы тщательно изучить журналы CloudTrail и посмотреть, сможем ли мы избавиться от любых инцидентов P0 в результате наших расследований.

Во-вторых, группа измеряет снова, за исключением нашей неопределенности на следующий квартал (Q4).

Наша панель вооружена новыми знаниями. Прогресс в этом квартале и результат охоты на CloudTrail сильно изменят наше мнение об этом сценарии.

Давайте предположим, что команда преуспела в своих других ключевых результатах, и оценка нарушения вернулась чистой.

Мы прогнозируем снова. Вот результаты.

Теперь мы можем наблюдать, насколько уверенность группа получила или потеряла, основываясь на их усилиях. В этом примере наши убеждения положительно пошли еще дальше в сторону уверенности (от 33%). Повлияла ли наша работа на уверенность нашей группы? Эта панель считает, что так.

В этом случае мы улучшили нашу уверенность в отношении этого риска. У нас количественное улучшение на 5% в правильном направлении.

4. Примите решение руководства, руководствуясь данными.

Теперь вы вооружены для эффективного принятия решений.

Это, по-видимому, предсказывает нарушение в одной из каждых десяти четвертей.

  • Это достаточно хорошо?
  • Мы хотим улучшить это дальше или укомплектуем другие риски?
  • Каков наш приемлемый порог?
  • Какое количество усилий и ресурсов нам нужно, чтобы превзойти его?

Почему этот подход?

Люди созданы для обработки разнородных источников информации и быстро усваивают новую информацию для принятия решений.

На протяжении всего квартала мы, несомненно, получим информацию, которая изменит наш уровень уверенности в отношении рисков, которые мы выбрали.

Эта информация поступает из разных мест: сама практическая работа, тенденции в отрасли, нарушения, возможно, отчеты об уязвимостях в других областях инфраструктуры, наши собственные исследования эксплойтов, твит с раскрытием бомбы и т. Д.

Однако наше доверие к этим источникам информации является динамичным. Мы не можем полагаться на отдельные статические метрики для представления нашего риска, потому что их ценность для принятия решений быстро меняется. Мы могли бы использовать нашу собственную уверенность в качестве прокси для этих рисков, которая, как известно, измерима, тщательно исследована, с растущим руководством по улучшению методов прогнозирования в качестве инструмента измерения.

Фактически, выявление экспертов является важным фактором в вероятностных оценках риска в других отраслях, таких как ядерная, аэрокосмическая и экологическая.

Это не ново, просто ново для нас.

Изоляция от рисков предвзятости.

Прогнозирование опасно, когда к нему нет строгости. Когнитивная предвзятость хорошо изучена, и эти результаты необходимо часто повторять. Существуют различные способы снижения риска плохого прогнозирования.

Исследования подтверждают, что прогнозирование может быть улучшено, когда:

  1. Участники дискуссии обучены думать вероятностно и о предвзятости.
  2. Участники группы объединились, чтобы объединить и смягчить воздействие предвзятости. Разнообразие в перспективе - это ключ!
  3. Участники дискуссии неоднократно сталкиваются с результатами своих прогнозов (калибровка). (Онлайн-тренинг, открытое суждение, калибровка доверия)
  4. Членам комиссии рекомендуется разбивать сценарий на более детализированные части, и им предоставляется прозрачный доступ к доступным данным, которые им необходимы для их понимания.
  5. Твердое понимание истинного «Черного лебедя». Они обманывают синоптиков.
  6. Не пытайтесь прогнозировать и смягчать каждый риск, будьте готовы к неизбежному провалу.
  7. Отсоедините повышение и заработную плату от OKR и прогнозируйте результаты, чтобы избежать мешков с песком, что уже является проблемой в управлении эффективностью работы сотрудников.

Простые запросы участников дискуссии о «быстро думайте!» Прогнозы, безусловно, дадут вам плохие результаты. Строгий подход требует более высокой стоимости измерений (собраний), но гораздо проще, чем методы с таблицами матрицы уродливого риска.

Но… я всегда «предполагаю нарушение», так что это не работает!

Вполне допустимо предположить, что вы нарушены. Я хотел бы дать любой организации очень высокую вероятность (99%), что где-то, с любой серьезностью, имеет какую-то состязательную активность в системе, которой они владеют. Вот что значит «предположить нарушение» для меня.

Однако вредно полагать, что каждый компонент каждой системы скомпрометирован каждым противником в любой момент времени. Рациональные люди, даже любители FUD, не заходят так далеко в глубокий конец.

Глубоко пессимистичный разум, который по-прежнему разумен, оставляет место для сомнений, более или менее других. Если вы уверены, что усилия отдельных людей улучшат риски, вы можете измерить это снижение неопределенности в вероятностных терминах. Например, пессимист не верит, что их работа ухудшает ситуацию.

Короче говоря, можно улучшить даже пессимистическую базовую линию, и наличие пары пессимистов в группе на самом деле очень, очень хорошая вещь.

Будущее оценки рисков и прогнозирования

В течение многих кварталов мы можем поддержать вероятностный метод еще дальше. Мы можем представить Red Teams, Brier Scores и отраслевую выборку, чтобы руководствоваться нашими прогнозами. Мы можем договориться о ценности данных и наблюдать за их колебаниями. Мы можем «Chatham House» или анонимно делать прогнозы, чтобы поделиться ими с коллегами по безопасности.

Мы можем использовать результаты прогнозов в моделировании по методу Монте-Карло, что позволяет нам извлекать уроки и опыт из НАСА, ядерного лицензирования и других областей, которые выходят за рамки кибербезопасности, для понимания экстремальных рисков.

Для организаций существует множество возможностей для применения практики прогнозирования рисков. Огромная энергия не нужна, чтобы дать хорошие результаты. Начиная с малого, например с ОКР на основе рисков, можно явно снизить риск для вашей организации и вывести свою организацию на путь количественного риска.

Вывод

ОКР - это общий способ руководства командой инженеров. Создание ОКР, которые совместимы с методами оценки и прогнозирования, могут позволить нам лучше оценить прогресс в снижении рисков.

Эти методы не влияют на то, «как» команда выполняет свою работу, она просто измеряет, «сколько» может измениться в результате. Если в настоящее время у вас нет метода измерения риска, тогда любой количественный метод должен работать лучше, чем у вас. Эта стратегия оказывает минимальное влияние на инженерные практики, ориентируя команду на измеримую степень снижения риска.

Дальнейшее чтение

Прогнозирование риска: презентация высокого уровня по этому методу.

Простой анализ риска: глубокое погружение в прогнозирование риска.

Killing Chicken Little: Изучение ограничений и возможностей прогнозирования рисков.

Разложение риска безопасности на сценарии: разбивка рисков на иерархию сценариев, от широких до более детальных сценариев.

Думая быстро и медленно: Нобелевская премия исследования человеческих ошибок познания, в основном в форме предвзятости.

Суперпрогнозирование: исследование того, как ошибки познания могут быть смягчены и превращены в эффективные команды прогнозирования.

Как измерить что-либо в риске кибербезопасности: Отличный источник защиты прогнозирования как метода измерения. Сильные дебаты, которые продвигают роль измерения в принятии решений.

Райан МакГиэн пишет о безопасности на Medium.