АНОРМАЛЬНОСТЬ(beta)
Юрий Клочко

Анормальность

Книга для тех, кому недостаточно фактов

Пролог. Зелёный

Понедельник, восемь утра. Экран.

Выручка в плане. Запасы в норме. Дебиторка под полным контролем.

Критическая поставка подтверждена на четверг.

Все показатели зелёные, все данные сверены.

И всё же вы знаете, что что-то не так.

Вам знаком этот зелёный.

Так было в прошлом квартале, за неделю до того, как другой поставщик сорвал отгрузку. Так было в марте, за месяц до того, как регион, выполнявший план, вдруг его провалил. Каждый раз экран был спокоен, и каждый раз он оставался спокойным до последнего дня.

Сводка руководителя · понедельник, 14 сентября · обновлено 07:58Период: неделя 37Подразделение: всеВалюта: ₽
Выручка по регионам, млн ₽ факт / план, неделя 37
Критические поставки ближайшие 7 дней
ПоставщикСрокСтатус
4471Sчт 17.09подтверждена
4468Kср 16.09в пути
4473Mпт 18.09подтверждена
4475Sпн 21.09план
Источники: ERP, CRM, DWH · данные сверены 14.09 07:40Отклонений от плана: 0

Зелёный не врёт. Он честно говорит, что ничего не произошло.

Ничего не произошло пока.

Такая тишина не успокаивает, а настораживает. Если всё спокойно, значит, вы просто ещё что-то не увидели.

Закупки говорят, что поставщик попросил изменить порядок оплаты. Их менеджер отвечает медленнее, но зато чаще звонит сам и заверяет, что всё в порядке. Перевозчик дважды перенёс отправку.

У каждой детали есть объяснение, и ни одна ничего не доказывает. На экране по-прежнему ничего не изменилось.

Закупки добавляют, что у резервного поставщика есть свободное производственное окно. Придержать его можно за небольшую плату, но ответ нужен сегодня до четырёх.

В четверг вы будете знать больше. Решать нужно сегодня.

Дело не в том, что было. Об этом экран знает всё. Дело в том, что будет, а об этом не знает ни одна его строка.

То, что вы сейчас чувствуете, вы называете «чуйкой». На самом деле это вопрос.

Изменилось ли что-то у поставщика, и достаточно ли того, что мы видим, чтобы действовать раньше, чем это станет фактом?
Часть первая

Норма

Норма — известная модель обычного мира.

1. Подтверждённый мир

Компании любят данные с установленным качеством. Это разумно.

Сколько на складе ТМЦ, можно пересчитать. Сколько отгружено продукции, видно по накладной. Показания датчика имеют известный способ контроля и поверки.

Так возникает подтверждённый мир предприятия. Хранилища данных, справочники НСИ, реестр показателей. Мы всё лучше знаем то, что уже произошло.

Проблема начинается, когда нужно решить, что делать с тем, что ещё не стало фактом.

Поставщик пока выполняет договор, но меняет поведение. Клиент ещё не ушёл, но уже ведёт себя иначе. Конкурент ничего не объявил, но нанимает людей совсем другого профиля.

Такие сведения слабые не потому, что обязательно ложны. У них просто несколько прочтений. Просьба о предоплате может означать новые правила, а может означать нехватку денег. Перенос машины объясняется маршрутами, а может объясняться отсутствием груза.

И система правильно не превращает такое наблюдение в бухгалтерский факт. Опасность возникает на следующем шаге.

Если у сведений нет однозначной интерпретации, ими будто бы нельзя пользоваться вообще.

Именно здесь начинается слепая зона.

Вы управляете не всей реальностью, а той её частью, которую умеете контролировать и читать одним способом.

Большие изменения, и угрозы, и возможности, почти всегда рождаются раньше, в тот момент, когда у них ещё несколько прочтений. Это не дефект раннего сигнала. Это его природа.

2. Сигнал тонет не в тишине

Седьмого декабря 1941 года Япония атаковала Пёрл-Харбор. Позднее восстановила информационную картину перед атакой и пришла к неприятному выводу. Предупреждений было немало. Их было очень много.

Именно поэтому нужное трудно было отличить от фоновых тревог, дипломатических манёвров и множества других правдоподобных сценариев.

После события правильные сигналы кажутся очевидными. До события они выглядят как несколько сообщений среди сотен.

Бизнес часто говорит, что ему не хватило данных. Но письмо было. Необычная транзакция была. Странный разговор был, и клиент уже начал вести себя иначе. Просто каждое наблюдение по отдельности получало спокойное объяснение.

Сигнал редко приходит с надписью «СИГНАЛ». Чаще он выглядит как шум, который почему-то изменил форму.

Сорок объектов, один изменил форму. Слева — сырые ряды. Справа — отклонение каждого ряда от его собственных прошлых сорока недель, измеренное медианой и MAD, чтобы выброс не размывал норму. Один ряд уходит за порог при обычном для всех абсолютном значении.

3. Факт приходит последним

Представим простую последовательность.

Поставщик испытывает трудности. В первый день это знают два человека внутри его компании. На третий день меняется что-то незначительное. Закупки начинают просить предоплату, один рейс переносится, менеджер избегает конкретного срока.

Через неделю изменения начинают замечать контрагенты. Через две появляется первая публикация. Через месяц срывается поставка. Ещё позже событие попадает в вашу отчётность.

На каждом шаге уверенность растёт, но вместе с ней уменьшается свобода действия. Когда проблема стала бухгалтерским фактом, резервное окно уже занято.

Это фундаментальная асимметрия управления.

Чем надёжнее информация о будущем событии, тем меньше времени остаётся на решение.

Факт фиксирует произошедшее. Оценка позволяет действовать раньше. Разница между ними и есть фора.

Из этой асимметрии следует, кому достаётся выигрыш. Все участники рынка получат подтверждённый факт одновременно, в четверг. Различие между ними возникает раньше, в понедельник, когда факт ещё допускал три прочтения и кто-то один решил их разобрать. Тот, кто научился читать сигналы на этой стадии, не защищается от неожиданностей. Он получает недели форы там, где остальные ждут подтверждения.

Поэтому вопрос «достоверно ли это?» для раннего предупреждения часто поставлен неправильно. Нужен другой.

Достаточно ли того, что мы видим, чтобы изменить действие?

Это не призыв верить слухам. Наоборот. Для работы со слабой информацией нужна более строгая дисциплина, чем для работы с проверенной.

И такая дисциплина давно существует. Её пришлось создать тем, кто профессионально принимает решения в мире, где полных и достоверных данных почти никогда нет.

Разведке.

И нам нужна разведка, а точнее её методология.

И вот появляется состояние, для которого у бизнеса почти нет языка. Значения ещё укладываются в норму, но связи, ритмы и способы ошибки, делавшие эту норму устойчивой, уже начинают ломаться. Мир ещё выглядит прежним и уже перестал им быть.

Анормальность начинается раньше аномалии.

Эта книга о том, как увидеть именно этот промежуток и успеть использовать его до того, как изменение получит имя.

Факт приходит последним. Двигайте день: слева — сколько уверенности уже есть, справа — сколько вариантов ещё осталось. Скорость подтверждения задаёт, как быстро событие становится фактом; окно решения от неё не расширяется, только сдвигается.

Часть вторая

Невязка

Невязка — факты ещё могут быть верными, но совокупность наблюдений уже не укладывается в прежнюю модель.

4. Не спрашивайте: «Правда ли?»

Получив непроверенное сообщение, обычный руководитель пытается решить, верить ему или нет. Это почти всегда слишком грубая операция.

В профессиональной разведывательной практике отдельно оценивают как минимум две вещи: насколько надёжен источник и насколько правдоподобно конкретное сообщение. Это разные вопросы.

Источник может много лет давать точные сведения и однажды ошибиться. Неизвестный источник может впервые сообщить правду.

В надёжность источника оценивается отдельно от качества конкретной информации. Получается комбинация вроде B2 или C3.

Смысл не в буквах. Смысл в запрете на простую мысль.

«Я доверяю человеку, значит, сообщение верно».

Теперь вернёмся к поставщику. Допустим, его собственный производственный отчёт систематически завышает готовность. Раньше вы могли сказать, что данным поставщика доверять нельзя. Аналитик задаст другой вопрос.

Как именно этому источнику нельзя доверять?

Он завышает уровень? С какой задержкой отражает проблему? В каких ситуациях ошибается сильнее? Что сообщает точно, а о чём предпочитает молчать?

И главное. Когда позднее появляется физический факт, реальная отгрузка, платёж или прибытие машины, насколько ранний сигнал был с ним связан?

Так появляется паспорт источника. Не моральная оценка «честный или нечестный», а описание канала наблюдения. У него есть задержка, смещение, шум, пропуски, зависимость от других источников и область, в которой он полезен.

Ненадёжность перестаёт быть бинарным признаком и становится измеримой характеристикой канала.

И здесь появляется первая неочевидная мысль этой книги.

Источник может быть плохим измерителем уровня и хорошим детектором изменения.

Паспорт источника. Отчёт поставщика против реальности, которая становится известна позднее. Задержка находится как сдвиг, при котором ряды совпадают лучше всего; смещение — как медиана отношения. Три числа вместо «верить / не верить».

5. Один источник в семи зеркалах

В начале 2000-х американское разведывательное сообщество получило подробные сообщения о мобильных иракских установках для производства биологических агентов. Главным источником был иракский перебежчик с кодовым именем .

Его сообщения циркулировали по системе, включались в аналитические продукты, пересказывались через разные структуры и создавали ощущение широкой доказательной базы. После войны выяснилось, насколько сильно ключевой вывод зависел от одного источника и насколько недостаточно ясно эта зависимость была доведена до принимающих решения.

Здесь важен не Ирак. Важна архитектура ошибки.

Пять сайтов могут перепечатать один материал. Три отчёта могут использовать один исходный фид. Два знакомых могут пересказать один и тот же разговор. Сообщение способно пройти через несколько организаций, потерять происхождение и вернуться как «ещё одно подтверждение».

Поэтому первый вопрос звучит не как «сколько сообщений?».

Сколько независимых способов увидеть реальность у нас на самом деле есть?

Это меняет смысл слова «много».

Представьте, что до появления новых сведений вы считали серьёзную проблему у поставщика маловероятной, скажем, на десять процентов. Приходит один слабый, но полезный сигнал. Не доказательство, просто наблюдение, которое заметно чаще встречается, когда проблема действительно есть. Ваша оценка может подняться, например, до двадцати пяти процентов.

Теперь представьте, что приходит ещё шесть таких же сигналов, и каждый получен действительно независимо. Другой канал, другой механизм, другой наблюдатель, другая причина ошибки. Совместно они способны изменить картину радикально.

А теперь представьте другое. Вы увидели семь сообщений, но все семь оказались перепечатками первого. Тогда у вас не семь подтверждений, а по-прежнему одно.

Количество текстов выросло в семь раз. Количество знания не выросло.

Вот зачем нужно . Не как аккуратная подпись к данным, а как способ не перепутать эхо с подтверждением.

Если пять стрелок сходятся к одной точке в начале, у вас не пять свидетельств. У вас один источник в пяти зеркалах. И иногда именно это отделяет осторожное подозрение от ложной уверенности.

Один источник в семи зеркалах. Нажимайте на сообщения: серые восходят к одной публикации и считаются как одно, синие — независимые каналы. Шансы умножаются только на независимые свидетельства.

М1. Почему семь независимых сигналов — не то же самое, что семь копий одного

Это математическое дополнение к главе «Один источник в семи зеркалах».

Пусть исходная вероятность гипотезы (H) равна 10%.

Удобно перейти к шансам:

\[ O(H)=\frac{P(H)}{1-P(H)}=\frac{0.1}{0.9}=\frac19. \]

Пусть наблюдение (E) втрое вероятнее, если гипотеза верна, чем если она неверна:

\[ LR=\frac{P(E\mid H)}{P(E\mid \neg H)}=3. \]

Тогда после одного сигнала:

\[ O(H\mid E)=O(H)\times LR=\frac13. \]

Шансы (1:3) соответствуют вероятности 25%.

Если появляется семь условно независимых свидетельств той же силы:

\[ O(H\mid E_1,\ldots,E_7)=\frac19\times3^7=243. \]

Это даёт вероятность примерно:

\[ P(H\mid E_1,\ldots,E_7)=\frac{243}{244}\approx99.6\%. \]

Но если семь сообщений являются копиями одного исходного свидетельства, множитель (3^7) применять нельзя.

Остаётся один (LR=3).

И вероятность остаётся 25%.

Именно поэтому provenance имеет математическое значение: зависимость между сообщениями определяет реальный объём свидетельства.

6. То, что не меняется

Теперь главная идея книги.

Поставщик сообщает, что готово 4 200 единиц. Правда это или нет?

Возможно, сегодня проверить нельзя. Но у вас есть два года его сообщений, а позднее появятся и реальные отгрузки. И постепенно вы начинаете видеть не числа, а поведение канала. Его обычный разброс, сезонность, ритм подтверждений. Задержку между обещанием и отгрузкой, обычное завышение, обычную связь с перевозчиком.

То есть то, что при прежнем режиме оставалось устойчивым.

Назовём это инвариантом наблюдения, не физической константой, а просто отношением, которое сохраняется, пока система живёт привычным образом.

И тогда вопрос меняется.

«Он ошибается так же, как ошибался всегда?»

Если поставщик два года завышал готовность примерно одинаково, а теперь характер ошибки изменился, это наблюдение. Если подтверждение всегда приходило за два дня до отгрузки, а теперь приходит за шесть часов, изменился ритм. Если два источника обычно расходились на пятнадцать процентов, а сегодня совпали до последней единицы, исчез привычный люфт.

Нам ещё не обязательно знать истинное значение. Достаточно увидеть, что сломалось то, что прежде было устойчивым.

Поэтому ненадёжный источник иногда остаётся хорошим детектором изменения. Для раннего предупреждения стабильность его ошибки может быть важнее точности отдельного числа.

Аналитика анормальности начинается не с вопроса о том, какое число неправильное, а с другого.

Что в этом мире обычно не менялось, и не сломалось ли это сейчас?

Инвариант. Два источника искажают в разные стороны и не согласны ни в одной точке. Их недельные изменения совпадают ровно в ту неделю, когда что-то произошло. Двигайте смещения — правый график не меняется.

М2. Почему устойчивое искажение не всегда мешает видеть изменение

Дополнение к главе «То, что не меняется».

Если наблюдение имеет постоянное аддитивное смещение:

\[ Y_t=X_t+b+\varepsilon_t, \]

где (X_t) — истинный процесс, (b) — постоянное смещение канала, а (\varepsilon_t) — шум, то первая разность даёт:

\[ \Delta Y_t=\Delta X_t+\Delta\varepsilon_t. \]

Постоянное смещение (b) исчезает.

Если искажение процентное, разумнее использовать мультипликативную модель:

\[ Y_t=aX_t e^{\varepsilon_t}. \]

После логарифмирования:

\[ \log Y_t=\log a+\log X_t+\varepsilon_t. \]

И для разностей:

\[ \Delta\log Y_t=\Delta\log X_t+\Delta\varepsilon_t. \]

Постоянный множитель (a) тоже исчезает.

Это не означает, что любой плохой источник автоматически становится хорошим.

Если смещение само дрейфует, меняется с контекстом или сознательно управляется, его уже нельзя считать инвариантом. Но тогда изменение самого механизма ошибки становится объектом анализа.

7. Аномалия — это сломанное ожидание

Слово «аномалия» часто понимают слишком просто. Большое число, резкий скачок, точка за три сигмы.

Но большое число может быть нормальным в декабре и тревожным в июле. Падение трафика ночью укладывается в суточный цикл. Рост продаж после кампании и вовсе ожидаемое поведение. Само отклонение ещё ничего не означает.

Аномалия возникает не относительно среднего. Она возникает относительно ожидания. Не «сколько обычно продаём?», а «сколько обычно продаём в такой день недели, в этом сезоне, при такой цене и в таком регионе?».

Норма не сводится к одному числу. Это описание мира, который мы считаем обычным при данных условиях. Диапазон, ритм, сезонность, связи, задержки, привычные ошибки.

Аномалия не диагноз. Не «поставщик банкрот» и не «рынок разворачивается». Она означает только одно.

Мы больше не имеем права объяснять происходящее так же, как объясняли его вчера.

Это и есть момент начала расследования.

Сломанное ожидание. Серая полоса — то, чего ждали в эту неделю года. Июльская точка — аномалия, хотя она ниже январских значений. Общий порог «среднее плюс два сигма» её пропустил бы.

М3. Как формально описать «сломанное ожидание»

Дополнение к главе «Аномалия — это сломанное ожидание».

Пусть модель нормального режима для контекста (c_t) предсказывает ожидаемое значение (m(c_t)).

Тогда остаток:

\[ r_t=Y_t-m(c_t). \]

Именно остаток, а не исходное значение, разумно сравнивать с исторической нормой.

Для робастной оценки можно использовать медиану и MAD:

\[ z_t^{rob} = \frac{r_t-\operatorname{median}(r)} {1.4826\,MAD(r)}. \]

Коэффициент 1.4826 приводит MAD к масштабу стандартного отклонения для нормального распределения.

Но порог сам по себе не превращает точку в содержательную аномалию. Для реальных временных рядов нужно учитывать сезонность, автокорреляцию, дрейф, смену дисперсии и множественное тестирование.

Смысл формулы только один:

сравнивать наблюдение надо с тем, что ожидалось именно в этом контексте.

8. Редкость — ещё не доказательство

Здесь проходит граница, которую легко пропустить.

Есть два разных вопроса. Насколько странно то, что мы увидели? И насколько увиденное поддерживает одну версию мира против другой? Это не одно и то же.

Событие может происходить один раз на сто тысяч случаев и всё равно почти одинаково плохо объясняться двумя конкурирующими гипотезами. Оно очень странное, но мало помогает выбрать между версиями. И наоборот, маленькая деталь может оказаться решающей, если при одной версии она естественна, а при другой почти невозможна.

Просьба о предоплате тревожит, но её объясняют и финансовые проблемы, и новая кредитная политика, и требования банка. А отсутствие назначенной машины именно под вашу якобы готовую партию разделяет версии гораздо лучше.

Необычность привлекает внимание. Диагностичность меняет мнение.

Аномалия говорит «посмотри сюда». Свидетельство говорит, что эта версия мира объясняет увиденное лучше другой.

Путать яркость сигнала с его доказательной силой — одна из самых дорогих аналитических ошибок.

М4. Неожиданность и доказательная сила — две разные величины

Дополнение к главе «Редкость — ещё не доказательство».

Если в нормальном мире (H_0) наблюдение (E) имеет вероятность (P(E\mid H_0)), его неожиданность можно измерить self-information:

\[ I(E)=-\log_2 P(E\mid H_0). \]

Чем событие реже, тем больше бит неожиданности.

Но для выбора между двумя гипотезами нужна другая величина — отношение правдоподобий:

\[ LR(E)=\frac{P(E\mid H_1)}{P(E\mid H_0)}. \]

Или его логарифм:

\[ W(E)=\log LR(E). \]

Если событие имеет вероятность (10^{-5}) при (H_0), оно очень необычно.

Но если при (H_1) вероятность равна (2\times10^{-5}), то:

\[ LR=2. \]

Событие чрезвычайно редкое, но лишь вдвое лучше объясняется второй гипотезой.

Поэтому:

отвечает на вопрос «насколько это странно?», likelihood ratio — «какую версию это поддерживает?»

9. Хор ненадёжных

Один слабый источник может ошибаться. Но что, если одно и то же изменение видно из трёх разных мест?

Поставщик меняет условия оплаты. Перевозчик фиксирует необычный ритм вывоза. Ваша закупочная система видит срочный заказ компонента, который обычно покупают заранее.

Каждый канал несовершенен, но причины их ошибок различны. Совпадение становится интересным не потому, что три слабых источника магически превратились в один достоверный, а потому, что один сдвиг проявился через три разных механизма наблюдения.

Ключевое слово здесь «разных».

Если отраслевой портал получил сообщение от поставщика, знакомый пересказал портал, а обзор сослался на знакомого, это одна ветка. Если три показателя зависят от одного сбоя ERP, это тоже одна ветка.

Хорошая система не считает голоса. Она считает независимые способы увидеть реальность.

И здесь появляется обратная аномалия. Источники, которые годами расходились, вдруг начинают говорить одинаково. Независимые оценки используют одну и ту же странную формулировку. Конкурирующие поставщики синхронно меняют условия.

Мы привыкли считать согласованность качеством. Но у независимых источников естественен люфт, и иногда слишком хорошее совпадение оказывается самым странным сигналом из всех.

Когда хор вдруг запел идеально, стоит поискать дирижёра.

Хор. Три шумных независимых канала. Сдвиг, невидимый ни в одном из них, накапливается в сумме и пересекает порог. И обратное: когда источники, обычно расходившиеся, вдруг совпадают идеально — люфт независимых ошибок исчез.

М5. Как складываются независимые свидетельства

Дополнение к главам «Хор ненадёжных» и «Гипотезы должны конкурировать».

В odds-форме правило Байеса выглядит просто:

\[ O(H\mid E_1,\ldots,E_n) = O(H)\prod_i LR_i. \]

В логарифме:

\[ \log O(H\mid E_1,\ldots,E_n) = \log O(H)+\sum_i\log LR_i. \]

То есть независимые свидетельства буквально складывают вес доказательства.

Если наблюдение одинаково вероятно при двух гипотезах:

\[ P(E\mid H_a)=P(E\mid H_b), \]

то:

\[ LR=1,\qquad \log LR=0. \]

Такое наблюдение может быть ярким, необычным и дорогим в сборе — но оно не различает гипотезы.

Для зависимых свидетельств простое перемножение применять нельзя: зависимость нужно моделировать явно.

В грубой симметричной модели равно коррелированных измерений эффективное число независимых наблюдений можно приблизительно выразить как:

\[ n_{eff}\approx\frac{n}{1+(n-1)\rho}, \]

где (\rho) — средняя корреляция ошибок.

При (n=10) и (\rho=0.8):

\[ n_{eff}\approx1.22. \]

Это не универсальная поправка, а иллюстрация одной мысли:

десять сильно зависимых каналов могут содержать лишь немного больше информации, чем один независимый.

10. То, чего нет

Самые интересные сигналы иногда не появляются. Они исчезают.

Поставщик каждую неделю присылал уточнение графика и перестал. Конкурент каждую весну начинал набор, а в этом году тишина. Канал ежедневно давал тысячу событий; теперь даёт восемьсот, и все восемьсот выглядят идеально.

Обычная аналитика легко это пропускает. Нет строки, нет события. Но если событие ожидалось, его отсутствие само становится наблюдением.

Один пропуск может быть случайностью. Три подряд при почти безупречном многолетнем ритме уже нарушение режима.

Ничего не произошло. И именно поэтому произошло что-то важное.

Но тишина, как и любой другой сигнал, не даёт готового диагноза. Она требует вопроса.

Какая версия мира лучше объясняет именно это отсутствие?

Разведывательная практика делает следующий ход заранее. Если наша гипотеза верна, что должно появиться дальше? Что исчезнуть? Что уже должно было случиться, но не случилось?

Так аналитик перестаёт только объяснять прошлое. Он записывает, как должен вести себя будущий мир, если его версия верна, и ждёт. В этот момент гипотеза превращается в систему раннего предупреждения.

То, чего нет. Канал отдавал около тысячи событий в день и стал отдавать восемьсот. Каждое из восьмисот нормально. Покрытие — нет.

М6. Сколько весит тишина

Дополнение к главе «То, чего нет».

Если ожидаемое еженедельное сообщение приходит с вероятностью 98%, вероятность одного пропуска равна:

\[ q=0.02. \]

Если причины пропусков независимы, три пропуска подряд:

\[ q^3=0.02^3=8\times10^{-6}. \]

То есть примерно один случай на 125 000 таких троек.

Неожиданность этого наблюдения:

\[ -\log_2(8\times10^{-6})\approx16.9\text{ бит}. \]

Отсюда фраза из книги: «тишина тоже имеет вес».

Но если три пропуска имеют одну общую причину, произведение вероятностей использовать нельзя.

И даже 16.9 бит неожиданности не доказывают конкретную гипотезу, пока не сравниваются вероятности такой тишины при конкурирующих объяснениях.

Часть третья

Сборка

Сборка — из неполных и неоднородных свидетельств формируется связная структура источников, зависимостей, версий и различающих признаков.

11. Концепция, которая убивает

Шестого октября 1973 года Египет и Сирия атаковали Израиль. Перед войной тревожные признаки были видны, но значительная часть их читалась через уже сложившуюся систему представлений, которую называли Концепцией.

Если исходное допущение говорило, что война сейчас маловероятна, подготовка получала удобные объяснения. Учения, давление, демонстрация.

Для нас важен механизм. Плохое допущение превращает хорошие данные в плохой вывод.

У бизнеса свои Концепции. «Этот поставщик надёжен, десять лет работаем». «Этот клиент никогда не уйдёт». «Если бы проблема была серьёзной, мы бы уже увидели её в отчётности».

Поэтому после устойчивого слома ожидания полезнее сначала спросить о другом.

Какое наше представление о мире должно быть верным, чтобы происходящее всё ещё считалось нормальным?

А затем спросить, что будет, если оно больше неверно.

Анормальность ценна тем, что атакует не число. Она атакует модель мира.

12. Гипотезы должны конкурировать

Самая опасная версия — та, которая первой достаточно хорошо объяснила происходящее. После неё мозг начинает собирать подтверждения.

Разведаналитики формализовали защиту от этого в методе . Но принцип проще названия. Не защищайте одну историю, заставьте несколько историй конкурировать за одни и те же наблюдения.

Просьба о предоплате тревожит, но объясняет сразу несколько версий. Перенос машин тоже может быть и производством, и перевозчиком. А затем появляется маленькая деталь.

Машина под вашу конкретную партию не назначена.

Если партия готова и проблема только в расписании перевозчика, это неудобное наблюдение. Если партия не готова, оно естественно.

Хороший анализ не накапливает подтверждения. Он сокращает число объяснений, способных пережить наблюдаемое.

Не ищите то, что подтверждает вашу версию. Ищите то, что разделяет версии.

Понедельник в одной таблице. C — совместимо, I — несовместимо. Побеждает столбец с наименьшим числом I. Одна строка различает версии: машина под партию не назначена.

13. Назначенный скептик

У альтернативной версии на совещании есть одна проблема. У неё нет должности.

Поэтому сомнение лучше сделать не чертой характера, а функцией процесса. В разведанализе для этого существует . Кто-то обязан построить лучшую версию против преобладающего объяснения.

Если всем нравятся семь подтверждений, он проверяет, не одно ли это эхо. Если все спокойны, спрашивает, что должно было появиться, но исчезло. Если модель выдаёт 97,3%, выясняет, чем эта уверенность произведена.

Формальное поручение можно сократить до одной строки.

Найди, где наша уверенность произведена самой моделью, а не реальностью.

Это не спор с начальником. Это контроль качества мышления.

14. Тот же метод, другой знак

Анормальность не обязана быть угрозой.

Представьте страницу сайта, которая третью неделю конвертирует около шести процентов при обычных одном–полутора. Это не красная лампа, поэтому такой сдвиг легко оставить без расследования. Но метод тот же.

Боты? Ошибка трекинга? Неучтённая кампания? Или на странице действительно появилось что-то, что работает лучше?

После проверки технических объяснений остаётся рабочая гипотеза. Необычный длинный отзыв клиента меняет поведение посетителей. Это ещё не истина, а версия, которую теперь можно проверить экспериментом на других страницах. Если эффект повторяется, случайная положительная анормальность превращается в новое знание о системе.

Возможность тоже начинается раньше, чем получает название.

Если аналитика ищет только угрозы, она превращается в службу безопасности. Настоящий метод симметричен. Он ищет смену режима независимо от знака.

Тот же метод, другой знак. Триста страниц одного типа задают распределение. Одна неделя за квантилем — выброс; три подряд — режим. Математика та же, что для угроз.

Часть четвёртая

Оценка

Оценка — обоснованное представление о том, что происходит и что вероятнее всего последует. Не истина и не факт, а рабочая оценка.

15. Слова, которые весят

Одна из старых проблем разведанализа звучит почти комично. Что означает слово «вероятно»?

показывал, что разные люди вкладывают в одинаковые слова очень разные вероятности.

Представьте записку, в которой сказано, что существует серьёзный риск срыва поставки. Что делать? Резервировать, переключаться или ждать? Фраза не отвечает.

Поэтому аналитический продукт должен разводить то, что корпоративные записки обычно смешивают. Наблюдение, вывод, вероятность, качество оснований, альтернативы, условие пересмотра и действие.

Можно считать событие вероятным, но иметь слабые основания. Можно считать его маловероятным и быть весьма уверенным в этой оценке.

Фраза «есть риск» не аналитический продукт. Это уведомление о тревоге.

Но даже хорошо оценённая вероятность ещё не финал. Организация существует не для того, чтобы правильно угадывать проценты. Она существует, чтобы правильно действовать.

16. Не вероятность. Граница

Вернёмся к резервному окну до четырёх.

Срыв поставки дорог. Резерв стоит денег, но сохраняет вариант. Полное переключение ещё дороже, зато почти убирает последствия срыва.

Можно долго спорить о точной вероятности проблемы. Но сначала нужен другой вопрос.

При какой вероятности нам вообще следует менять действие?

Для нашей условной экономики получаются две границы. Примерно до 14% рациональнее ничего не делать. От 14% до 80% стоит сохранить основного поставщика, но купить резерв. Выше 80% выгоднее переключиться полностью.

Это не универсальные числа. Универсален сам принцип.

Теперь команда говорит, что честный диапазон риска от 20 до 60%. Для любителя точных цифр это выглядит плохо. Для решения этого достаточно. Весь диапазон лежит в одной зоне, и зона эта называется «резервировать». Значит, дополнительная точность сейчас ничего не меняет.

И здесь появляется, возможно, самый важный объект книги.

Не вероятность события, а расстояние до границы, где действие должно измениться.

Далеко от границы спор о нескольких процентах почти бесполезен. Рядом с ней слабое новое свидетельство способно поменять решение. Один и тот же сигнал поэтому имеет разную управленческую ценность в разных точках.

Слабого основания может хватить, чтобы купить дешёвый резерв. Для полного отказа от поставщика потребуется доказательство совсем другой силы. Разные действия требуют разной уверенности.

Система раннего предупреждения должна спрашивать не только о том, насколько вероятна проблема.

Сколько ещё оснований нужно, чтобы рационально действовать иначе?

Граница. Ожидаемые потери трёх действий как функции вероятности. Действие меняется только на 14 и на 80. Диапазон команды 20–60 целиком внутри одной зоны. Справа — что даст экспресс-проверка при текущей оценке.

М7. Откуда берутся границы 14,3% и 80%

Дополнение к главе «Не вероятность. Граница».

Пусть (p) — вероятность срыва.

Условные ожидаемые потери трёх действий:

Ничего не делать:

\[ L_0(p)=10p. \]

Зарезервировать альтернативную мощность:

\[ L_1(p)=1+3p. \]

Полностью переключиться:

\[ L_2(p)=3+0.5p. \]

Первая граница находится из равенства:

\[ 10p=1+3p. \]

Отсюда:

\[ p=\frac17\approx14.3\%. \]

Вторая:

\[ 1+3p=3+0.5p, \]

откуда:

\[ p=0.8. \]

Поэтому в этой условной модели:

  • ниже 14,3% — ничего не делать;
  • от 14,3% до 80% — резервировать;
  • выше 80% — переключаться.

Главное здесь не сами числа.

Требуемая точность вероятности определяется тем, насколько близко вы находитесь к границе смены действия.

Если исходная вероятность равна 10%, её odds равны (1/9).

Граница резервирования (1/7) соответствует odds (1/6).

Чтобы перейти от (1/9) к (1/6), достаточно отношения правдоподобий:

\[ LR=\frac{1/6}{1/9}=1.5. \]

Слабого свидетельства может хватить для изменения действия.

Чтобы перейти от 10% сразу к 80%, нужны odds 4 вместо (1/9):

\[ LR=\frac{4}{1/9}=36. \]

То есть разным решениям действительно требуется разная сила доказательства.

17. Цена проверки

Теперь понятно, когда имеет смысл собирать ещё информацию. Не когда нам любопытно и не когда хочется чувствовать себя увереннее. А когда новая информация способна перевести нас через границу действия.

Пусть текущая оценка риска около сорока процентов, и мы резервируем. Есть экспресс-проверка готовности партии. Тревожный результат способен перевести оценку выше границы полного переключения, спокойный опустит её ниже границы, где резерв вообще нужен.

Вот полезная проверка. Её возможные ответы ведут к разным действиям.

Теперь её цену можно сравнить с ожидаемой пользой. Если более правильный выбор в среднем стоит больше проверки, проверяем. Если меньше, нет.

И есть ещё цена времени. Точный ответ, пришедший после закрытия резервного окна, может стоить меньше грубого ответа, полученного за двадцать минут.

Мы привыкли считать хорошей информацию, которая уменьшает неопределённость. Но для управления этого недостаточно.

Информация ценна, если способна изменить действие до того, как действие станет невозможным.

Вот где заканчивается аналитика ради знания и начинается аналитика ради выбора.

М8. Как посчитать цену дополнительной проверки

Дополнение к главе «Цена проверки».

Пусть текущая вероятность проблемы:

\[ P(H)=0.4. \]

Тест имеет чувствительность 80%:

\[ P(+\mid H)=0.8, \]

и ложноположительную вероятность 10%:

\[ P(+\mid\neg H)=0.1. \]

Вероятность тревожного результата:

\[ P(+)=0.8\times0.4+0.1\times0.6=0.38. \]

После тревожного результата:

\[ P(H\mid+) = \frac{0.8\times0.4}{0.38} \approx84.2\%. \]

После спокойного:

\[ P(H\mid-) = \frac{0.2\times0.4} {0.2\times0.4+0.9\times0.6} \approx12.9\%. \]

То есть положительный результат переводит нас выше границы полного переключения, а отрицательный — ниже границы резервирования.

Без теста при (p=0.4) оптимально резервирование:

\[ L_1(0.4)=1+3\times0.4=2.2. \]

После теста ожидаемые потери при оптимальном действии в каждом исходе составляют примерно 2.1 условной единицы.

Ценность теста до его стоимости — около 0.1.

Если проверка стоит меньше этого и не уничтожает окно решения, она имеет положительную ожидаемую ценность.

18. До четырёх

В половине третьего на стол руководителю ложится одна страница. Не сорок слайдов, не дашборд и не выгрузка. Одна страница.

Поставщик S · поставка №4471понедельник, 14:30
Нужно ли сегодня до 16:00 оплатить резервную производственную мощность?
Оценка
Срыв основной поставки не установлен. Поведение поставщика изменилось относительно обычного режима. Часть логистических отклонений объясняется перестройкой маршрутов. Готовность партии и назначение транспорта не подтверждены.
Что сломалось
Ритм подтверждений, условия оплаты и характер ответа на конкретные вопросы — три разных типа отклонений от прежнего режима.
Живые версии
Производственная проблема; финансовая проблема; нормальная перестройка условий. Версия «только перевозчик» ослабла после проверки других маршрутов.
Происхождение
Публикации сведены к одной группе источника. Данные перевозчика и внутренние закупочные наблюдения — отдельные каналы.
Вероятность
Точная оценка неустойчива; рабочий диапазон 20–60 % лежит внутри зоны, где резервирование остаётся оптимальным действием.
Рекомендация
Сохранить основную поставку и оплатить ограниченный резерв.
Что изменит действие
Независимое подтверждение физической готовности партии и назначенного времени погрузки до 15:30.
Следующий шаг
Если подтверждение не получено — резервировать. Если получено — пересчитать оценку до 15:45.

Вот и весь продукт.

Он не обещает узнать истину к четырём. Он обещает подготовить решение к четырём. Это принципиальная разница.

В обычной аналитике работа часто заканчивается выводом. В аналитике аномалий вывод — только промежуточное звено между изменением мира и действием.

Часть пятая

Фора

Фора — время между моментом, когда оценки уже достаточно для действия, и моментом, когда всё станет очевидным для остальных.

19. Два контура

Если построить только систему обнаружения аномалий, через год она начнёт раздражать всех. Тревог станет много, часть окажется пустой, часть событий система пропустит, и люди научатся обходить уведомления.

Поэтому нужен второй контур.

Первый контур оперативный.

аномалия → гипотезы → свидетельства → решение

Он отвечает на вопрос, что делать сейчас.

Второй контур обучающий.

исход → разбор → обновление нормы → источников → правил решения

Он отвечает на вопрос, чему нас научила собственная ошибка.

Если поставщик в четверг всё-таки привёз вовремя, резервирование не становится ошибкой автоматически. Правильное решение может закончиться плохим исходом, а плохое — хорошим. Нужно оценивать решение по информации, доступной в тот момент.

И отдельно оценивать качество самих прогнозов. Если аналитик много раз говорит «70%», событие должно происходить примерно в семи похожих случаях из десяти. Это калибровка.

Но можно всегда говорить базовые «30%» и быть неплохо калиброванным, оставаясь бесполезным. Нужна ещё способность различать режимы, то есть повышать оценку именно тогда, когда мир действительно изменился.

И обязательно разбирать не только тревоги, но и тихие периоды.

Не происходило ли там важных изменений, которые мы вообще не заметили?

Иначе система будет учиться только на собственных срабатываниях и постепенно доказывать сама себе собственную полезность.

Так появляется память организации о том, как она ошибается, пытаясь увидеть будущее раньше факта.

Калибровка. По горизонтали — что аналитик говорил, по вертикали — как часто сбывалось. Самоуверенность гнёт кривую под диагональ; потеря разрешающей способности прижимает её к базовой частоте. Показатель Брайера чувствует и то, и другое.

М9. Почему одной калибровки мало

Дополнение к главе «Два контура».

Калибровка отвечает на вопрос:

если мы много раз говорили «70%», происходило ли событие примерно в 70% таких случаев?

Но прогноз может быть хорошо калиброван и почти ничего не различать.

Один из стандартных способов оценивать вероятностный прогноз — :

\[ BS=\frac1N\sum_{i=1}^{N}(p_i-y_i)^2, \]

где (p_i) — прогноз вероятности, а (y_i\in{0,1}) — исход.

В классическом разложении Brier score отдельно проявляются:

  • reliability — калибровка;
  • resolution — способность давать разные вероятности для действительно разных режимов;
  • uncertainty — неопределённость самой среды.

Поэтому хорошая система должна быть не только честной в своих процентах.

Она должна разделять мир на случаи, где риск действительно разный.

20. Предел

Есть ещё одна вещь, которую хорошая аналитика знает о себе. Иногда ответ невозможно получить из тех наблюдений, которые у вас есть.

Представьте два мира. В первом у поставщика производственная проблема. Во втором её нет, но по другой причине он создаёт для вас точно такое же наблюдаемое поведение. Те же письма, задержки, платежи и ответы.

Если всё, что вы способны увидеть, одинаково в обоих мирах, никакой алгоритм их не различит. Ни искусственный интеллект, ни тысяча аналитиков, ни ещё десять лет тех же показателей.

В наблюдениях просто нет различия, которое можно извлечь.

Отсюда практический вывод. Больше данных не всегда означает больше знания. Ещё один отчёт того же типа может лишь подробнее показать ту же неразличимость.

Нужна новая точка наблюдения. Физическая проверка партии, независимый перевозчик, другой тип транзакции, новый сенсор, другой вопрос. Как только новый канал ведёт себя по-разному в двух возможных мирах, различение снова становится возможным.

Когда два мира выглядят одинаково из вашей точки наблюдения, нужны не ещё данные. Нужны другие данные.

Плохая аналитика прячет этот предел за уверенным числом. Хорошая способна сказать, что причины мы не знаем, но для решения уже знаем достаточно.

Предел. Слева два мира с одинаковыми наблюдениями: лучший результат — монета. Двигайте ползунок: новый канал разводит распределения, и различение становится возможным. Нужны не ещё данные, а другие.

М10. Почему некоторые миры невозможно различить

Дополнение к главе «Предел».

Пусть все доступные наблюдения имеют распределение (P_0) в одном возможном мире и (P_1) — в другом.

При равных априорных вероятностях минимальная ошибка бинарного различения связана с total variation distance:

\[ P_e^*=\frac{1-TV(P_0,P_1)}{2}. \]

Если:

\[ P_0=P_1, \]

то:

\[ TV(P_0,P_1)=0 \]

и:

\[ P_e^*=\frac12. \]

Никакой классификатор не сможет делать это лучше случайного выбора.

Не потому, что ему не хватает данных или вычислений.

Потому что наблюдаемая информация в двух мирах одинакова.

Чтобы задача снова стала разрешимой, нужен новый канал (Z), для которого:

\[ P_0(Z)\neq P_1(Z). \]

То есть не «больше того же».

Другой способ увидеть мир.

21. Кто вы теперь

Вернёмся к понедельнику.

Тот же экран, те же зелёные показатели. Но теперь вы уже не можете видеть их прежними. Зелёный означает только одно. Подтверждённая модель мира пока не зафиксировала проблему.

Вы знаете, что слабый источник можно не выбрасывать, если сначала понять характер его ошибки; что семь сообщений могут оказаться одним эхом; что у ненадёжного канала бывают устойчивые инварианты; что аномалия не большое число, а момент, когда прежнее объяснение перестало работать; что странность ещё не доказательство и хорошие гипотезы должны конкурировать; что вероятность события ещё не решение, а больше данных иногда вообще не добавляют знания.

Это уже не набор приёмов. Это другой способ видеть организацию.

Через месяц вы входите в переговорную и говорите:

«У поставщика изменился режим поведения. Я ещё не знаю причины. Но два независимых канала сломали обычные связи, две версии из четырёх уже не выдерживают наблюдений, а текущих оснований достаточно для резерва. Вот что изменит решение. Вот срок».

Вас спрашивают:

«То есть вы не знаете наверняка?»

«Нет. Но нам уже не нужно знать наверняка».

В этот момент меняется ваша работа. Вы перестаёте быть человеком, который докладывает о произошедшем. Вы приносите изменение картины мира раньше, чем оно получает имя.

Казначейство становится финансовой разведкой и видит, как меняется платёжное поведение контрагента, за недели до первой просрочки. Закупки становятся снабженческой разведкой. Они замечают, что поставщик сменил режим, раньше всякого уведомления, по ритму подтверждений и по тому, чего в этих подтверждениях больше нет. Маркетинг становится рыночной разведкой и ловит сдвиг спроса, пока рынок ещё не подобрал ему названия. HR становится кадровой разведкой и читает перемены в поведении организации, пока они не стали текучестью.

Риск больше не смотрит только на событие.

Он видит расстояние до смены решения.

А руководитель перестаёт быть человеком, которому последнему приносят подтверждённый факт.

Дашборд остаётся. Это отличный прибор контроля прошлого. Но управление начинается там, где будущее ещё допускает несколько прочтений и выбор ещё существует.

Вот другой.

АНАЛИТИЧЕСКИЙ КОНТУР · ОПЕРАТИВНАЯ ОЦЕНКАДЕЛО 0914-S · ОБНОВЛЕНО 14:32
ОбъектПоставщик SПоставка№4471Дело0914-S
пн 14 сен · 14:32 · до срока 1:28
НЕВЯЗКА6 признаков4 типа отклонений
КАНАЛЫ3 независимых6 источников
ВЕРСИИ2 живых2 уже отпали
ДО РЕШЕНИЯ1:28окно закрывается 16:00
ФОРА≈72 чдо подтверждённого факта
РЕШЕНИЕ ДО 16:00
Резервировать.
Проверку заказать.
Основной контракт сохранить. Оплатить ограниченный резерв, пока окно ещё открыто.
КЛЮЧЕВОЙ ВОПРОС
Физически готова ли партия №4471?
оценка20–60 %вся в зоне резерваверсий2 живыхиз 4что различаетназначена ли машина под №4471ключевое наблюдениепереубедитготовность и погрузка до 15:30проверка заказана 14:35
ИсточникиAdmiralty
Происхождение и связи12 объектов · 14 связей
Невязка: подтверждённая поставка существует в отчёте, но физическая готовность партии не подтверждается поведением независимых каналов.
Накопленное отклонение3 канала · порог 5
Версиинесовместимостей
Граница действияожидаемые потери, млн
Задача на сбордо 15:30
Исход: четверг, 17.09 — Калибровка за квартал: из оценок «около 70 %» сбылось 68 % · Brier 0,17

Здесь меняется смысл аналитики.

Конечный продукт аналитики не отчёт, не прогноз и даже не предупреждение. Её продукт — фора. Это интервал между первым наблюдаемым изменением и моментом, когда это изменение становится очевидным для всех.

Большинство компаний отдают этот интервал добровольно. Они ждут факта.

Анормальность и есть этот промежуток. Старый мир уже перестал быть прежним, а новый ещё не стал очевидным.

Анормальность начинается в момент невязки и заканчивается там, где из неполноты собрана оценка, достаточная для получения форы.

Тот, кто умеет работать в этом промежутке, получает время на своей стороне.

Не чтобы знать всё, а чтобы увидеть раньше. Не чтобы всегда быть правым, а чтобы иметь выбор тогда, когда у остальных его уже нет.