Banking / Payment Processing · Отчёт Granular · 2026-08-06 15:12 UTC

Конфиденциально

Что было проверено

Отчёт построен только на источниках из этой таблицы.

Источник Что в нём было
Журнал инцидентов Выгрузка из вашей системы заявок за период 288 дней, 802 записи. Поля: время регистрации, время закрытия, сервис или узел, приоритет, описание или причина.
Перечень критичных сервисов Со слов заказчика: payment gate, ATM network, internet banking, processing center.
Метрические выгрузки Не предоставлены. Нужны: загрузка процессора, памяти и каналов, задержка передачи пакетов, доля потерянных пакетов, вариация задержки, успешность резервного копирования и сроки сертификатов - время измерения и колонка значений по каждому показателю. (см. карту проверки)
Журнал изменений Не предоставлен. Нужны: дата и время изменения, тип (штатное или аварийное), затронутый сервис, результат. (см. карту проверки)
Данные первой линии Не предоставлены. Нужны: группа решения или линия поддержки по каждой заявке, признак эскалации, признак переоткрытия. (см. карту проверки)

Краткие итоги

За 288 дней зарегистрировано 802 инцидента общей длительностью 2236.7 часов. Большинство инцидентов короткие (медианное время восстановления 14 минут), но несколько очень длительных доминируют в общем простое: 6.5% инцидентов создают 80% времени недоступности. После середины февраля 2022 года суточное количество инцидентов выросло примерно в два раза, а повторяемость в тех же сервисах превышает 57%, что говорит о недоустранённых причинах.

  1. Длительные инциденты создают 80% общего простоя - Пока несколько длительных работ могут маскироваться плановыми, фактическая недоступность сервисов длительностью в несколько суток создаёт риски для бизнес-процессов, особенно в платёжных системах.
  2. Рост числа инцидентов после февраля 2022 года - Увеличение частоты инцидентов повышает нагрузку на службу поддержки и может указывать на скрытую деградацию ключевых компонент, что в долгосрочной перспективе чревато более серьёзными сбоями.
  3. Повышенная вероятность длительных простоев - Даже при хороших средних показателях бизнес должен быть готов к единичным событиям, останавливающим критические сервисы на несколько часов, особенно в платежном процессинге, где простой напрямую влияет на доходы и репутацию.

Карта проверки

Карта содержит все виды допустимых проверок. Их наполнение зависит от ряда факторов.

Обозначения: посчитанонужно ваше поле или ваша цельнужен другой источник данныхне входит в ваш тариф

Держит ли инфраструктура обещание - 1/4
Суммарное время простояПодробнее

Что это. Сколько всего времени ваши сервисы были недоступны за период журнала.

Как считаем. Складываем длительности всех инцидентов, но параллельные интервалы склеиваем: два инцидента, шедших одновременно с 10:00 до 11:00, дают час простоя, а не два. Без склейки цифра завышается тем сильнее, чем крупнее инфраструктура.

Откуда определение. Наш расчёт. Понятие простоя - от availability в глоссарии ITIL 4: способность сервиса выполнять согласованную функцию, когда она нужна.

Что нужно от вас. Уже посчитано - число в строке.

Если строка янтарная: нужно поле со временем закрытия инцидента, иначе длительности не существует. Если строка серо-синяя: расчёт входит в тариф Base и выше.

93д 04ч 43м
Коэффициент доступности по критичным сервисамПодробнее

Что это. Доля времени, когда сервис работал, от всего времени наблюдения. Это то самое число, которое произносят как «три девятки».

Как считаем. Время работы / (Время работы + Простой). По каждому названному вами сервису отдельно. Инцидент, задевший три сервиса, засчитывается каждому из трёх целиком: с точки зрения одного сервиса он лежал всё это время. Складывать простои сервисов между собой нельзя - получился бы двойной счёт, поэтому сводной доступности «по всей инфраструктуре» мы не печатаем принципиально.

Откуда определение. Формула - Google SRE Book, гл. 3 «Embracing Risk», дословно. Понятие availability - глоссарий ITIL 4.

Что нужно от вас. Отметьте критичные сервисы в списке и укажите целевой уровень (например 99,9%). Считаем сразу после ответа, отчёт перезагружать не нужно.

выберите критичные сервисы и целевой уровень
Израсходованный бюджет ошибокПодробнее

Что это. Цель вроде 99,9% сама разрешает какое-то время простоя. Это разрешённое время и есть бюджет. Показатель говорит, сколько бюджета вы уже потратили.

Как считаем. Допустимый простой = длина вашего периода x (1 - цель). Израсходовано = фактический простой / допустимый простой x 100%. Период берём фактический - ровно столько дней, сколько в вашем журнале, без округления до месяца. Значение выше 100% значит, что бюджет исчерпан и цель за период не выполнена.

Откуда определение. Google SRE Book, гл. 3: бюджет - это разница между целью и фактическим временем работы, остаток «ненадёжности» на период.

Что нужно от вас. Одну цифру - целевую доступность. Без цели показателя не существует: бюджет отсчитывается от обещания, а не от данных.

определите цель - без неё показателя не существует
Фактическое время восстановления против целевогоПодробнее

Что это. RTO - срок, за который сервис обязан вернуться в строй после аварии. Показатель отвечает, в какой доле случаев вы в этот срок уложились.

Как считаем. Доля инцидентов с длительностью не больше вашей цели, плюс худший случай за период - самый долгий инцидент. Худший случай важнее средних: план непрерывности проверяется на плохом дне, а не на обычном.

Откуда определение. ISO 22300:2021 (словарь к ISO 22301): RTO - «период времени после инцидента, в течение которого продукт, услуга или деятельность возобновляются, а ресурсы восстанавливаются». Стандарт платный, номер пункта мы не подтверждали и поэтому на него не ссылаемся.

Что нужно от вас. Целевое время восстановления в часах. Если оно разное для разных сервисов - назовите цель для самого критичного.

определите цель - без неё показателя не существует
Как быстро вы чините - 1/6
Время восстановления сервисаПодробнее

Что это. Сколько времени проходит от регистрации инцидента до его закрытия.

Как считаем. Даём три числа сразу: медиану, среднее и P95. Медиана - обычный день: половина инцидентов чинится быстрее. Среднее тянут вверх редкие долгие случаи. P95 - «хвост»: дольше него только каждый двадцатый инцидент. Одно среднее без хвоста скрывает именно те случаи, из-за которых вам звонит бизнес.

Откуда определение. ITIL 4 называет это MTRS, mean time to restore service: «показатель того, как быстро сервис восстанавливается после отказа». В словаре надёжности IEC 60050-192 то же число зовётся MTTR (термин 192-07-23). Число одно, имена разные - в отчёте пишем по-русски.

Что нужно от вас. Уже посчитано.

Если строка янтарная: нужно поле со временем закрытия инцидента.

14 мин / 3ч 19м / 9ч 12м - медиана / среднее / P95
Время обнаруженияПодробнее

Что это. Сколько инцидент шёл до того, как вы о нём узнали. Это слепая зона: сервис уже лежит, а заявки ещё нет.

Как считаем. Фактическое начало инцидента минус время регистрации в системе. Из одного времени регистрации это не выводится ни при каких допущениях: журнал знает момент, когда о проблеме сообщили, а не момент, когда она началась.

Откуда определение. Стандарта нет. MTTD - устоявшаяся практика управления инцидентами, и мы говорим об этом прямо, а не выдаём практику за норму.

Что нужно от вас. Целью не лечится - нужен экспорт с отдельным полем «фактическое начало» (в системах его зовут по-разному: start time, occurred at, время возникновения). Догрузите такой экспорт по той же ссылке, и строка посчитается.

нужно заполненное поле «фактическое начало отдельно от времени регистрации» в базе
Время реакцииПодробнее

Что это. Сколько заявка ждала, пока за неё возьмётся человек. Показывает работу очереди и дежурной смены, а не сложность самой поломки.

Как считаем. Время принятия в работу минус время регистрации.

Откуда определение. Стандарта нет. MTTA - практика сервис-деска.

Что нужно от вас. Нужен экспорт с полем «время принятия в работу» (взят в работу, назначен, acknowledged - смотря как называется у вас).

нужно заполненное поле «время принятия в работу» в базе
Доля закрытых в срокПодробнее

Что это. Какая часть инцидентов уложилась в согласованные с бизнесом сроки.

Как считаем. По каждому приоритету отдельно: сколько инцидентов этого приоритета закрыто не позже вашего норматива. Сводить приоритеты в одно число нельзя - норматив у них разный, и общая цифра скрыла бы просрочку по критичным. Считаем, только если приоритет заполнен не менее чем у 60% записей; ниже этого порога цифра говорит о качестве заполнения журнала, а не о работе службы.

Откуда определение. ITIL 4: service level - метрики ожидаемого или достигнутого качества; SLA - документированное соглашение о требуемых услугах и ожидаемом уровне обслуживания.

Что нужно от вас. Целевые сроки по каждому приоритету (например: критичный - 4 ч, высокий - 8 ч, обычный - 24 ч).

Если приоритет в журнале не ведётся или заполнен реже, чем у 60% записей: сначала нужен экспорт с этим полем - цель без приоритета применить не к чему.

определите цель - без неё показателя не существует
Доля решённых с первого разаПодробнее

Что это. Какая часть инцидентов после закрытия не открылась заново. Прямая мера качества починки: заявку закрыли или проблему решили.

Как считаем. Доля инцидентов, у которых нет признака переоткрытия.

Откуда определение. Стандарта нет, это практика сервис-деска.

Что нужно от вас. Нужен экспорт с полем «переоткрыт» либо с историей смены статусов - по истории мы восстановим факт возврата в работу сами.

нужно заполненное поле «переоткрыт» в базе
Доля решённых на первой линииПодробнее

Что это. Какая часть инцидентов закрыта без передачи специалистам. Показывает, сколько работы уходит наверх и насколько загружены дорогие руки.

Как считаем. Доля инцидентов, закрытых той же группой, что их приняла.

Откуда определение. Стандарта нет. ITIL 4 определяет только escalation и service desk; самой метрики в глоссарии нет.

Что нужно от вас. Нужен экспорт с полем «группа решения» или «линия поддержки».

нужно заполненное поле «группа решения» в базе
Как часто и что именно ломается - 5/8
Число инцидентов и наработка на отказПодробнее

Что это. Сколько инцидентов было за период и сколько времени в среднем проходит между ними.

Как считаем. Число записей и интервалы между соседними инцидентами - медиана, среднее и P95. Обязательная оговорка: мы считаем интервал между инцидентами в услуге, а не между отказами оборудования. Это не паспортная надёжность железа.

Откуда определение. ITIL 4, MTBF: «показатель того, как часто сервис или иной конфигурационный элемент отказывает». IEC 60050-192, термин 192-05-13, mean operating time between failures.

Что нужно от вас. Уже посчитано.

802 / 4ч 46м
Концентрация простоя по сервисамПодробнее

Что это. Отвечает, собран ли ваш простой в нескольких точках или размазан ровно. Если собран - работа по короткому списку даёт непропорционально большой эффект.

Как считаем. Сортируем сервисы по вкладу в простой и смотрим, какую долю дают верхние. Дополнительно считаем коэффициент Джини - меру неравенства вклада: 0 значит «все сервисы вносят поровну», ближе к 1 - «почти всё приходится на единицы».

Откуда определение. Наш расчёт (анализ Парето). Заимствованных норм нет: сравниваем вашу инфраструктуру с ней же, а не с чужим средним.

Что нужно от вас. Уже посчитано.

Если строка янтарная: нужно поле «сервис или узел» - без него простой не к чему привязать. Если серо-синяя: расчёт входит в тариф Base и выше.

3 сервиса из 83 дают 50% всего простоя
Доля повторных инцидентовПодробнее

Что это. Какая часть инцидентов повторяет уже виденное. Повтор - признак того, что причина осталась на месте.

Как считаем. Группируем инциденты по сервису и схожести описания, считаем долю записей во вторых и последующих повторениях. Как это читать: повтор указывает на проблему - по ITIL 4 это «причина или потенциальная причина одного или нескольких инцидентов». Это не упрёк тому, кто закрывал инцидент: он свою работу сделал, причина живёт уровнем выше.

Откуда определение. Наш расчёт; трактовка - ITIL 4, problem.

Что нужно от вас. Уже посчитано.

Если строка янтарная: нужно поле «сервис или узел». Если серо-синяя: тариф Base и выше.

58% инцидентов пришли на сервис, где инцидент уже был в предыдущие 7 дней
Доля инцидентов, связанных с изменениямиПодробнее

Что это. Какая часть инцидентов упоминает в описании изменение, релиз, обновление или работы. Показывает, сколько поломок приходит из ваших же плановых работ.

Как считаем. Ищем следы изменения в тексте описания заявки. Обязательная оговорка: это нижняя оценка. Мы видим только то, что человек написал словами; изменения, о которых в заявке не упомянули, в эту долю не попадут. Точное число даёт только сверка с журналом изменений - см. строку «доля аварийных изменений».

Откуда определение. Наш расчёт. Это не DORA change failure rate, и мы намеренно не ставим рядом это имя: у DORA в знаменателе развёртывания, у нас - инциденты. Показатели считают разное.

Что нужно от вас. Уже посчитано.

Если строка янтарная: нужно поле «описание заявки». Если серо-синяя: тариф Base и выше.

1%: в описании заявки упомянуто изменение, релиз или работы (нижняя оценка - видим только то, что написано словами)
Разбивка по приоритетамПодробнее

Что это. Как инциденты распределены по классам важности.

Как считаем. Считаем долю каждого приоритета, но только если поле заполнено не менее чем у 60% записей. При меньшем заполнении разбивка описывает дисциплину заполнения журнала, а не реальную картину поломок, и мы её не печатаем.

Откуда определение. ITIL 4, incident: незапланированное прерывание услуги или снижение её качества. Шкалы приоритетов стандарт не задаёт - берём вашу.

Что нужно от вас. Уже посчитано.

Если строка янтарная: нужен экспорт с полем «приоритет» либо его заполнение.

посчитано
Доля инцидентов с установленной первопричинойПодробнее

Что это. Какая часть инцидентов разобрана до причины, а не просто закрыта после восстановления сервиса.

Как считаем. Доля записей с заполненной первопричиной или со связью с проблемой.

Откуда определение. ITIL 4: problem - причина или потенциальная причина инцидентов; known error - проблема, которая проанализирована, но не устранена (наличие обходного решения при этом не обязательно).

Что нужно от вас. Поле в вашем журнале не ведётся. Само по себе это уже вывод: повторяющиеся инциденты закрываются без разбора причины, значит они вернутся. Чтобы увидеть число - нужен экспорт с полем «первопричина» или со связью инцидентов с проблемами.

поле не ведётся - значит повторяющиеся инциденты закрываются без разбора причины
Доля аварийных измененийПодробнее

Что это. Какая часть изменений вносится в режиме «надо было вчера», без обычного согласования. Высокая доля означает, что плановый процесс не поспевает за реальностью.

Как считаем. Доля аварийных изменений от всех изменений за период.

Откуда определение. ITIL 4: emergency change - изменение, которое «должно быть внедрено как можно скорее»; standard change - заранее авторизованное изменение с низким риском.

Что нужно от вас. Полем в журнале инцидентов это не лечится: знаменатель здесь - изменения, а не инциденты. Нужна выгрузка из журнала изменений за тот же период. Она же уточнит строку «доля инцидентов со следом изменения» - сейчас там нижняя оценка по тексту описаний.

нужен другой источник данных: журнал изменений
Доля инцидентов по вине внешних поставщиковПодробнее

Что это. Какая часть поломок пришла извне вашего периметра - от провайдера, вендора, подрядчика. Это цифра для разговора с поставщиком, а не с вашей командой.

Как считаем. Доля инцидентов с указанием внешней виновной стороны.

Откуда определение. ITIL 4, практика управления поставщиками (supplier management practice).

Что нужно от вас. Нужен экспорт с полем «виновная сторона» или «поставщик».

нужно заполненное поле «виновная сторона» в базе
Отраслевые показатели банка (787-П) - 0/4
Допустимая доля деградации технологического процессаПодробнее

Что это. Какую долю операций процесса вы считаете допустимым потерять, прежде чем признать нарушение операционной надёжности.

Как считаем. Журнал инцидентов знает, что сервис был затронут, но не знает, сколько операций при этом не прошло - а показатель считается именно от операций. Одного допустимого значения здесь мало: нужна ещё фактическая доля.

Откуда определение. Положение Банка России № 787-П от 12.01.2022, п. 3, показатель 1. Целевые значения кредитная организация определяет сама, на основании статистики не менее чем за двенадцать месяцев - то есть по собственной истории, а не по чужому среднему.

Что нужно от вас. Целью не лечится - нужна выгрузка с числом операций технологического процесса за тот же период (или готовая доля затронутых операций по каждому инциденту). Тогда допустимое значение из вашего внутреннего документа станет с чем сравнивать.

определите цель - без неё показателя не существует
Допустимое время простоя в рамках инцидентаПодробнее

Что это. Предел длительности одного инцидента - сколько сервис может лежать единовременно.

Как считаем. Доля инцидентов, уложившихся в ваш предел, и перечень тех, что не уложились, с длительностями.

Откуда определение. 787-П, п. 3, показатель 2.

Что нужно от вас. Допустимое время простоя в рамках одного инцидента (в часах).

определите цель - без неё показателя не существует
Допустимое суммарное время простоя за годПодробнее

Что это. Годовой предел простоя по процессу.

Как считаем. Фактический простой за ваш период сравниваем с годовым пределом в той же пропорции. Обязательная пометка: если ваш журнал короче года, годовая цифра - оценка по имеющимся дням, а не измеренный факт. Мы печатаем её только с этой пометкой: выдавать экстраполяцию за измерение мы не будем даже там, где это выглядит убедительнее.

Откуда определение. 787-П, п. 3, показатель 3.

Что нужно от вас. Допустимое суммарное время простоя за календарный год (в часах).

определите цель - без неё показателя не существует
Показатель соблюдения режима работыПодробнее

Что это. Насколько процесс был доступен именно в те часы, когда он обязан работать. Ночной простой в круглосуточном процессе и в процессе «с 9 до 18» - разные события.

Как считаем. Считаем только ту часть простоя, что попала в установленные часы работы, и сравниваем с вашим допустимым значением. Простой в нерабочие часы в этот показатель не входит - в отличие от суммарного простоя, где он учтён.

Откуда определение. 787-П, п. 3, показатель 4.

Что нужно от вас. Два ответа: режим работы процесса (например «круглосуточно» или «пн-пт 09:00-18:00») и допустимое значение показателя.

определите цель - без неё показателя не существует
Ёмкость и здоровье
Загрузка ресурсов, задержка, потери пакетов, неравномерность задержки, резервное копирование, устаревшие компоненты. Ни один из шести показателей по журналу инцидентов не считается - нужны метрические выгрузки. Чтобы посчитать эти шесть - пришлите выгрузку метрик за тот же период: время измерения и колонка значений по каждому показателю.Подробнее

Что это. Шесть показателей о состоянии ресурсов: загрузка ключевых ресурсов по 95-му перцентилю, задержка передачи пакетов, доля потерянных пакетов, неравномерность задержки, успешность резервного копирования и сроки сертификатов, доля компонентов без поддержки вендора. Они отвечают на другой вопрос, чем весь остальной отчёт: не «что уже сломалось», а «где вы близко к краю».

Как считаем. Сравниваем ваши значения с отраслевым профилем. Для сетевых показателей у ITU-T есть редкая вещь - числовые границы, а не только определения (Y.1541, Таблица 1: средняя задержка до 100 мс для класса 0, вероятность потери пакета до 1x10^-3). Сам стандарт оговаривает, что значения предварительные, и мы эту оговорку воспроизводим.

Откуда определение. ITU-T Y.1540 (07/2016) - IPTD, IPLR, IPDV; ITU-T Y.1541 (05/2002), Таблица 1 - числовые границы. Загрузка ресурсов, бэкапы и поддержка вендора стандарта с числовой нормой не имеют, это практика. Слово «джиттер» мы не используем: у ITU-T такого термина нет, есть «вариация задержки» (IPDV).

Что нужно от вас. Журнал инцидентов эти шесть показателей не содержит в принципе. Пришлите выгрузку метрик за тот же период: время измерения и колонка значений по каждому показателю.

None

Итого: 7 показателей посчитано, 14 ждут вашего решения или заполненного поля, 7 требуют других данных.

Каждая строка со статусом «нужно ваше поле или ваша цель» - это не наш предел, а конкретное имя поля в вашей базе. Пришлите поле «время принятия в работу» - получите время реакции отдельно от времени ремонта, и станет видно, где вы теряете больше: пока диспетчер ищет свободного инженера или пока инженер чинит.

Профиль загрузки

Что смотрели. 802 записи журнала за 288 дней.

Что получили. Мы разобрали 802 инцидента за период, это 2.8 в сутки. Суммарно сервисы были недоступны или работали хуже нормы 93д 04ч 43м - это сумма по всем объектам, а не время, когда лежало всё сразу.

Что это значит. Это ваша базовая нагрузка на дежурную смену. Дальше в отчёте видно, из чего она складывается и какая её часть управляема. Отдельно про простой: если бы мы складывали длительности подряд, вышло бы 111д 00ч 48м. Разница в 17д 20ч 05м - это инциденты, которые шли одновременно. Считать их дважды значит завысить простой.

Что делать. Закрепить, что считается инцидентом, а что запросом на обслуживание, и проверить, что в вашей системе заявок это разные типы. Пока типы не разведены, число инцидентов завышено.

Проверьте у себя.* Возьмите 20 последних заявок и разметьте руками: инцидент или запрос. Если запросов больше двух-трёх - проблема системная, и наша оценка скорее занижена.

Как быстро восстанавливаются сервисы

Что смотрели. Время от регистрации инцидента до восстановления по 802 инцидентам.

Что получили. Половина инцидентов закрывается быстрее 14 мин. Среднее - 3ч 19м. Худшие 5% тянутся дольше 9ч 12м, самый долгий - 12д 04ч 02м. Эти 41 инцидент дают 77% всего простоя.

Что это значит. Разрыв между 14 мин и 3ч 19м означает, что у вас два разных потока работы, а вы измеряете их одним числом. Массовые мелкие инциденты смена закрывает почти сразу - здесь всё в порядке, и улучшать нечего. Отдельные тяжёлые инциденты уходят в долгое расследование, и именно они съедают большую часть простоя. Если вы сегодня отчитываетесь средним временем ремонта, вы отчитываетесь числом, которого не существует: 3ч 19м - это не «обычный» инцидент, а результат смешения множества коротких с несколькими очень длинными.

Что делать. Завести отдельную процедуру для инцидентов, которые не закрылись за 9ч 12м. Не «усилить контроль», а конкретно: по истечении этого срока - эскалация к инженеру, который имеет право звать вендора. Сегодня такие инциденты идут в общей очереди.

Проверьте у себя.* Поднимите три последних инцидента длиннее 9ч 12м и посмотрите, сколько времени ушло на диагностику, а сколько на сам ремонт. Если больше половины на диагностику - узкое место в мониторинге, а не в руках инженеров.

Проблемные зоны

Что смотрели. Распределение инцидентов и простоя по 83 объектам, а также повторы.

Что получили. 3 объекта из 83 держат 50% всего простоя. Худший - «ККС 015 Переводы»: 37 инцидентов, 22д 18ч 14м простоя. 58% всех инцидентов повторяют ранее виденные на том же объекте.

Что это значит. Повторы - это не плохо закрытые инциденты. Это признак того, что у вас есть проблема - общая причина, которая порождает инциденты снова и снова. Каждый отдельный инцидент закрывается правильно, сервис восстанавливается, и через неделю всё повторяется. Пока причина не найдена, вы платите за один и тот же ремонт по нескольку раз.

Что делать. Начать не с 83 объектов, а с 3. По «ККС 015 Переводы» - разобрать его инциденты вместе, одним разбором, и искать общую причину, а не причину каждого.

Проверьте у себя.* Откройте три любых инцидента с «ККС 015 Переводы» за последний месяц. Если в них разные причины - мы ошиблись, и объект просто перегружен. Если причина одна и та же - у вас есть проблема, которую никто не ведёт.

Источники инцидентов

Что смотрели. Описания 802 инцидентов на след изменений и работ, а также пары событий, которые встречаются вместе чаще случайного.

Что получили. В описании 1% инцидентов (9) упоминается изменение, релиз или плановые работы. Это нижняя оценка: мы ищем по тексту, а текст пишут люди, и не каждый напишет «после обновления».

Что это значит. Следов собственных работ в инцидентах почти нет. Значит основная причина - снаружи: оборудование, каналы, поставщики. Работать надо с резервированием и с поставщиками, а не с процедурой изменений.

Что делать. Ввести правило: в заявке об инциденте обязательное поле «были ли работы на этом объекте за последние 24 часа». Одно поле, выпадающий список из трёх значений. Через три месяца оценка по тексту превратится в точную цифру.

Проверьте у себя.* Возьмите пять последних плановых работ и посмотрите, сколько инцидентов случилось на затронутых объектах в следующие сутки. Если хотя бы после двух работ из пяти - инциденты, у вас проблема не с сетью, а с процедурой изменений.

Периоды повышенных рисков

Что смотрели. Распределение инцидентов по часам и дням недели, а также изменение частоты во времени.

Что получили. Худшее окно - Ср 10:00-11:00: 17 инцидентов, 2% всех. Пять худших часов недели дают 10% инцидентов, занимая 3% времени. 2022-02-19 частота инцидентов изменилась с 1.6 до 3.3 в сутки - на +100% - и с тех пор не вернулась к прежнему уровню.

Что это значит. Пик в эти часы - это ваша нагрузка, и сам по себе он ожидаем. Ненормально другое: если заметная доля инцидентов приходится на время, когда смена сокращённая, эта часть обслуживается худшими силами. Про 2022-02-19 мы честно не знаем, что произошло: в журнале нет ни поля причины, ни отметки о работах. Вы знаете. Это может быть подключение крупного клиента, миграция, обновление оборудования или смена подрядчика. Что бы это ни было, оно устойчиво держит новую норму частоты - около 98 инцидентов в месяц против прежнего уровня.

Что делать. Найти, что изменилось 2022-02-19, и решить, приемлема ли новая норма. Если это плата за рост нагрузки - это одно решение. Если за смену подрядчика - совсем другое.

Проверьте у себя.* Посмотрите, что вы делали в районе 2022-02-19: закупки, переключения, кадровые изменения, новые договоры. Дата точная, искать надо в этом окне.

Прогнозы по объёмам и темпам

Что смотрели. Распределение самых длинных простоев и текущий темп появления инцидентов.

Что получили. Вероятность того, что в ближайшие 30 дней у вас случится простой длиннее 6 ч, - около 7%. Если частота сохранится, в ближайшие 7 дней ожидается около 23 инцидентов (вероятный диапазон 14-33), за 30 дней - около 99 (80-119). Оценка построена по вашей же частоте инцидентов за наблюдаемый период - расчёт по текущему режиму (последние 139 дней, с момента последнего изменения).

Что это значит. Вероятность невысокая, и это ваш собственный результат, а не отраслевая норма. Оценка построена на ваших же длинных инцидентах: она говорит не «так бывает у всех», а «так бывает у вас».

Что делать. Написать и один раз проиграть порядок действий на простой длиннее 6 ч: кто принимает решение о переключении на резерв, кто говорит с клиентами, кто с регулятором.

Проверьте у себя.* Спросите дежурного инженера, что он сделает, если сервис не поднимется за 3 ч. Если ответ начинается со слов «позвоню руководителю» - плана нет.

Уровень текущего отчёта

Что смотрели. Полноту и связность самого журнала.

Что получили. Оценка качества данных - B (из A, B, C, D). Заполненность полей:

Что это значит. Поля время регистрации, время закрытия, сервис или узел, приоритет, описание или причина заполнены хорошо - значит всё, что мы сказали, опираясь на них, надёжно.

Что делать. Сделать поле причины обязательным при закрытии, но с коротким списком значений, а не свободным текстом. Свободный текст заполняют плохо, список из семи пунктов - хорошо. Через квартал вы получите долю инцидентов с установленной первопричиной - показатель, который сегодня посчитать не на чем.

Проверьте у себя.* Откройте вашу систему заявок и посмотрите, какие поля обязательны при закрытии. Если причина не обязательна - вот почему её нет в этом отчёте.

ПолеЗаполнено
Время регистрации100%
Время закрытия100%
Сервис или узел100%
Приоритет100%
Описание или причина100%

Возможные меры

30 дней - что даст результат сразу

1. Ужесточить контроль завершения длительных работ
Ввести обязательную эскалацию на руководителя смены для любого планового инцидента длительностью более 4 часов и проводить пост-анализ каждого случая превышения согласованного окна.
2. Расследовать причину роста инцидентов после февраля 2022
Сопоставить хронологию изменений (релизы, миграции, подключения новых систем) с датой смены режима 19.02.2022 и проанализировать логи ключевых компонент в этот период для выявления триггера.
3. Провести углублённый анализ повторяющихся сбоев
Для топ-5 сервисов с наибольшей долей повторных инцидентов (ККС 003, Процессинговый центр и др.) запланировать сессии поиска корневой причины с привлечением владельцев сервисов и разработать план устранения хронических неполадок.

Находки, на которые опирается план

R1 - Длительные инциденты создают 80% общего простоя
Пока несколько длительных работ могут маскироваться плановыми, фактическая недоступность сервисов длительностью в несколько суток создаёт риски для бизнес-процессов, особенно в платёжных системах.
(2022-03-30 00:50:42) (2022-07-01 14:43:18) (2022-08-13 20:25:52)
сервисы: Процессинговый центр, События мониторинга, ККС 015 Переводы
Из 802 инцидентов лишь 6.5% (около 52) занимают 80% суммарного времени недоступности, а три самых длительных (11.0%, 9.3% и 6.4% времени) длятся от 10 до 17 тысяч минут. Такая концентрация (индекс неравенства 0.896) указывает на то, что стандартные процедуры эскалации или планового завершения не срабатывают для затянувшихся работ.
Как проверить у себя: Сопоставьте три самых длинных инцидента с утверждёнными планами работ и проверьте, были ли они эскалированы вручную.
R2 - Рост числа инцидентов после февраля 2022 года
Увеличение частоты инцидентов повышает нагрузку на службу поддержки и может указывать на скрытую деградацию ключевых компонент, что в долгосрочной перспективе чревато более серьёзными сбоями.
Среднесуточное количество инцидентов изменилось с 1.63 до 3.27 около 19 февраля 2022 года (рост на 100.2%). Статистическое сравнение периодов до и после этой даты указывает на значимое различие, причём величина изменения оценивается как средняя. Этот рост может быть связан с изменениями в инфраструктуре, внедрёнными в тот период.
Как проверить у себя: Постройте график количества инцидентов по дням и отметьте даты крупных релизов или изменений конфигурации в начале 2022 года.
R3 - Повышенная вероятность длительных простоев
Даже при хороших средних показателях бизнес должен быть готов к единичным событиям, останавливающим критические сервисы на несколько часов, особенно в платежном процессинге, где простой напрямую влияет на доходы и репутацию.
Хотя типичное время восстановления составляет всего 14 минут, анализ хвоста распределения показывает, что вероятность простоя дольше 6 часов оценивается примерно в 7.1%, а дольше 2 часов - в 16.3%. Это согласуется с наличием тяжёлого хвоста: редкие, но экстремально длинные инциденты случаются чаще, чем можно было бы ожидать при обычном разбросе.
Как проверить у себя: Проверьте журнал инцидентов за последние 12 месяцев на предмет простоев дольше 6 часов и оцените, были ли причины устранены.
R4 - Более половины инцидентов повторяются в тех же сервисах
Повторные сбои быстро истощают ресурсы команды и создают у пользователей ощущение нестабильности, особенно если затрагиваются сервисы переводов и платежей.
сервисы: ККС 003 Оплата услуг (Вендоры онлайн), Процессинговый центр, ККС 007 Переводы СБП, ККС 006 Переводы между своими счетами
В 57.7% случаев (463 из 802) инцидент возникал в сервисе, который уже отказывал в течение предыдущей недели. Наибольшая повторяемость наблюдается в «ККС 003 Оплата услуг» (65 повторов из 77 событий) и «Процессинговом центре» (57 из 71). Это указывает на хронические проблемы, вероятно, связанные с внешними провайдерами или внутренними ошибками, которые не были окончательно устранены.
Как проверить у себя: Составьте список сервисов, по которым за месяц произошло более трёх повторных инцидентов, и запросите у ответственных отчёты о принятых мерах.
R5 - Инциденты, связанные с обновлениями и изменениями
Даже небольшое число проблем, вызванных обновлениями, может подрывать доверие к процессу управления изменениями и увеличивать операционные риски.
(2022-07-28 09:45:10)
Среди проанализированных описаний 1.1% инцидентов (9 записей) содержат ключевые слова, связанные с обновлениями или перезапусками. Например, инцидент 28 июля 2022 года сопровождался техническим сбоем при гашении задолженностей после обновления. Хотя доля невелика, такие события могут указывать на недостатки тестирования или процедур внедрения изменений.
Как проверить у себя: Отфильтруйте инциденты за последний квартал по описаниям, содержащим «обновление» или «перезапуск», и проверьте, все ли они проходили через комитет по изменениям.

Приложение А. Применённые методики

В основном тексте отчёта названий методов мы не показывали намеренно - чтобы не перегружать.

Что в отчётеКак посчитано
Суммарное время простояОбъединение пересекающихся интервалов перед суммированием - без этого параллельные инциденты считаются дважды
Время восстановления сервисаМедиана, среднее и 95-й перцентиль длительностей. ITIL 4 называет этот показатель MTRS (mean time to restore service); в словаре надёжности IEC 60050-192 то же число зовётся MTTR
Наработка на отказСредний, медианный и 95-й перцентиль интервала между инцидентами. ITIL 4: MTBF. Оговорка: мы считаем интервал между инцидентами в услуге, а не между отказами оборудования
Концентрация простояСуммирование простоя по объектам и коэффициент Джини по его распределению между инцидентами. У вас Джини 0.90 - выше 0,6 означает, что горстка объектов держит период
Доля повторных инцидентовСовпадение по объекту в скользящем окне 7 суток
Связь с изменениямиПоиск по тексту описания: ключевые слова об изменениях, релизах, работах. Даёт нижнюю оценку
Смена режима 2022-02-19Метод накопленных сумм (CUSUM) с перестановочной проверкой значимости; p = 0.004
Вероятность длинного простояОбобщённое распределение Парето по превышениям порога (Peaks-Over-Threshold). Параметр формы ξ = +1.10, 95% доверительный интервал [+0.71, +1.53]; 81 превышений порога 3.8 ч
Прогноз частотыЭкстраполяция текущего темпа появления инцидентов (пуассоновская модель) с интервалом предсказания
Оценка качества данныхЗаполненность обязательных полей, связность времён, доля исключённых записей

Числа этого отчёта проверены вторым независимым проходом другой модели.

Диаграмма Парето - простой по инцидентам

Диаграмма Парето - простой по инцидентам

Крупнейшие инциденты (топ-3) дают 26.7% всего простоя - небольшая группа определяет основной эффект.

До и после - влияние изменения

До и после - влияние изменения

Два ящика: длительность инцидентов до даты изменения (49 инц., медиана 2 мин) и после неё (240 инц., медиана 2 мин). Ящик охватывает середину случаев, линия внутри - медиана. Сдвиг медианы: +0%; величина эффекта средняя, p=0.000.

Кривая Лоренца - концентрация простоя

Кривая Лоренца - концентрация простоя

Кривая заметно отклонилась от прямой - подтверждение того, что инциденты стоят по-разному: 6.5% из них дают 80% простоя (Gini=0.896). Прямая линия означала бы, что все инциденты стоят одинаково.

Краткий глоссарий применённых методов

p-valueВероятность получить результат не менее экстремального при отсутствии реального эффекта. p < 0.05 - значимый результат (менее 5 % вероятности случайности).
95% ДИДоверительный интервал 95 % - диапазон, содержащий истинное значение в 95 случаях из 100. Шире ДИ - больше неопределённость.
Коэффициент ДжиниПоказывает неравномерность распределения простоя. 0 = все инциденты одинаковы; 1 = один инцидент дал весь простой. Gini > 0.6 = фокус на топ-инцидентах.

Приложение Б. Термины

Формулировки - по официальному глоссарию ITIL 4.

ТерминЗначение
СобытиеЛюбое изменение состояния, значимое для управления услугой
ИнцидентНезапланированное прерывание услуги или снижение её качества
ПроблемаПричина или потенциальная причина одного или нескольких инцидентов
Известная ошибкаПроблема, которая проанализирована, но не устранена
Обходное решениеРешение, снижающее или устраняющее влияние инцидента, пока полного нет
ИзменениеДобавление, правка или удаление чего-либо, что может повлиять на услуги
Запрос на обслуживаниеЗапрос пользователя на действие, согласованное как штатная часть услуги. Не инцидент
Время восстановления сервисаНасколько быстро услуга восстанавливается после отказа

* Эти задачи могут быть сделаны намного точнее и качественнее при нашем участии.