Почему нашим числам можно верить
Главный риск ИИ в аналитике - достоверность. Языковые модели склонны к «галлюцинациям»: уверенно выдают выдуманные числа там, где не знают ответа. Ниже - как мы исключили выдуманные числа из отчёта и как проверяем каждый метод расчёта.
Задачи
ИИ-отчёты с убедительными, но придуманными числами не редки: модель называет цифру, которой в данных нет. Это свойство устройства языковых моделей не должно присутствовать в отчётах.
Второй барьер - качество логов. Они часто содержат ошибки, выгружены из разных систем и не готовы к загрузке. Необходим порядок перед началом работы аналитических модулей.
Архитектура: числа отдельно, текст отдельно
- 1. Числа считает программа, а не ИИ. Все расчёты выполняет статистический движок на Python (numpy, scipy, statsmodels - библиотеки для расчётов и статистических тестов). ИИ не может изменить результат расчёта.
- 2. ИИ только описывает. Языковая модель пишет понятным языком о фактах, которые уже посчитал движок. Под каждую задачу подобран свой инструмент.
- 3. Перекрёстная проверка. В платном разборе вторая, независимая модель сверяет готовый текст с посчитанными фактами и ловит расхождения до того, как отчёт попадёт к вам.
Как мы проверяем каждый метод
Метод попадает в прод только после строгой проверки. Без неё движок метод не применяет. Сейчас круг прошли 12 методов, 13 ждут проверки и скрыты, 4 мы удалили: они не выдержали проверки на живых и синтетических базах.
- 1. Журналы с известным ответом. Были созданы 72 журнала с заложенными сценариями, взятыми из «живых» ситуаций: например, сбой каждый четверг в 02:00. Отчёт обязан назвать те же системы, даты и числа. Журналы прогоняются при внедрении каждого изменения движка.
- 2. Проверка на ложные находки. Мы создаём по 40 «лет» журнала без закономерностей. Метод не должен найти в них то, чего нет: по времени суток - 0 ложных находок из 40, по связям между системами - не больше 1 из 40.
- 3. Порог случайности. Каждая находка сравнивается с тем, что дал бы случай. Чем больше проверок, тем строже порог. Находка должна остаться, если убрать два самых загруженных дня: одна крупная авария системной проблемой не считается.
Что движок находит и исправляет
Ошибки в данных есть всегда. Задача - выправить их до того, как они исказят выводы. Примеры того, что писал отчёт до проверок и что пишет теперь.
| Ситуация в данных | Что писал отчёт до проверки | Что делает движок теперь |
|---|---|---|
| Старые заявки закрыли разом в один день | «VPN - 3066 дней простоя» | Не включает такие заявки в простой, называет день массового закрытия |
| Четыре системы ломаются примерно одинаково | «Простой сосредоточен в трёх системах» | Называет систему, только если её доля сбоев выше той, что выходит случайно |
| Записи «сбой не подтверждён» | Считал их авариями: медиана восстановления 14 минут вместо 21,5 | Убирает такие записи до расчётов |
| Разные форматы времени («2,71» или «02:42:33») | Читал одну запись из пяти | Читает все обычные форматы, включая Jira и ServiceNow |
Как это работает на реальных данных
Очистка от шума. В журнале аварий 802 записи, у 210 из них отметка «сбой не подтверждён». Если считать все строки подряд, медиана времени восстановления - 14 минут. Движок убрал этот шум до расчётов и показал медиану по 592 настоящим авариям - 21,5 минуты.
Главное. На тех же 592 авариях простой подсчёт показал: 8,8% самых долгих аварий дают 80% всего простоя.
Качество данных. В журнале отказов дисков (1057 строк) движок заметил, что все отказы записаны ровно в 02:00. Это время запуска ночной проверки, а не время поломки. Поэтому отчёт не назовёт 02:00 «опасным часом».
Что нужно от ваших данных
Специально готовить данные не нужно. Достаточно обычного экспорта из Jira, ServiceNow, Zabbix или списка инцидентов в CSV / Excel. Обязательно - время начала и конца события (или готовая длительность). Желательно - название сервиса или системы. Перед разбором движок сам оценивает полноту данных.
Если выгрузка нестандартная или в ней редкая ошибка экспорта, мы не отбрасываем данные, а дочищаем их вручную под вашу ситуацию.