Доверие к данным · Бесплатный грейд

Почему нашим числам можно верить

Главный риск ИИ в аналитике - достоверность. Языковые модели склонны к «галлюцинациям»: уверенно выдают выдуманные числа там, где не знают ответа. Ниже - как мы исключили выдуманные числа из отчёта и как проверяем каждый метод расчёта.

Задачи

ИИ-отчёты с убедительными, но придуманными числами не редки: модель называет цифру, которой в данных нет. Это свойство устройства языковых моделей не должно присутствовать в отчётах.

Второй барьер - качество логов. Они часто содержат ошибки, выгружены из разных систем и не готовы к загрузке. Необходим порядок перед началом работы аналитических модулей.

Архитектура: числа отдельно, текст отдельно

  • 1. Числа считает программа, а не ИИ. Все расчёты выполняет статистический движок на Python (numpy, scipy, statsmodels - библиотеки для расчётов и статистических тестов). ИИ не может изменить результат расчёта.
  • 2. ИИ только описывает. Языковая модель пишет понятным языком о фактах, которые уже посчитал движок. Под каждую задачу подобран свой инструмент.
  • 3. Перекрёстная проверка. В платном разборе вторая, независимая модель сверяет готовый текст с посчитанными фактами и ловит расхождения до того, как отчёт попадёт к вам.

Как мы проверяем каждый метод

Метод попадает в прод только после строгой проверки. Без неё движок метод не применяет. Сейчас круг прошли 12 методов, 13 ждут проверки и скрыты, 4 мы удалили: они не выдержали проверки на живых и синтетических базах.

  • 1. Журналы с известным ответом. Были созданы 72 журнала с заложенными сценариями, взятыми из «живых» ситуаций: например, сбой каждый четверг в 02:00. Отчёт обязан назвать те же системы, даты и числа. Журналы прогоняются при внедрении каждого изменения движка.
  • 2. Проверка на ложные находки. Мы создаём по 40 «лет» журнала без закономерностей. Метод не должен найти в них то, чего нет: по времени суток - 0 ложных находок из 40, по связям между системами - не больше 1 из 40.
  • 3. Порог случайности. Каждая находка сравнивается с тем, что дал бы случай. Чем больше проверок, тем строже порог. Находка должна остаться, если убрать два самых загруженных дня: одна крупная авария системной проблемой не считается.

Что движок находит и исправляет

Ошибки в данных есть всегда. Задача - выправить их до того, как они исказят выводы. Примеры того, что писал отчёт до проверок и что пишет теперь.

Ситуация в данныхЧто писал отчёт до проверкиЧто делает движок теперь
Старые заявки закрыли разом в один день«VPN - 3066 дней простоя»Не включает такие заявки в простой, называет день массового закрытия
Четыре системы ломаются примерно одинаково«Простой сосредоточен в трёх системах»Называет систему, только если её доля сбоев выше той, что выходит случайно
Записи «сбой не подтверждён»Считал их авариями: медиана восстановления 14 минут вместо 21,5Убирает такие записи до расчётов
Разные форматы времени («2,71» или «02:42:33»)Читал одну запись из пятиЧитает все обычные форматы, включая Jira и ServiceNow

Как это работает на реальных данных

Очистка от шума. В журнале аварий 802 записи, у 210 из них отметка «сбой не подтверждён». Если считать все строки подряд, медиана времени восстановления - 14 минут. Движок убрал этот шум до расчётов и показал медиану по 592 настоящим авариям - 21,5 минуты.

Главное. На тех же 592 авариях простой подсчёт показал: 8,8% самых долгих аварий дают 80% всего простоя.

Качество данных. В журнале отказов дисков (1057 строк) движок заметил, что все отказы записаны ровно в 02:00. Это время запуска ночной проверки, а не время поломки. Поэтому отчёт не назовёт 02:00 «опасным часом».

Что нужно от ваших данных

Специально готовить данные не нужно. Достаточно обычного экспорта из Jira, ServiceNow, Zabbix или списка инцидентов в CSV / Excel. Обязательно - время начала и конца события (или готовая длительность). Желательно - название сервиса или системы. Перед разбором движок сам оценивает полноту данных.

Если выгрузка нестандартная или в ней редкая ошибка экспорта, мы не отбрасываем данные, а дочищаем их вручную под вашу ситуацию.

Тот же разбор на ваших данных - «Запустить анализ» на главной →

Расчёт - на нашем сервере в ЕС; языковая модель, которая пишет текст, видит только числа и замаскированные имена.