Проверка изменений · Тариф Granular

Стало ли реально хуже после изменения

После релиза или миграции кажется, что сбоев стало больше. Откатывать? Чинить? Или это просто пара неудачных дней, и всё в порядке?

Какую задачу решаем?

«Кажется» - плохой аргумент. Команда всегда найдёт объяснение, почему «это не у нас», а руководству нужен факт, а не впечатление. Несколько плохих дней подряд бывают и без всякой причины - поэтому нужно доказательство, что разница реальная, а не случайное колебание.

Наши результаты

На реальных данных движок сравнил период до и после известной даты изменения тестом Манна-Уитни (он сравнивает две выборки, не требуя, чтобы данные были «идеально ровными» - поэтому надёжен на реальных логах с выбросами):

p = 0.033, эффект небольшой, направление - снижение на 16.7%. p-value (вероятность получить такую разницу чисто случайно) ниже порога 0.05 - значит, разница значима, это не колебание. В этом прогоне показатель снизился: реальное улучшение. Метод одинаково честно показывает и хорошие, и плохие новости.

Как это считается

Метод из семейства поиска отклонений - «где и что не так?».

Сравнение «до / после» (Манн-Уитни). В начале бот спрашивает дату изменения - релиз, миграция, смена провайдера - в формате ГГГГ-ММ-ДД (можно пропустить). Движок сравнивает выборку «до» и «после» и выдаёт p-value: меньше 0.05 - разницу считаем реальной; больше - прямо пишет «различие не значимо». Второе тоже ценно: не нужно неделями искать причину того, чего на самом деле нет.

Если точной даты нет - движок сам находит точку смены режима (changepoint-детекция) и строит сравнение вокруг неё. Для устойчивого результата нужно хотя бы около 10 инцидентов с каждой стороны от даты.

p = 0.033 и −16.7% - результат реального прогона на реальных данных, с реальной датой изменения (не подобранной задним числом). Числа считает статистический движок; ИИ в расчётах не участвует. Почему нашим числам можно верить →

Проверить своё «стало хуже» или «стало лучше»

Загрузите историю инцидентов и укажите дату изменения - движок скажет, реальна разница или это случайность.

Открыть Telegram-бота Загрузить через форму

Все данные обрабатываются изолированно и не передаются третьим лицам.