Zašto našim brojevima možete verovati
Glavno pitanje za svaku „AI analitiku“: odakle cifra i da li je izmišljena. Ovde je direktan odgovor: kako je uređena naša analiza i zašto AI kod nas ne izmišlja brojeve.
Zadatak
Više puta smo videli AI izveštaje sa ubedljivim, ali izmišljenim brojevima. Model samouvereno navodi cifru kojoj nema traga u podacima. Na pitanje „odakle ovo?“ odgovara „izvinite, ne znam“, a za grešku morate da odgovarate vi. Posle par takvih slučajeva poverenje u „AI analitiku“ nestaje.
Druga prepreka su podaci. Logovi su prljavi, iz različitih sistema, nisu spremni za slanje. Niko ne želi da ih čisti ručno samo da bi „video ima li smisla“.
Kako je to uređeno kod nas
- 1. AI - ozbiljno i na prvoj liniji. Nekoliko jezičkih modela, svaki za svoj zadatak: jedan piše analizu nalaza razumljivim jezikom, drugi je nezavisno proverava. Za svaki korak izabran je odgovarajući alat.
- 2. Znamo granicu AI-ja. Jezički modeli, čak i najjači, skloni su da samouvereno izmišljaju brojeve tamo gde ne znaju tačan odgovor. To je poznato svojstvo njihove građe („halucinacije“), a ne redak kvar konkretnog modela.
- 3. Zato AI-ju ne poveravamo proračune. Sve brojeve računa programski statistički motor na Pythonu (numpy / scipy / statsmodels - biblioteke za proračune i statističke testove). AI samo opisuje već izračunatu činjenicu tekstom i ne menja rezultat izračunavanja.
- 4. Unakrsna provera. U plaćenoj analizi drugi nezavisni model upoređuje tekst sa izračunatim činjenicama i hvata neslaganja pre nego što izveštaj stigne do vas. Dobijate proveren rezultat, bez kuhinje provere.
Kao urednik i novinar: čitalac ceni što je tekst prošao redakturu, ali čita gotov članak, a ne beleške na marginama. Mi pokazujemo da urednik postoji, a predajemo članak.
Kako proveravamo svaki metod
Metod ulazi u izveštaj tek posle provere koju zovemo krug. Metod bez kruga motor ne prikazuje. Sada je krug prošlo 12 metoda, 13 čeka svoj red i skriveno je, a 4 smo uklonili: proveru nisu izdržali.
- 1. Dnevnik sa poznatim odgovorom. Sastavljamo dnevnik u koji sami ugrađujemo sliku: na primer, tri velike havarije u godini ili zadatak koji pada svakog četvrtka u 02:00. Tačan odgovor računamo ručno. Izveštaj mora da navede iste sisteme, datume i brojeve. Takvih dnevnika sada ima 72 i pokreću se pri svakoj izmeni motora.
- 2. Četrdeset godina za svaku sliku. Jedan srećan prolaz ništa ne dokazuje. Zato za svaku sliku pravimo 40 različitih „godina“ dnevnika i gledamo u koliko ih metod pronalazi. Primer: zadatak koji noću otkazuje u polovini nedelja pronađen je u 40 od 40 godina; isti zadatak danju, u trećini nedelja, - samo u 7 od 40. Pišemo to pošteno: slab signal metod ne vidi uvek.
- 3. Godine bez slike. Glavna provera je obrnuta. Pravimo godine u kojima nema obrasca i brojimo lažne nalaze. Po dobu dana - 0 od 40 godina, po vezama između sistema - od 0 do 1 od 40, po ponavljanjima na objektu nijedan objekat nije imenovan ni u jednoj od 40 godina.
- 4. Prag slučajnosti. Svaki nalaz se poredi sa onim što bi dala slučajnost pri istom ritmu rada. Ako je provera mnogo, prag se pooštrava onoliko puta: pri 200 proverenih parova sistema prag od 5% deli se sa 200 (0.025% po paru). Inače bi među 200 provera jedan-dva „nalaza“ ispali slučajno. I još nešto: nalaz mora da ostane ako se uklone dva najopterećenija dana. Jedna velika havarija ne računa se kao obrazac.
Šta su provere pronašle i ispravile
Greške u proračunima postoje kod svih. Važno je da se pronađu pre klijenta. Nekoliko primera šta je izveštaj pisao pre provere i šta piše sada.
| Situacija u dnevniku | Šta je izveštaj pisao | Šta piše sada |
|---|---|---|
| Stare prijave zatvorene odjednom u jedan dan (raščišćavanje reda) | „VPN - 3066 dana zastoja“ | Takve prijave ne ulaze u zastoj. Izveštaj navodi dan i broj prijava |
| Četiri sistema se kvare na isti način | „Zastoj je skoncentrisan u tri sistema“ | „Skoncentrisan“ - samo ako je udeo najgorih veći od onog koji nastaje slučajno. Inače: „po ovim podacima krivac se ne vidi“ |
| Trajanje je zapisano kao „2,71“ ili „02:42:33“ | 0 incidenata: od pet uobičajenih zapisa trajanja ispravno se čitao jedan | Čitaju se svi uobičajeni zapisi, uključujući Jira i ServiceNow formate |
| Godina bez obrasca po satima | „Najgori prozor - utorak 16:00, 2% svih kvarova“, uz savet da se tamo postavi smena | „Neobičnih sati nema“ |
| U fajlu je samo vreme početka, kraja nema | Zastoj 0, dostupnost 100%, cilj „ispunjen“ | „Nema vremena završetka“: vreme oporavka i zastoj se ne računaju |
| Zapisi „kvar nije potvrđen“ | Računali su se kao havarije: medijana oporavka 14 min | Uklanjaju se pre proračuna: 21.5 min |
Primer rezultata
Dnevnik havarija jedne banke za 2022. godinu: 802 zapisa. U 210 od njih stoji oznaka „kvar nije potvrđen“: monitoring je reagovao, a havarije nije bilo. Ako se računaju svi zapisi zaredom, medijana vremena oporavka je 14 minuta. Motor uklanja tih 210 zapisa pre svih proračuna i dobija 21.5 minuta na 592 prave havarije: lažni alarmi su kratki i činili su popravku za trećinu bržom nego što jeste. Izveštaj piše koliko je zapisa uklonjeno, po kom znaku, i prikazuje pet njih radi provere.
Na istih 592 havarije, 52 najduže (8.8%) daju 80% celokupnog zastoja. Taj broj nije „nameštan“: daje ga običan obračun - sortirati havarije po trajanju i sabirati odozgo dok se ne skupi 80%. Ponovite isti obračun u svojoj tabeli - dobićete isti broj.
Još pre zaključaka motor ocenjuje kvalitet izvoza. Na javnom dnevniku otkaza diskova (1057 redova) dao je ocenu B: 1047 redova je upotrebljivo. I primetio je da su svi otkazi zapisani tačno u 02:00 - to je vreme noćne provere, a ne vreme kvara. Zato izveštaj neće nazvati 02:00 „opasnim satom“, već će napisati „vreme zapisa“.
Šta je potrebno od vaših podataka
Obično ništa ne treba pripremati: podaci već postoje kod vas. Odgovara izvoz iz Jira, ServiceNow, Zabbix ili jednostavna lista incidenata u CSV / Excel formatu: vreme početka i kraja događaja (ili gotovo trajanje) i, po mogućstvu, naziv servisa. Pre analize motor sam ocenjuje potpunost i praznine i prikazuje ocenu kvaliteta podataka.
Ponekad se javljaju nestandardni izvozi: novi format, redak propust izvoza, pomešani izvori. Tada podatke ne odbacujemo i ne prilagođavamo ih slepo, već ih razrađujemo i dočišćavamo ručno za vašu situaciju.