Zašto našim brojevima možete verovati
Glavni rizik veštačke inteligencije u analitici je pouzdanost. Jezički modeli su skloni „halucinacijama“: sigurno daju izmišljene brojeve tamo gde ne znaju odgovor. Ispod je kako smo izbacili izmišljene brojeve iz izveštaja i kako proveravamo svaku metodu proračuna.
Problemi
Izveštaji veštačke inteligencije sa ubedljivim, ali izmišljenim brojevima nisu retki: model navodi brojku koje u podacima nema. To svojstvo načina rada jezičkih modela ne sme da dospe u izveštaje.
Druga prepreka je kvalitet logova. Često sadrže greške, izvezeni su iz različitih sistema i nisu spremni za učitavanje. Potrebno ih je dovesti u red pre nego što analitički moduli počnu rad.
Arhitektura: brojevi posebno, tekst posebno
- 1. Brojeve računa program, a ne veštačka inteligencija. Sve proračune radi statistički motor na Python-u (numpy, scipy, statsmodels - biblioteke za proračune i statističke testove). Veštačka inteligencija ne može da promeni rezultat proračuna.
- 2. Veštačka inteligencija samo opisuje. Jezički model piše razumljivim jezikom o činjenicama koje je motor već izračunao. Za svaki zadatak izabran je svoj alat.
- 3. Unakrsna provera. U plaćenoj analizi drugi, nezavisni model proverava gotov tekst prema izračunatim činjenicama i hvata neslaganja pre nego što izveštaj stigne do vas.
Kako proveravamo svaki metod
Metoda ulazi u produkciju tek posle stroge provere. Bez nje motor metodu ne primenjuje. Trenutno je krug prošlo 12 metoda, 13 čeka proveru i skriveno je, a 4 smo uklonili: nisu izdržale proveru na živim i sintetičkim bazama.
- 1. Dnevnici sa poznatim odgovorom. Napravljena su 72 dnevnika sa ugrađenim scenarijima uzetim iz „živih“ situacija: na primer, kvar svakog četvrtka u 02:00. Izveštaj mora da navede iste sisteme, datume i brojeve. Dnevnici se puštaju pri svakoj izmeni motora.
- 2. Provera lažnih nalaza. Pravimo po 40 „godina“ dnevnika bez zakonitosti. Metoda u njima ne sme da nađe ono čega nema: po dobu dana - 0 lažnih nalaza od 40, po vezama između sistema - ne više od 1 od 40.
- 3. Prag slučajnosti. Svaki nalaz se poredi sa onim što bi dao slučaj. Što je više provera, to je prag strožiji. Nalaz mora da ostane ako se uklone dva najopterećenija dana: jedan veliki kvar ne smatra se sistemskim problemom.
Šta motor nalazi i ispravlja
Greške u podacima postoje uvek. Zadatak je ispraviti ih pre nego što iskrive zaključke. Primeri onoga što je izveštaj pisao pre provera i šta radi sada.
| Situacija u podacima | Šta je izveštaj pisao pre provere | Šta motor radi sada |
|---|---|---|
| Stari tiketi zatvoreni odjednom u jednom danu | „VPN - 3066 dana zastoja“ | Ne uračunava takve tikete u zastoj, navodi dan masovnog zatvaranja |
| Četiri sistema se kvare približno jednako | „Zastoj je koncentrisan u tri sistema“ | Navodi sistem samo ako je njegov udeo kvarova veći od onoga što daje slučaj |
| Zapisi „kvar nije potvrđen“ | Računao ih je kao kvarove: medijana oporavka 14 minuta umesto 21,5 | Uklanja takve zapise pre proračuna |
| Različiti formati vremena („2,71“ ili „02:42:33“) | Čitao je jedan zapis od pet | Čita sve uobičajene formate, uključujući Jira i ServiceNow |
Kako to radi na stvarnim podacima
Čišćenje šuma. U dnevniku kvarova ima 802 zapisa, 210 od njih nosi oznaku „kvar nije potvrđen“. Ako se broje svi redovi, medijana vremena oporavka je 14 minuta. Motor je uklonio ovaj šum pre proračuna i pokazao medijanu po 592 stvarna kvara - 21,5 minuta.
Glavno. Na istih 592 kvara jednostavan proračun je pokazao: 8,8% najdužih kvarova daje 80% ukupnog zastoja.
Kvalitet podataka. U dnevniku otkaza diskova (1057 redova) motor je primetio da su svi otkazi zapisani tačno u 02:00. To je vreme pokretanja noćne provere, a ne vreme kvara. Zato izveštaj neće nazvati 02:00 „opasnim satom“.
Šta je potrebno od vaših podataka
Podatke ne treba posebno pripremati. Dovoljan je običan izvoz iz Jira, ServiceNow, Zabbix ili lista incidenata u CSV / Excel. Obavezno - vreme početka i kraja događaja (ili gotovo trajanje). Poželjno - naziv servisa ili sistema. Pre analize motor sam proverava potpunost podataka.
Ako je izvoz nestandardan ili ima retku grešku izvoza, ne odbacujemo podatke, već ih ručno dočišćavamo za vašu situaciju.