U kojim satima servisi najčešće padaju: kako uočiti sistemske kvarove iza šuma u dnevniku prijava
Većina timova gleda kvarove u trenutku - preko grafikona monitoringa. Ali monitoring pokazuje samo sam „požar“, a ne njegov prvobitni uzrok. Zbog toga se redovni kvarovi često pripisuju slučajnosti, a snaga tima se više troši na gašenje simptoma nego na uklanjanje izvora problema.
Zadatak
Dublja analiza vremena incidenata omogućava da se iz dnevnika podataka dobije ne samo statistika, već i dodatna praktična korist:
- Razdvojiti procese koji se sukobljavaju. Razlikovati jednokratnu havariju od redovnog kvara izazvanog „preklapanjem“ pozadinskih zadataka (rezervne kopije, razmena podataka, prozori za izdanja, teški noćni proračuni).
- Izvršiti reviziju kvaliteta podataka i procesa. Otkriti sistemska izobličenja u evidenciji - na primer, tehnički spam od skenera i provera koji upada u dnevnik u istoj sekundi - i uračunati lažne jutarnje vrhove, kada se noćni kvarovi registruju tek u 09:00.
- Dobiti argumente za izvođače i rasporede smena. Osloniti se na čvrste činjenice (broj nedelja, sistem, tačan sat) pri reviziji SLA sa proizvođačima ili pri formiranju dežurstava, umesto da se ljudi raspoređuju napamet.
Algoritam deskriptivne analitike automatski razlaže dnevnik incidenata, filtrira pojedinačna odstupanja i pokazuje gde je greška u rasporedu, a gde je prirodan radni ritam.
Kako algoritam traži obrasce
Da bi shvatio stvarnu sliku incidenata, algoritam koristi dva metoda deskriptivne analitike.
- Procena udela u nedelji: kada je potreban tim
Osnova: svi incidenti se dele u tri grupe: standardno radno vreme (radnim danima od 9:00 do 18:00), veče i noć radnim danima, vikend. U obzir se uzimaju čak i nezatvorene prijave, jer je vreme njihovog nastanka već zabeleženo.
U čemu je suština: radno vreme radnim danima čini samo 27% vremena cele nedelje. Ako na taj period otpada, recimo, 43% incidenata, onda se preostalih 57% kvarova dešava kada u kancelariji nikoga nema. To je već razlog da se razmisli kako pravilno rasporediti dežurne i posao.
- Traženje „neobičnog sata“: gde se krije sistemski kvar
Najopterećeniji sat još nije anomalija. Danju je uvek više aktivnih korisnika i prijava. Zato algoritam ne traži maksimume, nego odstupanja od uobičajenog ritma.
Poređenje sa sopstvenom normom: noć četvrtka poredi se sa noćima ostalih radnih dana, a subota sa nedeljom. Ako je svake nedelje u četvrtak u 02:00 prijava duplo više nego u sredu ili petak, to je već raspored, a ne samo opterećenje.
Provera ponavljanja: jedna velika havarija koja je generisala 30 prijava za 60 minuta ne priznaje se kao obrazac. Anomalija se beleži samo ako se kvarovi u tom satu ponavljaju u različitim nedeljama.
Traženje dnevnih vrhova: posebno se otkriva sat koji je svakog dana stabilno opterećeniji od susednih. Tako izgledaju dnevni zadaci koji troše mnogo resursa, na primer rezervne kopije ili noćni proračuni.
Poštenje podataka: ako je grafikon kvarova običan slučajan raspon, sistem neće veštački izmišljati „najgore vreme“. Izveštaj će reći otvoreno: „neobičnih sati nema“.
Rad sa stvarnim podacima: zamke evidencije
Dnevnici incidenata nikad nisu savršeni. Zadatak algoritma je da prepozna uobičajene artefakte prikupljanja podataka i da ne daje lažne alarme tamo gde deluje ljudski ili tehnički faktor.
- Kako algoritam obrađuje izobličenja u podacima
Jedna velika havarija: talas od desetina prijava u jednom satu sistem klasifikuje kao pojedinačan incident, a ne kao obrazac koji se ponavlja. Ovde ne treba tražiti raspored.
Tehnički spam u jednom minutu: ako se stotine zapisa pojave tačno u 02:00, sistem to određuje kao vreme upisa skripte ili automatske provere, a ne vreme kvara, i ne traži obrazac u tim zapisima.
Jutarnji vrhovi umesto noćnih incidenata: ako je servis pao noću, a prijava je registrovana tek kad su zaposleni stigli u 9:00, javlja se lažni skok. Izveštaj će upozoriti na tu mogućnost, da bi tim mogao da uvede automatski noćni monitoring za problematične servise.
Ograničenja formata: ako izvoz sadrži samo datume, sistem ne izmišlja lažni sat „00:00“, već analizira strogo po danima u nedelji. Ako je vreme zapisano u UTC - podsetiće na potrebu pomeranja na lokalnu vremensku zonu.
Matrica odluka: šta raditi kad se otkriju anomalije
| Priroda anomalije | Moguć uzrok | Šta tim radi |
|---|---|---|
| Isti dan i sat u nedeljina primer, četvrtak 02:00 | Nedeljna razmena podataka, formiranje teškog izveštaja, prozor za izdanja, planirani radovi provajdera | Vremenski razdvojiti zadatke koji se sukobljavaju; dodati automatsku proveru posle izdanja; ponovo dogovoriti prozor sa proizvođačem |
| Svakog dana u isto vremena primer, 04:00 | Rezervne kopije, noćni proračuni, restart skupa servisa | Rasporediti zadatke planera; izdvojiti dodatne kapacitete za konkretan noćni prozor |
| Vrhovi na kraju radnih smena ili nedelja | Rad „senovitog IT-a“: pokretanje teških korisničkih makroa, masovni izvozi podataka u poslovnim sektorima | Otkriti inicijatora (po logovima baze podataka ili balansera), optimizovati upite, prebaciti izvršavanje na neradno vreme |
| Redovni skokovi u satu kada nema nikakvih zadataka | Spoljna automatizovana aktivnost: agresivno parsiranje, pogađanje lozinki, neovlašćene integracije preko API-ja | Ograničiti učestalost zahteva (Rate Limit), ažurirati pravila zaštitnog zida (WAF), blokirati anomalne IP adrese |
| Običan ritam bez obrazaca | Uobičajeno opterećenje: danju više, noću manje | Odustati od traženja nepostojećih problema u rasporedu sistema. Prebaciti se na rasporede dežurstava i automatsko skaliranje resursa (Auto Scaling) za dnevne vrhove |
Primer 1. Skriveni kvar po rasporedu
Situacija: trgovinski lanac sa internet prodavnicom registruje oko 1100 incidenata godišnje. Zaposleni se žale da noćna razmena podataka često pada, ali se na opštoj pozadini to ne vidi.
Šta je pokazala analiza: u četvrtak od 02:00 do 03:00 beleži se 37 kvarova uz normu od 4 za to vreme. Situacija se ponovila 32 nedelje od 52. Glavni izvor je 1C:ERP.
Rezultat: umesto maglovitih rasprava tim dobija tačno vreme i sistem. Prepodešavanje rasporeda pozadinskog zadatka uklanja više od 30 redovnih IT havarija godišnje i štedi skladište od jutarnjih zastoja.
Primer 2. Optimizacija dežurstava umesto lova na „duhove“
Situacija: rukovodilac podrške želi da promeni raspored smena, sumnjajući na redovne skokove opterećenja noću.
Šta je pokazala analiza: na radno vreme (27% vremena nedelje) otpada 43% incidenata. Ostalih 57% raspoređeno je po večerima, noćima i vikendima. Nijedan sat ne odudara od opšte norme - „neobičnih sati“ nema.
Rezultat: nema smisla tražiti „najgori prozor“ i lomiti raspored ljudi zbog slučajnog raspona. Vredi se pozabaviti pravilnikom dežurstava: jasno odrediti koji od tih 57% kvarova zahtevaju hitno dizanje inženjera noću, a koji mogu da sačekaju jutro.
Kako izabrati prozor za planirane radove
Planirani radovi (ažuriranja, migracije, zamena opreme) sami po sebi nose rizik. Ako ih postavite tamo gde već redovno nešto pada, dva kvara se sabiraju, i posle se ne može razumeti šta je oborilo sistem. Izveštaj pomaže da prozor izaberete po tri znaka:
- Ne u pronađeni neobični sat. Ako je izveštaj našao „četvrtak 02:00“ ili „svakog dana 04:00“, u tom satu već radi neki zadatak. Radovi povrh njega s njim se spore oko resursa, a kasnije je teško razabrati ko je koga oborio.
- Tamo gde je kvarova malo i ima ko da popravlja. Na toplotnoj mapi izveštaja svetla polja su sati sa najmanje kvarova. Noć i vikend su obično mirniji, ali je i ljudi manje: udeli po periodima nedelje pokazuju koliko će kvarova pasti na prozor, a vaš raspored dežurstava - ko će biti na mestu ako radovi krenu loše.
- Sa korekcijom za vreme registracije. Ako u dnevniku stoji vreme prijave, a ne vreme kvara, noćni kvar izgleda kao jutarnji. Tiha noć u izveštaju može značiti da noću prosto niko nije gledao.
Ovako izgleda toplotna mapa u izveštaju: redovi su dani u nedelji, kolone su sati. Što je polje tamnije, to je više kvarova; svetla polja su kandidati za planirane radove. Isprekidani okvir - radni dani od 9 do 18. Crveni okvir - sat koji odudara od uobičajenog ritma (ovde četvrtak 02:00, 37 kvarova): tamo radove ne postavljati.
Šta izveštaj ne zna: raspored dežurstava, poslovne vrhove (rasprodaje, zatvaranje meseca) i cenu radova van radnog vremena. Te podatke dodajete vi - i od tihih sati ostaju oni u kojima ima ljudi i nema vrha prodaje.
Zaključak: kako primeniti podatke u radu
Analiza vremena kvarova je alat za upravljanje resursima koji direktno utiče na tri pravca:
- Pametan raspored ljudiRaspored smena formira se prema stvarnom udelu incidenata u različitim periodima nedelje, a ne prema iluziji da je „noću sve mirno“.
- Bezbedan raspored sistemaIzdanja, rezervne kopije i teški izvozi ne pokreću se u satima koje je algoritam već istakao kao problematične. Pronađena anomalija je prvi kandidat za reviziju i prenos rasporeda.
- Objektivan dijalog sa izvođačimaAko se otkriveni „prokleti sat“ stabilno poklapa sa prozorom radova provajdera, u rukama su tačne činjenice: broj incidenata, broj nedelja, pogođeni sistemi. To je argument za pomeranje prozora održavanja ili reviziju SLA u ugovoru.