Da li je postalo gore posle izmene
Posle izdanja ili migracije čini se da je kvarova više. Komercijalisti se žale. Tehničari ne vide probleme (pravi profesionalac uvek će naći način da objasni zašto to nije kod njih)) Vraćati na staro? Ili je to par neuspešnih dana i sve će se samo smiriti? U takvoj situaciji nije potreban čak ni arbitar, samo cifre i činjenice.
Zadatak
Razumeti iz dnevnika incidenata da li se učestalost kvarova menjala u periodu: kada, koliko i kakav je trend novog nivoa. „Čini se“ je slab argument. Nekoliko loših dana zaredom dešava se i bez uzroka, zato razliku treba razlikovati od uobičajenog kolebanja.
Kako se računa
Metod iz porodice traženja odstupanja - „gde i šta nije u redu?“.
- Automatsko traženje prelomovaAlgoritam sam prolazi celu istoriju i poredi prosečne pokazatelje „pre“ i „posle“ svakog dana. Da bi isključio slučajnosti, prilagođava se prirodnoj nestabilnosti vaših podataka: rizik pogrešnog „nalaza“ je samo 3-5%.
- Određivanje prirode promenaSistem navodi ne jednu tačku, već interval datuma u kom se desio pomak. Ako se desio nagao kvar, izveštaj beleži „stepenik“. Ako je učestalost havarija rasla polako - postepeni rast.
- Izdvajanje privremenih skokovaAnomalije u trajanju od 5 dana, gde je kvarova bilo jedan i po put više, analiziraju se posebno. Ako se posle njih sve vratilo u normalu, algoritam to smatra jednokratnim skokom, a uz godišnju istoriju poredi sa prošlom godinom radi provere sezonalnosti.
- Zahtevi za podatkePotrebno je samo vreme kreiranja svih prijava, i otvorenih i zatvorenih. Traženje promena pokreće se uz istoriju od 4 nedelje, a na godišnjim podacima algoritam pouzdano primećuje stabilne pomake od 20-25%.
Šta metod vidi, a šta ne
Prag ovog metoda je tanak: prenizak - i metod nalazi „pogoršanja“ u običnom šumu, previsok - i propušta prava. Zato smo svaku sliku proveravali na 40-150 veštačkih dnevnika sa unapred poznatim odgovorom. U nastavku - koliko često je metod u pravu.
| Šta je bilo u dnevniku | Šta kaže izveštaj |
|---|---|
| Nagao skok kvarovana primer, promenjen je izvođač | Skok za trećinu pronađen je u svim proverama. Izveštaj navodi prozor datuma, a ne jedan dan. Skokom ga izričito naziva u tri slučaja od deset, u ostalim piše: „ili nagao skok, ili postepeni rast - po podacima se ne može razlikovati“. |
| Postepeni rast učestalosti havarijana primer, stalno se dodaju nove prodavnice | Rast od 30% za godinu pronađen je u 8 slučajeva od 10. Iznenadnim skokom ga metod nije nazvao nijednom. |
| Mali rastmanje od 20-25% | Tone u uobičajenim kolebanjima od nedelje do nedelje. Izveštaj piše da se pomak ne vidi i navodi od kog rasta bi ga metod primetio. |
| Privremeni skok i povratak u normaluna primer, vraćeno je neuspešno izdanje | Dvonedeljni skok pronađen je u svim proverama, datumi - dan u dan. Glavna prognoza pravi se po uobičajenom nivou, a ne po nivou skoka. |
| Stabilan period bez promena | U 95 slučajeva od 100 izveštaj piše da značajnih pomaka nema. Ako kvarovi idu u talasima, lažan nalaz se javlja u 7 slučajeva od 100. |
| Postalo je gore po trajanju, a ne po brojukvarova je isto, ali se duže popravljaju | Metod računa samo broj kvarova i takvo pogoršanje ne vidi. Gde gledati - u redu „Promene se ne vide“ tabele ispod. |
| Premalo podatakaizvoz za manje od 4 nedelje | Traženje promena se ne pokreće: istorija je prekratka da bi se slučajnost razlikovala od stvarnog pomaka. |
Zašto sistem ne može uvek da razlikuje nagao skok od blagog rasta. U svakoj kompaniji broj incidenata se od nedelje do nedelje prirodno kolebi, u proseku za 20-25%. Ako je učestalost havarija porasla za trećinu, taj rast tone u uobičajenom pozadinskom „šumu“. Zato tačan datum kvara često nije moguće odrediti do dana: sistem daje „prozor datuma“, a o naglom skoku govori samo kad on jasno premašuje uobičajenu grešku.
Slike i šta s njima raditi
Dnevnik prijava retko piše zašto se desio kvar (polja „uzrok“ često nema, ili se piše ono što je smeni bilo jasno na početku). Zato izveštaj prepoznaje tipične matematičke scenarije i predlaže gde tražiti koren problema i kako reagovati.
| Scenario | Mogući uzroci | Kako proveriti | Šta raditi |
|---|---|---|---|
| Nagao skok (stepenik) | Izbačeno je veliko ažuriranje, promenjen je izvođač, naglo je porastao broj prodajnih mesta. Ili su se promenila pravila: sistem monitoringa je počeo sam da otvara prijave. | Podići istoriju izmena za te datume i pogledati autore prijava: živi ljudi ili roboti monitoringa. | Ako je biznis porastao - ojačati dežurnu smenu. Ako je kriv izdanje ili izvođač - vratiti problem inicijatorima. Ako je proradio novi monitoring - stvarnog pogoršanja nema, samo su se promenila pravila brojanja. |
| Postepeni rast | Planski rast opterećenja, starenje opreme, nakupljanje tehničkog duga. | Uporediti rast broja prijava sa rastom broja korisnika ili prodavnica po mesecima. | Ako je prijava po tački isto koliko je bilo, to je normalna cena skaliranja. Ako je više - tražiti „usko grlo“ u arhitekturi ili istrošeno gvožđe. |
| Privremeni skok sa povratkom u normalu | Neuspešno izdanje koje je brzo vraćeno, havarija kod provajdera, iznenadan priliv kupaca zbog akcije. | Proučiti dnevnik ažuriranja i tekstove prijava. Ako su tekstovi isti - to nije sto različitih kvarova, već jedna masovna havarija. | Istražiti ceo skok kao jedinstven incident: pronaći prvobitni uzrok i razmotriti zašto je oporavak trajao baš toliko. |
| Porast na samom kraju grafikona | U prvim nedeljama nemoguće je odrediti šta je to: kratak skok, sezonsko opterećenje ili nova, viša norma učestalosti havarija. | Uporediti sa istim periodom prošle godine i proveriti nedavna izdanja. | Ne paničiti. Osnovna prognoza se ne menja, ali se pravi dodatni scenario „šta ako ovo potraje“. Konačni zaključci - za mesec dana, kada se nakupi statistika. |
| Promene se ne vide | Učestalost kvarova nije premašila uobičajena kolebanja. | - | Ako biznisu svejedno „izgleda da je postalo gore“, razlog nezadovoljstva treba tražiti na drugom mestu. Najverovatnije kvarova nije više, ali se duže popravljaju, postali su kritičniji za klijente ili iznova pogađaju isti bolni servis. |
Primer rezultata
Situacija: trgovinski lanac sa internet prodavnicom. Sistem je samostalno, bez nagoveštenih datuma, pronašao anomaliju u istoriji prijava.
U čemu je korist:
- Dobijeni su tačni okviri za istragu: bilo je dovoljno proveriti dnevnik izdanja i izmena upravo za te dve nedelje da bi se pronašao uzrok.
- Prognoza za sledeći mesec nije izobličena i pravi se po uobičajenom nivou, oko 3 kvara na dan: dve loše nedelje je skoro ne pomeraju.
- Da je izvoz prekinut upravo usred skoka, sistem ne bi donosio ishitrene zaključke i pošteno bi upozorio da za sada nije jasno: da li je to kratak kvar, sezonalnost ili početak dugotrajnog pogoršanja.