Kako izgleda idealna eksploatacija obične kompanije: predvidljivost umesto podviga

1. Šta znači „idealna“ i šta ona nije

Počnimo od onoga što idealna eksploatacija nije: upravo tu se najčešće postavlja nedostižan cilj, a zatim se rad na njemu napušta. To nije odsustvo otkaza. Otkaza će biti: oprema stari, dobavljači padaju, ljudi greše, a biznisu trebaju izmene brže nego što se mogu bezbedno uneti. Služba koja je postavila cilj „da se ništa ne kvari“ uvek će sebe smatrati neuspešnom.

To nije dostupnost po svaku cenu. Svaka sledeća „devetka“ u procentu dostupnosti košta sve više: prema Google SRE, sledeće povećanje pouzdanosti može koštati sto puta više od prethodnog. A korisnik čiji sopstveni pametni telefon radi pouzdano 99% vremena neće primetiti razliku između 99,99% i 99,999%. Zrela služba zna koja dostupnost treba svakoj usluzi i ne podiže sve na nivo najkritičnije.

To nije debela fascikla procedura. Dokument napisan jednom koji ne menja ponašanje u tri ujutru je trošak, a ne imovina. Zrela služba se prepoznaje po ponašanju, a ne po papirima: napisanog u njoj često ima manje nego što se očekuje.

2. Jedan običan utorak

Opisi zrelosti se teško pamte, zato je lakše pokazati dan. Srednja kompanija, nekoliko desetina sistema, u eksploataciji šest ljudi. Smene 24/7 nema - postoji dežurstvo po rasporedu sa telefonom.

Primetite šta u tom danu nije bilo. Niko nije tražio ko je odgovoran za sistem. Niko nije zvao jedinu osobu „koja zna kako se to popravlja“. Niko nije saznao za kvar od klijenta. Niko nije u panici odlučivao o vraćanju: odluka je doneta unapred i mirno. A dan je potpuno običan: dva incidenta, jedna izmena, jedan spoljni kvar.

3. Osam znakova zrele službe

Ovi znaci se vide spolja i proveravaju se pitanjima, a ne revizijom. Ne trebaju im ni određen sistem monitoringa ni određena metodologija: viđali smo ih i u kompanijama koje za ITIL nikad nisu čule.

• Dnevnik incidenata: svaki incident ima vlasnika i zapis koji se nađe za minut. Ne „negde u prepisci“, nego na jednom mestu: vreme, objekat, ishod. Bez zapisa ne može se ni meriti ni učiti.
• Rešenje bez stručnjaka: poznat kvar zatvara po uputstvu dežurni obične kvalifikacije. Stručnjaci se zovu za novo, a ne za tipično.
• Noćni pozivi po pravilu: kriterijumi su zapisani, dežurni ih primenjuje za pola minuta, i za poziv po pravilu ga ne grde.
• Red u izmenama: radovi idu u dogovorenom prozoru, svaka izmena ima plan vraćanja sa konkretnim vremenom odluke.
• Ponavljanje je defekt, a ne loša sreća: ponovljeni kvar postaje kartica problema sa vlasnikom - tako ITIL razdvaja upravljanje incidentima i upravljanje problemima. Naše radno pravilo: treći isti kvar se ne popravlja treći put, nego se otvara problem.
• Kompanija prva javlja o kvaru: udeo incidenata o kojima se saznalo od klijenata je poznat i opada. Verovatno najpouzdaniji spoljni znak od osam.
• Desetak pokazatelja: ne sto i ne tri - onoliko koliko staje na jednu stranu i o čemu se razgovara pola sata jednom mesečno.
• Izveštaj za biznis: jednom u kvartalu služba sama donosi spisak onoga što je poboljšala - u satima i procentima, sa početnim nivoom „pre“. To razlikuje partnera od izvođača.

4. Čega u njoj nema

Odsustva govore o zrelosti više od prisustava i brže se primećuju. Svako od njih je u svoje vreme izgledalo razumno - u tome je teškoća.

• Nema heroja. Čoveka bez kog se ništa ne vraća u rad u zreloj službi nema. Heroj nije dostignuće, nego koncentrisan rizik: njegov odmor ili odlazak opasniji su od otkaza opreme.
• Nema jutarnjih ručnih provera. Obilazak sistema „da se vidi da li je sve živo“ znači da se monitoringu ne veruje. Ili se popravlja monitoring, ili ritual ostaje zauvek.
• Nema trake koja se gleda iz navike. Ako se tok upozorenja čita krajičkom oka, znači da se uglavnom sastoji od onoga po čemu ne treba postupati.
• Nema privremenih rešenja starijih od kvartala. Zaobilazno rešenje postavljeno „na nedelju dana“ pre osam meseci nije rešenje, nego nevidljiv dug koji će jednog dana biti naplaćen.
• Nema izveštaja koje niko ne čita. Redovan dokument bez primaoca i bez odluka posle njega - čist gubitak vremena. Takvi izveštaji se ukidaju, a ne poboljšavaju.
• Nema traženja krivca na analizi incidenata. Čim analiza postane disciplinska, zapisi postaju uredni i beskorisni. U Google SRE se to zove analiza bez traženja krivca (blameless): analiziraju se događaji i pravila, a ne ljudi.

5. Četiri oslonca

Sve opisano stoji na četiri stvari. Nijedna ne zahteva velike nabavke, i potrebne su sve četiri: uklonite bilo koju - i za nekoliko meseci konstrukcija počinje da se raspada.

• Podaci: jedan dnevnik u koji ulazi svaki incident - sa vremenom, objektom i ishodom. Ne radi izveštavanja, nego da se za pola godine pogleda unazad i vide obrasci koji se ne vide u trenutku.
• Pravila: ko saznaje, ko postupa, za koje vreme, ko je sledeći i kada se budi rukovodilac. Kratak dokument koji se zna napamet radi bolje od detaljnog koji se otvara jednom godišnje.
• Znanje: opisani tipični kvarovi - znaci, zaobilazno rešenje, status trajnog. To pretvara umeće jednog čoveka u osobinu cele službe.
• Ritam: petnaest minuta ujutru, pola sata mesečno na pokazatelje, pola dana u kvartalu na analizu podataka i odluke. Bez ritma prva tri oslonca tiho zastarevaju: infrastruktura se menja, a pravila i znanje ostaju iz prethodne verzije kompanije.

Graditi ih treba jednim redom: podaci, pravila, znanje, ritam. Početi od pravila bez zapisa nema smisla - nema čime da se proveri da li se poštuju. Početi od znanja pre pravila takođe: opisana zaobilazna rešenja nema ko da primeni ako događaj ne stigne do pravog čoveka.

6. Haos, norma, ideal

Između haosa i ciljnog stanja postoji međustanje, i u njemu je većina. Ono nije loše: u njemu se može raditi godinama. Razlika se najbolje vidi na konkretnim situacijama - evo osam.

Tabelu je korisno proći zajedno sa timom i označiti svoju kolonu u svakom redu. Slika je skoro uvek mešovita, i to je normalno: razlika između redova preciznije od bilo koje opšte ocene pokazuje kuda da se krene.

7. Koliko to košta u ljudima i vremenu

Glavni prigovor: „nemamo ljude za to“. Prigovor je pošten, zato evo naše procene redovnog opterećenja za tim od pet do osam ljudi. To nije cena prelaska, nego cena održavanja kada je stanje već dostignuto.

• Svakodnevno: 15 minuta jutarnjeg sastanka za ceo tim i nekoliko minuta za zapis o svakom zatvorenom incidentu.
• Nedeljno: oko sat vremena na red problema i trendove resursa.
• Mesečno: pola sata do sat na stranu pokazatelja i razgovor o njoj.
• Kvartalno: pola dana na analizu podataka za kvartal, reviziju pragova i pravila upozorenja i kratak pregled za biznis.
• Jednom godišnje: jedna vežba oporavka ključne usluge i jedna provera pokretanja sistema posle potpunog nestanka struje.

Ukupno je to nekoliko procenata radnog vremena tima. Treba ih porediti ne sa nulom, nego sa udelom vremena koji sada odlazi na havarijski i rutinski rad i na ponovno utvrđivanje već utvrđenog. Kao orijentir: Google SRE postavlja cilj da takav rad bude ispod 50% vremena inženjera. Timovi koji svoj udeo računaju prvi put obično dobiju više nego što su očekivali - i upravo ta razlika postaje glavni argument u razgovoru sa rukovodstvom.

Prelazak je posebna priča, i bolje ga je planirati ne kao projekat na godinu, nego kao niz kratkih koraka po kvartalima: jedan korak - jedan merljiv rezultat. Po našem iskustvu, inicijative u eksploataciji ne propadaju od složenosti, nego od trajanja: tim ne izdrži pola godine rada bez vidljivog efekta, i ne može se zbog toga kriviti.

8. Deset pitanja za samoproveru

Odgovarajte samo sa „da“ ili „ne“, bez „uglavnom“ i „trudimo se“. „Da“ se računa samo ako je tačno ne za jedan uzoran sistem, nego za bilo koju ključnu uslugu i u bilo kojoj smeni.

1. Da li znate udeo incidenata o kojima ste saznali od klijenta, a ne iz monitoringa?
2. Može li dežurni za minut da nađe ko je odgovoran za bilo koji ključni sistem i njegovu zamenu?
3. Da li su kriterijumi po kojima se noću budi rukovodilac zapisani, i da li ih dežurni zna?
4. Da li svaka izmena ima plan vraćanja sa određenim vremenom odluke?
5. Da li se ponovljeni kvar pretvara u zadatak za uklanjanje uzroka, umesto da se ponovo popravlja?
6. Da li je deset najčešćih kvarova opisano tako da ih zatvori čovek bez iskustva u tom sistemu?
7. Da li u radu nema „privremenih“ zaobilaznih rešenja postavljenih pre više od kvartala?
8. Možete li za deset minuta dobiti statistiku incidenata za pola godine bez ručnog čišćenja?
9. Da li se planirani prozori računaju u ukupnom bilansu nedostupnosti?
10. Da li je biznis u poslednjem kvartalu dobio od vas pregled poboljšanja u satima i procentima?

Kako čitati rezultat (skala je naša). Osam „da“ i više: u ciljnom ste stanju, zadatak je da ga održite. Od četiri do sedam: obična zrela kompanija, i jasno je kuda dalje: uzmite pitanja sa „ne“ redom brojeva. Manje od četiri: početi od prvog oslonca - od beleženja incidenata. Bez njega ostali koraci ne mogu se ni planirati ni proveriti.