Od bolničkih kreveta do finansijskih tržišta i vještačke inteligencije, neumorno “sređivanje” sistema može smanjiti otpornost, suziti pojam onoga što je najbolje i izazvati neželjene posljedice kada se optimizirani dijelovi počnu međusobno sudarati.
U tekstu se upozorava da opsesija efikasnošću može učiniti svijet opasnijim, iako se na prvi pogled čini da je optimiziranje gotovo uvijek poželjno. Kao primjer se navodi zdravstveni sistem u Engleskoj, gdje je na vrhuncu prošle sezone gripe oko 95% kreveta za odrasle bilo zauzeto. Takav nivo popunjenosti možda izgleda kao dobar poslovni rezultat za hotel, ali u bolnici znači vrlo malo prostora za neočekivani talas pacijenata i mogućnost da se liječenje odvija i u hodnicima.
Autor teksta objašnjava da je problem u tome što se pri optimizaciji često uklanja “slack”, odnosno rezerva koja sistemu daje otpornost. Prazan krevet, iako djeluje kao neiskorišten resurs u mirnoj noći, može biti presudan kada broj oboljelih naglo poraste. Slična logika vrijedi i za raspored obaveza: kalendar ispunjen do posljednje minute djeluje uredno, ali bez prostora za nepredviđene događaje vrlo brzo dolazi do kašnjenja i preopterećenja.
Druga zamka je preusko shvatanje onoga što znači “najbolje”. Kao ilustracija se navodi Milton Keynes, grad planiran s mrežnim sistemom saobraćajnica i brojnim kružnim tokovima. Iako su kružni tokovi dobri za protočnost saobraćaja, oni ne uzimaju u obzir sve što je važno, poput udobnosti putnika. Time optimizacija može dati najbolji odgovor na pitanje koje je postavljeno, ali i loš odgovor na pitanja koja nisu ni razmotrena.
Treća opasnost nastaje kada se pojedinačno optimalni dijelovi sistema međusobno sudare. Tekst podsjeća na dramatičan pad američkih finansijskih tržišta 6. maja 2010. godine, kada su automatizovani sistemi reagovali jedni na druge tako brzo da je likvidnost nestala, a cijene nakratko postale apsurdno niske. U tom kontekstu autor upozorava da vještačka inteligencija, kao jedan od najvećih uspjeha optimizacije, može pojačati sve tri zamke: uklanjanje ljudskog nadzora, sužavanje pojma inteligencije na rezultat na tabeli i nepredvidive posljedice kada veliki broj AI sistema djeluje zajedno velikom brzinom.
Zaključak teksta je da izazov nije samo pronaći najbolji odgovor, nego odlučiti šta “najbolje” zaista znači i šta ne treba optimizirati po svaku cijenu. Kako optimizacija postaje moćnija, tako raste i potreba da se čuva otpornost sistema, ljudska prosudba i prostor za neočekivano.
Izvor: The Guardian