Dýrt atvik átti sér stað hjá tæknifyrirtækinu PocketOS þegar gervigreindarkerfi eyddi bæði framleiðslugagnagrunni og öllum afritum hans á örfáum sekúndum. Atvikið hefur kveikt umræðu um áhættuna sem fylgir aukinni sjálfvirknivæðingu í hugbúnaðarþróun.
Eyðilagði allt með einni skipun
Samkvæmt Jer Crane, stofnanda PocketOS, átti gervigreindin að vinna einfalt verkefni þegar hún rakst á villu í aðgangsstýringu. Í stað þess að biðja um aðstoð eða kanna málið nánar tók hún sjálfstæða ákvörðun um að „leysa“ vandann með því að eyða gagnageymslu fyrirtækisins.
Það reyndist afdrifaríkt. Með einni skipun hurfu öll gögn og öll afrit þeirra. Að sögn Crane tók ferlið aðeins um níu sekúndur en afleiðingarnar voru umfangsmiklar fyrir bæði fyrirtækið og viðskiptavini þess.
Viðurkenndi mistök sín sjálf
Eftir atvikið spurði Crane gervigreindina hvers vegna hún hefði gripið til þessa ráðs. Svarið er fremur furðulegt þar sem kerfið viðurkenndi að hafa farið gegn eigin leiðbeiningum.
Gervigreindin sagðist hafa giskað á að aðgerðin myndi ekki hafa jafn afdrifarík áhrif, án þess að staðfesta það. Hún viðurkenndi líka að hafa hvorki kynnt sér skjölin sem þarna voru geymd né sannreynt hvaða afleiðingar skipunin gæti haft áður en hún var keyrð.
Í stuttu máli sagðist hún hafa brotið allar reglur sem henni var gert að fylgja í upphafi.
Viðskiptavinir urðu fyrir miklum áhrifum
Eyðileggingin hafði strax áhrif á starfsemi viðskiptavina PocketOS, sem þurftu að grípa til aðgerða til að halda rekstri gangandi, nánast handvirkt. Crane lýsir því að hann hafi unnið nær sleitulaust í tvo sólarhringa við að endurheimta þau gögn sem hægt var úr eldri afritum.
Að lokum tókst að endurheimta nýrri gögn og koma kerfinu aftur í nokkuð eðlilegt horf.