Vývoj umělé inteligence podle vedení Anthropic postupuje příliš rychle. Generální ředitel společnosti Dario Amodei vyzval technologický sektor ke zpomalení dalšího zvyšování schopností nejpokročilejších AI modelů, aby lidé získali více času na jejich pochopení a vytvoření účinných bezpečnostních mechanismů.
Amodei přitom dlouhodobě patří mezi zastánce rozvoje AI. Současně ale upozorňuje, že její rychlý pokrok přináší rizika, která mohou zahrnovat kybernetické útoky, zneužití v oblasti bioterorismu, vážné ekonomické otřesy nebo v krajním případě ztrátu kontroly nad pokročilými systémy.
Nevolá proto po úplném zastavení vývoje. Prosazuje koncept „pacing the frontier“, tedy kontrolovanější tempo posouvání technologické hranice. Pokrok by podle něj pokračoval rychle, ale společnosti a vlády by získaly více času na zavedení ochranných opatření.
Výzva přichází v době, kdy obavy z rychlosti vývoje začínají otevřeně sdílet i další představitelé technologického sektoru. Sam Altman z OpenAI, Elon Musk z xAI a Demis Hassabis z Google DeepMind podpořili potřebu větší opatrnosti, přičemž OpenAI se přihlásilo také k myšlence nezávislých bezpečnostních hodnotitelů.
Jedním z hlavních důvodů k opatrnosti je rychlost, s jakou se schopnosti nejpokročilejších systémů v posledních měsících zvyšují. Zvláštní pozornost přitahuje možnost takzvaného rekurzivního sebezdokonalování, kdy by umělá inteligence dokázala sama přispívat k vývoji stále schopnějších systémů.
Takový mechanismus by mohl výrazně urychlit technologický pokrok. Zároveň by ale mohl vytvořit situaci, ve které schopnosti AI porostou rychleji než schopnost lidí těmto systémům rozumět, kontrolovat je a vytvářet odpovídající bezpečnostní opatření.
Amodei připouští, že umělá inteligence může lidstvu přinést mimořádné výhody. Stejná technologie však podle něj může být zneužita nebo se může stát obtížně kontrolovatelnou, pokud bude její vývoj pokračovat bez dostatečných ochranných mechanismů.
Jedním z extrémních scénářů je vznik rozsáhlého množství autonomních AI agentů schopných koordinovaně působit v digitálním prostředí. Podle Amodeie by takový systém mohl při velmi rychlém vývoji během šesti až dvanácti měsíců získat schopnost zasáhnout značnou část internetu a způsobit škody v řádu stovek miliard dolarů.
Obavy posílil také incident spojený s AI agenty OpenAI a Hugging Face. Skupina agentů podle popisu události prováděla kybernetické útoky také proti cílům, na které původně útočit neměla. Jejich chování ukázalo problém, který může být s rostoucí autonomií systémů stále důležitější.
Amodei zároveň upozorňuje na obtížnou rovnováhu. Příliš rychlý vývoj zvyšuje bezpečnostní rizika, ale příliš výrazné zpomalení může podle něj vést k tomu, že nejpokročilejší technologie získají aktéři, kteří k bezpečnosti přistupují méně odpovědně.
Cílem proto nemá být technologický pokrok zastavit, ale nastavit jeho tempo tak, aby bezpečnostní mechanismy dokázaly držet krok se schopnostmi nových modelů.
Součástí navrhovaného přístupu jsou konkrétní bezpečnostní opatření pro společnosti vyvíjející nejpokročilejší modely. Jedním z nejvýraznějších návrhů je zapojení nezávislých externích hodnotitelů s velmi širokým přístupem k interním procesům.
Tito odborníci by měli získat přístup srovnatelný s interními zaměstnanci a možnost kontrolovat AI modely, tréninkové postupy, vývojové procesy i bezpečnostní standardy. Součástí jejich práce by bylo také ověřování incidentů a posuzování, zda společnosti skutečně dodržují deklarovaná ochranná opatření.
Anthropic se k zavedení takového systému zavázal jednostranně. Nechce tedy čekat, až se na společných pravidlech dohodne celý sektor nebo než budou podobné kontroly vyžadovat regulační orgány.
K obdobnému kroku se následně přihlásilo také OpenAI. Sam Altman označil nezávislé hodnotitele s přístupem podobným zaměstnancům za vhodný nástroj a uvedl, že jeho společnost plánuje postupovat stejně.
Podporu obecné potřebě zpomalit tempo dalšího vývoje vyjádřili rovněž představitelé xAI a Google DeepMind. Debata o bezpečnosti se tak stále více přesouvá z teoretické roviny ke konkrétním otázkám kontroly vývoje nejvýkonnějších modelů.
Tlak přichází také zevnitř samotných AI společností. Jeden z výzkumníků Anthropic odešel kvůli obavám, že firmy vyvíjející umělou inteligenci nepostupují dostatečně odpovědně. Amodei následně uvedl, že s podstatnou částí těchto obav souhlasí.
Význam nezávislé kontroly může růst společně s tím, jak se AI systémy stávají autonomnějšími. U tradičního softwaru je možné poměrně přesně určit, jaké operace má program vykonávat. U pokročilých agentních systémů se ale může jejich chování stávat složitějším a méně předvídatelným.
Dobrovolná opatření technologických společností podle Amodeie sama o sobě nestačí. Potřebná je také koordinace mezi vládami a vytvoření společných bezpečnostních standardů.
Do této spolupráce by se podle něj měly zapojit demokratické i nedemokratické státy. Důvodem je globální charakter technologie. Pokud jedna skupina společností nebo zemí vývoj zpomalí a jiné budou pokračovat bez omezení, může vzniknout silná motivace bezpečnostní pravidla obcházet.
Ve Spojených státech zatím regulační systém rychlosti technologického vývoje nestačí. Kongres sice diskutoval o regulaci AI, ale nepřijal komplexní legislativní rámec. Ani v rámci výkonné moci zatím není jednoznačně stanoveno, kdo má nést hlavní odpovědnost za dohled nad nejpokročilejšími systémy.
Diskuse o zpomalení přitom nezačala až nyní. Po incidentu spojeném s Hugging Face se k možnosti kontrolovanějšího vývoje vyjádřil také Sam Altman. Argumentoval potřebou poskytnout společnosti dostatek času, aby se dokázala přizpůsobovat novým úrovním schopností AI.
V červenci navíc více než 1 300 zaměstnanců významných technologických společností podepsalo otevřený dopis požadující vytvoření nástrojů, které by americké vládě umožnily pomoci zpomalit tempo vývoje umělé inteligence. Iniciativu podpořili také Amodei a Altman.
Rostoucí shoda mezi částí technologického sektoru tak není výzvou k ukončení vývoje AI. Jde spíše o snahu zabránit situaci, kdy technologické schopnosti předběhnou možnosti jejich kontroly.
Zásadním problémem zůstává konkurenční dynamika. Každá společnost má motivaci pokračovat ve vývoji, pokud předpokládá, že konkurenti udělají totéž. Stejný problém existuje mezi jednotlivými státy. Jednostranné zpomalení proto může být obtížné bez širší koordinace.
Právě proto se návrh „pacing the frontier“ soustředí na kombinaci dobrovolných závazků, nezávislého hodnocení a společných bezpečnostních pravidel. Cílem není technologickou hranici přestat posouvat, ale zabránit tomu, aby se pohybovala rychleji než schopnost společnosti zvládat její důsledky.
