Obavy kolem bezpečnosti umělé inteligence znovu sílí. Další výzkumník působící v jednom z předních AI laboratoří opustil svou pozici s varováním, že společnosti vyvíjející nejpokročilejší modely postupují příliš rychle a nemusí mít dostatečně spolehlivé mechanismy, jak budoucí systémy kontrolovat.
Ve svém veřejném vyjádření upozornil, že lidé pracující přímo na vývoji umělé inteligence berou vážně i možnost, že extrémně pokročilé systémy mohou v budoucnu představovat existenční riziko. Jako problematický označil především závod směrem k samostatně se zdokonalující superinteligenci, která by mohla překonat lidské schopnosti, získat přístup k významným zdrojům a provádět úkoly, nad nimiž by lidé postupně ztráceli kontrolu.
Nejde přitom o první podobné varování. Bezpečnost AI se v posledních letech stala jedním z hlavních sporných bodů uvnitř samotného technologického sektoru. Někteří zaměstnanci své společnosti opustili právě kvůli nesouhlasu s tempem vývoje nebo s přístupem k bezpečnostním opatřením. Jiní zůstávají uvnitř firem, ale veřejně připouštějí, že schopnosti nových systémů se mohou rozvíjet rychleji než metody, kterými je výzkumníci dokážou monitorovat a řídit.
V červenci podepsalo téměř 1 400 zaměstnanců AI společností otevřený dopis, který vyzýval americkou vládu k regulaci technologie, omezení nekontrolovaného závodu mezi největšími technologickými firmami a vytvoření podmínek pro bezpečnější vývoj.
Podobné obavy nedávno zazněly také z OpenAI. Vedení výzkumu upozornilo, že schopnosti modelů postupují rychleji než možnosti jejich spolehlivého monitorování a kontroly. Tlak na bezpečnost tak přestává být pouze tématem kritiků umělé inteligence a stále častěji přichází přímo od lidí, kteří nejpokročilejší systémy vyvíjejí.
Jedním z nejvýraznějších prvků současné debaty je skutečnost, že někteří zaměstnanci předních AI společností otevřeně připouštějí možnost katastrofického scénáře.
Po zveřejnění posledního varování jej veřejně podpořil také zkušenější pracovník stejné společnosti. Uvedl, že možnost, že by pokročilá umělá inteligence mohla v příštím desetiletí způsobit katastrofu globálního rozsahu, považuje za reálnou, i když její pravděpodobnost osobně odhaduje pod 10 %.
Takové vyjádření neznamená, že současné modely mají schopnosti potřebné k uskutečnění podobného scénáře. Interní hodnocení rizik samotné společnosti uvádí, že dnešní AI systémy mají jen velmi malou pravděpodobnost získat takovou úroveň moci a autonomie.
Diskuse se proto týká především budoucího vývoje.
Klíčovým pojmem je superinteligence, tedy hypotetická fáze, kdy by schopnosti umělé inteligence překonaly člověka v široké škále oblastí. Neexistuje přitom jednotný benchmark, podle kterého by bylo možné přesně určit, kdy nebo zda vůbec bude této úrovně dosaženo. Část výzkumníků se domnívá, že k ní mohou systémy směřovat poměrně rychle, zatímco jiní pochybují, zda podobný stav vůbec nastane.
Právě tato nejistota komplikuje hledání správného přístupu k bezpečnosti. Pokud se schopnosti modelů zvyšují rychleji, než se očekávalo, mohou bezpečnostní mechanismy zaostávat. Pokud by naopak vývoj postupoval pomaleji, příliš přísné omezení by mohlo brzdit technologii, která má potenciál přinést významné ekonomické a společenské přínosy.
Vedoucí představitelé AI firem sami připouštějí, že tento problém není vyřešený. Objevují se varování, že rychlý technologický závod může vést k závažné chybě způsobené člověkem, při které společnost ztratí nad některým systémem kontrolu.
Současně ale firmy zdůrazňují, že investují do bezpečnostních mechanismů a snaží se vytvářet modely s co nejsilnějšími ochrannými opatřeními. Debata tak není rozdělena jednoduše na zastánce a odpůrce umělé inteligence. Spor se stále více vede o to, jak rychle má vývoj pokračovat a jak velká úroveň rizika je ještě přijatelná.
Přestože počet veřejných varování roste, americký regulatorní rámec zatím zůstává omezený.
Federální vláda zatím nepřistoupila k rozsáhlému systému povinných omezení pro nejpokročilejší modely. Současně se objevuje snaha omezovat některé regulatorní iniciativy jednotlivých států. Jedním z hlavních argumentů proti přísnějším pravidlům je obava, že by Spojené státy mohly zpomalit vlastní technologický sektor a ztratit pozici vůči Číně.
Argument, že Čína AI prakticky nereguluje, však není úplně přesný. Čínská vláda už přijala opatření zaměřená na řízení některých rizik a bezpečnost. Společnosti například dostaly povinnost označovat obsah vytvořený umělou inteligencí, aby bylo možné lépe rozpoznat jeho původ a zpětně jej dohledat.
Ani čínský přístup však zatím nepředstavuje typ přísných omezení, která požadují někteří výzkumníci ze Silicon Valley v souvislosti s možnými riziky budoucí superinteligence.
Ve Spojených státech tak velká část odpovědnosti zůstává přímo na samotných AI společnostech. Ty v zásadě rozhodují, jaké bezpečnostní standardy budou používat, jak budou své modely testovat a kdy nové schopnosti zpřístupní veřejnosti.
Bílý dům se posunul směrem k dobrovolnému rámci pro kontrolu některých AI modelů před jejich uvedením na trh. Jednání o jeho podobě se účastnily například OpenAI, Anthropic, Google společnosti Alphabet (GOOGL) a Meta Platforms (META).
Část detailů tohoto systému však nemá být veřejně dostupná a některé standardy mají zůstat utajené. To znamená, že alespoň v současné podobě nejde o klasický transparentní regulatorní režim s veřejně známými pravidly.
Napětí mezi bezpečností a konkurenceschopností tak zůstává nevyřešené. Na jedné straně stojí tlak technologických firem na rychlé uvádění stále schopnějších modelů. Na druhé straně roste počet lidí přímo z tohoto odvětví, kteří upozorňují, že možnosti kontroly nemusí držet s technologickým pokrokem krok.
Zajímavým posunem je, že myšlenku zpomalení vývoje už neprosazují pouze bývalí zaměstnanci nebo externí kritici.
Také vedení OpenAI během léta připustilo, že rychlost dalšího vývoje může být nutné v určitém okamžiku přizpůsobit schopnosti společnosti a celé společnosti reagovat na nové technologie. Důvodem byly mimo jiné testovací incidenty u pokročilejších modelů, které otevřely dlouhodobé otázky ohledně řízení rychle rostoucích schopností AI.
Základní myšlenka spočívá v tom, že společnost může potřebovat více času na vytvoření bezpečnostních opatření, institucí a pravidel schopných fungovat v prostředí stále výkonnější umělé inteligence.
Podobný pohled podporuje také Anthropic. Společnost uvedla, že by technologickému sektoru prospěla legální a ověřitelná forma koordinace rychlosti, s jakou jsou nejvýkonnější modely uváděny na trh.
To je významný posun oproti situaci, kdy by jednotlivé firmy musely jednostranně zpomalit a riskovat, že jejich konkurenti budou pokračovat beze změny. Právě konkurenční dynamika patří mezi největší problémy celé bezpečnostní debaty.
Pokud jedna společnost vývoj zpomalí, zatímco ostatní pokračují maximální rychlostí, může ztratit technologický i komerční náskok. Výsledkem je prostředí, ve kterém mají všechny firmy motivaci postupovat rychle, i když jejich vlastní zaměstnanci připouštějí existenci významných rizik.
Odchod dalšího výzkumníka proto není izolovanou událostí. Zapadá do širšího trendu, ve kterém stále více lidí z technologického sektoru veřejně zpochybňuje, zda současný model soutěže mezi AI laboratořemi vytváří dostatečný prostor pro bezpečnost.
Současné systémy podle dostupných hodnocení zatím nepředstavují bezprostřední riziko získání nekontrolovatelné moci. Hlavní otázkou je, jak rychle se tato situace může změnit a zda budou bezpečnostní metody schopné držet krok se schopnostmi budoucích modelů.
Debata se tak stále méně týká toho, zda AI přinese významné výhody, a stále více toho, jak zajistit, aby její schopnosti nepředběhly možnosti lidské kontroly. Počet lidí přímo z technologického sektoru, kteří na tento problém veřejně upozorňují, přitom dál roste.
