Anthropic čelí nepříjemné debatě těsně před plánovaným vstupem na burzu.
Společnost, která si vybudovala pověst jednoho z nejvýraznějších zastánců bezpečného vývoje umělé inteligence, se dostala pod zvýšenou pozornost poté, co její výzkumníci veřejně upozornili na potenciálně katastrofické důsledky dalšího vývoje pokročilé AI.
Největší pozornost vyvolal odchod výzkumníka Jacoba Coxona, který pracoval na předtrénování AI modelů a zkušenosti získal také ve společnosti OpenAI. Po svém odchodu z Anthropic veřejně kritizoval tempo, kterým přední AI laboratoře postupují, a upozornil, že podle části lidí přímo zapojených do vývoje existuje riziko, že velmi pokročilá AI může představovat existenční hrozbu pro lidstvo.
Debata přichází v citlivém okamžiku. Anthropic se připravuje na jednu z největších primárních veřejných nabídek akcií v historii a diskutovaná valuace společnosti dosahuje až 2 bilionů dolarů. Samotné bezpečnostní obavy nemusí plány na IPO zastavit, mohou však zvýšit tlak na rozsah rizikových informací zveřejňovaných investorům a následně také na regulaci celého odvětví.
Coxon při odchodu z Anthropic kritizoval především způsob, jakým mezi sebou největší AI společnosti soutěží o vývoj stále schopnějších systémů. Jeho obavy se týkají situace, kdy by pokročilé modely dokázaly stále větší část svého dalšího vývoje provádět autonomně a jejich schopnosti by začaly růst rychleji, než bude možné vytvořit odpovídající bezpečnostní mechanismy.
Jeho vyjádření získala mimořádnou pozornost na sociálních sítích. Dodaný materiál uvádí, že příspěvek dosáhl přibližně 158 milionů zobrazení a 757 000 reakcí, což přesunulo do veřejné debaty téma, které se dříve odehrávalo především uvnitř technologického sektoru a akademického prostředí.
Významné je, že podobné obavy nezazněly pouze od člověka, který ze společnosti odešel. Evan Hubinger, vedoucí týmu Alignment Science v Anthropic, veřejně uvedl, že osobně přisuzuje scénáři, kdy by AI během příštího desetiletí způsobila vyhynutí lidstva, pravděpodobnost vyšší než 10 %. Současně připustil, že společnost zatím nemá jednoznačně vyřešený způsob, jak bezpečně kontrolovat případnou superinteligenci.
Anthropic se přitom dlouhodobě profiluje právě důrazem na bezpečnost pokročilé AI. V srpnu zveřejnil další zprávu o rizicích, která se věnuje mimo jiné scénářům spojeným se superinteligencí, tedy systémy schopnými překonat lidské intelektuální schopnosti napříč několika oblastmi. Současná debata proto zasahuje přímo jednu z hlavních součástí identity společnosti.
Bezpečnostní diskuse přichází ve chvíli, kdy Anthropic směřuje k mimořádně významnému vstupu na veřejný trh. Podle aktuálních očekávání by společnost mohla zahájit IPO přibližně v polovině října a diskutovaná valuace se pohybuje až kolem 2 bilionů dolarů. Taková hodnota by z nabídky udělala jednu z největších burzovních událostí vůbec.
Veřejně obchodovaná společnost by však čelila podstatně vyšším požadavkům na zveřejňování rizik. Bezpečnost pokročilých modelů, možnost jejich zneužití a schopnost společnosti kontrolovat další vývoj AI se proto mohou stát významnou součástí dokumentace k IPO i následné komunikace s akcionáři.
Samotná varování výzkumníků pravděpodobně neznamenají automatické ohrožení IPO. Mohou však ovlivnit způsob, jakým investoři hodnotí rizikový profil společnosti, a zvýšit tlak na podrobnější popis bezpečnostních mechanismů. Vedle technologických rizik navíc Anthropic čelí vysokým požadavkům na výpočetní kapacitu a intenzivní konkurenci ze strany OpenAI a dalších vývojářů pokročilých modelů.
Současně zůstává vysoká poptávka po nejvýkonnějších AI systémech. Pro budoucí ocenění Anthropic tak bude důležité nejen tempo růstu jeho komerčního podnikání, ale také schopnost přesvědčit investory a regulátory, že další rozšiřování schopností modelů může probíhat při dostatečné úrovni kontroly.
Veřejná debata kolem Anthropic může mít dopad i na širší AI sektor. Vývoj nejpokročilejších modelů postupuje rychleji než vytváření komplexního regulatorního rámce a veřejná varování lidí přímo zapojených do jejich vývoje mohou zvýšit politický tlak na zavedení nových pravidel.
Jedním z klíčových témat je takzvané rekurzivní učení nebo sebezdokonalování. Jde o koncept, při kterém AI využívá vlastní výstupy a schopnosti k dalšímu trénování a zlepšování. Úspěšné zvládnutí podobného procesu by mohlo výrazně urychlit technologický vývoj a vytvořit významnou konkurenční výhodu, současně však vyvolává otázky ohledně kontroly stále autonomnějších systémů.
Právě zde vzniká zásadní konflikt mezi komerčními a bezpečnostními prioritami. Společnosti mají motivaci dostat výkonnější modely na trh dříve než konkurence, zatímco bezpečnostní výzkum vyžaduje testování, omezení a v některých případech pomalejší zavádění nových schopností. Intenzivní soutěž mezi největšími laboratořemi může hledání rovnováhy dále komplikovat.
Vstup Anthropic na burzu může tuto dynamiku ještě změnit. Firma bude muset vedle technologického pokroku více zohledňovat požadavky veřejných akcionářů, regulatorní povinnosti a dlouhodobou ziskovost. Případné IPO s valuací kolem 2 bilionů dolarů proto nebude pouze testem zájmu investorů o AI, ale také schopnosti společnosti skloubit rychlý technologický vývoj s bezpečností a rostoucím regulatorním dohledem.
