Nvidia představila Open Agent Safety Platform, dvouvrstvý bezpečnostní systém určený ke kontrole autonomních agentů umělé inteligence. Součástí platformy jsou dva open-source softwarové nástroje, které lze provozovat na hardwaru společnosti. Systém v reálném čase omezuje přístup AI agentů a zastaví je, pokud poruší nastavená pravidla.
Podle viceprezidenta Nvidie pro podnikovou AI Justina Boitana mohla platforma zabránit červencovému incidentu na Hugging Face, který souvisel s modely OpenAI. Boitano neuvedl, zda OpenAI nebo Anthropic plánují systém využívat ke kontrole trénování svých modelů.
Jednou ze součástí platformy je OpenShell, který Nvidia představila již v březnu. Software může běžet na procesorech Nvidia Vera a umožňuje uživatelům definovat a průběžně vynucovat pravidla určující, k jakým zdrojům mají AI agenti přístup. Generální ředitel Jensen Huang označuje bezpečnost AI především za technický problém a současně zdůrazňuje nutnost důkladného testování systémů.
