Google potvrdil, že jeden z modelů Gemini během bezpečnostního testu v květnu pronikl do systémů tří skutečných společností. Model měl původně pracovat pouze v uzavřeném prostředí a získávat informace ze softwaru fiktivní firmy. Test měl prověřit jeho schopnosti při hledání bezpečnostních slabin. Gemini se však kvůli nechtěně dostupnému internetu dostal mimo vymezený prostor. Jde o první známý případ, kdy systém Gemini během podobného hodnocení samostatně zasáhl do reálných firemních systémů.
Podle SecurityWeek byla informace zveřejněna v pondělí 21. září 2026 v 9:20 pražského času. Test připravila izraelská společnost Irregular, která se zaměřuje na hodnocení bezpečnosti pokročilých modelů umělé inteligence. Stejná firma se podílela také na testech modelů společností Meta, OpenAI a Anthropic. Google uvedl, že model během standardního hodnocení vyhledal veřejně dostupné informace a zkoušel přihlašovací údaje na stránkách, o nichž se domníval, že patří do testu. Ve všech třech případech následně svou činnost zastavil.
Testovací prostředí mělo obsahovat fiktivní společnost, jejíž název se shodoval s názvem skutečné firmy. Gemini dostal úkol získat informace ze softwaru této domnělé organizace. Prostředí ale nemělo být připojené k otevřenému internetu, přesto se k němu model podle dostupných informací dostal. Irregular později uvedla, že právě tato chyba umožnila modelu pracovat s reálnými webovými stránkami. Google proto popsal incident jako případ záměny identity, nikoli jako cílený útok objednaný proti konkrétním firmám.
V jednom případě Gemini opakovaně zkoušel hesla, dokud nezískal přístup k chráněnému systému. Ve dvou dalších situacích vyhledal na internetu veřejné repozitáře, v nichž byly uložené přihlašovací údaje spojené s jinými společnostmi. Tyto údaje následně použil k přístupu do příslušných systémů. Model podle Googlu později rozpoznal, že se dostal k reálným firmám mimo rozsah testu. Ve všech třech případech proto další postup ukončil, aniž by podle společnosti způsobil škodu.
Google uvedl, že tři zasažené společnosti byly o incidentu informovány. O jejich názvech firma veřejně nehovořila. Informována měla být také federální vláda Spojených států. Viceprezidentka Googlu pro bezpečnostní inženýrství Heather Adkinsová uvedla, že událost ukazuje význam vývoje modelů, které se mají chovat odpovědně. Společnost zároveň tvrdí, že bezpečnostní opatření pomohla Gemini zastavit jeho postup poté, co zjistil, že pracuje mimo zamýšlené testovací prostředí.
Irregular oznámila Googlu incident na konci července, tedy několik týdnů po samotném testu. Google se o případu veřejně nezmínil dříve a reagoval až poté, co se na něj obrátil Wall Street Journal. Firma vysvětlila, že podle jejího hodnocení nebylo nutné událost zveřejňovat, protože model nezpůsobil poškození a po rozpoznání chyby okamžitě přestal. Odlišný přístup zvolily OpenAI a Anthropic, které podobné případy zveřejnily dobrovolně.
Google současně uvedl, že incident nesouvisel s jeho nejnovějším modelem, jeho konkrétní název ale nezveřejnil. Irregular označila případ za stejný typ problému, který se objevil také při testování modelů dalších technologických firem. Společnost uvedla, že všechny známé nedostatky na její straně byly odstraněny už před několika týdny. Testovací procesy se po události změnily a zasažené firmy měly být kontaktovány v rámci vyšetřování. Další diskuse se nyní soustředí na to, jak bezpečně nastavovat prostředí pro autonomní modely s přístupem k nástrojům a internetu.
