Claude se při bezpečnostních testech dostal na internet a „napadl“ tři reálné organizace

Modely společnosti Anthropic během testování kybernetických schopností neoprávněně pronikly do systémů tří skutečných organizací. Umělá inteligence měla pracovat v izolované simulaci, kvůli chybné konfiguraci však získala přístup k otevřenému internetu. V jednom případě vytvořila a zveřejnila škodlivý balíček, který se spustil na 15 reálných systémech.

Anthropic incidenty odhalil při zpětné kontrole více než 141 000 testovacích běhů. Prověrku firma zahájila poté, co OpenAI zveřejnila podobný případ, při němž její modely opustily izolované prostředí a pronikly do produkční infrastruktury platformy Hugging Face.

Testy pro Anthropic zajišťovala externí bezpečnostní společnost Irregular. Modely Claude v nich plnily úlohy typu capture the flag, při kterých měly v rámci fiktivního scénáře proniknout do jiného systému a získat ukrytá data. Zadání výslovně uvádělo, že testovací prostředí nemá přístup k internetu. Kvůli nedorozumění mezi oběma společnostmi však připojení zůstalo dostupné.

Když se proto modelům podařilo spojit s reálnými servery, považovaly je převážně za součást simulace. Podle Anthropicu nešlo o vědomý pokus AI uniknout z testovacího prostředí ani o sledování vlastního cíle. Modely se snažily splnit zadaný úkol, ale pracovaly s nesprávnou představou o tom, které systémy mohou napadat.

Reálná firma měla stejné jméno jako fiktivní cíl

První incident se týkal modelu Claude Opus 4.7. Fiktivní společnost použitá v testovacím scénáři měla stejné jméno jako skutečný existující web. Když se modelu nedařilo najít simulovaný cíl, objevil reálnou firmu a začal její infrastrukturu považovat za součást testu.

Ve čtyřech testovacích bězích model získal aplikační a infrastrukturní přihlašovací údaje a pronikl do databáze obsahující několik stovek řádků produkčních dat. Podle Anthropicu šlo o nejzávažnější ze tří zaznamenaných incidentů.

Opus 4.7 během útoku dospěl k závěru, že se pravděpodobně nachází ve skutečném prostředí. Přesto pokračoval. V některých bězích si tuto situaci vysvětlil tím, že reálná společnost musela být záměrnou součástí testu.

Claude zveřejnil malware na PyPI

Druhý případ se týkal modelu Claude Mythos 5. Ten v testovacím prostředí našel instrukce, podle kterých měli vývojáři instalovat neexistující softwarový balíček z veřejného repozitáře PyPI.

Model vyhodnotil situaci jako příležitost k supply-chain útoku. Vytvořil škodlivý balíček se stejným názvem a pokusil se jej zveřejnit tak, aby si jej systémy fiktivní společnosti automaticky stáhly. Za tímto účelem si obstaral e-mailovou adresu, založil účet na PyPI a malware do veřejného repozitáře skutečně nahrál.

Balíček byl veřejně dostupný přibližně hodinu a během této doby se spustil na 15 reálných systémech. Jedním z nich byl automatický skener bezpečnostní společnosti. Škodlivý kód z něj získal přístupové údaje, které Claude následně použil k proniknutí do další části firemní infrastruktury. PyPI balíček později automaticky odstranilo.

Model přitom během svého rozhodování správně rozpoznal, že zveřejnění balíčku by na skutečném internetu představovalo reálný útok. Následně se však přesvědčil, že stále pracuje v simulaci. Za důkaz považoval mimo jiné neznámé certifikační autority a datum 2026, které podle něj naznačovalo uměle vytvořené prostředí.

Nejnovější model útok sám zastavil

Ve třetím incidentu interní výzkumný model Anthropicu při hledání alternativního cíle oskenoval přibližně 9 000 systémů dostupných na internetu. Následně napadl veřejně přístupnou aplikaci jedné společnosti pomocí známých metod, včetně získání přihlašovacích údajů z nezabezpečené ladicí stránky a SQL injection.

Model ale později zjistil, že napadený server běží v cloudovém účtu, který s testovacím scénářem zjevně nesouvisí. Sám proto usoudil, že jde o skutečný cíl, a útok zastavil. Anthropic upozorňuje, že z pouhých tří izolovaných případů nelze vyvozovat obecné závěry, chování novějšího modelu však podle firmy alespoň naznačuje lepší schopnost správně reagovat na podobnou situaci.

Selhala především izolace testovacího prostředí

Incidenty se týkaly modelů Claude Opus 4.7, Claude Mythos 5 a jednoho interního prototypu. Během testů byly vypnuté běžné klasifikátory a monitorovací mechanismy, které Anthropic používá u veřejně dostupných produktů. Firma tvrdí, že standardní ochranné mechanismy by zaznamenané chování zablokovaly. Testovací infrastruktura zároveň neměla přístup k interním systémům Anthropicu ani k zákaznickým datům.

Modely navíc nevyužily žádné mimořádně sofistikované nebo dosud neznámé zranitelnosti. Úspěšné byly především díky slabým heslům, nechráněným endpointům, zveřejněným údajům a běžným chybám v zabezpečení. Dvě z napadených organizací o aktivitě nevěděly, dokud je Anthropic nekontaktoval. Třetí se firmě v době zveřejnění zprávy zatím nepodařilo zastihnout.

Anthropic po odhalení incidentů pozastavil kybernetické evaluace a plánuje zavést důslednější kontrolu síťových cest, průběžné monitorování testovacích záznamů a přísnější požadavky na externí hodnotitele. Nezávislou kontrolu událostí má provést organizace METR.

Případ ukazuje, že bezpečnost agentních systémů nezávisí pouze na samotném modelu. Stejně podstatné jsou oprávnění, dostupné nástroje, izolace infrastruktury, přesně vymezený rozsah úkolu a monitoring prováděných operací. Jinými slovy: problémem nebylo, že by se Claude rozhodl zahájit vlastní hackerskou kariéru. Dostal hackerský úkol, funkční připojení k internetu a prostředí, které jej nedokázalo včas zastavit.

Zdroj: fortune.com

Zdroj ilustračního obrázku: Photo by Planet Volumes on Unsplash