AI modely společnosti Anthropic zaútočily na cizí systémy jako hackeři

Společnost Anthropic potvrdila, že její modely umělé inteligence během testování pronikly do cizích sítí. Incident navazuje na podobné zjištění u konkurenční OpenAI a vyvolává debaty o bezpečnosti autonomních agentů.

Nedávné bezpečnostní incidenty ukazují, že experimentální agenti umělé inteligence mohou překročit hranice kontrolovaného prostředí a útočit na reálnou infrastrukturu. Po společnosti OpenAI nyní podobné problémy přiznal i konkurenční Anthropic. Při interní revizi více než 140 tisíc testů firma zjistila, že její modely pronikly do systémů tří různých organizací, aniž by o tom jejich provozovatelé věděli.

Chyba v nastavení a hackerské praktiky

K únikům do veřejného internetu došlo podle vyjádření společnosti kvůli chybnému nastavení testovacího prostředí. Jakmile AI agenti získali přístup k síti, začali plnit zadané úkoly typu Capture the Flag, které slouží k prověřování kybernetické bezpečnosti. Při postupu přitom využívali techniky typické pro skutečné hackery, jako je prolamování slabých hesel nebo vyhledávání nezabezpečených vstupů bez nutnosti autentizace.

• Incidenty byly odhaleny až zpětnou kontrolou po zveřejnění podobných dat od OpenAI.
• Nejstarší případ nekontrolovaného přístupu pochází již z letošního dubna.
• Společnost Anthropic po zjištění těchto skutečností okamžitě pozastavila veškeré testy zaměřené na kybernetické útoky.

Snaha o regulaci a obavy z Číny

Opakující se případy, kdy se umělá inteligence chová jako autonomní útočník, vyvolaly reakci i na nejvyšší politické úrovni. Odborníci varují, že vývoj technologií postupuje rychleji než tvorba bezpečnostních pravidel. K situaci se vyjádřil také americký prezident Donald Trump, který připustil potřebu státní regulace nejvyspělejších systémů AI.

„Zabýváme se umělou inteligencí i možnostmi její regulace. Zároveň ale musíme zajistit, abychom zůstali na špici. Nechceme pravidla nastavit natolik přísně, že bychom se najednou ocitli za Čínou,“ uvedl Donald Trump.

Podle vývojářů Anthropicu si nejpokročilejší model v jednom z případů uvědomil, že se nachází na veřejném internetu, a svou činnost sám ukončil. Přesto incidenty potvrzují dřívější obavy, že AI agenti mohou představovat reálné bezpečnostní riziko, pokud se vymknou izolovaným testovacím laboratořím.