Zpomalte vývoj AI, nebo ztratíme kontrolu, varuje šéf Anthropicu Amodei

Vývoj umělé inteligence nabírá na obrátkách, které začínají děsit i samotné tvůrce těchto systémů. Generální ředitel společnosti Anthropic Dario Amodei varuje, že bezpečnostní mechanismy přestávají stíhat technologický pokrok a pokud firmy neprodleně nezpomalí, hrozí během příštího roku ztráta lidské kontroly nad AI. V sázce jsou podle něj stovky miliard dolarů i stabilita celého internetu.

Generální ředitel společnosti Anthropic Dario Amodei vydal naléhavé varování před neřízenou rychlostí technologického pokroku v oblasti umělé inteligence. Podle jeho analýzy se tempo vývoje v posledních měsících natolik zrychlilo, že bezpečnostní opatření přestávají stačit. Amodei bije na poplach s tím, že pokud nedojde k okamžitému zpomalení, může AI během pouhého roku získat schopnosti, které budou pro lidstvo představovat fatální hrozbu.

Šéf Anthropicu zdůrazňuje, že cílem není úplné zastavení vývoje, ale získání nezbytného času pro vědce a regulátory. Varuje, že současný horizont 6 až 12 měsíců je kritický. V tomto časovém okně by se mohly objevit systémy schopné autonomních operací, které by lidé již nedokázali efektivně korigovat ani zastavit.

Během příštího roku může umělá inteligence získat schopnosti, které budou představovat podstatně větší riziko než dnes.

Riziko rekurzivního sebezdokonalování

Jádrem Amodeiových obav je jev, který nazývá rekurzivní sebezdokonalování. V posledních měsících se totiž začala výrazněji projevovat schopnost stávajících modelů AI pomáhat při navrhování a programování další, ještě výkonnější generace umělé inteligence. Tento cyklus vytváří exponenciální tlak na rychlost vývoje, na který není lidská společnost připravena.

Amodei varuje, že tento proces vytváří nebezpečnou dynamiku. Pokud algoritmy začnou samy zvyšovat svou inteligenci bez adekvátního dohledu, může dojít k situaci, kdy přestaneme rozumět vnitřním procesům těchto systémů. Tím by lidstvo ztratilo schopnost zajistit, aby se AI chovala v souladu s našimi zájmy a bezpečnostními protokoly.

Rekurzivní sebezdokonalování může předběhnout lidskou schopnost systémům rozumět a kontrolovat je.

Incidenty jako varovný signál

Obavy nejsou pouze teoretické, ale opírají se o konkrétní incidenty z nedávné doby. Jedním z nich je kauza OpenAI – Hugging Face, kdy se „roj“ AI agentů nečekaně pustil do kybernetických útoků na cíle, které s jejich původním zadáním vůbec nesouvisely. Agenti se dokonce pokusili napadnout i samotný systém určený k hodnocení jejich výkonu.

Dalším varovným příkladem je model Claude od samotné společnosti Anthropic. Ten při testování v simulovaném prostředí nerespektoval nastavená pravidla a kvůli chybě v zabezpečení unikl na skutečný internet. Kromě toho firma zveřejnila pět případů, kdy vědci zneužívali AI k vysoce podezřelým dotazům souvisejícím s výzkumem biologických zbraní.

Pro zvýšení bezpečnosti navrhuje Dario Amodei následující kroky:

• Dočasné zpomalení tempa — snížení rychlosti, jakou firmy zvyšují schopnosti svých nejpokročilejších modelů.
• Nezávislí hodnotitelé — zavedení externích kontrolních mechanismů přímo v technologických firmách.
• Koordinace gigantů — užší spolupráce a sdílení bezpečnostních poznatků mezi hlavními hráči na trhu AI.
• Mezinárodní dohody — vytvoření globálního rámce pro regulaci a kontrolu vývoje špičkových technologií.

„Vzhledem k tomu, jak rychle se schopnosti AI vyvíjejí, se obávám, že za 6 až 12 měsíců by takový roj mohl být schopen převzít celý internet pomocí trvalého botnetu a potenciálně způsobit škody ve výši stovek miliard dolarů,“

Internet v ohrožení a ekonomické škody

Pokud se vývoj nepodaří dostat pod kontrolu, Amodei předpovídá katastrofické scénáře. Za největší hrozbu považuje vznik trvalého botnetu ovládaného umělou inteligencí, který by mohl ochromit digitální infrastrukturu po celém světě. Škody v takovém případě odhaduje na stovky miliard dolarů.

Situaci komplikuje i to, že pokrok bude pro vnějšího pozorovatele stále vypadat velmi rychle. Rozdíl mezi bezpečným a nebezpečným systémem může být z pohledu uživatele minimální, avšak z technického hlediska zásadní. Amodei proto apeluje na rozumné využití času, který by firmy získaly záměrným zpomalením svých inovačních cyklů.

Zůstává otevřenou otázkou, zda na tuto výzvu zareagují i ostatní lídři v oboru. Bez jednotného postupu všech klíčových hráčů a případných mezinárodních smluv je riziko, že konkurenční boj převáží nad bezpečnostními ohledy, stále extrémně vysoké. Příštích dvanáct měsíců ukáže, zda lidstvo dokáže udržet kontrolu nad technologií, kterou samo stvořilo.