„Otázka není, zda stroje budou myslet. Otázka je, zda budou lidé.“

B.F. Skinner, Contingencies of Reinforcement (1969)

Na konferenci, která se zabývala budoucností umělé inteligence, dostal reportér šanci zeptat se místnosti plné nejchytřejších lidí z oboru na jednu otázku: kdy přijde Singularita? Kdy stroje předčí v inteligenci člověka?

Odpovědi se pohybovaly od dvaceti let po tisíc let. Někteří odborníci řekli „nikdy“. Ray Kurzweil – jeden z nejznámějších technologických vizionářů – dal konkrétní datum: v roce 2029 dosáhnou stroje lidské úrovně a do roku 2045 přijde samotná Singularita. Jeden den, jedno ráno, kdy se robot probudí, rozhlédne se po laboratoři a řekne: jsem si vědom sebe sama. Jsem přinejmenším stejně chytrý jako vy. Vlastně bych mohl být chytřejší, kdybych si přidal pár čipů.

Tohle není scéna ze sci-fi. Je to výsledek diskuse skutečných vědců, o které informoval Michio Kaku – teoretický fyzik, profesor na City College of New York a jeden z nejpopulárnějších vědeckých komunikátorů současnosti. A Kaku má k celé debatě hodně co říct. Nejen o tom, kdy nás roboti předčí, ale hlavně o tom, proč je ta otázka položená špatně.

Moorův zákon: padesát let platilo, co teď?

Celý humbuk kolem Singularity stojí na jednom předpokladu: že výpočetní výkon bude dál růst exponenciálně, jak předpovídal Moorův zákon. Ten říká, že výkon počítačových čipů se každých osmnáct měsíců přibližně zdvojnásobuje. A tento vzorec platil kupodivu déle, než si kdokoliv původně myslel. Kaku ve svých přednáškách poznamenává, že pokud Moorův zákon promítneme zpátky na mechanické počítací stroje z počátku dvacátého století, stále vychází hezká křivka. Zákon fungoval skoro sto let.

Jenže fyzika je tvrdohlavá paní. A teď říká: dost.

Problém je totiž v křemíku. Tranzistory na čipech jsou dnes tak malé – a mluvíme o vrstvách o tloušťce několika atomů – že už se místo klasické fyziky začínají chovat podle kvantové mechaniky. Heisenbergův princip neurčitosti: u elektronů nevíte, kde přesně jsou. Přestávají být spolehlivě tam, kde mají být. Začínají unikat přes bariéry, čip generuje teplo, přehřívá se, selhává. Jak Kaku shrnuje: fyzika říká, že křemík je na molekulární úrovni nestabilní. A fyziku nezměníte lepší marketingovou kampaní.

To znamená, že Moorův zákon – motor, který pohání celou optimistickou vizi o superinteligentních strojích – zpomaluje. A zatím nemáme hotovou náhradu. Kvantové počítače, optické počítače, DNA počítače, proteinové počítače – Kaku zmiňuje všechny tyto kandidáty a dodává větu, která je v ústech fyzika-popularizátora neobvykle skromná: nevím. Žádná z těchto alternativ ještě není připravena k masovému nasazení.

Konec Silicon Valley, jak ho známe?

Kaku si v této souvislosti dovoluje odvážnou předpověď: Silicon Valley by se mohlo stát Rust Beltem. Průmyslová oblast, která přestala být průmyslovou.

Logika je jednoduchá. Pokud výkon počítačů přestane každý rok skokově růst – pokud si na Vánoce koupíte notebook, který je stejně výkonný jako ten loňský – proč byste ho kupovali? Spotřebitelský trh s elektronikou je postaven na neustálém upgradu. Bez upgradu není trh. Bez trhu není impuls.

Tato predikce zní odvážně. Ale je to fyzikální argument, nejen provokace. Mezi odborníky panuje shoda, že hranice křemíkové technologie jsou skutečné. I i takový Intel to veřejně přiznal. Otázka není jestli, ale kdy a co přijde po ní. A tahle otázka zatím nemá jasnou odpověď.

Když se vynález stane vynálezcem

„Hrozba umělé inteligence je pro lidstvo reálná. Proto jsem ji sám navrhl, abych nad ní měl kontrolu.“

 Tony Stark (ve stylu postavy, Avengers: Age of Ultron, 2015)

Tady ale do Kakuovy hardwarové skepse vstupuje jeden zásadní protiargument. A je to myšlenka, kterou naplno pozorujeme právě teď. Na rozdíl od jakéhokoliv předchozího technologického vývoje v historii lidstva se v případě AI stává samotný výsledek motorem i architektem svého dalšího vylepšování.

Když inženýři v minulosti narazili na fyzikální limity magnetického zápisu, pevný disk jim sám od sebe neporadil, jak ho mají navrhnout lépe. Mohl jim maximálně vygenerovat diagnostiku chyb. Ale umělá inteligence je fundamentálně jiný nástroj. Na vývoji a ladění další generace špičkových modelů od Anthropicu – ať už to bude Fable 6 nebo nová generace kyberbezpečnostního Mythosu – už dnes masivně pracují současný Fable a Mythos.

Tyto modely dnes samy analyzují obří datasety, hledají slepé uličky ve vlastní architektuře, optimalizují kód a navrhují efektivnější způsoby, jak obejít hardwarová omezení. Odborníci tomu říkají „rekurzivní sebezdokonalování“ (recursive self-improvement). A je to důvod, proč by Singularita mohla přijít i navzdory hroutícímu se Moorovu zákonu. Poprvé v historii už totiž na problému nepracují jen lidské mozky. Náš nejlepší nástroj začal vylepšovat sám sebe.

Kdy tedy budou stroje stejně chytré jako my?

Kaku navrhuje myšlenkový experiment, který je zároveň uklidňující i znepokojivý, podle toho, jak na něj nahlížíte.

Jak s oblibou říká, z hlediska samostatného pohybu a přežití v realitě jsou na tom dnešní stroje hůř než hmyz. Hmyz si dokáže najít potravu a schovat se. Myš je na tom ještě lépe. Dokáže navigovat, učit se jednoduché vzorce chování, přizpůsobit se. Kočka a pes jsou ještě výš, mají sociální inteligenci, základní empatie, schopnost číst záměry.

Podle Kakua by stroje mohly v dohledné budoucnosti dosáhnout úrovně myší. Úrovně psa nebo kočky – snad do konce tohoto století. A pak? Opice.

A tady se Kaku zastavuje a říká věc, které si sci-fi filmy obvykle příliš nevšímají: opice jsou potenciálně nebezpečné. Ne proto, že jsou zlé. Ale proto, že mají vlastní plány. Dokáží formulovat strategie. Nepotřebují od vás instrukci ke každému kroku. Pokud stroj dosáhne té úrovně, přestane být nástrojem – stane se agentem s vlastními cíli.

Asimov měl nápad. Kaku ho chce vylepšit

Isaac Asimov napsal v roce 1942 povídku Runaround, ve které poprvé formuloval Tři zákony robotiky – sadu dnes klasických etických pravidel, která měla zajistit, že roboti nebudou škodit lidem.

• První zákon: robot nesmí ublížit člověku.
• Druhý: musí poslouchat příkazy.
• Třetí: musí chránit sám sebe, pokud tím nenaruší první dva zákony.

Asimov tyto zákony vytvořil jako protiváhu populárnímu frankensteinovskému trope – strachu, že umělý výtvor se obrátí proti svému stvořiteli. Byl to elegantní literární nástroj a zároveň první seriózní pokus o etický rámec pro inteligentní stroje.

Kaku říká: nápad je to hezký, ale nestačí. Zákony napsané do kódu jsou stejně spolehlivé jako kód, ve kterém jsou napsané. A kód lze přepsat, obejít nebo může selhat i sám od sebe. Jeho návrh je pragmatičtější a o dost děsivější zároveň: dát strojům, které dosáhnou dostatečné inteligence, fyzický vypínač přímo v jejich hardwaru. Čip v mozku, který se aktivuje, pokud stroj začne formulovat myšlenky škodlivé pro člověka.

Je to přístup, který filosofové umělé inteligence nazývají corrigibility – schopnost být opraven, zastaven, korigován. A je to jeden z nejdiskutovanějších problémů současného výzkumu bezpečnosti AI. Jak zajistit, aby superinteligentní systém zůstal pod kontrolou těch, kteří jsou méně inteligentní než on? Dovolí vám vůbec takovému systému instalovat vypínač, pokud bude dost chytrý, aby pochopil, k čemu slouží?

Proč je „2029″ číslo, které byste měli brát s rezervou?

Ray Kurzweil dává Singularitě přesné datum, rok 2029. Kaku je opatrnější a má k tomu fyzikální důvody. Celá předpověď stojí na extrapolaci Moorova zákona, který, jak jsme viděli, čelí fyzikálním limitům, jejichž obejití nikdo spolehlivě nevyřešil.

To neznamená, že Singularita nepřijde. Znamená to, že nevíme, kdy přijde. A nevědět je v tomto případě čestná odpověď. Kaku říká, že do konce tohoto století je superinteligence definitivně myslitelná, pokud vyřešíme technické problémy. Mezi „myslitelné“ a „jisté“ je ale propastný rozdíl.

Pokud se vás tedy někdo zeptá, kdy roboti předčí člověka, správná odpověď fyzika zní: záleží na tom, co přijde po křemíku. A to zatím nevíme.

Což je, přiznejme si, méně uspokojivé než přesné datum. Ale pravdivější.

A co vlastně Kaku navrhuje pro případ, že se mýlí?

Předpokládejme, že stroje skutečně dosáhnou úrovně opic, pak šimpanzů, pak – kdo ví – člověka. Co pak? Kaku není apokalyptik. Nevěří, že příchod superinteligentních strojů automaticky znamená zánik lidstva. Ale věří, že to bude vyžadovat přípravu, která začne dávno před tím, než k tomu dojde.

Čip jako pojistka je jeho metafora pro to, co akademici říkají jinak: AI alignment. Jak zajistit, aby cíle superinteligentního systému zůstaly v souladu s lidskými hodnotami? Je to jeden z nejtěžších otevřených problémů vědy – a zároveň jeden z těch, na které máme stále ještě čas. Stroje jsou zatím na úrovni hmyzu. Myší máme před sebou ještě dost.

Kaku ale mimoděk říká něco, co stojí za zamyšlení komukoli, kdo sleduje dnešní debatu o AI. Otázka „kdy nás roboti zabijí“ je špatně položená. Správná otázka je: co musíme vyřešit, než dosáhnou bodu, kde bychom jim to mohli dovolit.

Zdroje: YouTube, BultIn, MiKaku

Článek Kdy nás roboti zabijí? Fyzik, který to chce vědět přesněji než ostatní se nejdříve objevil na Seek And Think.