AlphaFold, díl 2/3: Jak AlphaFold vlastně přemýšlí

„Jakákoli dostatečně vyspělá technologie je k nerozeznání od magie.“

Arthur C. Clarke (volně přeloženo)

V minulém díle jsme skončili u toho, že soutěž CASP roky stagnovala a nejlepší algoritmy na skládání bílkovin, včetně Rosetty, se zasekly na skóre, které zdaleka nedosahovalo hranice „vyřešeno“. DeepMind se svým projektem AlphaFold chtěl tohle změnit. V tomhle díle se podíváme, jak přesně se jim to podařilo. A taky proč za tím stojí stejná technologie, která dnes pohání ChatGPT.

První pokus, který ještě nestačil

První verze, AlphaFold 1, byla v podstatě standardní hluboká neuronová síť podobná těm, které se používaly pro počítačové vidění. Na vstupu dostávala sekvenci aminokyselin bílkoviny a k tomu klíčovou nápovědu od evoluce. Evoluce totiž funguje na principu „nerozbité neopravuj“ – bílkoviny si napříč druhy zachovávají tvar, který jim umožňuje plnit funkci. Hemoglobin vypadá skoro stejně u člověka, kočky i koně. Když porovnáme sekvence stejné bílkoviny napříč různými druhy v evoluční tabulce, podobná místa jsou pravděpodobně důležitá pro strukturu i funkci.

A i tam, kde se sekvence liší, je užitečné sledovat, kde k mutacím dochází v párech, protože to prozrazuje, které aminokyseliny jsou si ve výsledné struktuře blízko. Když třeba kladně nabitý lysin drží pohromadě se záporně nabitou kyselinou glutamovou, a mutace změní lysin na záporně nabitou aminokyselinu, celá vazba by se rozpadla. Tedy pokud by ji nenahradila další mutace, tentokrát kladně nabité aminokyseliny místo kyseliny glutamové. Tomuhle jevu se říká koevoluce a evoluční tabulky z něj vycházející byly pro AlphaFold klíčovým vstupem.

Na výstupu AlphaFold nepredikoval rovnou 3D strukturu, ale jednodušší 2D párovou reprezentaci: sekvence aminokyselin je vynesená vodorovně i svisle, a kdykoli jsou si dvě aminokyseliny ve finální struktuře blízko, jejich průsečík v tabulce svítí jasně; vzdálené páry zůstávají tmavé. S tímhle rámcem vstoupil AlphaFold do CASP 13 a okamžitě přitáhl pozornost. Sice jasně zvítězil, ale se skóre 70 zdaleka nedosáhl prahu 90.

Dvě věže a most mezi nimi

„Víc, než se zdá na první pohled.“

Transformers (film, volně přeloženo)

DeepMind se musel vrátit k rýsovacímu prknu a přizval k projektu Johna Jumpera. AlphaFold 2 byl podle Jumpera hlavně o návrhu samotné hluboké sítě. Tedy o tom, aby jednotlivé bloky sítě uměly nasát geometrické, fyzikální a evoluční koncepty přímo do svého středu, místo aby je zpracovávaly jen jako okolní kontext. K lepším výsledkům pomohly tři věci: maximální výpočetní výkon (DeepMind měl díky Googlu přístup k jeho tensorovým procesorovým jednotkám), velký a různorodý datový soubor a lepší algoritmy, přičemž právě to poslední se ukázalo jako nejdůležitější. AlphaFold 2 byl totiž trénovaný na naprosto stejných datech jako jednička, jen s mnohem lepším strojovým učením.

Tým se inspiroval architekturou zvanou transformer – tou, která dává T do ChatGPT – a konceptem pozornosti (attention), který dodává kontext sekvenčním informacím. AlphaFold ovšem místo vět zpracovává sekvence aminokyselin, a tak si tým postavil vlastní verzi transformeru, které se říká Evoformer.

Ten obsahuje dvě „věže“: jednu pro evoluční informace, druhou pro geometrické párové reprezentace, propojené mostem, po kterém si obě věže vyměňují nově zjištěné biologické a geometrické stopy. V biologické věži pozornost aplikovaná na sloupec identifikuje zachovalé sekvence aminokyselin, zatímco pozornost aplikovaná na řádek najde mutace, ke kterým došlo společně. Kdykoli Evoformer najde v evoluční tabulce příliš propojené aminokyseliny, pošle tuhle informaci do geometrické věže, kde pozornost pomáhá počítat vzdálenosti mezi aminokyselinami.

Trojúhelníky, které drží strukturu pohromadě

Přidává se k tomu i takzvaná trojúhelníková pozornost. Pro každou trojici aminokyselin platí trojúhelníková nerovnost (součet dvou stran musí být větší než třetí), což omezuje, jak daleko od sebe tyhle tři aminokyseliny vůbec mohou být. Podle odborného přehledu publikovaného v časopise Nature patří právě tenhle mechanismus mezi klíčové inovace, které umožnily síti dynamicky se učit, které vztahy mezi vzdálenými aminokyselinami jsou relevantní a které lze ignorovat. Tahle výměna informací mezi věžemi probíhá celkem 48krát, dokud se obsah obou věží dostatečně nezpřesní.

Výsledné geometrické poznatky pak putují do druhé klíčové inovace, takzvaného structure module. Pro každou aminokyselinu se vyberou tři konkrétní atomy, které definují jakýsi „rámeček“, a síť se učí předpovídat, jak tenhle rámeček posunout a otočit z počátku souřadnic do jeho skutečné pozice ve výsledné struktuře. Zajímavé je, co structure module naopak dělá jinak, než by čekal běžný přístup: dřív by člověk asi chtěl síti výslovně říct, že jde o řetězec a že si sousední aminokyseliny mají sedět blízko u sebe.

AlphaFold to výslovně neříká – spíš mu dá „pytel aminokyselin“ a dovolí mu umístit každou zvlášť. To pomáhá síti neuvíznout na místě, protože se nemusí neustále ohlížet na omezení plynoucí z toho, že tyhle kousky tvoří řetězec. Představa řetězce se objeví přirozeně sama, až později. Proto videa živého skládání ukazují AlphaFold, jak dělá zdánlivě nefyzikální věci. Výstupem structure module je 3D struktura bílkoviny, která ale ještě není hotová – ještě se nejmíň třikrát vrací zpátky do Evoformeru pro hlubší pochopení, a teprve pak vzniká finální predikce.

Chvíle, kdy to konečně vyšlo

„Heuréka, pláče!“

Rupert von Kratzmar, Adéla ještě nevečeřela

V prosinci 2020 se DeepMind vrátil na virtuální CASP s AlphaFold 2. A tentokrát to dokázali. Zakladatel soutěže John Moult jim napsal, že jejich výsledky jsou fantastické jak v porovnání s ostatními týmy, tak v absolutní přesnosti. U řady bílkovin byly predikce AlphaFold 2 prakticky k nerozeznání od skutečné struktury a konečně překonaly zlatou hranici skóre 90. Podle oficiálního vyhodnocení CASP14 dosáhl AlphaFold 2 mediánového skóre kolem 92,4, tedy přesnosti blízké experimentálně určeným strukturám.

Za šest desetiletí se vědcům po celém světě podařilo pracně najít asi 150 tisíc struktur bílkovin. Pak, jedním rázem, jich AlphaFold odhalil přes 200 milionů, tedy prakticky každou známou bílkovinu v přírodě, během několika měsíců. V posledním díle série se podíváme na to, co s touhle sbírkou 200 milionů struktur věda vlastně dělá. Od vakcíny proti malárii po umělé protijedy proti hadímu jedu, a proč za to DeepMind dostal Nobelovu cenu.

Součást série: AlphaFold

Tohle je 2. díl třídílné série o AlphaFold. Ostatní díly:

• Díl 1/3 – Problém, který se zdál nemožný
• Díl 2/3 – Jak AlphaFold vlastně přemýšlí (tady jste)
• Díl 3/3 – Co to teď umí rozbít

Zdroje: YouTube, Nature, FrontiersIN