Úterý 12. listopadu 2024, svátek má Benedikt
  • Premium

    Získejte všechny články
    jen za 89 Kč/měsíc

  • schránka
  • Přihlásit Můj účet
130 let

Lidovky.cz

Nobelovu cenu za fyziku získali vědci za strojové učení a neuronové sítě

Věda

  11:59aktualizováno  13:31
Královská švédská akademie věd letos ocenila za výzkum na poli fyziky vědce Johna J. Hopfielda a Geoffreyho E. Hintona „za zásadní objevy a vynálezy, které umožňují strojové učení za pomocí umělých neuronových sítí.“

Neuronové sítě a strojové učení stojí za současným rozvojem umělé inteligence a není tak překvapením, že Nobelův výbor ocenil právě výzkumy v této oblasti, které ocenění prováděli s umělými neuronovými sítěmi již od 80. let 20. století. S využitím základních konceptů a metod z fyziky vyvinuli technologie, které využívají struktury v sítích ke zpracování informací.

Systém neuronových sítí si původně bral za vzor strukturu mozku. Místo neuronů jsou v ní uzly, které se navzájem ovlivňují prostřednictvím spojení, jež lze přirovnat k synapsím a které lze zesílit nebo zeslabit. Samotné uzly přitom můžou mít různé hodnoty. Při trénování sítě se pak využívá například vytváření silnějších spojení mezi uzly se současně vysokými hodnotami.

Letošní laureáti v oboru fyziky John Hopfield a Geoffrey Hinton využili nástroje z fyziky ke konstrukci metod, které pomohly položit základy dnešního výkonného strojového učení. Hopfield vytvořil strukturu, která dokáže ukládat a rekonstruovat informace. Hinton vynalezl metodu, která dokáže nezávisle objevovat vlastnosti v datech a která se stala důležitou pro dnes používané velké umělé neuronové sítě.

Již dříve jeden z letošních laureátů popisoval rozdíl mezi lidskou a strojovou inteligencí. „Jsme biologické systémy a toto jsou digitální systémy. A velký rozdíl je v tom, že s digitálními systémy máte mnoho kopií stejné sady vah, stejného modelu světa,“ říká. Myslel tím, že všechny kopie tohoto systému mají na začátku naučené stejné rozhodování a postupy. „Všechny tyto kopie se mohou učit odděleně, ale okamžitě sdílet své znalosti. Takže je to, jako byste měli 10 000 lidí, a kdykoli se něco naučil jeden člověk, všichni to automaticky věděli. A díky tomu mohou tito chatboti vědět mnohem víc než kterýkoli jiný,“ vysvětloval Hinton.

Neuronová síť jako energetická krajina

John J. Hopfield, který se narodil v roce 1933 v Chicagu získal v roce 1958 doktorát na Cornellově univerzitě v Ithace v USA, je nyní profesorem na Princetonské univerzitě.

„John Hopfield vynalezl síť, která využívá metodu ukládání a znovuvytváření vzorů. Uzly si můžeme představit jako pixely. Hopfieldova síť využívá fyziku, která popisuje vlastnosti materiálu díky jeho atomovému spinu – vlastnosti, která z každého atomu dělá „malý magnet“. Síť jako celek je přitom popsána způsobem odpovídajícím energii ve spinovém systému, který se vyskytuje ve fyzice,“ popisuje výbor práci prvního oceněného.

Když je Hopfieldově síti dodán zkreslený nebo neúplný obraz, metodicky prochází uzly a aktualizuje jejich hodnoty tak, aby energie sítě klesla. Díky takto nastavené síti, dochází k trénování pomocí nalezení hodnot pro spojení mezi uzly tak, aby uložené obrazy měly nízkou energii. Síť tak postupně pracuje na nalezení uloženého obrazu, který se nejvíce podobá nedokonalému obrazu, který do ní byl vložen.

V podrobnostech o výzkumu vysvětlují vědci, že Hopfieldova síť využívá uzly, které jsou navzájem propojeny různě silnými spoji. Uzel tak může mít uloženu hodnotu například 0 nebo 1. Hopfield si vzal na pomoc fyziku, aby popsal celkový stav sítě. Využil k tomu systém, který odpovídá energii ve spinovém systému. Výsledná energie se vypočítá pomocí vzorce, který využívá všechny hodnoty uzlů a všechny síly spojení mezi nimi.

Hopfieldova síť se programuje tak, že se do uzlů přivádí obrázek, který má hodnotu černé (0) nebo bílé (1). Spojení sítě se upraví pomocí vzorce pro energii tak, aby uložený obrázek získal nízkou energii.

Když je do sítě přiveden jiný vzor, existuje pravidlo, které postupně prochází uzly a kontroluje, zda má síť nižší energii, pokud se změní hodnota daného uzlu. Pokud se ukáže, že se energie sníží, pokud je místo černého pixelu bílý, změní se jeho barva. Tento postup pokračuje, dokud není možné najít další zlepšení. Po dosažení tohoto bodu síť často reprodukuje původní obraz, na kterém byla vytrénována.

Pro jeden vzor to asi není tak zajímavé, ale Hopfieldova metoda je zvláštní tím, že lze uložit několik obrázků najednou a síť mezi nimi obvykle dokáže rozlišit.

Hopfield přirovnal hledání uloženého stavu v síti ke kutálení míče krajinou plnou vrcholů a údolí, přičemž tření zpomaluje jeho pohyb. Pokud je míč upuštěn na určitém místě, dokutálí se do nejbližšího údolí a tam se zastaví. Pokud je síti zadán vzor, který je blízký jednomu z uložených vzorů, bude stejným způsobem pokračovat v pohybu vpřed, dokud neskončí na dně údolí v energetické krajině, a najde tak ve své paměti nejbližší vzor

Přenesený popis fungování Hopfieldovy sítě ukazuje, jak se vložený vzor upraví pomocí vzorce pro energii tak, aby uložený obrázek získal nízkou energii.

Hopfieldovu síť lze použít k obnovení dat, která obsahují šum nebo která byla částečně vymazána.

Boltzmannův stroj

Geoffrey E. Hinton se narodil v Londýně v roce 1947 v Londýně, doktorát získal v roce 1978 na Edinburské univerzitě a nyní je profesorem na Torontské univerzitě v Kanadě. Od roku 2013 do roku 2023 pracoval pro Google sekci Google Brain. Loni v květnu nakonec oznámil svůj odchod z Googlu s odkazem na obavy z rizik technologie umělé inteligence.

Vraťme se ale k výzkumu, za který získal ocenění. Hinton použil Hopfieldovu síť jako základ pro novou síť, která používá jinou metodu označovanou jako Boltzmannův stroj.

Vychází ze statistické fyziky, která popisuje systémy, jež se skládají z mnoha podobných prvků, jako jsou molekuly v plynu. Je těžké je jednotlivě sledovat, ale může určit zastřešující vlastnosti plynu, který se z nich skládá, jako je tlak nebo teplota.

Některé stavy jsou pravděpodobnější než jiné; to závisí na množství dostupné energie, které je popsáno v rovnici fyzika 19. století Ludwiga Boltzmanna. Hintonova síť tuto rovnici využila a metoda byla publikována v roce 1985 pod názvem Boltzmannův stroj.

„Boltzmannův stroj se běžně používá se dvěma různými typy uzlů. Informace jsou přiváděny do jedné skupiny, které se říká viditelné uzly. Ostatní uzly tvoří skrytou vrstvu. Hodnoty a spojení skrytých uzlů také přispívají k energii sítě jako celku,“ popisují základy stroje vědci.

Stroj pracuje tak, že uplatňuje pravidlo pro aktualizaci hodnot uzlů po jednom. Nakonec se stroj dostane do stavu, kdy se vzor uzlů může měnit, ale vlastnosti sítě jako celku zůstávají stejné. Každý možný vzor pak bude mít určitou pravděpodobnost, která je určena energií sítě podle Boltzmannovy rovnice. Když se stroj zastaví, vytvořil nový vzor, což z Boltzmannova stroje činí raný příklad generativního modelu.

„Boltzmannův stroj lze použít ke klasifikaci obrázků nebo k vytváření nových příkladů podle typu vzoru, na kterém byl vycvičen. Hinton tedy na tuto práci navázal a pomohl tak iniciovat současný prudký rozvoj strojového učení,“ popisuje přínos druhého laureáta Nobelův výbor.

„Práce laureátů je již nyní velmi přínosná. Ve fyzice využíváme umělé neuronové sítě v celé řadě oblastí, například při vývoji nových materiálů se specifickými vlastnostmi,“ uzavírá Ellen Moonsová, předsedkyně Nobelova výboru pro fyziku.

Autor: