Letos je to devadesát let, co bratři Čapkové napsali divadelní hru R. U. R., v níž poprvé zaznělo uměle vytvořené slovo „robot“, které brzy začalo žít vlastním životem a proniklo do většiny světových jazyků. Roboti jsou v této hře sériově vyráběné inteligentní bytosti podobné lidem,jimž mají sloužit, ale po čase se proti nim nečekaně obrátí a vyhubí je do posledního. Budeme-li tedy soudit dnešní robotiku podle jejího jména, pak je to odvětví, které jako kdyby naznačovalo, že se chystá vyvrcholit technologickou katastrofou. Legrační paradox.
Ovšem část vědců a počítačových odborníků už nějaký čas vidí budoucnost tohoto (a jemu příbuzných) odvětví bez legrace právě takhle černě. První varovné předpovědi o tom, že vývoj umělé inteligence může znamenat konec lidské éry, zánik života na zemi nebo alespoň dramatické a nevratné změny v charakteru lidské civilizace, se začaly objevovat někdy na konci padesátých let. Počet takových hlasů rostl a šlo vesměs o špičkové světové vědecké kapacity. Jejich vize však měly dlouho status jakési intelektuální výstřednosti. Ostatně, jedním z hlasů varujících před vývojem umělé inteligence byl například fenomenální matematik Theodore Kaczynski, který se jak známo rozhodl zabránit tomuto typu technologického pokroku rozesíláním dopisních bomb. Nicméně s bouřlivým rozvojem počítačů došli i mnozí skeptici k názoru, že jsme na prahu významných změn, mnohdy potenciálně nebezpečných, a asi bychom se na ně měli připravit. Proto přibližně před rokem uspořádala mezinárodní vědecká Asociace pro rozvoj umělé inteligence konferenci, která se zabývala dlouhodobými dopady výzkumu umělé inteligence (UI), řešila možnost, že by výpočetní technika dosáhla nebo překonala lidské schopnosti, a hodnotila nebezpečí, která by nastala, kdyby pokrok v oblasti UI způsobil společenské nepokoje nebo ztrátu kontroly nad počítačovými systémy. Konference se konala symbolicky v kalifornském středisku Asilomar, kde se v roce 1975 konal podobný kongres biotechnologů, který skončil dohodou o pozastavení některých pokusů a vedl k zavedení pravidel ve výzkumu rekombinace DNA.
Vědci se na zmíněné konferenci celkem bez problémů shodli, že se není třeba bát toho, že by si například internet vytvořil svoji vlastní inteligenci nebo že by na nás v brzké době zničehonic vybafl superinteligentní stroj podobný HALovi z filmu 2001: Vesmírná odysea.
Mnohem skutečnější hrozba tkví třeba v tom, že prudký rozvoj robotiky, informatiky a umělé inteligence může mít v relativně brzké době za následek zmizení obrovského množství pracovních míst, protože čím dál více činností budou stroje schopny vykonávat lépe a laciněji než člověk. Další problematickou oblastí je boom umělé inteligence v současném vojenství: například moderní bezpilotní letouny operují nad nepřátelským územím z podstatné části samostatně a už není tak daleko k tomu, aby se i samostatně začaly rozhodovat, na koho zaútočí. Řada rizik může vycházet i ze samotného soužití lidí s rostoucím množstvím robotických systémů, které je budou obklopovat v běžném životě. A navíc tu samozřejmě existuje velmi reálná hrozba, že se důležitých robotických technologií zmocní nějaká buňka světového terorismu nebo organizovaný zločin.
Robotí outsourcing
Kdysi se mělo za to, že s rozvojem robotů odejde většina lidstva na doživotní dovolenou. Ale podle amerického autora Marshalla Braina bude mít robotika vzhledem k současné struktuře ekonomiky pouze zničující dopad na zaměstnanost – ve své e-knize Robotic Nation (Robotický národ) předpovídá, že pokud nepřebudujeme ekonomickou a společenskou strukturu, mohla by vzniknout okolo roku 2050 v zemích, jako jsou Spojené státy, až 50% nezaměstnanost. Podle takzvaného Moorova zákona se totiž – zjednodušeně řečeno – díky technickému pokroku každé dva roky zdvojnásobí výkon integrovaných obvodů při zachování jejich ceny. Ani jeho autor – spoluzakladatel společnosti Intel Gordon E. Moore – asi netušil, jak přesně a jak dlouho bude jeho zákon fungovat, když ho v roce 1965 vyslovil: První IBM PC na počátku osmdesátých let mělo procesor o rychlosti 4,7 megahertzů. První Pentium odvanáct let později už mělo 60 megahertzů (13krát více), a když přišlo v roce 2000 Pentium 4, mělo už rychlost 1,5 gigahertzů (25krát víc než první Pentium). Jestliže počítače v roce 1992 dokázaly zpracovat 300 000 operací za vteřinu, v roce 2022 to bude podle Braina už bilion operací. Přitom budou stát stále přibližně tolik co dnes. Takový výkon v poměru k cenové dostupnosti umožní vývoj strojů, které budou schopné nahradit pomalého a chybujícího člověka ve stále větším množství profesí: roboti budou piloty letadel a řidiči v silniční a vlakové dopravě, budou prodávat v obchodech a fast foodech, nahradí řadu dělnických profesí a zaplní místa ve stavebnictví.
Na námitky, že podobné obavy z masové nezaměstnanosti panovaly už na počátku industrializace, a jak známo, nikdy se nenaplnily, Brain odpovídá, že „před 150 lety jsme nevytvořili nový druh inteligentních bytostí“.
Zato český publicista a spisovatel sci-filiteratury Ondřej Neff je vůči podobným prognózám skeptický: „Zatím se děje pravý opak. Kde dřív byl jeden úředník se štemplem, sedí dnes patnáct úředníků s počítači. Teze o strojích ubírajících práci se zřejmě UI netýká. Naopak mi připadá, že je jako nějaká kapalina, která prosakuje do stále hlubších vrstev, kde dosud nic spojeného s inteligencí nebylo. Kolik inteligentních systémů je dnes, dejme tomu, v automobilu! Navíc, bylo by asi třeba si definovat, co pod pojmem umělá inteligence, dejme tomu UI, vlastně myslíme. Pokud by naše představa vedla k replice člověka se vším všudy, jak jsme to viděli ve stejnojmenném filmu, pak se asi nemáme ještě dlouho čeho obávat, pokud vůbec ta doba nastane. Nebo to má být HAL 9000, tedy počítač vsáklý do kosmické lodi, do továrny, do města? Myslím si, že UI bude roztroušená do dílčích jednotek a systémů, že bude mít autonomní vývoj, který nebude kopírovat kapacity lidské psychiky ani – na to nezapomínejme – zvířecí psychiky.“
Etická jatka
Když americká armáda vstupovala v roce 2003 do války v Iráku, měla jen několik bezpilotních letounů. Dnes jich používá v Iráku a v Afghánistánu přes sedm tisíc. Na počátku invaze do Iráku nebyl nasazen ani jeden pozemní robot, dnes jich má americká armáda k dispozici více než dvanáct tisíc. Jsou to obvykle malá pásová vozítka, která se v Iráku a v Afghánistánu používají nejčastěji při likvidaci nastražených bomb, ale už existují i verze opatřené kulometem nebo granátometem. Tyhle ozbrojené samohyby zatím ještě nebyly nasazeny ve skutečné bojové misi, ale jejich vývoj pochopitelně počítá s tím, že k tomu jednou dojde, stejně jako se počítá s tím, že pozemní i vzdušní váleční roboti budou čím dál méně potřebovat operátora, který je dálkově ovládá jako figurku ve videohře. Jednou si samy utřídí objekty ve svém zorném poli na „přátelské“ a „nepřátelské“ a samy se rozhodnou, zda na ně zaútočí, nebo ne.
Stojíme před bizarním etickým problémem. Máme dát strojům právo rozhodovat o životě a smrti člověka? Asi budeme muset, jinak to dříve než my udělá někdo, kdo stojí v opozici proti všem našim hodnotám. Ale není přece jen trochu nebezpečné stroje s takovými pravomocemi zároveň soustavně zdokonalovat, aby jejich účinnost v zabíjení a ničení nesrovnatelně převyšovala lidské schopnosti a aby v rámci toho jednou předstihly člověka alespoň v těch oblastech intelektu, které se hodí k co nejúčinnější likvidaci kohokoli a čehokoli? Pokud si vzpomeneme na klasické tři zákony robotiky, které kdysi definoval Isaac Asimov, pak samotný vývoj ozbrojených robotů porušuje hned ten první: Robot nesmí ublížit člověku nebo svou nečinností dopustit, aby mu bylo ublíženo.
Jistě, Asimov byl spisovatel vědeckofantastické literatury. A jak říká Ondřej Neff, povídky Isaaca Asimova jsou o překračování těchto tří zákonů. Jsou spíše literární pomůckou k rozvíjení příběhu než snahou položit základy nové robotické legislativy. Nicméně na tom, že je v téhle oblasti třeba zavést nějaká pravidla, se dnes shodne většina odborníků.
Podle Neffa je etický problém aplikace umělé inteligence do zbraňových systémů nutné vnímat komplexně, tedy i z druhé strany: „Terorista, sebevražedný atentátník s vymytým a přeprogramovaným mozkem, je v jistém smyslu absolutní zbraň. Je zbaven standardního morálního kodexu, takže se také stal svébytným uzlem umělé inteligence. Na tom příkladu vidíme, jak nesnadné, ne-li nemožné je ustanovení nějakých,zákonů robotiky‘. Spíš si myslím, že spolu se zaváděním UI do armády se bude víc a víc žvanit a debatovat a bude to námět pro neplodné disputace a nikam nevedoucí iniciativy.“
Na otázku, jestli má z rozvoje umělé inteligence strach, mi Ondřej Neff odpověděl, že se víc bojí darebáků a blbců. V tom by se docela shodl s Ronaldem C. Arkinem, profesorem informatiky na technické univerzitě Georgia Tech, který píše pro americkou armádu software do bojových robotů. Profesor Arkin vychází z teze, že inteligentní roboti by se mohli na bojišti chovat etičtěji než lidé. Jinými slovy, stroj je možné naprogramovat, aby nebyl tak nelidský jako člověk. Arkin vychází mimo jiné z průzkumu americké armády z roku 2006, který zjistil, že jen necelá polovina amerických vojáků v Iráku byla toho názoru, že s civilistou je třeba zacházet s úctou a respektem, sedmnáct procent vojáků rovnou řeklo, že k civilistům se má přistupovat jako k povstalcům, a více než třetina schvalovala mučení. Podle průzkumů byli zastánci „drsnějších“ a nehumánnějších metod především vojáci, kteří byli vystaveni stresovým situacím nebo právě ztratili v boji nějakého blízkého kamaráda. To je přirozené. Stroje se to však netýká – netrpí bojovým stresem, nepodléhá vzteku, strachu ani potěšení z lidského utrpení. Koná, co mu ukládá jeho program.
Nebojte se Terminátora
Že by se robot ze své podstaty nemusel chovat „lidsky nehumánně“, je jedna věc. Něco jiného je ovšem vytvořit stroj, který by se choval eticky i ve složitějších situacích. Jak má rozeznat civilistu od vojáka? Vojáka, jenž je zraněný nebo se vzdává, od vojáka, co se chystá zaútočit? Jak má vyhodnotit morální nebo psychologický dopad své akce? Americký filozof Colin Allen, který nedávno napsal spolu s informatikem Wendellem Wallachem knihu Morální stroje: jak učit roboty rozeznávat dobro od zla, tvrdí, že čistě technické řešení, které by uspokojilo profesora etiky, zřejmě neexistuje. Ale diplomaticky dodává, že pochopitelně můžeme vyvíjet stroje, které budou dávat pozor na etickou stránku svých operací.
Jiní odborníci tvrdí, že bychom se měli ještě pořádně rozmyslet, než necháme stroje rozhodovat o tom, co je a co není etické. Navíc, kdo bude jejich rozhodnutí soudit? Voják, který zabije bezbranné civilisty, může být postavený před válečný soud. Ale stroj?
Každopádně střetu umělé inteligence s etikou se nevyhneme. Proto už od roku 2004 existuje zcela nové vědecké odvětví: roboetika.
Pět tisíc let starý monopol lidstva na vedení války padne ještě za našeho života, říká americký politolog a přední vojenský odborník Peter W. Singer, mimo jiné jeden z hlavních autorů Obamovy vojenské strategie. To zní jako věta ze zmíněné hry bratří Čapků. Nebo z filmu Terminátor. P. W. Singer věnoval podobným obavám článek v internetovém magazínu Slate, kde tvrdí, že k tomu, aby se takový scénář naplnil, by bylo nutné naplnit čtyři podmínky. Zaprvé: Stroje by musely mít nějaký pud sebezáchovy nebo touhu po moci. Jenže využití robotů ve vojenství se zatím ubírá přesně opačným směrem – jsou tu od toho, aby nahrazovali člověka v příliš nebezpečných situacích. Místo k sebezáchově jsou tyhle stroje vyvíjeny de facto k sebeobětování. Zadruhé by jejich umělá inteligence musela převyšovat tu lidskou a přitom by jim musela chybět jakákoli lidská schopnost empatie nebo etiky. Výkonnost počítačů sice roste téměř exponenciálně, ale to, že v budoucnu dojde k nějaké explozi umělé superinteligence, není podle Singera vůbec jistá věc. Zato vědecká odvětví, která se zabývají etikou robotiky a sociální robotikou, už existují (jak jsme si ukázali výše). Třetí podmínkou je, že by se roboti museli umět sami opravit, sami si doplnit palivo či energii a hlavně by se museli umět rozmnožovat. K tomu má veškerá naše technologie ještě hodně daleko. A za čtvrté bychom museli úplně ztratit dohled nad činností strojů. Nesměly by existovat žádné pojistky a bezpečnostní mechanismy proti případu, že se začnou chovat nějak divně – třeba kvůli poruše.
Singer svůj článek uzavírá otázkou, proč se vlastně zabýváme hororovými představami o útoku válečných robotů – a přitom nás vůbec neznepokojuje, že jsme ve svém běžném životě stále více obklopeni technologiemi, kterým vůbec nerozumíme.
Pandořina skříňka
Každý technologický pokrok je pochopitelně zneužitelný ke zločinu nebo terorismu. Například nedávno vznikl systém, který hovoří s nemocným pacientem a dokáže empaticky reagovat na jeho emoce. Teď si jen stačí představit, co kdyby podobný systém v rukou šikovného podvodníka telefonoval osamělým důchodcům a postupně by si získával jejich důvěru. A kdyby k tomu uměl navíc napodobit hlas někoho z jejich příbuzných... Možností zneužití je samozřejmě nekonečně mnoho.
Podstatně nebezpečnější je ovšem zneužití umělé inteligence mezinárodním terorismem. Peter W. Singer vidí velký problém mimo jiné v tom, že informace – i relativně nejnovější výsledky výzkumu a vývoje – jsou dnes běžně dostupné na internetu. Jako příklad uvádí druhou libanonskou válku, při níž se v létě 2006 střetl Izrael s šíitským teroristickým hnutím Hizballáh. Bojovníci Hizballáhu tehdy poslali proti izraelským jednotkám čtyři různé typy bezpilotních letounů, vyrobených de facto podomácku „na koleně“. A na internetu jsou džihádistické stránky s návody na výrobu dalších zbraní využívající nejnovější technologie z oblasti UI. Všechno, co vytvoříme, může být použito proti nám. Peter Singer tvrdí, že teď bude důležité, zda naše generace učiní stejnou chybu jako generace našich předků při vynalezení atomové bomby a začne řešit problémy s touto novou technologií spojené až ve chvíli, kdy bude Pandořina skříňka otevřená. ?
***
Jsme na prahu významných změn, mnohdy možná nebezpečných. Máme dát strojům právo rozhodovat o životě a smrti člověka?
