Když umělá inteligence šlápne vedle

Každá mince má dvě strany. Umělá inteligence, velebená, dokonalá, vizionářská, posouvající moderní společnost kupředu, není úplně bezchybná. Samozřejmě že jsou zde jisté „porodní bolesti“ spjaté s každou technologií či novým směrem, nicméně my se podíváme na několik vysokoprofilových failů umělé inteligence, které ukazují, že ani ona není všemocná.

IBM a Watson léčící rakovinu

Asi žádný projekt není tak názornou ukázkou velikášského přístupu technologických korporací k umělé inteligenci. V roce 2013 společnost IBM s velkou pompou uzavřela partnerství s klinikou léčby nádorových onemocnění v Houstonu – University of Texas MD Anderson Cancer Center, komplexním onkologickým centrem v texaském Houstonu. Jde o největší onkologické centrum v USA a jedno z původních tří komplexních onkologických center v zemi. Byly tak položeny základy ambiciózní spolupráce na systému nazvaném „Oncology Expert Advisor“. Cíl projektu byl odvážný – vyléčit rakovinu.

Tisková zpráva uváděla, že bude centrum využívat kognitivní výpočetní systém, který používá algoritmy umělé inteligence (AI) ke generování doporučení pro léčbu rakoviny. A jak to šlo?

V červenci 2018 společnost Stat News prošla interní dokumenty IBM a zjistila, že Watson poskytuje chybné, naprosto zbytečné, a dokonce nebezpečné rady pro léčbu rakoviny. Podle Stat News jsou na vině inženýři z IBM. Evidentně systém trénovali na malém počtu hypoteticky onkologicky nemocných pacientů namísto skutečných dat pacientů.

Výsledkem toho bylo, že lékaři, odborníci i pacienti identifikovali několik případů nebezpečných a nesprávných doporučení léčby. Dokonce se objevil případ, kdy Watson doporučil pro onkologicky nemocného pacienta lék, který by mohl jeho stav vážně zhoršit.

Ohlasy od odborné veřejnosti byly velice kritické. V roce 2017 centrum Watsona odpískalo. Zvláštní zpráva auditorů uvedla, že texaské centrum utratilo za projekt 62 milionů, aniž by došlo k naplnění smělých cílů, vlastně se k nim ani zdaleka nepřiblížilo.

Microsoft a chatbot „fašoun“

Psal se rok 2016, když Microsoft spustil svého revolučního chatbota. Všichni tak nějak očekávali, že se konečně ukážou možnosti umělé inteligence v plné parádě. A také se tak vlastně stalo! Tay psala slangovým jazykem teenagera a mohla automaticky odpovídat lidem a zapojovat se do „neformální a hravé konverzace“ na Twitteru.

Chatbota vytvořily divize Technologie a výzkumu ve spolupráci s divizí Bingu. Jméno Tay vzniklo z „Thinking About You“ (myslím na tebe). Inspiraci Microsoft čerpal mimo jiné z podobného čínského projektu Xiaoice – ten měl na kontě na 40 milion konverzací bez zjevných incidentů, takže proč to nezkusit spustit, že? Tay byla navržena tak, aby napodobovala vyjadřovací vzorce 19leté americké dívky, a hlavně aby se učila z uživatelských interakcí. A to bylo špatně, moc špatně.

Tay na Twitteru „ožila“ 23. března 2016, účet nesl název TayTweets. A začalo se konverzovat. Tay odpovídala ostatním uživatelům a mohla reagovat i na obrázky a memy. Všechno bylo zalité sluncem a radostí, jenže…

Uživatelé začali Tay zaplavovat politicky nekorektními frázemi, pobuřujícími prohlášeními, což vedlo k tomu, že rychle a velice dobře se učící chatbot začal produkovat rasistické, sexistické a urážející zprávy. Odborník na AI Roman Jampolskij uvedl, že „špatné chování“ Tay bylo pochopitelné, protože napodobovalo záměrně urážlivé chování ostatních uživatelů Twitteru a Microsoft nedal robotu do vínku schopnost rozpoznat takto nevhodné chování. Jampolskij srovnal kauzu s Watsonem společnosti IBM, který začal používat vulgární výrazy po přečtení záznamů z webu Urban Dictionary. Řada toxických tweetů byla také výsledkem zneužití funkce „repeat after me“ (opakuj po mně), avšak není jasné, zda šlo o záměrnou funkci, nebo se ji Tay také naučila.

Microsoft musel reagovat a kontroverzní tweety začal mazat a podle některých spekulací byly některé tweety nově editovány a upravovány, načež se objevila protestní vlna a kampaň #JusticeForTay požadující autentické tweety Tay.

Po 16 hodinách online, kdy Tay stačila vypálit 96 000 tweetů, Microsoft její účet kvůli úpravám pozastavil. Podle Microsoftu se stal chatbot cílem koordinovaného útoku lidí, kteří zneužili jeho zranitelností. V reakci na to se opět rozeběhla další twitterová kampaň, tentokrát s hashtagem FreeTay požadující návrat Tay online. Necelých deset dní po spuštění Microsoft potvrdil, že je Tay offline a na svém blogu vydala oficiální omluvu za kontroverzní tweety. Pár dní nato byla Tay opět spuštěna (omylem při testování) a opět se objevilo několik zajímavých tweetů, tentokrát souvisejících s drogami. Takže šla Tay opět rychle do režimu offline a její účet byl přepnut do soukromého režimu. Krátce poté se vývojáři z Microsoftu pokusili napravit způsobené škody a oznámili vizi „konverzační platformy“ využívající různých robotů a programů. Společnost Microsoft uvedla, že má v úmyslu Tay spustit, „jakmile bude moci zajistit bezpečnost robota“. Nestalo se tak.

Zpětně ale i Satya Nadella, CEO Microsoftu, hodnotí Tay jako cennou zkušenost pro Microsoft a vývoj umělé inteligence.

Podobně znepokojivá je kauza Facebooku a jeho chatbotů. Bob a Alice, jak se chatboti jmenovali, společnost vyřadila poté, co si začali navzájem povídat ve svém vlastním jazyce.

Apple a rozpoznávání obličeje

S iPhonem X představil Apple velkou novinku v podobě Face ID, systému pro rozpoznání obličeje, který nahrazoval čtečku otisku prstu. Apple se dušoval, že Face ID využívá pokročilý přední fotoaparát na zařízení a strojové učení k vytvoření trojrozměrné mapy obličeje uživatele. Díky pokročilé umělé inteligenci a strojovému učení měl být systém také schopen vnímat kosmetické a drobné úpravy, jako je make-up, brýle, šála kolem krku…

Nicméně pár dní po uvedení novinky se hackeři začali chlubit, že se jim podařilo obelstít Face ID pomocí masek vytištěných na 3D tiskárně. Vietnamská firma zabývající se bezpečností Bkav zjistila, že lze úspěšně odemknout iPhone X „přilepením“ očí na 3D masku. Na svém blogu k tomu připravili výzkumníci obsáhlý článek doplněný i videem. Apple přitom uváděl, že je Face ID navrženo tak, aby odolalo podobnému spoofingu, a je chráněno pomocí „sofistikovaných antispoofingových neurálních sítí“. Řada dalších odborníků však uváděla, že se jim podobným experimentem Face ID prolomit nepodařilo.

Amazon a rasově předpojatý Rekognition

Další selhání rozpoznávání obličeje AI přišlo se softwarem Amazon Rekognition. Podle Americké unie občanských svobod software spároval 28 členů Kongresu USA s odsouzenými zločinci. Došlo zde přitom k rasové zaujatosti, protože falešné shody odhalily nepřiměřený počet lidí tmavé pleti, přestože tvořili pouze 20 % osazenstva kongresu, a falešné shody mezi nimi dosáhly 40 %.

Není bohužel žádnou novinkou, že systémy pro rozpoznávání obličeje často sužuje rasová předpojatost. Výzkumníci z University of Toronto a MIT zjistili, že každý systém rozpoznávání obličeje, který testovali, fungoval lépe na tvářích se světlejší pletí. To je samozřejmě znepokojivé, jelikož nejde ani tak o „selhání AI“ jako o úplné selhání systémů, lidí a organizací, které tyto systémy vytvořili.

Amazon a sexistická AI pro nábor

Umělá inteligence a strojové učení mají velký problém se zkreslením. Vlastně se dá říct, že jsou zaujaté, což je, jak je uvedeno výše, zodpovědnost jejich vývojářů. Skvěle to demonstruje případ použití AI při náboru v Amazonu. Na začátku ambiciózního projektu, který běžel před pěti lety, byly opět velké plány – jak uváděl jeden z inženýrů Amazonu pro deník The Guardian v roce 2018, cílem bylo, aby náborářský engine pracoval tak, že zhodnotí 100 životopisů, ze kterých vybere pětici nejlepších, a ty už bude stačit jen najmout. Jenže vyšlo najevo, že inženýři z Amazonu naučili svou vlastní umělou inteligenci upřednostňovat mužské kandidáty světlé pleti – inu podle sebe soudím tebe. Zkrátka Amazon vytrénoval svou AI na životopisech stávajících inženýrů. Následně tento soubor tréninkových dat porovnali s aktuální databází uchazečů o práci na inženýrských pozicích. Takže z tréninkových dat se AI dozvěděla, že ti správní kandidáti pro tyto pozice by měli být spíše bílí a spíše muži. To je velice zjednodušená a zkrácená verze, ale i tak je poselství dost nepříjemné.

Autor textu: Michala Benešovská