Takzvané „přesvědčovací technologie“ (persuasive technologies), tedy technologie navržené k ovlivňování chování uživatelů, mohou v rukou Číny či Ruska představovat významnou bezpečnostní hrozbu. Australský institut pro strategickou politiku (ASPI) se tomuto tématu věnuje ve svém policy briefu, kde analyzuje riziko možné čínské dominance v některých oblastech špičkových technologií využívajících umělou inteligenci.
Západ, včetně Evropské unie, nedokáže držet krok s rychlým rozvojem technologií od generativní AI až po neurovědu, regulační opatření tak přijímá spíše reaktivně než systematicky. Autoři studie apelují především na to, aby bylo chráněno nejen soukromí uživatelů, ale také jejich „uživatelská autonomie“, tedy schopnost se samostatně a vědomě rozhodovat na základě relevantních informací.
Právě na tyto schopnosti přesvědčovací technologie cílí. Autoři studie varují před rizikem jejich zneužití čínskou komunistickou stranou a jako příklad uvádějí vlivové kampaně na internetu, např. dobře zmapovanou spamufláž, nadnárodní represi, kybernetické operace, ale ve svém důsledku i možné vojenské využití těchto technologií.
Vlna „tiktokových uprchlíků“
Obavy z tohoto zneužití stály mimo jiné také za americkým legislativní úsilím o zákaz čínské aplikace TikTok. Ta se v neděli 19. ledna v USA nakrátko odmlčela, aby nově nastupující prezident Donald Trump její provoz hned následující den opět obnovil. Problém TikToku spočívá v jeho algoritmech a ve způsobu, jakým aplikace dokáže prostřednictvím nabízeného obsahu ovlivňovat uživatele, jejich názory a chování.
To se potvrdilo, když těsně před zákazem TikToku zaplavila sociální sítě kampaň s hashtagem „TikTokRefugees“ (tedy „tiktokoví uprchlíci“). Kampaň, která běžela na samotném TikToku, ale podporovali ji i známí pročínští influenceři například na X či YouTube, informovala o mladých Američanech, kteří před zákazem TikToku „prchají do bezpečí“ čínské aplikace Xiaohongshu (小红书; doslova „rudá knížka“ s odkazem na sbírku Mao Ce-tungových citátů vydanou v době Kulturní revoluce). Tito „uprchlíci“ – vesměs reální Američané a další cizinci, řádově se přitom jednalo minimálně o vyšší statisíce uživatelů – často v příspěvcích hovořili o „útěku před americkou cenzurou, propagandou a lhaním tradičních médií“.
Významnými faktory ve formování těchto postojů u části občanů demokratických společností jsou reálné problémy, jako je sociální nerovnost, migrace, drogy, bezdomovectví, inflace, nedostupnost bydlení apod. To dále umocňuje rostoucí názorová polarizací a radikalizace. K té záměrně přispívají nejrůznější populistické hlasy, jejichž významným reprezentantem je i miliardář a majitel sítě X Elon Musk, hlavní podporovatel nastupujícího prezidenta Donalda Trumpa a také potenciální zájemce o koupi TikToku. Z dlouhodobého hlediska však k posilování těchto postojů v demokratických společností přispívají také cílené vlivové kampaně, za nimiž často stojí Čína nebo Rusko.
„Čínský futurismus“ proti „západní bídě“
„Tiktokoví uprchlíci“ masivně posílili řady pročínských influencerů aktivních na sociálních sítích, když díky aplikaci Xiaohongshu „objevili reálnou Čínu“. Ve svých příspěvcích obdivují krásu čínské kultury a „dokonalost čínského režimu“ s perfektně fungující harmonickou společností obývající futuristická města, požívající výhod high-tech infrastruktury a sociálních jistot „socialismu s čínskými rysy“. Příspěvky to srovnávaly se „západní bídou“, kde lidé „musí mít tři zaměstnání, aby se uživili“, nebo končí na ulici bez střechy nad hlavou a dostupné zdravotní péče.
To je odrazem idealizovaných videí influencerů a influencerek na Xiaohongshu propagujících luxusní životní styl, který je asi tak reálný jako ten na Instagramu. Zároveň je absurdní považovat jakoukoli čínskou sociální síť za svobodné prostředí. Výmluvným příkladem je společnost ByteDance, která provozuje dvě oddělené aplikace: TikTok není přístupný pro uživatele v ČLR, ti mají vlastní aplikaci Douyin, kde se pro změnu nemohou registrovat zahraniční uživatelé, aby nedocházelo k vzájemné výměně.
Xiaohongshu je bezpochyby nejpřístupnější čínskou aplikací pro cizince a v minulém roce zrovna zahájila propagační kampaň lákající zahraniční komerční subjekty především v oblasti cestovního ruchu. Očividně tak usilovala o expanzi do zahraničí, přesto je však náhlá masová migrace amerických uživatelů těsně před očekávaným ukončením provozu TikToku tak trochu „záhadou“. Fenoménu, který se rozšířil v pro TikTok typické formě „virálního trendu“, napomohla zcela nepřehlédnutelná rozsáhlá kampaň na západních sociálních sítích, která přechod na Xiaohongshu během prvních dnů propagovala a aktivně informovala o „šoku Američanů ze skutečné Číny“, o níž jim dosud „média lhala“. Není nijak překvapivé, že se do této kampaně zapojili prakticky všichni známí pročínští influenceři na všech západních sociálních sítích.
Neorané pole přesvědčovacích technologií
Celá situace dobře ilustruje, jak mohou režimy, jako je ten čínský, využívat přesvědčovací technologie k ovlivňování postojů a chování uživatelů v zahraničí – zejména pokud mají volný přístup na západní sociální sítě, nebo dokonce dodávají nejmodernější technologie západním komerčním subjektům.
Rizika jsou zřejmá nejen u využívání generativní AI, ale také u chytré nositelné elektroniky – například hodinek měřících různé fyziologické funkce, „chytrých brýlí“, zařízení pro virtuální realitu či tzv. BCI technologií (brain-computer interface), označovaných také jako neuralinky, které propojují lidský mozek s počítačem. Studie ASPI představuje řadu čínských firem a nejnovějších technologií, jež tyto firmy vyvíjejí často ve spolupráci s předními zahraničními univerzitami a nabízejí je velkým nadnárodním technologickým firmám. Většina z těchto společností přitom spolupracuje s čínskými orgány, někdy přímo s policií či armádou.
Využívání jejich technologií tak může do budoucna představovat vážné bezpečnostní riziko, jehož míru lze nyní jen stěží předvídat i kvůli překotnosti rozvoje v těchto oblastech. Autoři ASPI upozorňují na jev známý jako „Collingridgovo dilema“, který David Collingridge popsal už v roce 1980 ve své knize Společenská kontrola a technologie (Social control and technology). Dilema spočívá ve skutečnosti, že dopad nejnovějších technologií bývá plně pochopen až se zpožděním. Často tak už bývá pozdě na zvrácení následků jejich používání. Autoři studie píší:
„Současné technologie ovlivňují uživatele doporučováním obsahu na základě algoritmů se schopností učit se z našich (alespoň zpočátku) vědomých voleb. V určitém okamžiku však možnosti volby začínají být omezené kvůli uzavřenosti prostředí s omezenými informacemi. To pouze odráží a posiluje názory uživatele, tedy dochází k tzv. efektu komnaty ozvěn. Přesvědčovací technologie dokáží tento vliv ještě posílit přímým napojením na fyziologické a emoční reakce uživatele.“
Propojení všeho
Oxford Internet Institute od roku 2017 zaznamenal výrazný nárůst zapojení soukromých čínských firem do propagandistických kampaní Pekingu prostřednictvím „organizovaných manipulací na sociálních sítích“. To potvrzuje stále těsnější provázanost soukromého sektoru se státními zájmy, což se v posledních letech projevuje i propojením se sektorem vojenským. Tento vývoj úzce souvisí i s konceptem tzv. „fúze médií“ (媒体融合), který zdůrazňuje sjednocení sociálních sítí a digitálních platforem s tradičními médii pod jednotnou kontrolou strany a je jedním z pilířů Si Ťin-pchingovy ideologie.
Podle přehledu ASPI Čína v současnosti dominuje 57 z celkových 64 kritických technologií a již nyní je lídrem v oblasti generativní AI. ASPI uvádí konkrétní příklady čínských firem a technologií, které představují nebo do budoucna mohou představovat určité bezpečnostní riziko. Patří mezi ně AI nástroje pro kontrolu veřejného mínění od společnost Midu (蜜度), nástroje pro ideologické školení společnosti Silicon Intelligence (硅基智能), systémy na online detekci emocí firmy Suishi (燧世), modely virtuální reality a simulace bojových operací nabízené vývojářskou společností Goertek (歌尔), zapojení AI do online vlivových operací v zahraničí společností Mobvoi (出门问问) nebo speciální „AI služby na sociálních sítích“ společnosti OneSight (一网互通), která poskytuje například správu velkého množství účtů pro zveřejňování příspěvků a komentářů.
Většina těchto firem sama mezi svými klienty uvádí čínské vládní instituce či bezpečnostní složky a přiznaně spolupracuje s prestižními čínskými univerzitami, které jsou na seznamu vzdělávacích institucí zapojených do výzkumů s možným vojenským využitím nebo přímo napojených na armádu. Na výzkumu však zároveň často spolupracují i s předními americkými či evropskými univerzitami a zaměstnávají jejich absolventy.
Proti přesvědčovacím technologiím v rukou autoritářských režimů
Přesvědčovací technologie mají potenciál zefektivnit a lépe zamaskovat šíření dezinformací nebo cizího vlivu v online prostředí, například s cílem ovlivnit volební preference, voličskou účast nebo posilovat společenské rozpory a podněcovat nepokoje. Jedním z důsledků je již nyní patrná „informační nejistota“, kdy lidé ztrácejí důvěru v pravdivost informací i v samotné informační zdroje. To může přerůst v „politickou apatii a nedůvěru v instituce“.
ASPI proto v závěru studie navrhuje demokratickým vládám několik opatření, aby do budoucna mohly lépe vyvažovat riziko potenciálního zneužití těchto technologií autoritářskými režimy. V první řadě by to mělo být vytvoření databáze přesvědčovacích technologií s možnými bezpečnostními riziky a příklady jejich možného či prokázaného zneužití státními aktéry. Dále by státy měly založit instituce pro kontrolu těchto technologií a zavést pravidla pro jejich odpovědný rozvoj. V neposlední řadě je nutné posílit mezinárodní normy vymezující komerční využití nejnovějších technologií, které mohou mít do budoucna negativní dopady na společnosti i jednotlivce.