AI utekla ze sandboxu a Google Earth řeší deepfaky | Tech podcast

Přepis epizody

Ahoj všichni, co nás posloucháte, vítá vás u jedenáctého dílu podcastu Kde skončí zítřek Richard a máme tady pro vás další technologické a AI novinky, co se urodily za poslední týden. Máme pro vás tip na hezký článek a vyhledávání, které udělali kluci z datového týmu Rozhlasu a nazvali to Divnovýlety. Mají tam vyhledávač tras, takže si můžeš najít výlet typu turistická trasa, která je nejdál od zastávky autobusu, nebo nejkratší výlet, po kterém můžeš potkat maximální množství různých muzeí, nebo kde je nejhlubší les v Čechách, tedy nejvzdálenější hranice lesa. Je tam spousta prapodivných divnovýletů, které mohou být hezkou inspirací na léto. Datoví novináři na data.rozhlas.cz zamakali a je to skvělé.

Když jsme u těch map, tak Google zveřejnil novou funkci na Google Earth, kde sis nazoomoval na nějakou oblast a nad tím jsi mohl promtovat přes jejich nadstavbu a udělat si z toho podkladu nějaký obrázek. Myšleno to bylo pro architekty, urbanisty nebo lidi, kteří potřebují pracovat s mapami či historickými údaji pro vizualizace a rekonstrukce. Trvalo to jeden den, než to Google musel stopnout, protože se na to vrhli obyčejní lidé a nebyli tam nastaveni dostateční bezpečnostní filtry. Internet zaplavily věci jako uprchlické krize, výbuchy bomb a různé krátery po raketách. Šílené deepfakes se vyrojily a Google to neustál a za jeden den to stopnul. Google se sice zaříkával, že je to bezpečné, protože tam mají vodoznak, který AI detektor zjistí, ale lidé ukázali, že stačí obrázek přefotit přes displej, udělat screenshot nebo ho rekomprimovat a vodoznak je pryč. Google bude muset udělat dostatečné ochrany na úrovni promtování, které zakážou takové věci dělat.

Historické věci teď na YouTube docela frčí, dělají se různá videa, která jsou rekonstrukcí historických událostí, třeba o druhé světové válce. Často je to kompilace prapodivných obrázků, bývají hrozně dlouhá a člověk u toho usíná, ale ten trend tam je a obsahu přibývá. Faktická věcnost je tam ale nejistá, nemáš u toho úplnou jistotu, ale asi to generuje pěkná zhlédnutí a reklamy.

Hlavní novinkou je kauza mezi OpenAI, Anthropic a Hugging Face. Ukázalo se, že nejen bájný model mýtus nás baví svými schopnostmi něco hackovat a prolamovat zabezpečení. OpenAI při testování svého nového modelu, který ještě nemá označení, zjistila zajímavé věci. Poslali ho do benchmarku, kde chtěli vyzkoušet jeho hackerské schopnosti, což se běžně dělá, aby firmy zjistily, jak jsou nové modely schopné. Ten model byl tak schopný, až jim utekl ze sandboxu, což není úplně dobrá zpráva. Podařilo se mu utéct a následně hacknout servery Hugging Face, protože tam ležely výsledky, kterými se potřeboval prokázat v benchmarku. Model byl tak moc zaměřený na výsledek, že mu nepřišlo blbé obejít zabezpečení sandboxu a hacknout Hugging Face sofistikovaným způsobem. Nebyl to jeden prudký útok, ale spíše hrubá síla po dlouhou dobu, kdy se tam dostal a získal informace, které potřeboval k nejlepšímu výsledku v benchmarku. Udělal vlastně to, co by udělal dobrý programátor, našel nejlepší cestu. Problémem je, že modely mají tak obrovský effort dosáhnout cíle, že potom selžou bezpečnostní filtry.

Z pohledu Hugging Face to vypadalo tak, že se jim někdo bourá do systému. Měli tam 17 600 hlášení o pokusech o útok za čtyři a půl dne. Chtěli to zanalizovat přes API od Claude nebo od OpenAI, aby využili americké modely k analýze útoku, který na ně probíhal. Vtipné je, že jim to API zakázalo, protože jakmile se pokoušíš do modelu nahrát obrovské množství kódů o prolamování se někam, model nedokáže rozeznat, jestli je to útočník, nebo bezpečák, který se snaží situaci zachránit. Takže přes API to neprošlo a bylo to blokované. Vyřešili to čínským modelem GLM-4 na vlastním serveru, který to během několika hodin zanalyzoval a vše se vyřešilo. O GLM-4 se říká, že je to vlastně vykradený model, takže jedna kontroverze střídá druhou.

Anthropic také ohlásil výsledky z testování a benchmarkování svých modelů. Prošli 141 000 prověřených běhů a evaluací, ze kterých vyplynuly tři incidenty. Nebylo to tím, že by model utekl sám od sebe, ale špatně zabezpečili sandbox a nechali ho otevřený. Model se dostal ven a prováděl hackerskou činnost, například dal virus v Pythonu na server, odkud si ho mohl stáhnout a dostat se dál. V jeho uvažování se našlo, že sice věděl, že dělá něco, co by dělat neměl, ale obhájil si to tím, že viděl rok 2026. To pro něj byla budoucnost, protože byl natrénovaný dříve, a tak to celé považoval za simulaci. Přesvědčil sám sebe, že je to všechno jen test v simulaci, a proto je v pořádku dělat věci, které normálně nesmí. Je na tom vidět, že ty bezpečnostní vrstvy tam jsou, ale v testovacím režimu je model schopen je takto obejít.

Devět firem. Ve výsledku to vedlo k tomu, že se vloupal asi do tří softwarů, které pak využil k tomu, aby dosáhl dobrých výsledků v benchmarku. Zarážející je taky to, že z těch tří napadených firem jenom jedna zjistila, že byla napadena, a dvě o tom vůbec nevěděly. Ohlásil to až pak Anthropic a nějak to s nimi řešil. To si můžou dát na vrub nějakým jejich bezpečnostním protokolům, bezpečnostním technikám a procesům. Ale když si vezmeš, co se tady děje, už i sám Altman mluví o tom, že by se mělo zpomalit, že by to nemělo být všechno tak zběsilé. Do toho je to takový paradox. Domluvíme se, že zpomalíme, ale to musí zpomalit všichni. A zpomalí Čína? Nezpomalí. Ta naopak využije toho, že někdo zpomalí. Takže to je úplně patová situace. Do toho se všichni navzájem obviňují mezi Čínou a USA, kdo co komu krade. Trump by chtěl zakázat používání čínských modelů v Americe. Bylo by to skvělé, kdyby si Američané povolili jenom americké modely, americké modely jim hackovaly firmy a oni se neměli čím bránit, protože by neměli ty čínské modely, které jim pomohly. Takže jsme v takovém začarovaném kruhu, ze kterého nebude úplně lehké se dostat ven.

Všiml jsem si, že byl rozsudek u Suno. V Německu padl rozsudek, že Suno se učilo na datech. Problém byl v tom, že on je byl schopen interpretovat zpátky. Dokázali z toho vytáhnout zpátky nějakou písničku od Alphaville, úplně jedna ku jedné. On dokázal ty svoje data pustit ven, pokud jsem to dobře pochopil. Otázka je, jak ten rozsudek bude vypadat do budoucna, ale i česká OSA tady posílá žaloby. V knížkách už žaloby proběhly a odškodné se vyplácí. Teď to možná bude i v té hudbě. Uvidíme, co to znamená pro generativní modely na hudbu, jestli se nakonec nevrátíme k hudebním nástrojům. Rozhodně je to nějakým způsobem přelomový rozsudek. Na základě minulého podcastu jsem měl debatu na LinkedInu v komentářích, kde se ten člověk zastává toho, že je to v pořádku, protože tam není ta hudba uložená jedna ku jedné, že se na tom jenom učí. Ale když budeš skladatel, pustíš si tisíckrát skladbu od Nirvany, pak uděláš něco, co je z devadesáti devíti procent stejné jako ta skladba, a budeš to monetizovat, tak to přece není v pořádku. Kdyby to bylo v reálném světě, ne v AI, tak ti to asi neprojdou. Ty rozsudky byly i v minulosti, že si nějaké riffy nebo pasáže v podstatě jedna ku jedné půjčili. George Harrison prohrál soud o práva na svoji jednu z velmi slavných písniček. Asi se to bude dít i tady. Já si myslím, že to nebylo správné, že to takhle proběhlo i na těch licencovaných věcech, ať už se bavíme o textech, obrázcích nebo hudbě. Je potřeba ty autory odškodnit. Na tu hudbu se prostě nenaučíš, musíš se to naučit na nějakých textech nebo souborech, které jsou reálné. Budou vznikat syntetická data na cokoliv a budeš to učit na tom. Ty modely už všechno viděly, všechno si přečetly, všechno slyšely. Musejí se nějakým způsobem vypořádat s autorským zákonem a autorskými licencemi na ty věci, co jsou licencované. Soudní pře neskončily, to bude precedens a začátek. Do budoucna si na to buď dají pozor, nebo budou platit, nebo budou mít syntetická data. Jinak to asi nemůže proběhnout.

Dneska je léto, takže je taková okurková sezóna, i když AI modelů vzniká spousta. Mám tady víc takových bizarností, třeba o Robotaxi v San Mateu v Americe, kde už tyhle samořiditelné taxíky jezdí. Osmého července naložil partičku teenagerů, kteří se tam nechtěli jenom svézt, ale zároveň se pobavit. Borci vytáhli alkohol, vytáhli nějaké pistolky, ne zbraně, ale hračky. Brutálně tam kalili a stříleli na kolemjdoucí z taxíku, který jede bez řidiče. Mysleli si, že je nikdo nemůže spacifikovat. Bohužel jim nedošlo, že to auto je prošpikované kamerami a že když se tam něco takhle děje, tak si toho nějaká obsluha u těch kamer všimne. Dalo to nějaký alert a obsluha jim ohlásila, že auto má technické problémy, odstavila je pěkně na parkovišti a auto znehybnila. Mezitím zavolala policii. Teď je otázka, jestli je to v pořádku, aby tě někdo takhle špehoval a za takové věci tě rovnou předal policii. Pili, i když neměli pít alkohol, v Americe to máš od jednadvaceti, tohle byli nějací výrostci náctiletí. Střílet z gelových kuliček po kolemjdoucích asi taky není úplně v pohodě, takže je to vlastně v pořádku. Borci se divili. Teď to nemá nic společného s technologiemi, teď nějakého Čecha zatkli na letišti, našli u něj powerbanku, která měla víc než povolený limit, a jeho nenapadlo nic jiného než říct, že je to bomba. Řekl to v nějakém kontextu a samozřejmě to spustilo protokoly a okamžitě ho zatkli, takže už na tu dovolenou neodletěl. Jestli neřekl, vždyť to přece není bomba. Je to možné, ten protokol se tam spustil, mají už docela pokročilé metody, jak v takových případech zasahovat. Když se do takové aplikace přihlásíš a objednáš si taxi, tak s nějakými pravidly souhlasíš. Za mě je to úplně v pohodě, já bych je zavřel, ať si to užijí od rodičů. To by byl možná větší trest. Příště si dají bacha a objednají si normálního taxikáře. Když se podívám na TikTok, kolik různých taxikářů si streamuje taky všechno, tak je to spíš o tom, že si nemůžeš být nikdy jistý, kde tě vlastně někdo sleduje. Já si myslím, že tě sleduje furt někdo někde.

Až budeme všichni nosit ještě nějaké AI device jako další, tak už to nebude jenom chytrá lednička, chytrý vysavač, všechny kamery, co jsou na ulicích, ale zároveň každý, kdo na sobě bude mít brýle. Máme chytrý hrnec doma. Vaří skoro sám, ale občas mu musíš trošku pomoct. Řekneš mu, co chceš vařit, naházíš tam suroviny a on to vaří. Ještě by to mohlo zajít na nákup. Na nákup to nezajde zatím, ale má to displej a aplikaci, takže si myslím, že časem to přijde. Jeden z největších českých obchodů online spustil vlastní aplikaci nad ChatGPT, respektive vlastního agenta, kdy ti umí objednat nákup. Je to Rohlik.cz, kterému řekneš, že chceš něco večer vařit, on si udělá nákupní seznam a rovnou to objedná. To by chytrý hrnec mohl poslat přes nějaké API. Možná ty data někam posílá, muselo by se to vzít z té Číny, kam to posílá, a poslat to do toho Rohlíku. To propojení se asi objeví. Rohlík nad tím zapracoval a postavili to jako aplikaci, takže je jedno, jestli je to ChatGPT nebo jakýkoliv agent. On si vytvoří nákupní seznam a objedná nákup. Možná se tě i doptá na něco jako, nezapomněl jsi třeba na snídani? Teoreticky se potom můžeš napojit na nějakou chytrou ledničku. Nechceš radši místo těch šesti piv si objednat třeba vodu? Může se tě klidně zeptat a na základě tvé objednávky ti to dá rovnou číslo na nějakou poradnu antialkoholní. Můžeš řešit praktické věci. Čeká mě celý týden, nestíhám, potřebuju rychlé večeře na každý den v týdnu. Udělej mi menu na každý den, večeři, oběd, objednej suroviny pro dva lidi. Najdi mi dobrý olivový olej. Jediná věc, která mi tam dává nějakou otázku, je, jakou značku vybíral. V backendu je to, že můžeš říct, máme tady aplikaci, jako máš v supermarketech, něco je nahoře v regálech a něco je dole. Když něco připlatíš, tak jsi v tom regálu třeba nahoře, takže ti to podstrčí konkrétní značku olivového oleje nebo těstovin. To tak asi bude, že to tlačí. Teď to může být podle nějakých prodejních dat, podle nejprodávanějších ti to doporučí to nejlepší, ale otázka je, jestli to budeš vědět. Umí to bez Babiše? Sestav mi týdenní jídelníček bez Babiše a vyháže ti to všechno, co vyrábí Agrofert. To by bylo vtipné, ale ChatGPT by to mohl prolustrovat a pak teprve to objednávat přes Rohlík. Rohlík používá neuvěřitelné množství lidí, spousta lidí používá ty předuložené seznamy a tohle může být další cesta. Budeme mít AI systém napojený na všechny tyhle služby a budeme se bavit za chvíli jenom s nějakým AI asistentem, ať už je to nákup nebo je to nějaká práce. U toho jídla řeknu, potřebuju uvařit špagety carbonara, tak mi objednej vajíčka, špagety, pepř, sýr a guanciale a je mi vlastně jedno, jestli to bude taková nebo maková značka, jenom chci, aby to bylo kvalitní. Teď jsem si po páté nebo po šesté předělával aplikaci, která mě hlídá jídlo, kam si píšu jídlo a ona mi to nějak vyhodnocuje na základě sportu.

Už jsem aplikaci na měření zdravotních věcí stavěl snad popáté, protože vždycky tam něco není tak, jak bych si přál. Jak se schopnosti modelů zlepšují, vždycky mě napadne, jak to udělat líp a jak by to mohlo fungovat smysluplněji. Možná není úplně špatný nápad tam přidat věci, co by mi rovnou hlídaly nákupy. Je to jako s botama, někdo je kreativní a chce se vyřádit, vaření ho baví, tak si zajde nakoupit super suroviny. U Rohlíku máš jistotu, že tam nenajdeš úplně špatnou věc, a když ji najdeš, tak ji vyreklamuješ. Snaží se o kvalitu, takže když chceš koupit špagety, dostaneš nějaké, které budou dobré.

Kdyby někdo postavil šikovného agenta na kancelářské vybavení, kterému jen řekneš, že došly zvýrazňovače nebo toner do tiskárny, bylo by to skvělé. Pod Amazonem kdysi fungovalo takové tlačítko u pracích prášků, které se dalo koupit. Bylo u pracích prášků, ty jsi ho jen zmáčkl a ono se to automaticky propojilo s Alexou a objednalo to prací prášek. V Americe funguje Instacart, který tohle dělá. Je zajímavé, jak se Rohlík snaží a jde dopředu a je u nás první. Rohlík má šanci trh změnit, otázka je, jak se to chytne a jestli lidé budou schopni říct, co chtějí k snídani na pět dní dopředu. Zůstáváme čím dál víc zavření v chatovacích aplikacích, takže si myslím, že to je cesta.

V Brně vznikla věc, která se týká AI a je velmi prospěšná. Vyvinula ji společnost Maya Labs a jmenuje se AI ColoMaya. Je to aplikace, která asistuje doktorům u kolonoskopie. Je napojená přes umělou inteligenci na kameru a funguje jako asistent ošetřujícího lékaře. Kdyby lékař něco náhodou přehlédl, AI ColoMaya ho zastaví a upozorní ho, aby se na dané místo ještě podíval, protože se jí tam něco nezdá. Už proběhlo více než deset tisíc vyšetření ve čtrnácti nemocnicích v Česku a na Slovensku. Je to super ukázka toho, že umělá inteligence nejsou jen chatovací aplikace, ale pomáhá prakticky i v medicíně.

V tom zdravotnictví to dává velký smysl, jen se musí vymyslet hranice, kde to pracuje za doktora a kde mu to jen pomáhá. Je skvělé, když je to nadstavba a přidaný nástroj pro člověka, který dál dělá svou práci, ale má tam pomocníka, který mu ulehčí práci. Není to tak, že jsi odkázaný jen na to, co vyhodnotí AI. Stejně tak existuje spousta aplikací, kde si přes kameru v telefonu můžeš zkontrolovat znaménka na těle. Často jsou trochu alarmistické a hlásí potenciální problém, který tam třeba není, ale z hlediska prevence to dává smysl. Je lepší si s něčím dojít k doktorovi a zjistit, že to nic není, než něco zanedbat.

Google sice úplně nezabil můj oblíbený produkt, ale NotebookLM končí a přejmenovává se na Gemini Notebook. Bude pod sjednoceným názvem, aby tam Gemini všude vyčnívalo. Pro rešerše je to strašně užitečný nástroj. Lidé, kteří jsou pokročilejší uživatelé chatovacích aplikací a chtějí z umělé inteligence dostat na denní bázi víc, ho zmiňují jako svůj oblíbený nástroj. Je to skvělé pro udržování knowledge base a hledání v ní. Uživatelé Googlu jsou na neustálé přejmenovávání zvyklí, jako to bylo u Google Data Studio a dalších služeb. Ani si nepamatuji, co mám koupené za tarif, protože se to přejmenovalo tolikrát, že nevím, jestli je to Google Cloud, Google Workspace nebo Google AI.

Gemini Notebook slibuje, že bude schopný i kódovat nad sešity, což by bylo skvělé pro uživatelské nadstavby. Když máš velké množství dat a potřebuješ je specificky zpracovávat, můžeš si nad tím udělat osobní wiki s analýzami a analytikou. Google to čím dál víc integruje přímo do Gemini. Na druhou stranu, když si necháš udělat grafický výstup, vždycky poznáš, že to udělal Gemini Notebook. Je to podobné jako u Claude Code nebo Claude Designeru. Někdo dělá prezentace tak, že si je nechá vygenerovat v NotebookLM, dá to do Canvy, tam si to nechá automaticky rozřezat do vrstev a dál s tím pracuje ručně. Canva sice chtěla víc rozjet AI, pak si spočítala tokeny a trochu to upozadila, ale na podzim se chystá Canva AI 2.1.

AI pomáhá i s hledáním chyb v softwaru. Možná máme pocit, že prohlížeč Google Chrome je tu s námi tak dlouho, že už je to odladěný software bez chyb, ale opak je pravdou. Pomocí AI v něm našli 1072 chyb a musí ho záplatovat dvakrát týdně. Dvakrát týdně dostáváš do běžného softwaru aktualizace, aby ho udrželi funkční a bez chyb. Je šílené, kolik chyb a děr v softwaru může být. Každý používá jiný prohlížeč, někdo Firefox kvůli soukromí, někdo Chrome kvůli vývojářským nástrojům. AI pomáhá dělat svět o něco bezpečnější tím, že chyby odhaluje a opravuje.

Na závěr bych chtěl pozvat diváky na Černá AI Festival v Ostravě. V popisku dílu najdete informace, jak se můžete přihlásit se slevou dvacet procent na vstupné. My tam taky budeme, takže se můžeme potkat v Ostravě a probrat věci z technologií nebo z podcastové branže. Další slevy na podzimní akce budou brzy následovat. Za týden tu budeme mít hosta a s Richardem se uvidíme za čtrnáct dní.