Jak ChatGPT „ví“, co ti má odpovědět? Ve skutečnosti funguje jinak, než si myslíš

Napíšeš pár slov. Stiskneš Enter. A za okamžik máš před sebou odpověď, která může vypadat, jako by ji napsal člověk. Co se ale ve skutečnosti odehrává mezi tvou otázkou a první větou odpovědi?

Představ si, že napíšeš do ChatGPT: „Vysvětli mi, jak funguje motor auta.“ Systém musí zpracovat tvoje zadání a kontext konverzace a následně vytvořit odpověď. Nikde přitom nečeká hotová věta, kterou by jednoduše vyhledal a zkopíroval. Odpověď vzniká pomocí matematických výpočtů a modelu, který se během trénování naučil rozpoznávat vzorce v obrovském množství dat.

Nejdřív přichází na řadu tvoje otázka

ChatGPT není obyčejný vyhledávač. Když položíš otázku, jazykový model pracuje s textem, který jsi zadal, a s dalšími informacemi dostupnými v daném kontextu.

Důležité je, že model nepřemýšlí úplně stejně jako člověk. Nemá lidské vědomí ani porozumění světu. Jeho schopnost odpovídat vychází především z toho, že se během trénování naučil rozpoznávat vztahy a vzorce v datech a následně je využívat při tvorbě odpovědi.

Slova se rozdělí na tokeny

Počítač nepracuje s větami stejně jako člověk. Text proto jazykový model zpracovává pomocí takzvaných tokenů. Token může být celé slovo, část slova nebo například interpunkční znaménko. Věta se tak rozdělí na menší části, se kterými model dokáže matematicky pracovat.

Například slovo může být pro model jedním tokenem, ale delší nebo méně obvyklé slovo se může rozdělit na několik částí. Tokeny jsou tedy něco jako stavební kostičky textu. Model potom pracuje s číselnými reprezentacemi těchto tokenů a s jejich vzájemnými vztahy.

ChatGPT postupně předpovídá, co přijde dál

A právě tady je jeden z nejzajímavějších principů fungování jazykového modelu. Během trénování se model učí, jak spolu slova a další části textu souvisejí. Když potom odpovídá na tvoji otázku, postupně předpovídá, jaké další slovo nebo část textu bude v daném kontextu nejvhodnější.

Představ si větu: „Hlavní město České republiky je…“ Model vyhodnotí kontext a velmi pravděpodobně naváže slovem: „Praha.“

U složité otázky tento proces probíhá opakovaně. Z jednotlivých částí tak postupně vznikne celá odpověď.

Neznamená to ale, že ChatGPT pouze mechanicky doplňuje další slovo. Moderní velké jazykové modely mají obrovské množství naučených parametrů a vztahů, díky kterým dokážou vytvářet mnohem složitější odpovědi. Základní princip predikce další části textu je ale důležitou součástí toho, jak fungují.

Kde se všechno tohle počítá?

Za odpovědí nejsou jen „chytré algoritmy“. Potřebuješ také výkonné počítačové systémy, na kterých se matematické výpočty provádějí.

Samotný jazykový model je tvořen rozsáhlými soubory čísel, kterým se říká parametry nebo váhy, a kódem, který s nimi pracuje. Během trénování se hodnoty těchto parametrů postupně upravují tak, aby model lépe rozpoznával vzorce v datech.

Model tedy není databáze, ve které by byla uložená kopie celého internetu. Podle OpenAI si model neuchovává kopie vět, obrázků nebo zvuků použitých při trénování. Naučené vzorce jsou místo toho zachyceny v jeho parametrech.

VIDEO: Chyba, která změnila svět!

Znamená to, že ChatGPT ví všechno?

Rozhodně ne. A to je důležité vědět hlavně tehdy, když AI používáš ve škole.

ChatGPT může vytvořit odpověď, která zní naprosto přesvědčivě, ale přesto může být chybná. Může například uvést nesprávné datum, číslo, jméno nebo vytvořit informaci, která ve skutečnosti neexistuje. Proč? Protože jazykový model je navržený tak, aby vytvářel odpovědi na základě naučených vzorců. Neznamená to, že každé tvrzení automaticky ověřuje proti nějakému seznamu skutečností.

Proto platí jednoduché pravidlo: Čím důležitější informace, tím víc je potřeba ji ověřit.

Pokud například hledáš informace do školního projektu, je dobré podívat se také na oficiální weby, odborné zdroje nebo jiné důvěryhodné materiály.

Z čeho se vlastně AI učí?

Modely, které pohánějí ChatGPT, jsou podle OpenAI vyvíjeny s využitím tří hlavních zdrojů informací: veřejně dostupných informací z internetu, informací získaných prostřednictvím partnerství s třetími stranami a informací, které poskytují nebo vytvářejí uživatelé, lidští školitelé a výzkumníci.

Při trénování se model učí vztahy a vzorce v textu, obrázcích, zvuku a videu. Nejde ale o klasické „uložení internetu do počítače“. Model si podle OpenAI neuchovává kopie trénovacích dat, ale upravuje své parametry tak, aby dokázal lépe předvídat a vytvářet nový obsah.

A co tvoje otázky?

Možná tě napadne ještě jedna věc: Když něco napíšu do ChatGPT, co se s tím stane? U osobních účtů existuje v nastavení Data Controls možnost rozhodnout, zda mohou nové konverzace pomáhat zlepšovat modely. Pokud tuto možnost vypneš, nové konverzace se podle OpenAI nebudou používat ke zlepšování modelů, i když zůstanou v historii chatu.

Existuje také Dočasný chat (Temporary Chat). Ten se nezobrazuje v historii a nepoužívá se ke zlepšování modelů, pokud zůstane dočasným chatem. OpenAI uvádí, že jeho kopie může být z bezpečnostních důvodů uchovávána až 30 dní. To ale neznamená, že je dobré do AI psát úplně cokoli. Platí jednoduché pravidlo: Do ChatGPT neposílej citlivé osobní informace, pokud nejsou pro tvůj úkol opravdu nutné.

Kdo to všechno vytváří?

Za AI nestojí jen programátoři. Na vývoji podobných systémů pracují například programátoři, odborníci na umělou inteligenci, matematici, datoví vědci, výzkumníci a specialisté na bezpečnost.

Potřebují řešit spoustu různých problémů: jak model trénovat, jak zlepšit jeho schopnosti, jak omezit jeho chybovost a jak zajistit, aby byl bezpečnější.

A právě tady se otevírá zajímavá možnost pro budoucnost. AI totiž vytváří potřebu nových technických znalostí a profesí, které propojují informatiku, matematiku, programování, práci s daty a další obory.

Takže co se stane, když stiskneš Enter?

Tvoje otázka se zpracuje jako vstup pro jazykový model. Text se rozdělí na tokeny, model využije vzorce, které se naučil během trénování, a začne postupně vytvářet odpověď. Při tom předpovídá další části textu a skládá je za sebe. Nejprve vznikne jedna část. Potom další. A další. Během několika sekund tak může vzniknout odstavec, celý článek, program nebo třeba návrh, který ještě před několika lety nebylo možné získat tímto způsobem.

A možná právě to je na dnešní umělé inteligenci nejzajímavější: Napíšeš pár slov. Za nimi se rozběhne obrovské množství matematických výpočtů. A výsledkem je obsah vytvořený podle vzorců, které se model naučil během svého trénování.