Mechanismus pozornosti
Klíčová inovace, která umožňuje modelu vážit důležitost různých slov v rámci jedné věty bez ohledu na jejich vzdálenost. Tím se řeší omezení předchozích modelů RNN.
Technické detaily →Zpracování přirozeného jazyka a lingvistické modely
Vědecká disciplína na pomezí lingvistiky a informatiky, která se zabývá interakcí mezi počítači a lidským jazykem. Od mechanických slovníků k transformátorovým architekturám schopným generovat koherentní texty.
Prozkoumat technologie
Evoluce lingvistických systémů
Historie NLP začala v 50. letech 20. století, kdy se první pokusy soustředily na strojový překlad založený na pravidlech. Tyto systémy využívaly rozsáhlé slovníky a pevně definované gramatické struktury, což však naráželo na komplexnost a nejednoznačnost přirozeného jazyka. V tomto období byl klíčovým milníkem Georgetownský experiment, který demonstroval schopnost počítače přeložit vybrané věty z ruštiny do angličtiny.
V 90. letech došlo k zásadnímu přechodu ke statistickým metodám. Namísto ručně psaných pravidel začaly systémy analyzovat velké textové korpusy a počítat pravděpodobnost výskytu slovních spojení. Tento přístup položil základy pro moderní metody strojového učení, které dnes dominují celému odvětví.
- Symbolické NLP (1950–1990)
- Založeno na formální logice a lingvistických pravidlech definovaných experty.
- Statistické NLP (1990–2010)
- Využití pravděpodobnostních modelů a skrytých Markovových modelů pro analýzu sekvencí.
- Neurální NLP (2010–současnost)
- Nasazení hlubokých neuronových sítí, zejména rekurentních sítí a transformátorů.
Architektura transformátorů
Poziční kódování
Jelikož transformátory zpracovávají data paralelně, nikoliv sekvenčně, vyžadují specifické vektory, které do modelu vkládají informaci o pořadí slov v textu.
Datové struktury →Vícehlavá pozornost
Umožňuje modelu souběžně sledovat různé aspekty vztahů mezi slovy, jako jsou syntaktické vazby, sémantické souvislosti nebo referenční integrita.
Základy systémů →"Sémantická analýza v moderním pojetí již nehledá pouze definice, ale mapuje významy do vícerozměrných vektorových prostorů, kde blízkost bodů odpovídá podobnosti konceptů."
Technická definice sémantického vektoru
Fáze vývoje velkých jazykových modelů (LLM)
Předtrénování (Pre-training)
Proces, při kterém se model učí na masivních datasetech (např. Common Crawl). Cílem je predikce následujícího tokenu v sekvenci, čímž si model osvojuje gramatiku, fakta a základní logické uvažování. Tento krok vyžaduje obrovský výpočetní výkon.
Ladění instrukcí (Instruction Fine-tuning)
Fáze, kdy je předtrénovaný model dále trénován na menším, kurátorském datasetu obsahujícím dvojice otázka-odpověď. Tím se model učí následovat specifické příkazy uživatele a formátovat výstupy podle požadavků.
Zpětnovazebné učení (RLHF)
Reinforcement Learning from Human Feedback je metoda, kde lidští hodnotitelé srovnávají různé odpovědi modelu. Na základě těchto preferencí se trénuje "odměňovací model", který následně optimalizuje hlavní jazykový model pro vyšší užitečnost a bezpečnost.
Budoucnost autonomních systémů
Pochopení principů lingvistických modelů je nezbytným předpokladem pro studium autonomních řídicích systémů a budoucího vývoje obecné umělé inteligence.