Jak se jazyk učí lidé a stroje
Když se jazyk učí děti, vnímají při tom svět kolem sebe a vytvářejí si asociace mezi slovy a objekty, které označují. Na základě těchto zkušeností pak dokážou postupně odvozovat významy abstraktních pojmů i principy fungování gramatických konstrukcí.
Současné jazykové modely naproti tomu nemají přímé propojení s reálným světem. Učí se z obrovského množství textových dat, z nichž odvozují statistické vztahy mezi slovy. Nepracují s významem ve smyslu zkušenosti, ale s pravděpodobnostními vzorci v datech.
Výzkumníci z Vrije Universiteit Brussel se proto zaměřili na otázku, zda je možné na počítači replikovat způsob učení bližší lidské zkušenosti.
Autoři představují dva experimenty. V prvním vystupují dva agenti, kteří pozorují scénu a dokážou spolu komunikovat. Jeden z nich použije pojem k označení určitého objektu ve scéně a druhý má určit, o který objekt jde. Po přibližně 50 000 iteracích mezi nimi vznikne sdílená slovní zásoba a jsou schopni objekty ve scéně identifikovat s přibližně 90% úspěšností.
Ve druhém experimentu je pouze jeden agent, který vnímá scénu a dostává k ní otázky, jejichž význam se má naučit. Například obdrží dotaz „Kolik je krychlí?“. Nejprve odpoví náhodně, poté je mu sdělena správná odpověď, například 4. Na základě této zpětné vazby si vytváří hypotézu o významu otázky. Když následně dostane dotaz „Kolik je koulí?“ spolu se správnou odpovědí, může nejen upravit svou představu o významu jednotlivých slov, ale také začít zobecňovat konstrukci typu „Kolik je X?“.
Tyto experimenty jsou zatím výrazně omezené a autoři netvrdí, že by v současné podobě mohly nahradit běžně používané postupy při tvorbě jazykových modelů. Pokud by se však tyto metody podařilo dále rozvinout, mohly by vést k modelům, jejichž porozumění jazyku by bylo pevněji ukotveno v interakci s prostředím. Takový posun by mohl alespoň částečně zmírnit některé slabiny, jimiž dnešní jazykové modely trpí.
Zdroj:
Sepsal: Mgr. Peter Guba
Komentáře ()