DIÉTA: Könnyű nyelvtudás a párbeszéd rendszerek számára

A nagyméretű, előre kiképzett nyelvi modellek lenyűgöző eredményeket mutattak olyan nyelvértési referenciaértékeken, mint a GLUE és a SuperGLUE, amelyek jelentősen javultak más előképzési módszerek, például az elosztott reprezentációk (GloVe) és a tisztán felügyelt megközelítésekhez képest. Bemutatjuk a Dual Intent és Entity Transformer (DIET) architektúrát, és tanulmányozzuk a különböző előre kiképzett reprezentációk hatékonyságát a szándék és entitás előrejelzésében, két közös párbeszéd nyelvmegértési feladatban. . A DIET előrelép a komplex, több tartományra kiterjedő NLU adatkészlet terén, és hasonlóan nagy teljesítményt ér el más egyszerűbb adatkészleteknél is. Meglepő módon azt mutatjuk be, hogy nincs egyértelmű előnye a nagy, előre betanított modellek használatának erre a feladatra, és valójában a DIET javítja a technika jelenlegi állását még tisztán felügyelt környezetben is, előre betanított beágyazások nélkül. A legjobban teljesítő modellünk felülmúlja a BERT finomhangolását, és körülbelül hatszor gyorsabban edz. (Olvass tovább)