Az idei év egyik legnagyobb áttörése a hatékonyabb figyelmi mechanizmusok megjelenése volt. A Flash Attention 3 algoritmus 40%-kal csökkentette a memóriaigényt, miközben a feldolgozási sebesség is nőtt. Ezek a fejlesztések lehetővé tették hosszabb kontextusablakok használatát anélkül, hogy a számítási költségek arányosan növekedtek volna.
A szöveg, kép és hang egyidejű feldolgozása már nem kísérleti fázisban van. Az egyesített reprezentációs terek lehetővé teszik, hogy egyetlen modell különböző modalitások között fordítson le információt. A gyakorlatban ez azt jelenti, hogy egy rendszer képes szöveges utasításból képet generálni, majd azt hangalámondással kiegészíteni egyetlen feldolgozási folyamatban.
A kvantálási technikák és a ritka aktivációs minták kihasználása lehetővé tette, hogy nagy nyelvi modellek fogyasztói hardveren is futtathatók legyenek elfogadható sebességgel. A 4-bites súlykvantálás mellett megjelent a dinamikus precizitás-váltás is, amely a feldolgozás során automatikusan választja ki az optimális számábrázolást.
Az RLHF módszerek finomítása során kiderült, hogy a preferenciaalapú tanítás hatékonyabb, mint a korábbi pontozási rendszerek. Az új megközelítések lehetővé teszik, hogy a modellek jobban igazodjanak az emberi értékítéletekhez anélkül, hogy túlillesztenének a tréningadatokra. Ez különösen fontos volt a biztonságos és megbízható rendszerek fejlesztésében.
Míg a nagy általános célú modellek továbbra is fejlődnek, egyre több szakterületre optimalizált változat jelent meg. Az orvosi diagnosztikában, jogalkalmazásban és tudományos kutatásban használt modellek olyan domain-specifikus előképzésen mentek át, amely lehetővé teszi számukra a szakmai zsargon és kontextus pontos megértését.
A decentralizált tanítási módszerek lehetővé teszik, hogy érzékeny adatok a forrásukról ne kerüljenek át központi szerverekre. Banki és egészségügyi alkalmazásokban ez kulcsfontosságú volt az adatvédelmi előírások betartásához. Az idei év során a kommunikációs protokollok olyan szinten fejlődtek, hogy a federált modellek teljesítménye már megközelíti a centralizált tanítással elért eredményeket.
Résztvevők száma, akik teljesítették a gépi tanulás programokat
Oktatók csatlakoztak a platformhoz idén
Valós ipari feladatok kerültek feldolgozásra
Különböző nemzetiségű résztvevők tanultak együtt