A GPT-6 Astra tanítás nélkül javított egy másik MI-modellen
Egy matematikai teszten akár hatszor jobban teljesített egy MI-modell, miután egy másik átírta a súlyainak kis részét. Az MIT CSAIL kutatói szerint ehhez nem volt szükség a modell tanítására.
A súlyok 0,016 százalékát módosította
Rikiya Takehi és kutatótársai az OpenAI GPT-6 Astra modelljét kérték meg arra, hogy javítsa a Qwen3.5-0.8B matematikai teljesítményét. A modell közvetlenül átírta a másik modell súlyait alkotó számértékeket, nem tanítási ciklusokkal változtatott rajtuk.
Az Astra a Qwen3.5-0.8B súlyainak 0,016 százalékát módosította. A változtatás után a modell kevesebbszer került ismétlődő következtetési körökbe. A MATH-500 matematikai teszten akár hatszoros, az IFEval utasításkövetési teszten nagyjából háromszoros javulást értek el.
A modell közvetlenül írja át a számértékeket
A kutatók az eljárást Weight-Space Programming néven írják le. Beszámolójuk szerint az Astra következtetéssel állapítja meg, hogy a neurális hálózat egyes részei mit számítanak ki, vagy mit kellene kiszámítaniuk, majd ennek megfelelően változtatja meg a súlyokat.
A kísérletben nem engedték, hogy az Astra tanítási ciklusokat írjon. Takehi szerint az eredmények korai jelei annak, hogy a fejlett nyelvi modellek képesek közvetlenül olvasni és módosítani a neurális hálózatok súlyait.
Egy játékhoz is készített hálózatot
A kutatók egy másik feladatban arra kérték az Astra modellt, hogy a semmiből írja meg egy Breakout játékra alkalmas hálózat súlyait. A modell ezt is megtette.
Takehi szerint a módszer arra is lehetőséget adhat, hogy a modelleket a katasztrofális felejtés következményei nélkül fejlesszék. Ez akkor fordulhat elő, amikor egy modell új ismeretek elsajátítása közben elfelejt korábban megtanult információkat. Az arXivon megjelent külön kutatás a folyamatos finomhangolás során vizsgálta a jelenséget.
Egységes tesztet készítenének a módszerhez
A súlyok közvetlen módosítása egyelőre kutatási eredmény. A szerzők szerint a következő lépés egy mérési rendszer és egy tesztkörnyezet elkészítése a módszer nyelvi modelleken végzett vizsgálatához.
A kutatók azt remélik, hogy az eljárás segíthet a modellek jobb megértésében és optimalizálásában. Lehetséges felhasználásként említik azt is, hogy csökkenhet a modellek túlzott egyetértési hajlama, és javulhat működésük értelmezhetősége.
A cikk mesterséges intelligencia segítségével készült; a szerkesztőség ellenőrizte és jóváhagyta. Impresszum