Modderek feloldották több GeForce kártya MI-s számítási korlátját
Egy RTX 4090 tenzormagjainak csúcsteljesítményét megduplázta egy nem hivatalos módosítás, de a chatbotok válaszadása ettől még alig gyorsul. Az Nvidia GeForce RTX 20-, 30- és 40-sorozat egyes kártyáin működő eljárások firmware-hibát használnak ki, és akár hardverkárosodást is okozhatnak.
Nem minden MI-s számítást fog vissza a korlát
Az érintett GeForce-generációknál az Nvidia közzétett specifikációi szerint az FP32-es eredménygyűjtéssel végzett műveletek az FP16-os eredménygyűjtés sebességének felével futnak. A Turing és Ampere professzionális kártyáira ez a megkötés nem vonatkozik.
A módosítás ezt a mesterséges határt oldja fel, visszaadva a hardver natív mátrixszámítási teljesítményét. Ettől gyorsulhat az MI-nek adott utasítások feldolgozása és a képgenerálás is. Nem általános sebességnövelésről van tehát szó: a KohakUnlock projekt leírása külön hangsúlyozza, hogy nem ígér kétszeres tempót alkalmazásokban vagy játékokban.
A sorozatszám önmagában nem jelent támogatást
Három külön projekt kínál generációnkénti feloldást, saját, nem hivatalos Linux-modullal. Kísérleti Windows-változatok is készülnek, eltérő megközelítéssel. A kipróbált és a csak kísérletileg támogatott modellek köre azonban nem azonos.
| Generáció és projekt | Közölt eredménnyel rendelkező kártyák | Korlátok, bizonytalanságok |
|---|---|---|
| RTX 20: turing-unlock | RTX 2080 Ti, 22 GB-ra módosított memóriával | Más Turing-modellek teszteletlenek; csak FP16 |
| RTX 30: gpu-unlock | RTX 3090 Ti, 3090, 3080 10 GB, memóriamódosított 3080 20 GB, 3070, 3060 12 GB | RTX 3070 Ti és GA103 teszteletlen; egy RTX 3080 Ti 20 GB OEM példány félsebességen maradt |
| RTX 40: gpu-unlock-ada | RTX 4090 | RTX 4090 D, 4070 Ti Super és 4060 Ti 16 GB: kísérleti, modellenként egy példány |
| RTX 50 | Nincs támogatás | A Blackwell kívül esik ezen a megközelítésen |
Az Ada-változat leírása szerint a közös firmware még nem bizonyítja a teszteletlen típusok támogatását. A Turing esetében BF16-gyorsulás sincs, mert ehhez hiányzik a hardveres támogatás.
A csúcsérték és a mért gyorsulás messze nem ugyanaz
Az Ada-változat fejlesztőjének RTX 4090 kártyáján az FP16-csúcsteljesítmény 165,6-ról 331,6 TFLOPS-ra nőtt. Egy másik tulajdonos mátrixszorzási tesztje viszont ennél jóval szerényebb előnyt mutatott.
| Kártya | Számformátum | Mátrixszorzás gyorsulása | Tesztkörülmény |
|---|---|---|---|
| RTX 4090 | FP16 / BF16 | +12-34% / legfeljebb +20% | Egy tulajdonos, Linux, 450 W |
| RTX 3090 Ti | FP16 / BF16 / TF32 | +35% / +80% / +94% | Egy felhasználó, módosított Nvidia-illesztőprogram, 450 W |
| RTX 2080 Ti 22 GB, Dell | FP16 | +36-64% | A turing-unlock fejlesztője, 250 W, mátrixmérettől függően |
A felhasználói eredmények nem közvetlenül összehasonlíthatók. A fogyasztási keret is sokat számít: az RTX 3090 esetében közölt legalacsonyabb, +25%-os BF16-javulást 225 W-ra korlátozott példányokon mérték.
A chatbot szövegírása alig lesz gyorsabb
Ampere kártyákon a nyelvi modellek bemeneti feldolgozása 14-36%-kal gyorsult. A diffúziós képgenerálásnál és a FlashAttention eljárásnál is mértek előnyt.
A válasz tokenenkénti előállítása viszont nagyjából változatlan maradt, ahogy az INT8-műveletek sebessége is. A chatbotok tokenkibocsátását ugyanis a memória sávszélessége határozza meg. A megduplázott tenzormag-csúcsérték ezért nem jelenik meg ugyanekkora nyereségként a tényleges használatban.
Firmware-hibára épül, és a hardvert is károsíthatja
A gpu-unlock magyarázata szerint a sebességhatárt két olyan regiszter szabályozza, amelyet az illesztőprogram nem írhat át. Az Nvidia aláírt SEC2 Booter firmware-ének hibája viszont lehetővé teszi a szükséges jogosultság megszerzését. A modul még azelőtt állítja vissza a kártyát, hogy az Nvidia szoftvere átvenné a kezelését.
Ez nem kockázatmentes teljesítménykapcsoló. A turing-unlock leírása hardverkárosodásra figyelmeztet. A KohakUnlock dokumentációja szerint a beavatkozás lefagyaszthatja a grafikus processzort vagy az egész gépet, megakadályozhatja az indulást, adatokat ronthat el, és fizikailag is károsíthatja az eszközt.
A cikk mesterséges intelligencia segítségével készült; a szerkesztőség ellenőrizte és jóváhagyta. Impresszum