Amikor bármilyen kérdést felteszünk egy nagy nyelvi modellnek (LLM), az nemcsak egyszerű választ ad, hanem több száz tokenen – vagyis szavak és szórészek számsorozatain – keresztül dolgozza fel az információt - írta a Eurekalert. Ez a folyamat, akárcsak más számítási műveletek, jelentős energiafelhasználással és CO₂-kibocsátással jár. Sokan azonban nincsenek tisztában azzal, mekkora az AI használatának szénlábnyoma.
Német kutatók szabványosított kérdések sorozatával hasonlították össze 14, különböző paraméterekkel rendelkező, már betanított LLM szén-dioxid-kibocsátását, és az eredmények rávilágítottak arra, hogy a promptok megközelítése nagyban befolyásolja a környezeti terhelést.
Több gondolkodó token = több kibocsátás
„A képzett LLM-ek megkérdezésének környezeti hatását erősen meghatározza az érvelési megközelítésük, az explicit érvelési folyamatok pedig jelentősen növelik az energiafogyasztást és a szén-dioxid-kibocsátást” – mondta Maximilian Dauner, a Hochschule München kutatója, a Frontiers in Communication tanulmány első szerzője. „Azt tapasztaltuk, hogy az érvelésen alapuló modellek akár 50-szer több szén-dioxid-kibocsátást eredményeztek, mint a tömör válaszokat adó modellek.”
A kutatásban szereplő érvelő modellek átlagosan 543,5 „gondolkodó” tokent generáltak kérdésenként, míg a tömör válaszokat adó modellek mindössze 37,7 tokent használtak. Ez a jelentős különbség egyértelműen tükröződik a CO₂-kibocsátásban is. Érdekes azonban, hogy a kidolgozottabb válaszok nem feltétlenül jelentenek jobb pontosságot.
A legpontosabb modell, a 70 milliárd paraméteres Cogito 84,9%-os pontosságot ért el, ám háromszor annyi CO₂-t bocsátott ki, mint a hasonló méretű, tömör válaszokat adó társaik. „Jelenleg egyértelmű pontosság-fenntarthatóság kompromisszumot látunk az LLM technológiákban” – tette hozzá Dauner.
Felhasználói döntések és a fenntartható AI-használat
A kutatók arra is felhívják a figyelmet, hogy a különböző tantárgyak, illetve kérdések eltérő CO₂-kibocsátási szinteket eredményeznek. Például a hosszadalmas érvelést igénylő témák, mint az absztrakt algebra vagy a filozófia, akár hatszor annyi kibocsátással járnak, mint az egyszerűbb témák, például a középiskolai történelem.
„A felhasználók jelentősen csökkenthetik a kibocsátást azáltal, hogy a mesterséges intelligenciát tömör válaszok generálására ösztönzik, vagy a nagy kapacitású modellek használatát azokra a feladatokra korlátozzák, amelyek valóban igénylik ezt a teljesítményt” – mondta Dauner.
A kutatók ugyanakkor jelezték, hogy eredményeiket befolyásolhatja a használt hardver, a helyi energiahálózatok emissziós tényezői, valamint a vizsgált modellek különbségei, ami korlátozhatja az általánosíthatóságot.
