Energieverbruik voor GPT-NL

Deze maanden staat Snellius te ronken om GPT-NL te trainen. Dit kost enorm veel rekenkracht en dus energie. De laatste tijd is er meer aandacht in de maatschappij voor de hoeveelheid energie die voor AI gebruikt wordt. We houden ons hier bij GPT-NL ook mee bezig. ‘Het begint bij bewustwording en transparantie over energieconsumptie’, vertelt Julio de Oliveira Filho, system engineer bij TNO. De Braziliaan geeft leiding aan het werkpakket van GPT-NL dat gericht is op systeemarchitectuur en infrastructuur. Daar valt ook energieconsumptie- en bewustwording onder.

Veel rekenkracht
‘We kijken grofweg naar de energieconsumptie van twee onderdelen: de pipeline voor datacuratie (verzamelen, beheren, verrijken en onderhouden van data om de kwaliteit, bruikbaarheid en toegankelijkheid te waarborgen, red.) en het daadwerkelijke trainen van het model’, vertelt Julio. ‘Het zal geen verrassing zijn dat beide onderdelen veel rekenkracht vergen, dus veel energieconsumptie en CO2-uitstoot. We doen er alles aan om zoveel mogelijk energie-efficiënte technieken te gebruiken, maar we geven ook minstens zoveel aandacht aan transparantie en rapportage. We vinden dat dit net zo belangrijk is als energie-efficiënt te werken. Ik denk dat we ons heel bewust moeten zijn van alles wat impact heeft, positief of negatief. Daar hoort energieverbruik zeker bij. We kijken nauwkeurig welke onderdelen van het algoritme van GPT-NL de meeste energie vreten en stemmen de ontwikkeling daarop af.’

Meten met EAR
Wat het energieverbruik gaat zijn als GPT-NL straks wordt toegepast, is nu nog niet volledig in te schatten. Het energieverbruik van een query is echter slechts een fractie van een fractie van het verbruik tijdens curatie en training. GPT-NL start daarom met de rapportages van energieverbruik in deze ontwikkelfases. Julio: ‘Dat doen we voor business developers, technici en stakeholders, maar eigenlijk voor de hele toekomstige generatie. We hopen dat zij er iets aan hebben.’
GPT-NL zet de open-source software EAR in en maakt daarin gebruik van de ervaring die SURF al heeft met deze software. EAR staat voor Energy Aware Runtime. EAR optimaliseert de energie en efficiëntie van een cluster van onderling verbonden knooppunten. Julio: ‘EAR kan vrij accuraat weergeven welk deel van je software wordt gerund en waar het energieverbruik zit. Dat past goed bij onze wensen.’

Hoeveel energie?
Het blijft nog enigszins gissen hoeveel energie er daadwerkelijk wordt gebruikt met GPT-NL, maar een inschatting is zeker mogelijk. Julio: ‘Het trainen van het GPT-NL-model verbruikt ongeveer 110-120 MWh aan elektriciteit, wat gelijkstaat aan het jaarlijkse verbruik van 20 tot 25 Nederlandse huishoudens. Dat is aanzienlijk, maar nog altijd veel lager dan het trainen van enorme modellen als GPT-3 of GPT-4 (zie bijvoorbeeld dit artikel). Bij die modellen kan het energieverbruik in de duizenden MWh lopen.’
Daarnaast hangt de CO₂-uitstoot sterk af van de energiebron. ‘Bij gebruik van groene energie komt er naar schatting zo’n 6 ton CO₂ vrij. Als de stroom echter afkomstig is uit kolencentrales, kan dit oplopen tot meer dan 100 ton CO₂,’ aldus Julio.