GPT-NL en de nationale supercomputer Snellius

Voor al die terabytes aan data, het opschonen daarvan en vooral het trainen van het taalmodel binnen GPT-NL is nogal wat nodig. En dan bedoelen we in dit geval een imposante hoeveelheid rekenkracht. Om daarin te voorzien en om een optimale infrastructuur te garanderen, is er in Nederland maar één droomoplossing te bedenken: de nationale supercomputer Snellius.

Thomas van Osch is high performance machine learning adviseur bij SURF, de ICT-coöperatie van onderwijs- en onderzoeksinstellingen. Hij is nauw betrokken bij GPT-NL, zit in verschillende werkpakketten en vult er een groot deel van z’n week mee. Hij werkt dagelijks met de supercomputer Snellius. ‘Hier bij SURF in Amsterdam staat een grote datatoren, daarin is Snellius gehuisvest. Hij staat expres niet op de begane grond, mocht er ooit een overstroming komen.’

Een belangrijk uitgangspunt binnen GPT-NL is digitale soevereiniteit. Oftewel: zelf een taalmodel ontwikkelen en trainen en geen afhankelijkheid van een cloud of van buitenlandse big techbedrijven. Dat geldt dus ook voor het trainen van het model. De inzet van de nationale supercomputer klinkt daarom logisch. Maar waar hebben we het dan precies over? Thomas legt het uit.

88 state-of-the-art GPU’s
De rekenkracht die nodig is om een taalmodel vanaf nul te trainen, is niet te vergelijken met de rekenkracht die je laptop of computer heeft. Thomas legt uit waarom een supercomputer gewenst is en wat Snellius in huis heeft. ‘Een supercomputer is in feite een verzameling van individuele computers, ook wel nodes genoemd. Die staan in een razendsnelle verbinding met elkaar. In een deel van de nodes zitten, net zoals in de meeste persoonlijke computers, Graphics Processing Units (GPU's), ook wel videokaarten genoemd. Deze chips verwerken op grote schaal matrixberekeningen die de basis vormen voor het verwerken van afbeeldingen, video’s en dus ook AI. Kortom, Snellius bevat dus een verzameling hoogwaardige processors en videokaarten. Dit zijn traditionele computers, maar binnenkort komen daar ook kwantumcomputers bij. Ze maken een hoop kabaal en vreten veel energie. De gegenereerde warmte wordt gebruikt om andere gebouwen op Science Park te verwarmen. We kunnen in het datacenter veel data opslaan en verwerken en zijn onder meer een dataknooppunt in het netwerk van CERN.’

GPT-NL heeft capaciteit op Snellius om het taalmodel te trainen en te finetunen en om de data op te slaan en te cureren. Thomas: ‘Snellius heeft in totaal 640 GPU’s, waarvan een groot deel (352) state-of-the-art H100 GPU’s. We hebben 22 zogenaamde nodes, die elk vier H100 GPU’s hebben. 88 GPU’s in totaal dus.’

Experimenten
Volgens Thomas doe je het trainen van het taalmodel niet zomaar even op een laptop. Daar zijn echt al die GPU’s van Snellius voor nodig. ‘Die videokaarten kunnen hele grote berekeningen gelijktijdig uitvoeren’, vertelt hij. ‘Parallelle matrixberekeningen, net zoals in bijvoorbeeld videogames. Traditionele CPU’s zijn daarvoor niet geschikt, die zijn meer gemaakt voor één bepaalde taak tegelijk. Het trainen zelf is overigens nog niet gestart, maar we zijn al wel met experimenten bezig ter voorbereiding op het trainen.’

AI Factory?
Thomas is positief over alle infrastructuur en verwacht niet dat deze een bottleneck gaat vormen voor GPT-NL. ‘Dat zeg ik ook omdat SURF onderdeel is van een verkenning naar een nationale AI-faciliteit. Daar is dit voorjaar een Kamerbrief over geschreven door drie ministeries. Er zijn drie scenario’s die op tafel liggen. We blijven Snellius gebruiken zoals we dat nu ook doen, een soort status quo dus. Een ander scenario is een grotere inzet van de supercomputer in Finland, de grootste open supercomputer in Europa, waar we nu ook al capaciteit hebben. Optie drie is dan die AI Factory, met Europese subsidie. Kortom: er zijn volop plannen over het verbeteren van de digitale infrastructuur, waar ook GPT-NL van kan profiteren.’
Thomas krijgt regelmatig vragen van bijvoorbeeld nationale archieven of onderzoekers. ‘Men vraagt zich af waarom deze samenwerking alleen op nationaal niveau afspeelt en er niet samen wordt gewerkt met Europese partners. Ik vind zelf dat de discussie over privacy, copyrights, taalmodellen en generatieve AI juist eerst op nationaal niveau moet plaatsvinden. Daarna kan je opschalen naar pan-Europese samenwerkingen.’

Vergelijking
Tot slot nog even terug naar de duizelingwekkende rekenkracht. Of is die toch niet zo duizelingwekkend als je zou denken? ‘Ik zal nog maar even de vergelijking met META maken’, vertelt Thomas. ‘Want dat doen mensen nou eenmaal en dat snap ik. Het open source taalmodel met rechtenvrije licentie van META gebruikt 16.000 H100 GPU’s. Wij dus 88. Dat lijkt een groot verschil, maar je moet je wel bedenken dat wij met publieksgeld werken. En overheidsgeld moet altijd ergens vandaan komen. Meer rekenkracht betekent meer kosten. Bovendien is het taalmodel van META mondiaal en is GPT-NL nationaal, en ontwikkelen wij het model alleen voor tekst en niet voor andere media. Een wezenlijk verschil. Zie het als een grote fastfoodketen versus de lokale snackbar.’

Virtuele tour Snellius
Meer informatie over Snellius vind je hier.
Voor een virtuele tour in Snellius kijk je hier