Deze maand zijn we gestart met de volgende fase van de ontwikkeling van GPT-NL: de finetuning. Zoals we met de trainingsdata from scratch zijn begonnen, hebben we ook de dataset voor de finetuning speciaal voor GPT-NL laten ontwikkelen. Er was namelijk voor het Nederlands nog geen prompt-dataset beschikbaar die aan onze strenge eisen voldoet waarmee we garanderen dat GPT-NL volledig wordt getraind op schone data. Dat houdt in dat er duizenden prompts handmatig zijn opgesteld. Ook hier kiezen we voor expertise van eigen bodem: Spectrum Intelligence (SPIN.AI) is sinds dit voorjaar de aangewezen partner voor dit traject. SPIN.AI biedt mensen met een vorm van autisme de kans mee te doen op de arbeidsmarkt.
Wat SPIN.AI uniek maakt, is dat mensen met autisme vaak beschikken over uitzonderlijke vaardigheden: precisie, focus en oog voor detail. Eigenschappen die bij uitstek van pas komen bij het zorgvuldig creëren en controleren van data voor GPT-NL. Zo kunnen zij bijdragen aan een taalmodel dat écht begrijpt wat in het Nederlands wordt bedoeld.
CEO Michael Radvany en projectmanager Meilina Reksoprodjo vertellen over de samenwerking met GPT-NL en het werk van hun team.
Waarom is Spectrum Intelligence opgericht en hoe ziet die sociale missie eruit?
Michael: ‘Ik heb SPIN.AI vier jaar geleden opgericht. Het idee was een organisatie te creëren met sterke impact in IT en AI, maar ook met een duidelijke sociale en economische missie. Mensen op het autismespectrum zijn de meest onderschatte populatie ter wereld. Alleen al in de EU hebben vijf miljoen mensen een diagnose op dat gebied. Ongeveer 80–90% is werkloos, wat echt ongelooflijk is. Dat móet anders. Wij zorgen dat we hun talenten koppelen aan werk dat bij hen past. Machine learning en data-annotatie zijn vaak perfect, omdat het geduld, precisie en repetitief werk achter een computer vraagt. Ze zijn geweldig in hun werk en doen dingen die ik zelf niet kan. Ze krijgen positieve feedback, wat hun zelfvertrouwen verhoogt. Zo zien ze dat ze heel waardevol kunnen zijn voor de maatschappij. Ons doel is hen zoveel mogelijk te integreren en onafhankelijk te maken van overheidssteun.’
Hoe zetten jullie mensen die unieke skills precies in voor GPT-NL
Michael: ‘Ons team van 10 tot 15 annotatoren, voornamelijk dus mensen op het autismespectrum, maakt en controleert Nederlandse data-instructies voor de finetuning van het taalmodel. Het gaat om een agile samenwerking met regelmatige feedbackloops zodat het werk goed aansluit op de wensen van het GPT-NL team.’
Meilina: ‘We zijn verantwoordelijk voor twee soorten taken: het schrijven van instructies en het genereren van bijbehorende antwoorden. Dat beslaat allerlei categorieën, zoals open en gesloten vragen, chat, creatieve opdrachten en classificatie.’
Een omvangrijk traject dus, maar waarom hebben jullie ervoor gekozen de handen ineen te slaan met GPT-NL?
Michael: ‘Onze motivatie is tweeledig. Enerzijds willen we mensen met autisme betekenisvol werk bieden, anderzijds dragen we bij aan een project dat Nederlandse digitale autonomie versterkt. De ervaring met eerdere projecten met TNO gaf ons vertrouwen om mee te doen.’
Meilina: ‘GPT-NL sluit perfect aan bij onze sociale missie: we creëren hoogwaardige banen en zorgen dat onze medewerkers bijdragen aan iets dat maatschappelijk relevant is.’
Hoe ziet de samenwerking met de experts van GPT-NL eruit?
Meilina: ‘We werken agile, met regelmatige check-ins en feedback. Zo zorgen we dat prioriteiten goed aansluiten en de kwaliteit hoog blijft.’
Michael: ‘Het is een intensief proces, maar onze annotatoren zijn gemotiveerd en trots op hun bijdrage. Ze leren veel over kwaliteitseisen en projectmanagement binnen IT-projecten. De sfeer is geweldig en we zijn erg blij met hoe het tot nu toe loopt.’
Wat is finetuning?
Finetuning is het proces waarbij een taalmodel zoals GPT-NL extra getraind wordt op specifieke instructies en antwoorden zodat het beter kan reageren op echte gebruikersvragen. We noemen dit type finetuning dan ook wel ‘instruct-finetuning’. Voor GPT-NL betekent dit dat er duizenden mogelijke prompts in het Nederlands zijn opgesteld omdat er nog geen geschikte prompt-dataset voor instruct-finetunings beschikbaar was.
Annotatoren van SPIN.AI schrijven deze prompts handmatig. Eén annotator creëert dan een instructie, bijvoorbeeld: “Wat is de hoogste toren van Nederland?”, de andere maakt een zogenaamde completion: “De Gerbrandytoren”. Het proces vereist precisie en diversiteit: instructies moeten uiteenlopende onderwerpen beslaan en het model leren om verantwoord te reageren. Voor GPT-NL wordt gemikt op ongeveer 15.000 prompts, verdeeld over acht categorieën, zodat het model breed inzetbaar wordt en aspecten van de Nederlandse taal en cultuur kan herkennen.
Hoe zo’n annotatie-instructie eruit kan zien, is hier te vinden(opent in nieuw venster) (verwijst naar een andere website). Denk aan voorbeelden als:
- Geef me een lijst met eigenschappen van een goed café. (brainstorming)
- Vat samen wat LinkedIn doet. (summarization)
- Schrijf een korte paragraaf over waarom je beter niet een kat en een vogel als huisdieren kan hebben. (creative writing)
Daan Vos, datawetenschapper bij TNO, over het annotatieproces:
‘Annotatie is over het algemeen vrij ingewikkeld. We proberen menselijk gedrag naar een AI-model te brengen. Het is lastig te specificeren wat gewenst menselijk gedrag is en om dit via annotatie-instructies, voorbeelden en feedback te communiceren naar de annotatoren. De annotaties moeten in lijn met de instructies zijn, maar ook divers zijn. Daarnaast is het moeilijk te weten en te meten wanneer een annotatie goed genoeg is. Verschillende mensen geven verschillende antwoorden. Een grote uitdaging, maar mede dankzij SPIN.AI maken we enorme stappen.’
Strenge eisen voor een schone dataketen
Door de dataverzameling from scratch te doen, gebruiken alléén data als we die rechtmatig hebben kunnen verkrijgen. Dit geldt ook voor de data die we gebruiken voor de instruct-finetuning. Door de prompts handmatig te creëren, weten we dat er geen AI-modellen zijn gebruikt die op onrechtmatig verkregen data zijn getraind. Zo streven we naar een schone dataketen.