Zoeken

In het project GPT-NL zetten we ons in voor de ontwikkeling van een betrouwbaar taalmodel.

GPT-NL is een ambitieus project: wij geloven dat technologie betrouwbaar en transparant moet zijn, een wederkerige bijdrage moet leveren, en soevereiniteit van Nederland moet versterken. Vanuit deze kernwaarden willen wij het AI innovatielandschap versterken. In deze reeks artikelen leggen we verder uit hoe we dat gaan doen.

Vorige week ontving GPT-NL een groot aantal artikelen uit kranten van onder meer de grote mediabedrijven DPG en Mediahuis, van andere leden van branche-organisatie NDP Nieuwsmedia en stukken van nieuwsdienst ANP. Het tekent een kantelpunt in de ontwikkeling van AI: het is wereldwijd de eerste keer dat een dergelijke overeenkomst tussen nieuwsuitgevers en ontwikkelaars van AI is gesloten. We spreken daarom met Selmar Smit, één van de grondleggers van GPT-NL, om terug te blikken op de start van het project en de mijlpalen die zijn bereikt. ‘Als we een succesvol en soeverein taalmodel kunnen bouwen dat voldoet aan de wet, is dat een revolutie.’

Waar staan we met GPT-NL? Product Owner Saskia Lensink maakt de balans op. Wat zijn belangrijke mijlpalen geweest en wat bleek een grote uitdaging? Een aantal vragen aan Saskia Lensink, als product owner één van de kartrekkers van GPT-NL. Saskia is een bevlogen en gemotiveerde data scientist bij TNO, die ook eerlijk toegeeft dat de complexiteit van het project iets is wat ze niet volledig had voorzien.

Voor de ontwikkeling van GPT-NL gebruiken we enkel data waarvoor we toestemming hebben van de eigenaren. Dat geldt ook voor data die openbaar te vinden is onder specifieke licenties. Echter, dat data onder een bepaalde licentie publiekelijk beschikbaar is, betekent niet dat we in één klik een kopie kunnen maken voor onze dataset. Om deze data te verkrijgen, hebben we de samenwerking gezocht met Open State Foundation. Onder het motto ‘open data, transparante samenleving’ vecht deze non-profit stichting om het recht op informatie van burgers te beschermen.

Voor de ontwikkeling van GPT-NL gebruiken we enkel data waarvoor we toestemming hebben van de eigenaren. Dat geldt ook voor data die openbaar onder het publieke domein valt Echter, dat data onder het publieke domein valt, betekent niet dat we in één klik een kopie kunnen maken voor onze dataset. Om deze data te verkrijgen, hebben we de samenwerking gezocht met Open State Foundation. Onder het motto ‘open data, transparante samenleving’ vecht deze non-profit stichting om het recht op informatie van burgers te beschermen.

GPT-NL is een ambitieus project: wij geloven dat technologie betrouwbaar en transparant moet zijn, een wederkerige bijdrage moet leveren, en soevereiniteit van Nederland moet versterken. Vanuit deze kernwaarden willen wij het AI innovatielandschap versterken. Met deze updates houden we je op de hoogte van de voortgang van de training.

GPT-NL is een ambitieus project: wij geloven dat technologie betrouwbaar en transparant moet zijn, een wederkerige bijdrage moet leveren, en soevereiniteit van Nederland moet versterken. Vanuit deze kernwaarden willen wij het AI innovatielandschap versterken. Met deze updates houden we je op de hoogte van de voortgang van de training.

Wanneer het trainen van GPT-NL is afgerond, zal het model worden getest en geëvalueerd bij verschillende usecases. Eén van die usecases is van Het Nederlands Forensisch Instituut, dat samen met TNO en SURF één van de grondleggers is van GPT-NL. Waarom hecht het NFI zoveel waarde aan een Nederlands taalmodel? En hoe worden taalmodellen, ook nu al, ingezet in forensisch opsporingswerk? In gesprek met Erwin van Eijk, chief data officer van het NFI.

Het ontwikkelen van taalmodellen brengt diverse uitdagingen met zich mee. In dit rapport delen we één van de vraagstukken die binnen het project GPT-NL voorbij kwam: hoe gaan we om met representatiebias?

Binnen GPT-NL zijn de uitgangspunten van Responsible AI cruciaal. Oftewel: hoe kunnen we het taalmodel inzetten en ontwikkelen op een manier die veilig, eerlijk en transparant is? Ethiek en publieke waarden als drijfveer dus, waarbij voor GPT-NL vier kernwaarden zijn geformuleerd. In gesprek met Duuk Baten (adviseur responsible AI bij SURF) en Lieke Dom (consultant responsible innovation & AI bij TNO), die dit thema binnen GPT-NL faciliteren en aanjagen. ‘We willen ons daarin open, eerlijk en kwetsbaar opstellen.’

Met GPT-NL willen we auteursrechthebbenden een eerlijke plek geven in de ontwikkeling van het Nederlandstalige groot taalmodel. In samenwerking met de providers van auteursrechtelijk beschermde content hebben we een passend verdienmodel ontwikkeld. Dit vereist ook juridische expertise. Hierop hebben we samengewerkt met Lokke Moerel en Marijn Storm. Beiden zijn werkzaam als advocaat bij Morrison & Foerster. In een uitgebreid gesprek spreken we met Lokke over hun bijdrage aan het project, een veranderend innovatielandschap en wat anderen van GPT-NL kunnen leren. “GPT-NL is een kans voor Europa”.

Sinds deze maand zitten we in een volgende fase van de ontwikkeling van GPT-NL: de finetuning. Zoals we met de trainingsdata from scratch zijn begonnen, hebben we ook de dataset voor de finetuning speciaal voor GPT-NL laten ontwikkelen. Dat houdt in dat er duizenden prompts handmatig zijn opgesteld. Ook hier kiezen we voor expertise van eigen bodem: Spectrum Intelligence (SPIN.AI) is sinds dit voorjaar de aangewezen partner voor dit traject. SPIN.AI biedt mensen met een vorm van autisme de kans mee te doen op de arbeidsmarkt.

In de definitie van succes specificeren we hoe onze deliverables eruit zullen zien en wat de succescriteria ervan zijn. De definitie van succes verduidelijkt wat er van de project deliverables verwacht kan worden. Onze succescriteria zijn ambitieus, maar realistisch en meetbaar.