Zoeken

Er wordt vaak gezegd dat taalmodellen een statistische voorspelling maken van welke woorden elkaar zouden moeten opvolgen. Dit kunnen ze inschatten doordat ze zijn getraind op gigantisch veel tokens: een stukje van een woord, een heel woord, of een leesteken. In deze post vertellen we over de GPT-NL tokenizer en leggen we uit waarom we voor een eigen tokenizer hebben gekozen. En je kan de tokenizer zelf uitproberen!

We ontwikkelen een taalmodel voor Nederland. Transparant, inclusief, en volgens Nederlandse en Europese waarden, met een platform waarop we open over de data en ontwikkeling communiceren.