27/03/2026
Onze chatbot Gust kreeg al heel wat aandacht afgelopen week. Enkele vaststellingen:
- Inhoudelijk doet die het goed, de context uit de vector database is meestal meer dan voldoende om een correct antwoord uit de Stormlabs-context te geven.
- De switch van GPT-5-Mini naar GPT-5-Nano (goedkoper en sneller) merk ik amper. Gust is misschien iets korter van stof, maar het was sowieso niet de bedoeling ellenlange technischee discussies met de klant te voeren (maar het kán dus wel). De context krijgt hij sowieso van de achterliggende Qdrant instance.
- Prompt injection - pogingen door menig volger, is tot hiertoe nog niet gelukt. Uiteraard is dit ook best moeilijk met een publiek model van OpenAI. Gust blijft steeds in zijn rol
Toch is er ruimte voor verbeteringen:
- De embeddings (data waarop Gust zich baseert) kunnen beter afgelijnd worden
- Elke query kost toch al snel een paar duizend tokens, dus ik ga nu kijken hoe we Gust efficiënter kunnen maken, wellicht zal het meesturen van compactere en relevantere context het verschil kunnen maken.
Een vroege conclusie: Dit is zeker herbruikbaar, maar een fine-tuning voor elke site/klant zal toch nodig zijn voor een optimaal resultaat. Voorlopig geloof ik dan ook niet in off-the-shelf oplossingen, vandaag dan toch.
Stay tuned, binnenkort een blogpost over hoe dit allemaal werkt.
