Je suis très heureux d’annoncer la sortie de wyat. J’ai passé beaucoup de temps à essayer de faire le meilleur modèle possible avec les ressources que j’avais : un MacBook et un GPU 4070 Ti. Je suis conscient que le modèle n’est pas le meilleur qu’on puisse trouver sur le marché, mais je pense qu’il est le meilleur dans sa catégorie en français.
Il a été entraîné avec des données publiques et beaucoup de données synthétiques. Pour créer ces dernières, j’ai utilisé et créé des environnements d’entraînement spécifiques. Ce sera peut-être le sujet d’un prochain article.
Le choix de l’architecture a aussi dû évoluer durant la conception du modèle. Je pense que celle-ci est optimale pour conserver des connaissances et permettre au modèle de traiter un nombre grandissant de requêtes et de choix. Cela se fait toutefois au détriment de la rapidité des réponses.
wyat-1-800m est, je l’espère, le premier d’une longue série. Il est possible qu’une version 1.1 sorte, et je travaille déjà sur une version 2.0.
L’objectif est d’avoir un modèle de petite taille qui obtienne de bons résultats et soit utilisable. Mais ce projet a surtout été un moyen d’apprendre et de monter en compétences, car je pense que le rôle des modèles de décision ne fera que grandir.
Ces expérimentations m’ont aussi permis de retrouver la joie d’explorer, de choisir quoi tester et d’avancer dans l’inconnu. J’ai dû utiliser les outils à ma disposition, en trouver de nouveaux et les pousser dans leurs retranchements. J’ai notamment exploré le swarm et le travail avec plusieurs agents.
wyat a pour objectif de traiter différents cas de figure, principalement en français et notamment dans un cadre professionnel. Il a vocation à servir de socle pour de petites tâches à faible enjeu. Pour les tâches plus compliquées, je recommande fortement d’utiliser d’autres modèles de décision ou des LLM de génération de réponses.
Je pense aussi qu’il pourrait être intéressant de l’utiliser plusieurs fois dans un même workflow. L’idée serait de lui confier une tâche, puis de le réutiliser à une autre étape. Certaines données d’entraînement vont déjà dans ce sens, et cet usage me semble une piste à explorer davantage.
En attendant, je suis très fier du résultat et j’espère que ce modèle sera utile à d’autres.
