OpenAI a dévoilé jeudi sa prochaine grande innovation : le modèle d’intelligence artificielle « capable de raisonner », baptisé officiellement OpenAI o1. Pour être plus précis, o1 constitue une famille de modèles. Deux versions sont disponibles dès aujourd’hui dans ChatGPT et via l’API d’OpenAI : o1-preview et o1-mini. La seconde, plus petite et rapide, est spécialement conçue pour la génération de code. Les abonnés à ChatGPT Plus ou Team peuvent dès à présent accéder à o1 dans le client ChatGPT.
Une IA vraiment capable de réfléchir ?
Autrefois appelé « Project Strawberry », OpenAI o1 marque donc sa différence par sa capacité à « réfléchir avant de répondre », intégrant une chaîne de raisonnement privée pour analyser les questions posées et organiser ses réponses. Cependant, notre test révèle que le modèle ne saisi pas toujours la logique derrière certaines questions complexes, ce qui peut limiter son efficacité dans des contextes spécifiques…
Dans notre test, nous avons demandé a « o1 » de créer un algorithme en PHP pour attribuer des points à des élèves en fonction de différents critères. L’objectif était d’ajuster les notes finales d’examen en fonction du niveau de participation en cours durant l’année scolaire et proposer une évaluation équilibrée. Par exemple : Les élèves les plus actifs auraient dû bénéficier d’un bonus permettant d’améliorer leur note finale. Or, le résultat obtenu fut l’inverse : au lieu d’ajouter le bonus directement aux notes comme attendu, o1 l’a soustrait. Si cette erreur reste facile à corriger pour un développeur, elle met en lumière les limites actuelles du modèle face à la subtilité contextuelle et nuances logiques nécessaires pour certaines tâches bien définies.
Cela dit, notre avis ne pèse pas lourd face aux benchmarks, qui eux révèlent ce que « o1 » a vraiment dans le ventre. Dans un test pour l’Olympiade Internationale de Mathématiques (IMO), OpenAI o1 a résolu 9 problèmes sur 10, supplantant GPT-4 et se classant parmi les 500 meilleurs doctorants américains.
Pas de multimodalité et un coût élevé
On note également que certaines fonctionnalités sont désactivées ou limitées. L’analyse d’image, par exemple, a été temporairement désactivée pour davantage de tests. Contrairement à certains modèles antérieurs, OpenAI o ne peut pas encore naviguer sur le web ou analyser des fichiers externes.
Question prix, l’API « o1-preview » coute 15 $ par million de jetons entrants (input) et jusqu’à 60 $ par million de jetons sortants (output). C’est quatre fois plus que pour GPT-4o… Sans compter que le modèle consomme beaucoup de jetons pour « réfléchir », eux aussi comptabilisés comme output. Autant dire que la note peu très vite gonfler pour un seul input (dans notre test ci-dessus, la consommation avoisinait 147 000 tokens pour trois input). OpenAI o1 est gourmand, très gourmand ! A part dans des cas d’utilisation sur des problèmes très complexes, ce n’est pas certain que le modèle ait une véritable utilité pour toucher un large public. Mais au moins, il a le mérite de poser les bases du futur de l’intelligence artificielle pour les mois et années à venir.
En contrepartie, OpenAI propose le modèle « o-mini », plus rapide et surtout beaucoup moins cher : 3 $ par million de jetons en input et 12 $ par million de jetons en output.
Même si avec o1, OpenAI prend une avance considérable dans la course à l’IA qui sait raisonner, elle n’est pas la seule. Google DeepMind est en embuscade et travaille activement sur des méthodes similaire pour améliorer la précision des réponses en donnant plus de temps au traitement cognitif des demandes.
