Phospho, une plateforme analytics pour les LLM

Monitorer les applications LLM en production est devenu un enjeu pour les entreprises qui ont déployé de nombreuses IA. Phospo propose un outil d’analyse pour générer des KPI métiers qui permettent d’évaluer la qualité des réponses de ces IA.

Les cas d’usage des LLM en entreprise sont aujourd’hui extrêmement divers. Parmiceux-ci, le copilote mis à disposition des collaborateurs pour répondre à leurs questions dans l’exercice de leurs tâches quotidiennes, l’assistant dédié au développement d’applications ou le chatbot sur le site web. Or, il est très complexe d’évaluer l’efficacité de ces IA, et bien plus encore de calculer leur ROI. Phospho a été créée comme une plateforme d’analyse permettant de pallier cette difficulté, en particulier pour l’IA conversationnelle. La start-up vise à devenir le Google Analytics ou le Contentsquare pour cette famille d’applications. « Nous permettons aux product managers, product owners et aux équipes data science de réaliser facilement des analyses NLP sur les prompts des utilisateurs et les réponses des LLM, explique Paul-Louis Venard, son CEO. Ils sont alors capables d’identifier les principaux cas d’usage, les personas, les centres d’intérêt, etc. Ils pourront ensuite comparer les performances des différents LLM dans plusieurs versions, vis-à-vis de KPI métiers qui dépendent vraiment du cas d’usage. » Les débuts sont prometteurs : depuis sa mise en ligne, il y a moins d’un an, la plateforme a délivré 1,4 million d’analyses.
Les ...