Explosez vos performances avec les meilleures pratiques pour développer un copilote IA générateur de profits dans les affaires

Le pouvoir de l’IA générative dans les entreprises

Depuis le lancement de ChatGPT, je ne me souviens pas d’une réunion avec un prospect ou un client où l’on ne m’a pas demandé comment ils peuvent exploiter l’IA générative pour leur entreprise. Des gains d’efficacité interne et de productivité aux produits et services externes, les entreprises se précipitent pour mettre en œuvre les technologies d’IA générative dans tous les secteurs de l’économie.

Alors que GenAI en est encore à ses débuts, ses capacités se développent rapidement – de la recherche verticale à l’édition de photos en passant par les assistants d’écriture, le fil conducteur est l’utilisation d’interfaces conversationnelles pour rendre les logiciels plus accessibles et puissants. Les chatbots, maintenant rebaptisés « copilotes » et « assistants », sont à nouveau à la mode, et bien qu’un ensemble de bonnes pratiques commence à émerger, la première étape dans le développement d’un chatbot est de délimiter le problème et de commencer petit.

Un copilote est un orchestrateur, aidant un utilisateur à accomplir de nombreuses tâches différentes grâce à une interface de texte libre. Il existe un nombre infini de requêtes d’entrée possibles, et toutes doivent être traitées avec grâce et sécurité. Au lieu de chercher à résoudre toutes les tâches et de risquer de ne pas répondre aux attentes des utilisateurs, les développeurs devraient commencer par résoudre une seule tâche de manière efficace et apprendre en cours de route.

Par exemple, chez AlphaSense, nous nous sommes concentrés sur la synthèse des appels de résultats financiers en tant que première tâche unique, une tâche bien définie mais à forte valeur ajoutée pour notre base de clients qui correspond également bien aux flux de travail existants dans le produit. En cours de route, nous avons tiré des enseignements sur le développement de LLM, le choix du modèle, la génération de données d’entraînement, la génération augmentée par récupération et la conception de l’expérience utilisateur qui ont permis l’expansion vers le chat ouvert.

Développement de LLM : choisir l’ouvert ou le fermé

Début 2023, le classement des performances de LLM était clair : OpenAI était en tête avec GPT-4, mais des concurrents bien capitalisés comme Anthropic et Google étaient déterminés à les rattraper. Les logiciels libres promettaient beaucoup, mais les performances sur les tâches de génération de texte n’étaient pas compétitives avec les modèles fermés.

Mon expérience avec l’IA au cours de la dernière décennie m’a amené à croire que le logiciel libre ferait un retour en force et c’est exactement ce qui s’est produit. La communauté du logiciel libre a fait progresser les performances tout en réduisant les coûts et la latence. LLaMA, Mistral et d’autres modèles offrent des bases puissantes pour l’innovation, et les principaux fournisseurs de cloud tels qu’Amazon, Google et Microsoft adoptent largement une approche multi-fournisseurs, y compris le soutien et l’amplification du logiciel libre.

Alors que le logiciel libre n’a pas rattrapé les modèles fermés dans les benchmarks de performance publiés, il a clairement dépassé ces derniers dans l’ensemble des compromis que tout développeur doit faire lorsqu’il met un produit sur le marché. Les 5 S du choix du modèle peuvent aider les développeurs à décider quel type de modèle leur convient le mieux :