Le nouveau portail d’IA open source de Kong révolutionne la création d’applications multi-LLM, vous ne devinerez jamais à quel point c’est simple !

Kong lance une passerelle d’IA open source pour les API

L’entreprise API Kong lance sa passerelle d’IA open source, une extension de sa passerelle API existante qui permet aux développeurs et aux équipes opérationnelles d’intégrer leurs applications à un ou plusieurs grands modèles de langage (LLM) et de les accéder via une seule API. En plus de cela, Kong lance plusieurs fonctionnalités spécifiques à l’IA telles que l’ingénierie des invitations, la gestion des informations d’identification, etc.

Une utilisation croissante des API pour l’IA

Selon Marco Palladino, cofondateur et CTO de Kong, l’IA est un cas d’utilisation supplémentaire pour les API. Les API sont basées sur des cas d’utilisation tels que le mobile et les microservices, et l’IA est simplement le dernier cas d’utilisation en date. Palladino affirme que l’IA nécessite l’utilisation d’API à différents niveaux, que ce soit pour consommer l’IA, optimiser l’IA ou même l’IA elle-même. Selon lui, plus l’IA se développera, plus l’utilisation des API augmentera dans le monde.

La gestion des données et des modèles d’IA

Palladino soutient que toutes les organisations envisagent d’utiliser l’IA, mais elles craignent également de divulguer leurs données. À terme, ces entreprises voudront exécuter leurs modèles localement et peut-être utiliser le cloud en dernier recours. Cependant, pour le moment, elles doivent également trouver des solutions pour gérer les informations d’identification d’accès aux modèles basés sur le cloud, contrôler et enregistrer le trafic, gérer les quotas, etc.

Une passerelle API pour faciliter l’intégration de l’IA

Avec sa passerelle API, Kong souhaite offrir une solution qui permet aux développeurs d’être plus productifs lorsqu’ils construisent des applications basées sur l’IA. Ils peuvent ainsi exploiter leur passerelle pour consommer un ou plusieurs fournisseurs de LLM sans avoir à modifier leur code. Actuellement, la passerelle prend en charge Anthropic, Azure, Cohere, les modèles LLaMA de Meta, Mistral et OpenAI.

Des fonctionnalités spécifiques à l’IA pour de nouveaux cas d’utilisation

L’équipe de Kong affirme que la plupart des autres fournisseurs d’API gèrent actuellement les API d’IA de la même manière que n’importe quelle autre API. Cependant, en ajoutant ces fonctionnalités spécifiques à l’IA à leur passerelle API, Kong estime qu’il peut permettre de nouveaux cas d’utilisation ou du moins faciliter la mise en œuvre des cas d’utilisation existants. Les développeurs peuvent notamment utiliser les transformateurs de requêtes et de réponses d’IA pour modifier dynamiquement les invitations et les résultats, par exemple pour les traduire automatiquement ou supprimer les informations d’identification personnelles.

Ingénierie des invitations et gestion centralisée des modèles

L’ingénierie des invitations est également intégrée à la passerelle, ce qui permet aux entreprises de faire respecter leurs directives sur ces modèles. Cela signifie également qu’il existe un point central de gestion pour ces directives et invitations.

L’évolution de Kong

Kong est une plateforme de gestion d’API qui existe depuis près de neuf ans. À l’époque, l’entreprise s’appelait encore Mashape. Selon Augusto Marietti, cofondateur et PDG de Mashape/Kong, Kong était une tentative de dernier recours pour Mashape, qui n’allait nulle part à l’époque. Marietti a déclaré que Kong est devenu le produit API numéro un sur GitHub et que l’entreprise était rentable au dernier trimestre, ce qui lui a permis de ne pas rechercher de financement supplémentaire.

La passerelle Kong est au cœur de la plateforme de l’entreprise et alimente également la nouvelle passerelle d’IA. Les utilisateurs actuels de Kong n’ont qu’à mettre à jour leur installation pour accéder à toutes les nouvelles fonctionnalités d’IA.

Pour le moment, ces nouvelles fonctionnalités d’IA sont disponibles gratuitement. À l’avenir, Kong prévoit de lancer des fonctionnalités premium payantes, mais l’équipe a souligné que ce n’était pas l’objectif de cette version actuelle.