Kongs neues Open-Source-KI-Portal revolutioniert die Erstellung von Multi-LLM-Anwendungen - Sie werden nie erraten, wie einfach es ist!

Kong bringt Open-Source-KI-Gateway für APIs auf den Markt

Das API-Unternehmen Kong bringt sein Open-Source-KI-Gateway auf den Markt, eine Erweiterung seines bestehenden API-Gateways, die es Entwicklern und operativen Teams ermöglicht, ihre Anwendungen in ein oder mehrere große Sprachmodelle (LLM) zu integrieren und über eine einzige API darauf zuzugreifen. Darüber hinaus führt Kong mehrere KI-spezifische Funktionen ein, wie z. B. Invitation Engineering, Verwaltung von Anmeldeinformationen etc.

Eine zunehmende Nutzung von APIs für KI

Laut Marco Palladino, Mitbegründer und CTO von Kong, ist KI ein weiterer Anwendungsfall für APIs. APIs basieren auf Anwendungsfällen wie Mobile und Microservices, und KI ist einfach der neueste Anwendungsfall. Palladino argumentiert, dass KI die Verwendung von APIs auf verschiedenen Ebenen erfordert, sei es, um KI zu konsumieren, KI zu optimieren oder sogar die KI selbst. Seiner Meinung nach wird die Nutzung von APIs weltweit zunehmen, je weiter sich die KI entwickelt.

Die Verwaltung von KI-Daten und -Modellen

Palladino argumentiert, dass alle Organisationen den Einsatz von KI in Betracht ziehen, aber sie haben auch Angst vor der Offenlegung ihrer Daten. Letztendlich werden diese Unternehmen ihre Modelle lokal ausführen wollen und vielleicht als letzten Ausweg die Cloud nutzen. Im Moment müssen sie jedoch auch Lösungen finden, um die Anmeldeinformationen für den Zugriff auf cloudbasierte Modelle zu verwalten, den Datenverkehr zu kontrollieren und aufzuzeichnen, Quoten zu verwalten und vieles mehr.

Ein API-Gateway, um die Integration von KI zu erleichtern

Mit seinem API-Gateway möchte Kong eine Lösung anbieten, die es Entwicklern ermöglicht, produktiver zu sein, wenn sie KI-gestützte Anwendungen bauen. So können sie ihr Gateway nutzen, um einen oder mehrere LLM-Anbieter zu konsumieren, ohne ihren Code ändern zu müssen. Derzeit unterstützt das Gateway Anthropic, Azure, Cohere, die LLaMA-Modelle von Meta, Mistral und OpenAI.

KI-spezifische Funktionen für neue Anwendungsfälle

Das Kong-Team behauptet, dass die meisten anderen API-Anbieter KI-APIs derzeit auf die gleiche Weise handhaben wie jede andere API. Indem sie jedoch diese KI-spezifischen Funktionen zu ihrem API-Gateway hinzufügen, glaubt Kong, dass sie neue Anwendungsfälle ermöglichen oder zumindest die Umsetzung bestehender Anwendungsfälle erleichtern können. Insbesondere können Entwickler KI-Anfrage- und Antworttransformatoren verwenden, um Einladungen und Ergebnisse dynamisch zu verändern, z. B. um sie automatisch zu übersetzen oder persönliche Identifikationsinformationen zu entfernen.

Invitation Engineering und zentrale Verwaltung von Vorlagen

Auch das Einladungs-Engineering ist in das Gateway integriert, so dass Unternehmen ihre Richtlinien für diese Vorlagen durchsetzen können. Das bedeutet auch, dass es eine zentrale Verwaltungsstelle für diese Richtlinien und Einladungen gibt.

Die Entwicklung von Kong

Kong ist eine API-Managementplattform, die es seit fast neun Jahren gibt. Damals hieß das Unternehmen noch Mashape. Laut Augusto Marietti, Mitbegründer und CEO von Mashape/Kong, war Kong ein letzter Versuch für Mashape, das damals nirgendwohin ging. Marietti sagte, Kong sei zum API-Produkt Nummer eins auf GitHub geworden und das Unternehmen sei im letzten Quartal profitabel gewesen, so dass es nicht nach weiterer Finanzierung habe suchen müssen.

Das Kong-Gateway ist das Herzstück der Unternehmensplattform und versorgt auch das neue KI-Gateway mit Strom. Aktuelle Kong-Nutzer müssen nur ihre Installation aktualisieren, um Zugang zu allen neuen KI-Funktionen zu erhalten.

Im Moment sind diese neuen KI-Funktionen kostenlos verfügbar. Für die Zukunft plant Kong, kostenpflichtige Premiumfunktionen einzuführen, aber das Team betonte, dass dies nicht das Ziel dieser aktuellen Version sei.