Ich werde eine provider-unabhängige AI-Agent-Gateway für jede LLM-API erstellen


Über diesen Service
Automatische Übersetzung
Nur bei einem AI-Anbieter gebunden? Eine Preiserhöhung oder ein Ausfall und dein Produkt funktioniert nicht mehr.
Ich baue ein provider-unabhängiges Gateway: EIN Modellname in deinem Code, viele Anbieter dahinter. OpenAI, Anthropic, Google oder ein lokales Ollama-Modell – durch Konfiguration austauschbar, nie durch Codeänderung. Wenn ein Anbieter ausfällt oder die Rate limitet, wird der Traffic automatisch auf den nächsten umgeleitet.
WAS DU BEKOMMST
- Ein funktionierendes Gateway, das du besitzt und betreibst, kein gehosteter Black Box
- Automatischer Fallback zwischen Anbietern, sodass ein Ausfall nicht dein Ausfall ist
- Deine Workflows von Anfang bis Ende verbunden und vor Übergabe getestet
- Sauberer Quellcode, Konfigurationsdatei und eine README, die ein Entwickler leicht folgen kann
- Vector RAG und Request-Logging auf Standard- und höherer Ebene
Ich liefere produktionsreifes Python: typisiert, getestet, dokumentiert. Ich übergebe kein Demo-Notebook. Jeder Build wird vor der Lieferung getestet und verifiziert.
Schreib mir, worauf du automatisierst, und ich sage dir ehrlich, ob das passt, kostenlos.
Lerne John A kennen
Agentic Engineering and AI Automation Specialist
- AusVereinigte Staaten
- Mitglied seitNov. 2025
- ⌀ Antwortzeit9 Stunden
Sprachen
Englisch, Spanisch, Französisch
Automatische Übersetzung
Mein Portfolio
Meine weiteren Dienstleistungen im Bereich KI-Entwicklung
FAQ
Automatische Übersetzung
Welche LLM-Anbieter kannst du verbinden?
OpenAI, Anthropic, Google Gemini, Groq, Mistral und lokale Modelle via Ollama – plus die meisten OpenAI-kompatiblen Endpunkte. Später kannst du weitere hinzufügen, indem du eine Konfigurationsdatei bearbeitest, ohne Code ändern zu müssen.
Muss ich dir meine API-Schlüssel geben?
Nein. Ich baue und teste mit meinen eigenen Test-Keys, dann übergebe ich eine Konfigurationsdatei mit Platzhaltern. Du fügst deine Keys selbst hinzu, sodass sie nie auf meinem Rechner landen.
Was passiert, wenn ein Anbieter ausfällt?
Das Gateway versucht es erneut und wechselt dann automatisch zum nächsten Anbieter, den du konfiguriert hast. Deine App läuft weiter. Dieser Fallback ist Teil jedes Pakets und wurde getestet.
Kannst du Modelle lokal laufen lassen, statt pro Token zu bezahlen?
Ja. Ich kann den Traffic teilweise oder komplett an ein lokales Ollama-Modell auf deiner Hardware weiterleiten und nur die Cloud-Anbieter als Fallback nutzen. Perfekt für datenschutzsensible Daten und um Token-Kosten zu senken.
Was bekomme ich eigentlich?
Quellcode, eine Konfigurationsdatei, eine README mit Setup-Schritten und eine kurze Anleitung. Läuft auf deinem Rechner oder Server – du besitzt es vollständig, ohne Abonnement bei mir.

