AI Gateway — agentic düzlem

NEW

Her AI isteğini yönetin. Token, maliyet ve risk — tek gateway.

Her token'ı izleyin. Her bütçeyi sınırlayın. Tek OpenAI uyumlu endpoint'in arkasında 26 sağlayıcılı, 185 modellik katalog üzerinde yönlendirin. Apinizer; LLM, MCP ve agent trafiğinizi REST API'lerinizi zaten çalıştıran runtime üzerinde yönetir — aynı denetim, aynı kimlik, aynı nöbetçi operatörler.

Demo talep edinDokümantasyonu okuyun
  • Katalog26 sağlayıcı · 185 model
  • StandartlarOpenAI · MCP · A2A
  • ModalitelerChat · Embed · Audio · Image

Token ekonomisi ve maliyet kontrolü

Her prompt, yanıt ve embedding sayılır, sahibine yazılır ve sınırlanır. Bütçeler gateway üzerinde yaşar — token veya dolar cinsinden — böylece iş yükünün sahibi olan ekip faturanın da sahibi olur; finans ekibi sürprizle değil, kalem kalem raporla karşılaşır.

  • Her istekte canlı token takibi — girdi, çıktı, önbellekten ve toplam
  • Sağlayıcı ve modelle çaprazlanmış altı kapsam katmanında, token veya dolar cinsinden tavanlar
  • Herhangi bir şey sert durmadan önce yüzde 50, 80, 90 ve 100'de eşik alarmları
  • Bütçe dolduğunda daha ucuz bir modele veya önbellekteki yanıta otomatik fallback
  • İş yükünü çalıştıran projeye yazılan, finans için dışa aktarılabilir maliyet
Tracked per request
input · output · cached · total tokens
Quota windows
minute · hour · day · month
Quota scopes
global · anonymous · credential · org · proxy · tenant
Measured in
tokens or USD
Enforcement
hard cap · threshold alarm · graceful fallback
Reporting
cost by project · model · team · time range

Maliyet duyarlı çoklu LLM yönlendirme

Uygulamayı bir kez, OpenAI uyumlu endpoint'e karşı yazın; hangi modelin yanıtlayacağına gateway karar versin — maliyete, gecikmeye, yüke veya kendi kurallarınıza göre. Gövdeler her sağlayıcının kendi formatında yeniden kurulur; fallback zinciri, istemci fark etmeden bir sağlayıcı ailesinden diğerine geçebilir.

  • openai ve langchain_openai SDK'larının yerine doğrudan geçen tek OpenAI uyumlu endpoint
  • En düşük maliyet, en düşük gecikme ve daha ucuz modele düşürme dahil yedi yönlendirme algoritması
  • Çift yönlü çeviriyle aileler arası fallback ve retry'ı asla çift saymayan faturalama
  • Ekran üzerinden genişlettiğiniz 26 sağlayıcılı, 185 modellik katalog — yeni sağlayıcı için sürüm beklenmez
  • Gerçek chunk bazında streaming; kullanım verisi stream bittiğinde toplanır
  • Native adaptersOpenAI · Anthropic · Gemini / Vertex · Bedrock · vLLM
  • Catalog26 providers · 185 models · pricing you edit in the UI
  • Provider definitiona catalog record, not code — add one without a release
  • Endpointschat/completions · responses · embeddings · audio · images · models
  • Lifecyclea model past its sunset date is rejected and dropped from discovery

Birebir ve semantik yanıt önbelleği

Tekrarlanan prompt'larda token faturasını atlayın. Birebir aynı prompt, REST gateway'in zaten çalıştırdığı Hazelcast cluster'ından yanıtlanır; farklı kelimelerle sorulmuş olanı, kendi VectorDB'nize karşı skorlanan gerçek bir vektör katmanı yanıtlar. Önbellek maskelenmiş yanıtı saklar — bir önbellek vuruşu, PII politikasının temizlediğini asla geri oynatamaz.

  • Hazelcast üzerinde birebir eşleşme; pgvector, Qdrant veya Redis üzerinde semantik eşleşme
  • Politika başına ayarlanan kendi benzerlik eşiğiniz ve top-K değeriniz
  • Önce maske — semantik katman, maskelenmemiş ham gövdeyi asla saklamaz
  • Önbellek kovası başına raporlanan vuruş oranı, kazanılan token ve kazanılan gecikme
  • Zamanlanmış temizlik, vektör katmanının sahipsiz kayıtlarla dolmasını önler
Exact match
SHA-256 request key on Hazelcast
Semantic match
embedding similarity · threshold + top-K
Vector stores
pgvector · Qdrant · Redis (RediSearch KNN)
Safety
masked body cached · proxy-scoped isolation
Housekeeping
TTL · redeploy invalidation · orphan purge
Reports
hit rate · tokens saved · latency saved

Gateway üzerinde prompt şablonları ve dekoratörler

İstemci yalnızca şablon adını ve birkaç parametre gönderir; gerçek prompt'u gateway kurar. Uygulama kodu prompt taşımayı bırakır ve bir prompt değişikliği sürümle değil, APIops üzerinden yayına çıkar.

  • Parametreleri ve varsayılanlarıyla built-in, platform veya proje kapsamlı bir şablon kataloğu
  • Gateway tarafında genişletme — şablon ve JSON yapısal enjeksiyonuna kapalı
  • Gizlilikten mevzuat uyumluluğuna dokuz sorumlu AI dekoratör ön ayarı
  • Zorunlu birleştirme sırası — şablon, dekoratör, RAG, ardından korumalar ve önbellek
  • Şablonlar dışa aktarılabilir varlıklardır: sihirbaz, REST veya APIops terfisi
json
// The client sends this…{ "model": "gpt-4o-mini",  "template": "support-summary",  "template_params": { "tone": "formal", "ticket": "INC-4417" } }// …the gateway expands the catalog template, prepends the// privacy + regulatory-compliance decorators, injects RAG// context, then runs the guards and the cache — in that order.

Kendi VectorDB'niz üzerinde RAG — hiçbir şey cluster dışına çıkmaz

Yanıtları belgelerinize dayandırın — belgeleri hiçbir yere göndermeden. Bir bilgi tabanına yükleyin; Apinizer parçalasın, embed etsin ve sizin işlettiğiniz bir VectorDB'ye indekslesin. Getirme, proje ve bilgi tabanıyla sınırlıdır — bir tenant'ın sorusu başka bir tenant'ın parçalarına asla ulaşamaz.

  • PDF, Excel ve belge yüklemeden bilgi tabanları — parçalanır, embed edilir, indekslenir
  • Top-K, benzerlik eşiği ve açık bir eşleşme-yok davranışıyla dört enjeksiyon modu
  • Sorgu anında uygulanan multi-tenant izolasyon; kapsam çözülemediğinde fail-closed
  • Groundedness kontrolü, yanıtın getirilen içerikçe gerçekten desteklenip desteklenmediğini puanlar
  • GDPR / KVKK silme — kaynak belgeyi silin, vektörleri de düşsün
Sources
document upload · PDF and Excel extraction · chunk + embed
Stores
pgvector · Qdrant · Redis (RediSearch KNN)
Injection
prepend user · prepend system · system suffix · template
Tuning
top-K · similarity threshold · no-match behaviour
Isolation
project + knowledge-base filter, fail-closed
Grounding
judge-model groundedness score · flag or block

Prompt güvenlik duvarı — enjeksiyon, jailbreak ve konu dışı

Regüle AI projelerini bekleten desenleri engelleyin. Korumalar inline çalışır; kötü istek modele hiç ulaşmaz — kodlanmış payload'lar korumalar okumadan önce çözülür: base64'e sarılmış bir saldırı, körlemesine iletilmek yerine denetlenir.

  • Taramadan önce çözülen kodlanmış içerik — base64, hex, URL, unicode, HTML entity
  • OWASP LLM Top 10 ve MITRE ATLAS'a eşlenmiş imza paketleriyle enjeksiyon ve jailbreak tespiti
  • Katalog ekranından genişletilen 14 MLCommons AILuminate zarar kategorisinde içerik güvenliği
  • Bağlam bütünlüğü kontrolleri, sahte rolleri ve kontrol token'larını model görmeden yakalar
  • Her korumayı, ayarını yaparken inline, asenkron veya gölge modda çalıştırın
Pre-scan decode
base64 · hex · URL · unicode · HTML entity
Inline guards
injection · jailbreak · context integrity
Content safety
14 AILuminate hazard categories · own catalog
Signature packs
OWASP LLM Top 10 · MITRE ATLAS · drift channel
Scan scope
system · user · assistant · tool, per guard
Latency modes
inline · async · shadow

Streaming'de bile ayakta kalan PII ve veri kaybı kontrolü

Türkiye'ye özgü kimlik verisi, bakımını sizin yaptığınız bir regex değil, birinci sınıf vatandaştır. TCKN, IBAN ve telefon numaraları maskelenmeden önce checksum ile doğrulanır; maskeleme SSE chunk sınırlarında ve tool sonuçlarında da korunur. Mevzuatın karartma yerine takma adlaştırma istediği yerde gerçek değer yalnızca yetkili rollere geri döner.

  • TCKN, IBAN-TR ve telefon-TR yerleşik olmak üzere on iki checksum doğrulamalı tanımlayıcı türü
  • Karartmadan orijinalden bağımsız üretilen sentetik değerlere kadar altı maskeleme stratejisi
  • Geri alınabilir takma adlaştırma — yanıt içinde veya unmask API'siyle geri yüklenir; varsayılan-ret ve denetimli
  • 18 HIPAA Safe Harbor tanımlayıcısını ve PCI DSS kart sahibi verisini kapsayan sürümlü DLP kural paketleri
  • İmza baytlarıyla tanınan gömülü dosyalar; tümünün arkasına takılabilen harici bir guardrail motoru
Turkish types
TCKN · IBAN-TR · phone-TR · driver's licence
International
email · card · IP · URL · passport · SSN · IBAN · wallet
Mask modes
fixed · keep-first · keep-last · placeholder · synthetic
Reversible
in-response restore · unmask API · deny-by-default RBAC
Rule packs
HIPAA Safe Harbor · PCI DSS · file signatures
Also covers
SSE chunk boundaries · MCP and A2A tool results

AI gözlemlenebilirliği — her prompt, her token, her model

Analytics Engine, AI trafiğini REST trafiğinin yanına alır. Tek sorgu; ekip başına maliyeti, sağlayıcı başına gecikmeyi, model başına hata oranını ve dün gece hangi korumanın tetiklendiğini yanıtlar — Grafana kullanıyorsanız AI trafiği, SRE ekibinizin zaten izlediği panolara düşer.

  • Kullanıcı, proje, ekip, sağlayıcı ve model bazında token harcaması ve gecikme
  • Yalnızca toplam gecikme değil; ilk token'a kadar geçen süre ve çıktı token'ı başına süre
  • İstek DAG'ı, zaman çizelgesi ve yakalanan isteğin tekrar oynatılmasıyla canlı trace
  • Trafik kaydında giden MCP tool ve A2A skill adları — trace açmaya gerek yok
  • Native OTLP, Prometheus ve Grafana panosu; harcama ve gecikmede anomali uyarıları
  • Cost dashboardstokens · dollars · by project, team, model
  • Latency dashboardsTTFT · TPOT · p50 · p99 · by provider
  • Tracinglive trace · request DAG · timeline · replay
  • Securityguardrail hits · masking counts · injection attempts
  • OutboundMCP tool and A2A skill names · real target address
  • ExportOTLP GenAI semconv · Prometheus · Grafana dashboard

Saklama profilleri, varlık envanteri ve gölge AI keşfi

Kurulumda hangi AI'ın çalıştığını bilin ve bunun ne kadarının kayda geçeceğine siz karar verin. Saklama profili, bir alışverişin ne kadarının kalıcı olacağını belirler — tam kayıt, gövdeler olmadan sayaçlar ve kararlar ya da hiçbir şey — proxy başına geçersiz kılabildiğiniz bir kurulum varsayılanı olarak.

  • Üç saklama profili — standart, gövdesiz, kalıcılık yok — daha sıkı ayar kazanır
  • Her AI varlığının envanteri: proxy'ler, sağlayıcılar, modeller, bilgi tabanları, vektör veritabanları
  • Kimsenin kataloğa koymadığı, kullanımdaki modelleri adlandıran gölge AI raporu
  • Ortam başına endpoint paneli, tek tıkla açılan Test Console
  • Diğer tüm varlıklar gibi APIops ile tanımlanan konu kategorileri ve prompt şablonları
Retention profiles
standard · no payload · no persist
Scope
installation default · per-proxy override · stricter wins
Inventory
proxies · providers · models · knowledge bases · vector DBs
Shadow AI
off-catalog model and provider usage · catalog drift
Quick test
per-environment endpoint panel · one-click Test Console
APIops
topic categories · prompt templates · prompt decorators

Birinci sınıf proxy olarak MCP ve A2A

MCP ve Agent2Agent; REST, SOAP ve AI'ın yanında birer proxy türüdür — aynı politika zinciri, aynı deploy geçmişi, aynı geri alma. Agent'lar diğer tüm istemcilerle aynı politikalar üzerinden kimlik doğrular ve her çağrı aynı denetim kaydına düşer.

  • Zaten çalıştırdığınız REST ve SOAP API'lerini MCP tool'ları olarak yayınlayın veya harici sunuculara passthrough yapın
  • Bir proxy'yi keşfedilebilir bir agent olarak yayınlayın ya da harici bir agent'ın önüne geçip kartını yeniden yazın
  • Kimlik bilgisi, rol veya organizasyon başına varsayılan-ret tool erişimi; tool başına çağrı kotaları
  • Hash ile sabitlenen tool şemaları — sessiz bir değişiklik sessizce güvenilmek yerine işaretlenir
  • Standart kimlik doğrulama — JWT, OIDC, OAuth 2.0, API key, mTLS — bakımı yapılacak ayrı bir agent şeması yok
MCP modes
expose REST / SOAP APIs as tools · passthrough
A2A modes
agent-expose · passthrough
MCP versions
2024-11-05 · 2025-03-26 · 2025-06-18 (default) · 2025-11-25 · 2026-07-28
Access
default-deny ACL · per-tool RBAC · output filter
Governance
schema drift pin · argument constraints · call quota
Outbound
mTLS fail-closed · OAuth 2.0 · SSRF-guarded probes

Tek gateway, tek denetim, tek runtime

AI Gateway bir side-car değildir. REST, gRPC, WebSocket, SOAP ve GraphQL trafiğinizi çalıştıran gateway'in üzerinde bir politika katmanıdır. Öğrenilecek ikinci bir kontrol düzlemi, ikinci bir nöbet rotasyonu ve ikinci bir fatura yoktur.

  • REST, gRPC, WebSocket, SOAP, GraphQL, MCP, A2A ve AI için tek runtime
  • İnsanlar, agent'lar ve iş ortakları için tek kimlik yüzeyi — OAuth 2.0, OIDC, JWT, mTLS, SAML
  • Tek yetki modeli — System, Project, Team — artı özel AI rolleri
  • Sağlayıcı anahtarları LLM bağlantısında kalır; uygulamalar kendi kimlik bilgileriyle doğrulanır
  • Kubernetes-native ve kapalı ağ dostu — veri cluster'ı terk etmez
  • Runtimeone gateway process · API + AI
  • Identityhumans · agents · partners on one surface
  • Auditpersistence-layer, immutable, replayable
  • RBACSystem / Project / Team — everywhere
  • Deployhot — prompts, routes, models
  • PostureKubernetes-native · air-gap friendly

Kullanım senaryoları

Ekipler nerelerde kullanıyor.

AI faturasının kaçmasını durdurun

Proje başına token bütçeleri. Sıcak yolda yanıt önbelleği. Bütçe dolduğunda ucuz modele fallback. Ekip ve proje bazında maliyet ataması. AI kalemi sürpriz olmaktan çıkar; finans, Slack mesajı yerine maliyet raporu alır.

  • Kimlik bilgisi, organizasyon, proxy ve proje kapsamlarında token ve USD tavanları
  • Vuruş oranı ve tasarruf raporlarıyla birebir ve semantik yanıt önbelleği
  • Katalog fiyatına göre daha ucuz modele düşürme ve en düşük maliyetli yönlendirme
  • İş yükünü çalıştıran projeye geri yazılan maliyet
  • Finans için aylık maliyet dışa aktarımları

Pakete dahil

Neler dahil

Aşağıdaki yetenekler standart kurulumun parçasıdır — ek SKU'lar ve ayrı lisanslar yoktur.

AI trafik türleri

  • Chat completions — unary ve streaming
  • Responses API — unary ve streaming
  • Embedding'ler — istemciye açık; RAG ve semantik önbellekle paylaşılır
  • Ses — konuşmadan metne ve metinden sese
  • Görüntü — üretim
  • Function calling, tool kullanımı ve unary agentic döngüler
  • Agent-to-Agent (A2A) mesajları ve görevleri
  • Model Context Protocol (MCP) tool çağrıları
  • Model keşfi — OpenAI uyumlu `GET /v1/models`

Maliyet ve token yönetişimi

  • Canlı token takibi — girdi, çıktı, önbellekten, toplam
  • Pencere başına tavanlar — dakika, saat, gün, ay
  • Sahip katmanı başına tavanlar — kimlik bilgisi, organizasyon, proxy, proje
  • Sağlayıcı ve model başına, token veya dolar cinsinden tavanlar
  • Aylık sıfırlamayla yüzde 50 / 80 / 90 / 100 eşik alarmları
  • Bütçe dolduğunda önbellekteki yanıta veya daha ucuz modele otomatik fallback
  • İş yükünü çalıştıran projeye geri giden maliyet dışa aktarımları

Güvenlik ve guardrail'ler

  • Taramadan önce çözülen kodlanmış payload'lar — base64, hex, URL, unicode, HTML entity
  • Mesaj rolü başına kapsamlanan prompt injection, jailbreak ve bağlam bütünlüğü korumaları
  • Kayma uyarılarıyla OWASP LLM Top 10 ve MITRE ATLAS'a eşlenmiş imza paketleri
  • Konu koruması artı 14 AILuminate zarar kategorisinde içerik güvenliği
  • On iki checksum doğrulamalı PII türü ve altı maskeleme stratejisi — streaming'e dayanıklı
  • Varsayılan-ret geri yükleme ve eksiksiz denetim iziyle geri alınabilir takma adlaştırma
  • Sürümlü DLP kural paketleri — HIPAA Safe Harbor tanımlayıcıları ve PCI DSS kart sahibi verisi
  • Korumalar, DLP ve PII maskeleme üzerinde tek adaptörle harici guardrail motorları
  • Kimlik başına varsayılan-ret tool RBAC'i ve kalıcılık katmanında denetim izi

RAG ve bilgi

  • Yükleme, PDF ve Excel çıkarımı, parçalama ve indekslemeyle bilgi tabanları
  • Vektör deposu olarak pgvector, Qdrant veya Redis — kendi barındırdığınız
  • Top-K ve benzerlik eşiğiyle dört RAG enjeksiyon modu
  • Sorgu anında uygulanan proje ve bilgi tabanı izolasyonu
  • Proje kapsamı çözülemediğinde fail-closed
  • RAG yanıtlarında groundedness kontrolü — getirilen bağlamın desteklemediğini işaretleyin veya engelleyin
  • İndekslenmiş belgelerde GDPR / KVKK silme

İşletilebilirlik

  • REST, SOAP, gRPC, WebSocket, MCP ve A2A ile aynı gateway runtime'ı
  • API ve AI genelinde aynı kimlik, aynı denetim, aynı RBAC
  • Geçmiş ve geri almayla açık deploy; prompt değişikliği için pod yeniden başlatılmaz
  • Üç katmanlı yetki modeli (System / Project / Team) artı özel AI rolleri
  • Canlı maliyet, gecikme ve güvenilirlik panoları
  • Mevcut SRE araçları için OTLP, Prometheus ve Grafana dışa aktarımı
  • Saklama profilleri — standart, gövdesiz, kalıcılık yok — proxy başına geçersiz kılınabilen kurulum varsayılanı
  • AI varlık envanteri artı katalog dışı model kullanımı için gölge AI raporu
  • Kubernetes-native, kapalı ağ dostu dağıtım

Kaynaklar

Devam edin

AI Gateway dokümantasyonu

Sağlayıcıları yapılandırın, token bütçeleri koyun, prompt güvenlik duvarı politikaları yazın ve AI trafiğini REST'in yanında izleyin.

Dokümantasyonu okuyun

Maliyet ve token rehberi

Proje bütçeleri, maliyet ataması, yanıt önbelleği ayarı ve ucuz model fallback zincirleri için desenler.

Rehberi görün

Sağlayıcı hızlı başlangıçları

OpenAI, Anthropic, Bedrock, Azure OpenAI, Gemini ve kendi barındırdığınız Llama veya vLLM için hazır tarifler.

Sağlayıcılara göz atın

Prompt güvenlik duvarı referansı

Koruma kataloğu — enjeksiyon, jailbreak, PII, kimlik bilgileri, konu dışı, tool kullanımı — politika örnekleriyle.

Kataloğu okuyun

AI gözlemlenebilirlik kılavuzu

Analytics Engine'de maliyet, gecikme, güvenilirlik ve güvenlik duvarı panoları — API ve AI için tek sorgu.

Kılavuzu açın

Mimari genel bakış

AI düzleminin API Gateway, Identity Manager, Cache ve Analytics Engine ile tek runtime'ı nasıl paylaştığı.

Ürün ailesini görün

Side-car gateway'den geçiş

Bugün ayrı bir AI gateway işleten ekipler için kısa bir saha rehberi — ne kalır, ne emekliye ayrılır, ne birleştirilir.

Rehberi okuyun

Her AI isteğini yönetin

Token'ları, agent'ları ve riski tek kontrol düzleminde toplayın.

Apinizer AI Gateway'in 30 dakikalık turu — token bütçeleri, çoklu LLM yönlendirme, birebir ve semantik önbellek, prompt güvenlik duvarı, geri alınabilir PII takma adlaştırma, kendi VectorDB'niz üzerinde RAG, MCP ve A2A yönetişimi, saklama profilleri ve AI gözlemlenebilirliği — seçtiğiniz bir Kubernetes üzerinde.

Demo talep edinDokümanları okuyun