Token Kotaları ve Hız Sınırlaması

Lisanslama

Token kotası ve bütçe yönetimi AI Gateway lisans modülüne aittir: modül yoksa kota ekranları Yönetim arayüzünde gizlenir.

API tarafında lisans kontrolü yoktur. Management API, APIops uçları ve genel AI Gateway ayarlarının yazma ucu, lisansında AI Gateway bulunmayan bir kurulumda da normal şekilde yanıt verir — 403 Forbidden dönmez, bütçe alanı sessizce düşürülmez. Diğer modüller de API yüzeylerini lisansa bağlamadığı için AI Gateway de bağlamaz.

Modülün olmaması hiçbir şeyi silmez: mevcut bütçe yapılandırması ve kullanım sayaçları korunur. Halihazırda dağıtılmış worker'lar kendilerine verilmiş katı (hard) limitleri uygulamaya devam eder.

Kapsam Hiyerarşisi

Bir istek aynı anda birden fazla katmanda değerlendirilir; etkin sınır, tanımlı tüm katmanların en düşüğüdür.

Katman	Kapsam
Kimlik Bilgisi	Tek bir LLM sağlayıcı bağlantısı
Kuruluş	Bağlı kimlik bilgilerini kapsayan üst kuruluş
Uygulama	Bir kimlik bilgisinin belirli bir API Proxy üzerinden kullanımı
Proje	Projedeki tüm AI istekleri (çok-kiracılı ortamda kiracı sınırı)

Kimlik Bilgisi katmanındaki bütçe bu sürümle birlikte typed bir tüketici (ya da API istemcisi) atamasıdır: bu ekranda bir satır oluşturduğunuzda ya da düzenlediğinizde, Limit Planları ekranındaki Limitler sekmesiyle aynı kaydı yönetirsiniz — ikisi de aynı atamaya bakar. Erişim satırındaki AI Bütçe Kaynağı alanı artık yalnızca kuruluş bütçe zincirinin bu tüketici için uygulanıp uygulanmayacağını belirler; tüketicinin kendi Kimlik Bilgisi katmanı bütçesi bundan bağımsız olarak her zaman geçerlidir. Hiç erişim satırı olmayan (henüz tüketici olarak görünmemiş) bir API istemcisinin Kimlik Bilgisi katmanı atamasında AI Bütçe Kaynağı için Devral dışında bir değer seçilirse istek 400 budgetsourcenotapplicable hatasıyla sonuçlanır — bütçenin kendisi yine de kaydedilir, yalnızca kaynak seçimi kaydedilmez, çünkü kaynak yalnızca erişim satırı olan tüketiciler için bir anlam taşır.

Örnek:

Katman	Aylık USD Bütçe
Kimlik bilgisi (OpenAI bağlantısı)	$500
Kuruluş	$5.000
Uygulama	$1.000
Proje	$2.000

Etkin bütçe = Min($500, $5.000, $1.000, $2.000) = $500

Bir katman için sınır tanımlanmamışsa o katman değerlendirmeye katılmaz; sadece tanımlı katmanların en düşüğü uygulanır.

Kotayı uygulayan şey politikadır

Bu ekranda tanımlanan limitler kendi başlarına uygulanmaz. Kota kontrolü, AI proxy'nin istek politikaları arasındaki Token Rate Limit politikası üzerinden çalışır — platform geneli varsayılan limit de dahil. Politika proxy'den kaldırılır ya da pasifleştirilirse o proxy için hiçbir kota uygulanmaz.

Bu bilinçli bir tasarım tercihidir: limit tanımlı olsa bile belirli bir proxy'nin limitsiz çalışmasını seçebilirsiniz. Yeni AI proxy'ler bu politikayla otomatik ve aktif olarak oluşturulur, dolayısıyla varsayılan davranış korumalıdır; kaldırmak açık bir kullanıcı eylemidir.

Yönetici Kapsamındaki Paylaşılan Kuruluşlar

Bir kuruluş projeye ait olabileceği gibi yönetici kapsamında da tanımlanabilir; ikincisi birden çok proje tarafından ortak kullanılır. Projenizin kimlik bilgileri doğrudan ya da üst-kuruluş zinciri üzerinden böyle bir kuruluşa bağlıysa, o kuruluş projenizin kota ekranında Paylaşılan etiketiyle listelenir ve etkin sınır hesabına normal şekilde katılır.

Listede yalnız projenizin gerçekten ulaştığı yönetici kuruluşları görünür — sistemdeki tüm yönetici kuruluşları projeye açılmaz.

Kuruluşun kapsamı	Proje yöneticisi	Sistem yöneticisi
Proje kuruluşu	Görür ve değiştirir	Görür ve değiştirir
Yönetici kapsamındaki paylaşılan kuruluş	Görür ve kullanır, değiştiremez	Görür ve değiştirir

Değiştiremediğiniz bir kural yine de tam olarak görüntülenebilir: satır menüsünde Görüntüle bulunur ve kota kuralını salt-okunur (Kaydet düğmesi olmadan) açar. AI bütçeleri için yalnızca görüntüleme yetkisi olan bir kullanıcıda bu davranış tüm kurallar için geçerlidir.

Paylaşılan bir kuruluşun limiti tek kayıttır ve birden çok projeyi aynı anda etkiler; bu yüzden değiştirme yetkisi tek bir projenin yöneticisine bırakılmaz. Aynı nedenle APIops'ta proje kimliğiyle yapılan çağrılar da paylaşılan kuruluşun bütçesini güncelleyemez. Başka bir projeye ait kuruluş ise hiçbir durumda görünmez ve değiştirilemez.

Pencere Türleri

Zaman Tabanlı Token Kovaları

• Dakika başına, saat başına, gün başına, ay başına — her biri bağımsız olarak yapılandırılabilir
• Pencere, kayan bir sürü (bucket) algoritmasıyla uygulanır; istekler tam olarak kabul veya reddedilir, kısmi kabul yoktur

USD Bütçesi

• Saatlik / günlük / aylık üst harcama limiti
• Bütçe, sistem tarafından tanımlı model birim fiyatlarına göre hesaplanır
• Aylık bütçe her ay başında sıfırlanır; önceki ayın kullanımından devreden kota yoktur

Fiyatsız model USD bütçesini engeller

USD cinsinden bir limit (aylık bütçe ya da saatlik/günlük harcama tavanı) tanımlarken, bütçenin kapsadığı tüm modellerin Model Kataloğu'nda girdi fiyatı tanımlı olması gerekir. Fiyatı olmayan bir modelin maliyeti hesaplanamayacağından USD limiti o modele hiçbir zaman uygulanmaz; bu yüzden fiyatsız model içeren bir USD bütçesi kaydedilemez. Kaydetmek için eksik fiyatları Model Kataloğu'ndan (veya LLM sağlayıcısının desteklenen model satırından) tamamlayın ya da bu katman için zaman tabanlı (token) bir limit kullanın.

Çalışma zamanında da fiyatı olmayan bir model USD sayımına dahil edilmez; bu durum bir hata değil, uyarı olarak loglanır.

Bu kontrol bütçenin yazıldığı her yerde çalışır; yalnızca bütçe ekranlarında değil:

• API Proxy'nin Uygulama bütçesi ve projenin Kiracı bütçesi — kendi bütçe uçlarından ve proxy'nin ya da projenin bütün olarak kaydedilmesinden (Manager arayüzünde kayıt, APIops oluşturma/güncelleme ve promotion, import). Değişmemiş bir bütçe sıradan bir yeniden kayıtta tekrar kontrol edilmez; mevcut bir yapılandırma ilgisiz bir düzenlemede hata vermeye başlamaz;
• AI proxy'de yönlendirme değişikliği (Manager arayüzü, APIops ai-routing, import). Proxy'yi fiyatı olmayan bir modele yönlendirmek, proxy'yi kapsayan bir USD bütçesi zaten varsa — kendi Uygulama bütçesi, yönlendirmenin kendi anonim bütçesi, projenin Kiracı bütçesi ya da global bütçeler — reddedilir; çünkü değişiklik o bütçeyi maliyeti ölçülemeyen bir modele sessizce genişletirdi;
• AI Gateway Ayarları'ndaki global Varsayılan ve Anonim Varsayılan bütçeler (Manager arayüzü ve APIops). Varsayılan bütçenin kapsamı kurulumdaki tüm AI proxy'lerdir. Anonim Varsayılan bütçe, yönlendirmesinde kendi anonim bütçesini tanımlamış proxy'leri atlar; bunlar global bütçeye hiçbir zaman düşmez. Bir proxy'nin gerçekten kimliksiz çağrı kabul edip etmediği değerlendirilmez; kimlik doğrulama zorunlu olan proxy de sayılır.

Tek istisna organizasyon bütçesidir: kapsamı organizasyonun ve tüm alt organizasyonlarının kimlik bilgilerine yayıldığı için kayıt anında doğrulanmaz; organizasyon bütçelerinde yalnızca çalışma zamanı uyarısı geçerlidir.

Model Bazlı Sınırlar

Kimlik bilgisi katmanında, hangi modellerin kullanılabileceğini ve her modele ayrı sınır uygulanmasını sağlayabilirsiniz:

• İzin verilen model kimlikleri — bağlantıda yalnızca belirtilen modellere izin verilir (örn. sadece gpt-4o, gpt-4-turbo)
• Hariç tutulan model kimlikleri — belirli modelleri devre dışı bırakır (örn. maliyeti yüksek bir modeli kapatmak için)
• Model başına saat/gün/ay sınırları ve USD bütçesi — her modele kendi zaman penceresi ve harcama tavanı tanımlanabilir

not

Bir kimlik bilgisi, aynı sağlayıcının birden fazla modelini (örn. OpenAI'nin gpt-4o, gpt-4-turbo, gpt-3.5-turbo modelleri) kullanabilen tek bir bağlantıya karşılık gelir. Model sınırları bu bağlantı içindeki modeller arasında ayrım yapmak için kullanılır.

Kota Aşımı Davranışı

Bir istek herhangi bir katmanda sınırı aşarsa, o katman için tanımlı davranış devreye girer:

Davranış	Açıklama
Engelle	İstek HTTP 429 (Çok Fazla İstek) ile reddedilir. Sıkı maliyet tavanı için varsayılan seçimdir.
Failover sağlayıcıya yönlendir	İstek, yapılandırılmış yedek hedefe otomatik olarak yönlendirilir.
Yalnızca uyar	İstek normal şekilde işlenir; aşım yalnızca izleme ve alarm amacıyla kaydedilir (engelleme yapılmaz).
Daha ucuz modele düş	Aynı sağlayıcı içinde önceden tanımlanmış daha ucuz bir modele otomatik olarak geçilir. Geçilecek model tanımlanmamışsa istek güvenli tarafta kalınarak engellenir.

Retry-After başlığı

Engellenen her istek Retry-After başlığı (saniye) taşır; değer aşılan pencerenin (dakika/saat/gün/ay) kapanışına kalan süredir. Bu değer worker'daki apinizer.limit.retryAfterClampSeconds JVM sistem özelliğiyle üst sınırlanır (varsayılan 86400, yani 1 gün) — örneğin aylık bir pencerede 30 günlük bekleme bildirmek yerine en çok 1 gün bildirilir. İstemci süre dolmadan erken tekrar denerse yeni bir 429 ve güncel bir Retry-After alır; sayaç doğruluğu bundan etkilenmez. Bu üst sınır tüm pencerelere uygulanır, yalnızca aylık pencereye özgü değildir.

{
  "error": {
    "message": "Token quota exceeded",
    "type": "quota_exceeded",
    "param": "tokens",
    "quota_scope": "team",
    "remaining_tokens": 0,
    "reset_time": "2026-06-17T00:00:00Z"
  }
}

Tek İstek Sınırı: Bağlam Penceresi Taşması

Yukarıdaki kota aşımı davranışı bir zaman penceresi veya bütçe toplamının aşılmasını yönetir. Bundan ayrı olarak, bir AI Gateway'ine eklenen Token Rate Limit politikasında tek bir isteğin boyutuna üst sınır tanımlanabilir; bu kontrol, yukarıdaki zaman-pencereli kota kontrolünden önce çalışan ucuz bir ön-kontroldür ve Token Kotaları ekranından bağımsız yönetilir.

Kota tanımlamadan da kullanılabilir

Bu bölüm tek başına çalışır. Yalnızca istek boyutunu sınırlamak isteyen bir kurulumda, hiç kota tanımlamadan Token Rate Limit politikasını ekleyip sadece bu alanları doldurmak yeterlidir — kota katmanı devreye girmez ve istek cache'e hiç gitmez. Politikadaki Kota Rezervasyonu & Cache Davranışı ayarları (TTL, cache timeout, fail-open) yalnızca Token Kotaları ekranında ya da AI Gateway genel ayarlarındaki platform limitinde en az bir limit tanımlıysa anlam kazanır.

Sınırın kaynağı iki şekilde belirlenebilir:

Sınır Kaynağı	Açıklama
Açık (varsayılan)	Politikada elle girilen sabit bir istek başına maksimum token sayısı kullanılır
Model Kataloğu	Sınır, seçili modelin katalogdaki bağlam penceresinden türetilir: bağlam penceresi eksi modelin maksimum çıktı token'ı eksi bir güvenlik payı (512 token). Modelin bağlam penceresi katalogda bilinmiyorsa, bu istek için sınır kontrolü engellemek yerine atlanır.

Sınır aşıldığında iki davranıştan biri uygulanır:

Davranış	Açıklama
Engelle (varsayılan)	İstek reddedilir
En Eski Mesajları Kes	Konuşmanın en eski kullanıcı/asistan turları, tahmini token sayısı sınıra sığana kadar sırayla atılır. Sistem mesajları ve konuşmanın son kullanıcı mesajı asla atılmaz; bunlar tek başına sınırı aşıyorsa istek yine engellenir.

not

İstek başına maksimum karakter sınırı bu ikinci davranışı desteklemez — o sınır her zaman isteği engeller, mesaj kesme uygulamaz.

Bir istek kesildiğinde yanıtta X-Apinizer-AI-Truncated header'ı döner (atılan mesaj sayısını taşır) ve durum Raporlar ve Analitik sayfasındaki Guardrail Tetiklenme raporunda görünür hale gelir.

Eşik Alarmları

Her zaman tabanlı veya USD kotası için %50 / %80 / %90 / %100 doluluk eşiklerinde otomatik alarm tetiklenir.

not

Eşik alarmları yalnızca bilgilendirme amaçlıdır — alarm mekanizmasında bir sorun oluşsa bile isteğin işlenmesi bundan etkilenmez.

Rezervasyon ve Uzlaştırma

İstek başladığında, tahmini token sayısı üzerinden geçici bir ön-rezervasyon yapılır; bu, aynı anda gelen çok sayıda isteğin kota sınırını aşmasını önler. Yanıt akışı tamamlandığında gerçek token kullanımı ile uzlaştırma yapılır: fark iade edilir ya da ek olarak düşülür. Rezervasyon süresi dolmadan yanıt tamamlanmazsa rezerve edilen miktar otomatik olarak serbest bırakılır.

Kota Oluşturma ve Yönetme

Yönetim Konsoluna Gidin

AI Gateway → Token Kotaları sayfasına gidin.

Kota Ekle'ye Tıklayın

Yeni Kota düğmesine tıklayın ve pencere türünü seçin (zaman tabanlı veya USD bütçe).

Katmanı Seçin

Kotanın uygulanacağı katmanı seçin: Kimlik Bilgisi, Kuruluş, Uygulama veya Proje. Proje seçildiğinde hedef alanında aktif projenin adı görünür (kural o projeye bağlanır; aktif proje yoksa önce bir proje seçin). Kimlik Bilgisi katmanında bir satır oluşturmak, o kimlik bilgisi (ya da API istemcisi) için typed bir atama türetir; aynı atamayı Limit Planları ekranındaki Limitler sekmesinden de düzenleyebilirsiniz.

Limitleri Ayarlayın

Zaman tabanlı kotalar için dakika/saat/gün/ay sınırlarını, USD bütçesi için saatlik/günlük/aylık üst harcamayı girin.

Aşım Davranışını Seçin

Sınır aşıldığında uygulanacak davranışı seçin: Engelle, Failover, Yalnızca uyar veya Daha ucuz modele düş.

Model Sınırlamaları (İsteğe Bağlı)

Kimlik bilgisi kapsamında, hangi modellere izin verileceğini veya hangilerinin hariç tutulacağını belirleyin.

Kaydet ve Etkinleştir

Kotayı Kaydet'e tıklayın. Yeni istekler bu kota altında değerlendirilir; devam etmekte olan istekler etkilenmez.

Kota İstatistikleri ve İzleme

Analitik sayfasının Kullanım Raporları tab'ının Kota Kullanımı bölümünde:

• Her katman için kullanılan ve kalan token miktarı
• Aylık bütçe kullanımı (örn. $2.500 / $5.000)
• Kota sınırına ulaşan ve reddedilen istek sayıları

Raporlar kişi, ekip, model ve sağlayıcı başına ayrıştırılabilir.

Kimlik Bilgisi katmanındaki kullanım artık typed atamanın kendisine yazılır. Daha önce hiç tüketici kaydı olmamış, bağımsız bir API istemcisinin kullanımı ve bir portal uygulamasının kullanımı artık kendi satırlarıyla ayrıca raporlanır; bu sayaçların hesap düzeyindeki görünümü için bkz. Kota Kullanımı ve Uyarılar.

Aynı sayıları Management API üzerinden okumak

Token kotaları APIops REST API üzerinden görüntülenebilir ve güncellenebilir; bkz. API Referansı: AI Bütçeleri. Bu uçlar tavanları anlatır. Bu tavanlara karşı gerçekte ne tüketildiği — kurum, tüketici, uygulama, API istemcisi veya API proxy kapsamında token, ABD doları cinsinden maliyet, kalan pay, yüzde ve sıfırlanma zamanı — Kullanım Raporları API'si ile okunur; geri faturalama dışa aktarımları ve bütçe alarmı işleri için tasarlanmış beş salt-okunur GET ucudur.

Bu rakamların üzerine rapor kurmadan önce üç özelliğini bilmek gerekir:

• Tüketici, kurum ve AI proxy saatlik kullanım toplamından okunur — bu ekranın ve AI raporlarının kullandığı tablonun aynısı olduğu için sayılar burada gördüğünüzle örtüşür. Yaklaşık saatte bir tazelenir ve trafik günlüğünün saklama süresinden bağımsız tutulur; bu nedenle "geçen çeyrek" sorusu doğru yanıtlanır. Ayrımı tam bir UTC günüdür ve yanıt hangi günleri fiilen ölçtüğünü söyler.
• Uygulama ve API istemcisi ise trafik günlüğünden okunur, çünkü toplam tabloda uygulama boyutu yoktur. Bu iki kapsamın rakamları trafik günlüğünün saklama süresiyle sınırlıdır ve 2026.09.2 öncesinde kaydedilen trafik belirli bir API istemcisine hiç atfedilemez.
• Bütçe bloğu geçmiş değil, canlıdır. Sorduğunuz dönemden bağımsız olarak her zaman o an açık olan kota pencerelerini anlatır ve ne kadar taze olduğunu bildirir (sayaçlar yaklaşık dakikada bir eşitlenir).

Bir kaynak okunamazsa çağrı yine başarılı yanıt verir, sonucu kısmi olarak işaretler ve ulaşamadığı ortamların adını yazar; okunamayan bir kaynağı asla sıfır tüketim olarak bildirmez.

En İyi Uygulamalar

ipucu

1. Kademeli kotalar tanımlayın: Düşük sayılarla başlayın (test amaçlı) ve ihtiyaca göre artırın
2. Model başına sınırlar kullanın: Pahalı modelleri daha kısıtlayın, ucuz modelleri daha serbest bırakın
3. Katmanları birlikte kullanın: Kişi/uygulama düzeyinde bütçe kontrolü için kimlik bilgisi katmanını, kuruluş çapında dengeleme için kuruluş katmanını kullanın
4. Eşik alarmlarını izleyin: %80 ve %90 eşiklerini erken uyarı sinyali olarak takip edin

Sorun Giderme

Kota Sınırı Beklenmedik Şekilde Aşıldı

• Katman hiyerarşisini kontrol edin — daha düşük bir katmanda kısıtlama olabilir
• Model başına sınırları kontrol edin — kota modele özgü olabilir

Kota Değişikliği Etkili Olmuyor

• Kaydettikten sonra yalnızca yeni istekler yeni kotayı kullanır; devam eden istekler etkilenmez
• Katman ve model kimliğinin doğru girildiğini doğrulayın

Token kotaları APIops REST API ile de görüntülenip güncellenebilir; bkz. API Referansı: AI Budgets.

Sonraki Adımlar

Limit Planları

Yeniden kullanılabilir bütçe planlarını bir API istemcisine veya kimlik bilgisine ek bir tavan olarak atayın

AI Maliyet Ayarları

Model birim fiyatlarını ve maliyet hesaplamasını yapılandırın

Yönlendirme ve Failover

Aşım durumunda devreye giren yedek hedefleri yapılandırın

Raporlar ve Analitik

Kota ve maliyet kullanımını raporlarda inceleyin