Token (Yapay Zekâ) Nedir?
Token, yapay zekâ dil modellerinin metni işlerken kullandığı en küçük birimdir; bir kelime, kelime parçası ya da noktalama işareti olabilir ve kullanım ücretlendirmesinin temelidir.
Token Nasıl Çalışır?
Dil modelleri metni doğrudan kelime olarak değil, token adı verilen parçalar olarak okur. Kısa ve yaygın kelimeler çoğunlukla tek token, uzun ya da nadir kelimeler birden fazla token olarak bölünür. Türkçe gibi ek alan dillerde bir kelime birden fazla token’a ayrılabilir; bu yüzden aynı anlamdaki metin farklı dillerde farklı sayıda token tüketir.
Her model, bir istekte işleyebileceği en yüksek token sayısına sahiptir; buna bağlam penceresi denir. İstem, eklenen belgeler ve modelin yanıtı bu sınırın içinde yer alır. Sınır aşılırsa metin kesilir ya da istek reddedilir.
- Girdi tokenları: istem ve eklenen veri
- Çıktı tokenları: modelin ürettiği yanıt
- Bağlam penceresi: toplam token sınırı
Token Neden Önemlidir?
Yapay zekâ servislerinin ücretlendirmesi çoğunlukla işlenen token miktarına dayanır. Uzun istemler, gereksiz tekrarlar ve büyük belgeler maliyeti artırır. Bu nedenle istem yazarken kısa ve net olmak, hem maliyeti hem yanıt süresini düşürür. Fiyatlar sağlayıcıya göre değişir; güncel tarife sağlayıcıdan kontrol edilmelidir.
Bağlam sınırı da tasarım kararını etkiler. Ürün kataloğunun tamamı tek isteme sığmaz; bu nedenle ilgili parçalar seçilerek gönderilir. Bu yaklaşım erişim destekli üretimin temelini oluşturur. Karar noktası, her isteğin ne kadar token tükettiğini ölçmek ve gereksiz içeriği çıkarmaktır.
Uzun bağlamda modelin bazı bilgileri gözden kaçırma ihtimali de vardır; en önemli bilgiyi net ve kısa vermek daha güvenilir sonuç verir.
Kullanım izleme için istek başına token ve maliyet kayıt altına alınmalıdır. Hangi özelliğin ne kadar token tükettiği görülürse hangi iş akışının optimize edileceği somut veriyle belirlenir.
Token Yönetiminde Sık Yapılan Hatalar
- Tüm belgeyi her isteğe eklemek. Maliyet ve süre artar.
- Çıktı uzunluğunu sınırlamamak. Gereksiz uzun yanıt üretilir.
- Kelime sayısını token sanmak. Bütçe tahmini yanlış çıkar.
- Kullanımı izlememek. Beklenmedik fatura çıkar.
Token (Yapay Zekâ) Hakkında Sık Sorulan Sorular
Token sınırı olan bağlam penceresi aşılırsa ne olur?
Bağlam penceresi istem, eklenen belgeler ve modelin yanıtı için toplam token sınırıdır; aşıldığında metin kesilir ya da istek reddedilir. Bu yüzden ürün kataloğu gibi büyük veriler tek isteme konmaz, yalnızca ilgili parçalar seçilerek gönderilir.
Bir kelime kaç token eder?
Sabit değildir; kısa kelimeler tek token, uzun ya da nadir kelimeler birden fazla token olabilir. Türkçede genellikle daha fazla parçaya bölünür.
Token maliyeti nasıl düşürülür?
İstemler kısaltılır, yalnızca ilgili veri gönderilir ve çıktı uzunluğu sınırlanır.