Token Nedir? LLM Kullanımı ve Maliyet Rehberi

Token Ne Demektir?

Büyük Dil Modelleri (LLM'ler) metinleri kelime olarak değil, token adı verilen parçalara ayırarak işler. Bir token, İngilizce'de genellikle bir kelimenin tamamı ya da bir kısmıyken; Türkçe gibi aglutinatif dillerde bir kelimenin kök veya ek parçalarına ayrılmasını temsil eder. Örneğin "anlayamadım" kelimesi birden fazla tokene bölünebilir.

Tokenlar aynı zamanda sayıları, noktalama işaretlerini, boşlukları ve özel karakterleri de kapsar. Kısacası modelin anladığı en küçük anlamlı birimdir diyebiliriz.

API'ler üzerinden AI modellerine gönderdiğiniz her metin, sunuculara ulaştığında tokenlara dönüştürülür. Bu nedenle ne kadar çok token gönderirseniz, model o kadar çok işlem yapar ve bu da doğrudan maliyete yansır.

Token Sayaçları ve Pratik Tahmin

Gönderdiğiniz metindeki token sayısını tam olarak bilmeye çalışmak kafa karıştırıcı olabilir, çünkü her model farklı tokenizer kullanır. Ancak genel bir kural bilmek işinizi kolaylaştırır:

• İngilizcede yaklaşık 4 karakter = 1 token
• Türkçede kelime başına ortalama 1,5 ile 2,5 token düşer
• Kısa bir cümle genellikle 10-20 token arasındadır

Resmi token sayısı için modelin kendi tokenizer'ını kullanmak en doğrusudur. Ancak hızlı bir tahmin için metninizi kopyalayıp karakter sayısını göz önünde bulundurabilirsiniz. Token sayısını görmek için apicloud.com.tr platformu üzerinden hazırladığı API isteklerinde gerçek token harcamasını kontrol edebilirsiniz.

Maliyet Nasıl Hesaplanır?

LLM servislerinde fiyatlandırma iki yönden oluşur:

• Prompt tokenları: Size gönderdiğiniz mesaj
• Completion tokenları: Modelin ürettiği yanıt

Her iki taraf da ücretlendirilir ve fiyatlar modele göre değişir. Daha büyük ve yetenekli modeller daha pahalıyken, temel sorular için daha küçük modeller yeterli olabilir.

Maliyeti azaltmanın yolları şunlardır:

• Gereksiz detaylardan kaçının; net ve kısa prompt yazın
• Uzun konuşmaları bölmek yerine kritik kısımları gönderin
• Aynı görev için daha uygun fiyatlı bir model tercih edin
• Yanıt uzunluğunu sınırlayan parametrelerle gereksiz çıktıları engelleyin

Sonuç

Token kavramını anlamak, AI API maliyetlerinizi kontrol etmenin ilk adımıdır. Ne kadar ve nasıl token harcadığınızı bilmek, bütçenizi planlamanızı ve verimli kullanım alışkanlıkları geliştirmenizi sağlar. Her projenizde önce küçük testler yaparak token tüketimini gözlemleyin; böylece gerçek ihtiyaçlarınıza en uygun model ve ayarları seçebilirsiniz.