Token Nedir? LLM Kullanımını ve Maliyetini Anlamlandırma Rehberi

Token Kavramına Giriş

Büyük Dil Modelleri (LLM) ile çalışırken sıklıkla duyduğumuz "token" kelimesi, aslında bir metnin modele gönderilmesinde kullanılan temel ölçü birimidir. Token, kelime demek değildir; bir kelime birden fazla token'a ayrılabilir. Örneğin, "yapay zeka" ifadesi model tarafından genellikle iki ayrı token olarak işlenir. İngilizcede bu ayrım daha karmaşıktır ve kısa kelimeler bile bazen parçalara bölünür. Türkçe gibi aglutinatif dillerde ise eklerin ayrı tokenlara dönüşmesi, kelime başına düşen token sayısını artırabilir. Bu durum, maliyet hesaplamalarında dikkate alınması gereken önemli bir detaydır.

Her model, tokenları farklı şekilde parçalar. OpenAI'nin GPT serisi, Google'ın PaLM'i veya diğer open-source modellerin her biri kendi tokenizer'ını kullanır. Bu nedenle aynı metin, farklı modellerde farklı sayıda token olarak sayılabilir. Bir metnin kaç token olduğunu öğrenmenin en kolay yolu, resmi API kütüphanelerini kullanmaktır. Türkiye'deki geliştiriciler için token hesaplama ve model erişimi gibi konularda apicloud.com.tr gibi platformlar da yol gösterici olmaktadır.

Token Nasıl Hesaplanır?

Token sayısını manuel olarak tahmin etmek neredeyse imkansızdır çünkü her modelin tokenizer'ı farklı çalışır. Ancak genel bir kabaca tahmin yapmak mümkündür. İngilizce metinlerde yaklaşık her kelime 1.3 token kadar gelmektedir. Türkçe metinlerde ise kelime başına düşen token sayısı, ek yapısı nedeniyle biraz daha yüksek olabilir. Kısa bir cümle ortalama 10-15 kelimeye denk gelen 13-20 token üretebilirken, uzun bir makale yüzlerce veya binlerce tokena ulaşabilir.

Geliştiricilerin işini kolaylaştıran birkaç pratik yöntem vardır. İlk olarak, Python ile tiktoken gibi kütüphaneler sayesinde metninizin tam token sayısını anlık olarak öğrenebilirsiniz. İkinci olarak, API çağrılarının response payload'larında kullanılan token bilgilerini inceleyerek ne kadarlık bir harcama yaptığınızı takip edebilirsiniz. Üçüncü olarak, uygulamalarınızda prompt'larınızı ve response'larınızı ayrı ayrı izlemek, toplam maliyeti daha doğru tahmin etmenizi sağlar.

LLM Maliyetleri Nasıl Oluşur?

LLM hizmetlerinin fiyatlandırması, genellikle inprompt (istek) ve output (yanıt) tokenları üzerinden yapılır. Yani modele gönderdiğiniz metin ile modelin size verdiği yanıt ayrı ayrı hesaplanır. Bir konuşma senaryosunda her tur, önceki konuşma geçmişini de içereceğinden token sayısı katlanarak artabilir. Bu durum, uzun sohbetlerde maliyetin beklenenden hızlı yükselmesine neden olur.

Farklı modellerin token başına fiyatları değişiklik gösterir. Genellikle daha büyük ve yetenekli modeller daha pahalıdır. Örneğin, GPT-4 türü gelişmiş modellerin fiyatı, GPT-3.5 gibi daha basit modellere göre önemli ölçüde yüksektir. Bazı platformlar, kendi belirledikleri indirimli oranlarla kullanıcılarına daha uygun fiyatlar da sunabilmektedir. Bu nedenle birden fazla platformu karşılaştırmak, bütçe dostu çözümler bulmada çok önemlidir.

Maliyetlerinizi kontrol altında tutmanın yolları şunlardır:

• Prompt'larınızı mümkün olduğunca kısa ve öz tutun
• Gereksiz context information'ları filtreleyin
• Gerekmediğinde daha ucuz modelleri tercih edin
• Token kullanımınızı düzenli olarak takip edin
• Çıktı tokenlarını sınırlamak için max_tokens parametresini ayarlayın

Sonuç

Token kavramını anlamak, LLM projelerinin maliyetini kontrol etmek için критик єhir. Her harfin, kelimenin ve cümlenin bir token maliyeti vardır. Projenizin ihtiyacına göre doğru modeli seçmek, prompt optimizasyonu yapmak ve token takibi gerçekleştirmek, bütçenizi korumanın anahtar adımlarıdır. Gelişen teknoloji ile birlikte token hesaplamaları ve fiyatlandırmalar da sürekli güncellenmektedir. Bu yüzden güncel bilgilere her zaman erişilebilir kaynaklardan ulaşmak, projenizin sürdürülebilirliği açısından büyük önem taşır.