Token Ekonomisi: Sistem Promptunu Küçültmenin 7 Yolu
Çağdaş dil modelleri, girdi olarak gönderdiğiniz her token karşılığında işlem yapar. Bu nedenle sistem promptu, modelin nasıl davranması gerektiğini belirlediği kritik bir bileşendir; ancak ne kadar uzun olursa o kadar fazla maliyet ve gecikme demektir. Aşağıda, sistem promptunu akıllıca küçültmenin yedi somut yolunu bulabilirsiniz.
1. Doğrudan ve Net Olun
Model, edebi anlatımları veya nazik giriş cümlelerini işlemek için ekstra token harcar. "Lütfen aşağıdaki talimatları dikkatlice okuyunuz..." gibi kalıplar yerine doğrudan emir kipi kullanın. "Şunu yap." yerine "Şunu yap, şöyle yapma" diyerek sınırlandırmak daha az token alır ve modelin hatasını da azaltır. Kısa cümleler, açık talimatlar her iki açıdan da kazanır.
2. XML Etiketleriyle Yapılandırın
Uzun paragraflar yerine XML etiketleri kullanarak kuralları gruplayın. <kurallar>, <yasaklar>, <format> gibi etiketler, modelin ilgili bilgiyi daha hızlı bulmasını sağlar ve gereksiz açıklama kelimelerini ortadan kaldırır. Yapılandırılmış metin, hem okunabilirliği hem de token verimliliğini artırır.
3. Örnekleri Minimize Edin
Few-shot öğrenme (az sayıda örnek gösterme) güçlü bir tekniktir, ancak her örnek token tüketir. Her örnek için gereksiz bağlam eklemeyin; sadece giriş-çıkış ikilisini gösterin. İhtiyaç duyduğunuz örnek sayısı minimumda kalsın; genellikle iki örnek yeterli olur. Daha fazla örnek, performans artışı sağlamıyorsa ekleme yapmayın.
4. Fazlalıklardan Arının
"Bunu unutma", "lütfen", "sadece" gibi dolgu kelimeleri genellikle gereksizdir. Model, talimatı anlamak için bunlara ihtiyaç duymaz. Yazımınızı gözden geçirip her kelimenin gerçekten gerekli olup olmadığını sorun. Gereksiz tekrarları, aynı anlama gelen ifadeleri çıkarın.
5. Bağlamı Kullanıcı Mesajına Taşıyın
Sistem promptu, modelin genel kimliğini ve davranış kurallarını içermelidir; projeye özgü verileri değil. Müşteri bilgisi, ürün listesi, kullanıcı tercihleri gibi değişken bağlamı kullanıcı mesajına bırakın. Böylece sistem promptu sabit kalır ve her istekte tekrar gönderilmez; sadece değişen kısım ücretlendirilir.
6. Referans Belgeler Oluşturun
Uzun kurallar yerine, modellerin "harita" okumasına izin veren kısa referans bölümleri kullanın. Örneğin, "BrandVoice_kurallari.md dosyasına bak" şeklinde yönlendirerek, asıl içeriği kullanıcı mesajında veya dış kaynak olarak sağlayın. Bu yaklaşım sistem promptunu küçük tutar ve güncellemeleri kolaylaştırır.
7. Tekrar Eden Kalıpları Şablonlaştırın
Benzer senaryolar için tekrar eden ifadeleri bir şablona dönüştürün. "Eğer X ise A yap, Y ise B yap" şeklindeki çoklu durumlar yerine tek bir kural seti yazın. Model, şablonlaşmış yapıyı daha kısa formda işler ve siz de ileride bu şablonu yeniden kullanabilirsiniz.
Sonuç olarak, token ekonomisi sadece maliyeti düşürmez; aynı zamanda yanıt hızını artırır ve daha tutarlı çıktılar elde etmenizi sağlar. Sistem promptunu küçültürken kaliteyi kaybetmemek için yukarıdaki prensipleri uygulayabilir, apicloud.com.tr üzerinden uygun fiyatlı API erişimiyle performansınızı test edebilirsiniz. Unutmayın: daha az token, daha iyi odaklanmış bir model demekdir.