Temperature, top_p ve max_tokens: Temel Parametre Rehberi
Neden Bu Parametreleri Tanımamız Lazım
Yapay zekâ modelleriyle çalışırken sadece ne sorduğunuz değil, nasıl sorduğunuz da sonuçları doğrudan etkiler. Özellikle API üzerinden hizmet aldığınız sistemlerde bu parametreler hem çıktı kalitesini hem de maliyetinizi şekillendirir. Farklı kullanım senaryoları için farklı ayarlar seçmek, bütçenizi korumanıza ve daha tutarlı sonuçlar almanıza yardımcı olur.
Bu yazıda OpenAI uyumlu bir API platformu üzerinden hizmet veren Apicloud üzerinden erişilen modellere bu üç temel parametreyi nasıl optimize edebileceğinizi inceleyeceğiz.
Temperature: Yaratıcılık ve Deterministiklik Arasındaki Dengedir
Temperature parametresi, modelin çıktısında ne kadar rastgelelik olacağını belirler. Düşük değerler (0 ila 0.3 arası) modelin en olası kelimeleri seçmesini sağlarken yüksek değerler (0.7 ile 1.5 arası) daha sürpriz ve çeşitli yanıtlar üretir.
Matematiksel olarak temperature, modelin logit dağılımını genişleten veya daraltan bir ölçeklendirme faktörüdür. Sıfıra yaklaştıkça model neredeyse tamamen deterministik davranır; her aynı girdi için aynı çıktıyı verir. Bir değere yaklaştıkça çeşitlilik artar.
Kullanım önerileri şunlardır:
- Kod üretimi veya veri işleme gibi durumlarda düşük temperature tercih edin
- Hikâye yazma, beyin fırtınası veya yaratıcı içerik üretiminde daha yüksek değerler deneyin
- A/B testi yaparken temperature değerini sabit tutup diğer parametrelerle oynayarak farkı gözlemleyin
Unutmayın ki temperature arttıkça model daha çeşitli ama bazen daha az isabetli yanıtlar üretebilir.
Top_p: Olasılık Kütüphanesini Nasıl Daraltır
Top_p, nucleus sampling olarak da bilinir ve modelin her adımda hangi kelimeleri düşünmesini kontrol eder. Bu parametre, kümülatif olasılık dağılımının belirli bir eşiğini ifade eder. Örneğin 0.9 değeri, modelin her adımda toplam olasılığı 0.9'ı kapsayan en kısa kelime listesinden seçim yapmasını sağlar.
Temperature tek başına bazen istenmeyen nadir kelimelerin de şans bulmasına yol açabilir. Top_p ise bu durumu düzeltir; düşük olasılıklı kelime adaylarını elemek için bir filtre görevi görür.
Pratikte:
- 0.9 ile 1.0 arası değerler genel kullanım için uygundur
- 0.7 ile 0.9 arası daha odaklı ve tutarlı çıktılar üretir
- Çok düşük değerler (0.1 altı) gereksiz şekilde kısıtlayıcı olabilir
Temperature ve top_p birlikte kullanıldığında dikkat edilmeli; ikisi de çeşitliliği etkilediği için dengeli ayarlamak önemlidir.
Max_tokens: Çıktı Uzunluğunu ve Maliyeti Kontrol Etmek
Max_tokens parametresi, modelin üreteceği maksimum token sayısını sınırlar. Token, metnin kelime parçalarına bölünmüş halidir; Türkçe gibi aglutinatif dillerde genellikle sözcük başına ortalama 1.3 ila 1.5 token düşer.
Bu parametrenin maliyet üzerindeki etkisi doğrudur. Daha fazla token, daha uzun yanıt anlamına gelir ve API çağrı maliyeti token sayısıyla orantılı olarak artar. Aynı zamanda modelin konuyu dağıtmasına veya gereksiz tekrarlara girmesine neden olabilir.
Akıllı kullanım için:
- Kısa yanıtlar istediğiniz durumlarda (örneğin sınıflandırma, özetleme) düşük değerler belirleyin
- Uzun metin üretimi gerektiğinde makul bir sınır koyun ve gerekliyse parçalara bölün
- Sistem prompt'u ve kullanıcı mesajı token'larını da hesaba katarak toplam limiti ayarlayın
Sonuç
Temperature, top_p ve max_tokens parametrelerini doğru ayarlamak, hem daha kaliteli hem de daha ekonomik API kullanımı demektir. Her projenin kendi gereksinimleri vardır; bu yüzden farklı senaryolarda test yaparak optimal değerleri keşfetmek en doğrusudur. Apicloud platformunda OpenAI uyumlu bir arayüz üzerinden bu parametreleri kolayca yönetebilir ve kendi ihtiyaçlarınıza göre finetune edebilirsiniz. Deneyimleden öğrenilir; küçük ölçekli testlerle başlayıp sonuçları karşılaştırarak en uygun ayarları belirleyebilirsiniz.