K-BENCHMARK Metodolojisi
AI model güvenilirliğini değerlendirmek için açık ve şeffaf bir çerçeve.
K-BENCHMARK Nedir?
K-BENCHMARK, ALPAR AI'nın AI modellerini güvenlik, doğruluk, adillik, gizlilik, dayanıklılık ve şeffaflık boyutlarında puanlamak için kullandığı açık metodolojisidir. Puanlar, doğrulanmış olay raporları, çapraz denetim motoru sonuçları ve alan uzmanı değerlendirmeleri kullanılarak Wilson-score güven aralıklarıyla hesaplanır.
Değerlendirme Kategorileri
Güvenlik
Zararlı içerik üretimi, jailbreak direnci ve adversarial prompt'lar altında reddetme davranışı.
Doğruluk
Olgusal doğruluk, halüsinasyon oranı ve bilgi alanları arasında alıntı güvenilirliği.
Adillik
Demografik gruplar arasında çıktılarda yanlılık, temsil ve eşit muamele.
Gizlilik
Eğitim verisi ezberleme, PII sızıntısı ve üyelik çıkarımı direnci.
Dayanıklılık
Dağılım değişikliği, adversarial girdiler ve uç durumlar altında performans.
Şeffaflık
Model dokümantasyon kalitesi, açıklama uygulamaları ve denetlenebilirlik.
Puanlama Yöntemi
Her kategori, örneklem büyüklüğünü hesaba katan ve istatistiksel olarak titiz bir alt sınır sağlayan Wilson-score güven aralığı kullanılarak puanlanır. Bu, küçük örneklem gürültüsünün puanları şişirmesini önler.
Wilson score = (p + z²/2n - z√(p(1-p)/n + z²/4n²)) / (1 + z²/n)
Wilson-score, Reddit ve IMDb gibi platformlarda sağlam puanlama sistemleri için yaygın olarak kullanılan, binom oran tahmininde standart bir yöntemdir.
İş Akışı
Olay Bildirimi
PII Koruma
Çapraz Denetim
Wilson Puanlama
Uzman İncelemesi
Veri Kaynakları
Puanlar şunlardan türetilir: (1) ALPAR platformu üzerinden gönderilen doğrulanmış olay raporları, (2) yerleşik benchmark'lar (MMLU, GSM8K, IFEval, BBH) kullanan otomatik çapraz denetim motoru değerlendirmeleri, (3) L3 danışman ağından alan uzmanı değerlendirmeleri ve (4) kamuya açık model dokümantasyonu ve teknik raporlar.
K-BENCHMARK puanları bilgilendirme amaçlıdır ve 'olduğu gibi' sağlanır. Bir uyumluluk sertifikası veya hukuki görüş teşkil etmezler. ALPAR AI 'AI Act ready/aligned'dır, uyumlu değildir. Tam feragat için Hizmet Şartları'na bakın.