Kaynak

Copyleaks'nin Doğruluğunun Değerlendirilmesi Yapay Zeka Dedektörü

Adım Adım Metodoloji

Sınav tarihi: 25 Mayıs 2024

Test edilen model: V5

AI Detector'ın tamamen şeffaf olmasının her zamankinden daha önemli olduğuna inanıyoruz doğruluk, yanlış pozitif ve yanlış negatif oranları, iyileştirme alanları ve daha fazlası sorumlu kullanım ve benimsemeyi sağlamak için. Bu kapsamlı analiz, AI Detector'ımızın V5 model test metodolojisi etrafında tam şeffaflık sağlamayı amaçlamaktadır.

Metodoloji

Copyleaks Veri Bilimi ve QA ekipleri tarafsız ve doğru sonuçlar sağlamak için bağımsız olarak testler gerçekleştirdi. Test verileri eğitim verilerinden farklıydı ve daha önce AI Detector'a AI tespiti için gönderilmiş hiçbir içerik içermiyordu.

Test verileri, doğrulanmış veri kümelerinden kaynaklanan insan tarafından yazılmış metinlerden ve çeşitli AI modellerinden AI tarafından oluşturulan metinlerden oluşuyordu. Test, Copyleaks API ile gerçekleştirildi.

Metrikler

Metrikler, doğru ve yanlış metin tanımlama oranına dayalı genel doğruluğun yanı sıra gerçek pozitif oranları (TPR) ve yanlış pozitif oranları (FPR) inceleyen ROC-AUC'yi (Alıcı İşletim Karakteristiği - Eğrinin Altındaki Alan) içerir. Ek metrikler arasında F1 puanı, gerçek negatif oran (TNR), doğruluk ve karışıklık matrisleri bulunur.

Sonuçlar

Yapılan testler, AI Detector'ın insan tarafından yazılan metin ile AI tarafından oluşturulan metin arasında ayrım yapmada yüksek bir algılama doğruluğu gösterdiğini ve düşük yanlış pozitif oranını koruduğunu doğruluyor. 

Değerlendirme Süreci

Çift departmanlı bir sistem kullanarak, değerlendirme sürecimizi en üst düzey kalite, standartlar ve güvenilirliği garanti altına alacak şekilde tasarladık. Modeli değerlendiren iki bağımsız departmanımız var: veri bilimi ve QA ekipleri. Her departman kendi değerlendirme verileri ve araçlarıyla bağımsız olarak çalışır ve diğerinin değerlendirme sürecine erişimi yoktur. Bu ayrım, değerlendirme sonuçlarının tarafsız, nesnel ve doğru olmasını sağlarken modelimizin performansının tüm olası boyutlarını yakalar. Ayrıca, test verilerinin eğitim verilerinden ayrıldığını ve modellerimizi yalnızca geçmişte görmedikleri yeni veriler üzerinde test ettiğimizi belirtmek önemlidir.

Metodoloji

Copyleaks' QA ve Veri Bilimi ekipleri bağımsız olarak çeşitli test veri kümeleri topladı. Her test veri kümesi sınırlı sayıda metinden oluşur. Her veri kümesinin beklenen etiketi (belirli bir metnin bir insan tarafından mı yoksa yapay zeka tarafından mı yazıldığını gösteren bir işaretleyici) verinin kaynağına göre belirlenir. İnsan metinleri, modern üretken yapay zeka sistemlerinin ortaya çıkmasından önce veya daha sonra ekip tarafından tekrar doğrulanan diğer güvenilir kaynaklar tarafından yayınlanan metinlerden toplandı. Yapay zeka tarafından oluşturulan metinler, çeşitli üretken yapay zeka modelleri ve teknikleri kullanılarak oluşturuldu.

Testler Copyleaks API'sine karşı yürütüldü. API'nin çıktısının hedef etikete göre her metin için doğru olup olmadığını kontrol ettik ve ardından karışıklık matrisini hesaplamak için puanları topladık.

Sonuçlar: Veri Bilimi Ekibi

Veri Bilimi ekibi aşağıdaki bağımsız testi gerçekleştirdi: 

  • Metinlerin dili İngilizce idi ve toplamda çeşitli LLM'lerden 250.030 insan tarafından yazılmış metin ve 123.244 yapay zeka tarafından oluşturulmuş metin test edildi.. 

  • Metin uzunlukları değişebilir, ancak veri kümeleri yalnızca 350 karakterden (ürünümüzün kabul ettiği minimum değer) daha uzun metinleri içerir.

Değerlendirme Ölçütleri

Bu metin sınıflandırma görevinde kullanılan ölçütler şunlardır:

1. Karışıklık matrisi: TP (gerçek pozitifler), FP (yanlış pozitifler), TN (gerçek negatifler) ve FN (yanlış negatifler) değerlerini gösteren tablo.

2. Doğruluk: Gerçek sonuçların (hem gerçek pozitifler hem de gerçek negatifler) oranı toplam metin sayısı kontrol edildi.

3. TNR: Doğru negatif tahminlerin oranı tüm olumsuz tahminler.

Yapay zeka tespiti bağlamında TNR, modelin insan metinleri üzerindeki doğruluğudur.

4. TPR (Geri Çağırma olarak da bilinir): Gerçek pozitif sonuçların oranı tüm gerçek tahminler.

Yapay zeka tespiti bağlamında TPR, modelin yapay zeka tarafından oluşturulan metinler üzerindeki doğruluğudur.

5. F-beta Puanı: hassasiyet ve geri çağırma arasındaki ağırlıklı harmonik ortalama, hassasiyeti daha fazla destekler (daha düşük bir Yanlış Pozitif Oranı'nı desteklemek istediğimiz için).

6. ROC-AUC: Değerlendirme Pazarlıksız TPR ve FPR arasında.

Birleştirilmiş Yapay Zeka ve İnsan Veri Setleri

Sonuçlar: QA Ekibi

QA ekibi aşağıdaki bağımsız testi gerçekleştirdi:

  • Metnin dili İngilizce idi ve toplamda çeşitli LLM'lerden 320.000 insan tarafından yazılmış metin ve 172.500 yapay zeka tarafından oluşturulmuş metin test edildi..

     

  • Metin uzunlukları değişebilir, ancak veri kümeleri yalnızca 350 karakterden (ürünümüzün kabul ettiği minimum değer) daha uzun metinleri içerir.

Yalnızca İnsanlara Yönelik Veri Kümeleri

Yalnızca insanlara ait veri kümeleri için veri grafiği

Yalnızca AI Veri Kümeleri

Yalnızca AI veri kümeleri grafiği

*Model sürümleri zamanla değişebilir. Metinler, yukarıdaki üretken AI modellerinin mevcut sürümlerinden biri kullanılarak oluşturulmuştur.

İnsan ve Yapay Zeka Metin Hatası Analizi

Değerlendirme süreci sırasında, model tarafından yapılan hataları belirleyip analiz ediyoruz ve veri bilimi ekibinin bu hataların altında yatan nedenleri düzeltmesini sağlayacak ayrıntılı bir rapor çıkarıyoruz. Bu, hataların kendilerini veri bilimi ekibine ifşa etmeden yapılır. Tüm hatalar sistematik olarak kaydedilir ve altta yatan nedenleri anlamayı ve tekrarlanan kalıpları belirlemeyi amaçlayan bir "kök neden analizi süreci"nde karakterlerine ve doğalarına göre kategorilere ayrılır. Bu süreç her zaman devam eder ve modelimizin zaman içinde iyileştirilmesini ve uyarlanabilirliğini sağlar.

Böyle bir testin bir örneği şudur: analizimiz 2013 – 2024 yılları arasında V4 modelimizi kullanarak internet verilerinin2013'ten başlayarak her yıldan 1 milyon metin örneği aldık ve yapay zeka sistemlerinin piyasaya sürülmesinden önce, 2013-2020 yılları arasında tespit edilen tüm yanlış pozitifleri kullanarak modeli daha da iyileştirmeye yardımcı olduk.

Nasıl olduğuna benzer Dünya çapında araştırmacılar Farklı AI dedektör platformlarını yeteneklerini ve sınırlamalarını ölçmek için test ettik ve etmeye devam ediyoruz, kullanıcılarımızı gerçek dünya testleri yapmaya tamamen teşvik ediyoruz. Sonuç olarak, yeni modeller piyasaya sürüldükçe, test metodolojilerini, doğruluğu ve farkında olunması gereken diğer önemli hususları paylaşmaya devam edeceğiz.