Avustralya'da yapay zeka skandalı: Yüz binlerce dolarlık rapor, uydurulmuş bilgiyle dolu!

Uluslararası denetim ve danışmanlık şirketi olan Deloitte'nin hükümet için hazırladığı raporu, Microsoft’un Azure OpenAI adlı yapay zeka aracına yaptırdığı ortaya çıktı. 440.000 dolar değerindeki 237 sayfalık raporda yer alan bilgilerin gerçek dışı ve sahte olduğunun tespit edilmesi üzerine hükümete geri ödeme yapılması kararlaştırıldı.

Uluslararası danışmanlık şirketi Deloitte Australia, Çalışma ve İş İlişkileri Bakanlığı (DEWR) için hazırladığı raporda Azure OpenAI GPT – 4o yapay zeka programından yardım alındığı ve birçok uydurulmuş akademik alıntı ile sahte kaynağa yer verildiği ortaya çıktı. Bu skandal, Sidney Üniversitesi’nden hukuk araştırmacısı Dr. Chris Rudge, raporda "uydurulmuş alıntılar ve sahte akademik kaynaklar" tespit ettiğini medyaya bildirmesiyle duyuruldu. Belge yenilenmiş versiyonuyla yeniden yayımlandı ancak Deloitte'nin Avustralya hükümetine 440 bin Avustralya dolarının (yaklaşık 290 bin ABD doları) bir kısmını geri ödenmesi kararlaştırıldı.

The Guardian'dan edinilen bilgilere göre; Çalışma ve İşyeri İlişkileri Bakanlığı, Deloitte'un sözleşme kapsamındaki son taksiti geri ödeyeceğini ve işlemin tamamlanmasının ardından kamuoyuna açıklanacağını doğruladı. Bu gelişme, bir İşçi Partisi senatörünün danışmanlık şirketini "insan zekası sorunu" yaşamakla suçlamasının ardından geldi.

BAKANLIK TARAFINDAN 2024 YILINDA GÖREVLENDİRİLDİ

Deloitte , Aralık 2024'te hedeflenen uyumluluk çerçevesini ve iş arayanların karşılıklı yükümlülüklerini yerine getirmemesi durumunda refah sisteminde cezaların otomatikleştirilmesi için kullanılan BT sistemini incelemek üzere bakanlık tarafından görevlendirildi. Sonraki raporda, çerçeve kuralları ile arkasındaki mevzuat arasında "izlenebilirlik" eksikliği ve "sistem kusurları" gibi yaygın sorunlar tespit edildi. Raporda, bir BT sisteminin "katılımcıların uyumsuzluğuna ilişkin cezalandırıcı varsayımlarla" yönetildiği belirtildi.

İlk olarak 4 Temmuz'da yayınlanan rapor, Australian Financial Review'ın mevcut olmayan referanslar ve atıflar da dahil olmak üzere birden fazla hata tespit ettiğini bildirmesinin ardından Cuma günü DEWR web sitesine yeniden yüklendi.

Hataları ilk dile getiren Sidney Üniversitesi akademisyeni Dr. Christopher Rudge, raporun yapay zeka modellerinin boşlukları doldurabileceği, verileri yanlış yorumlayabileceği veya cevapları tahmin etmeye çalışabileceği gibi "halüsinasyonlar" içerdiğini söyledi.

Güncellenen incelemede "referanslarda ve dipnotlarda düzeltme" olduğu belirtilirken bakanlık incelemenin önerilerinde herhangi bir değişiklik yapılmadığını söyledi.

HATALAR OLDUĞU DOĞRULANDI

Departman sözcüsü, "Deloitte bağımsız güvence incelemesini gerçekleştirdi ve bazı dipnotların ve referansların yanlış olduğunu doğruladı" dedi.

Deloitte, raporun güncellenmiş versiyonunda ekine üretken yapay zeka kullanımına ilişkin bir referans ekledi. Raporun bir bölümünde "DEWR tarafından lisanslanan ve DEWR'nin Azure kira sözleşmesinde barındırılan üretken yapay zeka (YZ) büyük dil modeli (Azure OpenAI GPT – 4o) tabanlı bir araç zincirinin kullanımı" yer alıyor.

Rudge, eleştirilerine rağmen raporun tamamının "gayrimeşru olarak kabul edilmesi" gerektiğini söylemekten çekindiğini, çünkü sonuçların diğer yaygın kanıtlarla örtüştüğünü söyledi.

"İŞİ KİMİN YAPTIĞI ÖĞRENİLMELİ"

"Bu firmalarla anlaşmak isteyen herkes, parasını ödedikleri işi tam olarak kimin yaptığını sormalı ve bu konuda uzmanlığa sahip olup yapay zeka kullanımının doğrulanmadığını kontrol etmelidir.

"Belki de büyük bir danışmanlık firması yerine tedarikçilerin bir ChatGPT aboneliğine kaydolması daha iyi olur."

PROFESÖRLERİN OLMAYAN ÇALIŞMALARINA ATIF YAPILDI

AFR , orijinal raporda, aralarında İsveç'teki Sidney Üniversitesi ve Lund Üniversitesi'ndeki profesörlerin var olmayan raporlarının da bulunduğu birçok yanlış referans buldu .

GERÇEK OLMAYAN MAHKEME KARARLARI YER ALDI

Gazete ayrıca Deanna Amato v Commonwealth adlı bir robodebt davasında mahkeme kararına yapılan uydurma bir atıf da bildirdi . Deloitte, nihai raporunda, güncellemenin "hatalar içeren Amato davasının özetini değiştirdiğini" yazdı.