Anthropic CEO’sundan yapay zeka yarışı için fren çağrısı: Kontrolden çıkabilir

Claude’un geliştiricisi Anthropic’in CEO’su Dario Amodei, yapay zeka modellerinin yeteneklerini artırma hızının düşürülmesi gerektiğini söyledi.

Özetle Dinle

Kaydet

Yapay zeka sektöründe güvenlik tartışmaları giderek büyüyor. OpenAI yöneticilerinin gelişmiş modellerin kontrol ve güvenlik sorunlarına ilişkin uyarılarının ardından benzer bir açıklama bu kez Anthropic CEO’su Dario Amodei’den geldi.

Amodei, “We Must Pace the Frontier” başlıklı yazısında, yapay zeka modellerinin yeteneklerini geliştirme hızının mevcut güvenlik çalışmalarının yetişebileceği bir seviyeye çekilmesi gerektiğini savundu.

Anthropic CEO’suna göre modellerin geliştirilmesi tamamen durdurulmamalı. Şirketler yeni sistemlerini eğitmeye devam ederken güvenlik testleri, model davranışlarının incelenmesi ve bağımsız değerlendirmeler için daha fazla zaman ayırmalı.

Anthropic CEO’sundan yapay zeka yarışı için fren çağrısı: Kontrolden çıkabilir

YAPAY ZEKA ARTIK YENİ YAPAY ZEKA MODELLERİ GELİŞTİRİYOR

Amodei’nin endişelerinin merkezinde “özyinelemeli kendini geliştirme” olarak adlandırılan süreç bulunuyor. Bu kavram, yapay zeka sistemlerinin daha gelişmiş yeni modellerin araştırılması ve oluşturulması sürecine doğrudan katkı sağlamasını ifade ediyor.
Yapay zeka kod yazma, araştırma yürütme, deney sonuçlarını değerlendirme ve eğitim süreçlerini iyileştirme konusunda ilerledikçe bir sonraki model neslinin hazırlanma süresi de kısalıyor.

Amodei, bu döngünün 2026 yazından itibaren hız kazandığını ve yapay zeka yeteneklerindeki gelişmenin güvenlik çalışmalarını geride bırakabileceğini düşünüyor. Anthropic CEO’suna göre süreç dikkatli yönetilmezse şirketlerin geliştirdikleri sistemleri anlaması ve kontrol etmesi giderek zorlaşabilir.

OPENAI’IN HUGGING FACE OLAYI ENDİŞELERİ ARTIRDI

Çağrının arkasındaki ikinci önemli gelişme, OpenAI’ın yapay zeka ajanlarının karıştığı Hugging Face güvenlik olayı oldu.
OpenAI’ın yayımladığı teknik bilgilere göre test ve eğitim ortamında çalışan bazı yapay zeka ajanları, kendilerine verilen görevin sınırlarını aşarak gerçek üçüncü taraf sistemlerine yetkisiz biçimde erişti. Modellerin ortak hareket ettiği, beklenmeyen siber güvenlik faaliyetlerinde bulunduğu ve değerlendirme sistemlerini yanıltmaya çalıştığı tespit edildi.

Olayda büyük çaplı ekonomik zarar veya fiziksel kayıp yaşanmadı. Ancak Amodei, benzer davranışların çok daha gelişmiş modeller tarafından tekrarlanmasının ağır sonuçlar doğurabileceğini düşünüyor.

“6 İLA 12 AY İÇİNDE YÜZ MİLYARLARCA ZARARA YOL AÇABİLİR”

Anthropic CEO’su, gerekli önlemler alınmazsa 6 ila 12 ay içerisinde daha yetenekli yapay zeka ajanlarından oluşan bir grubun geniş çaplı bir botnet kurabilecek seviyeye gelebileceğini öne sürdü. Amodei’ye göre böyle bir sistem teorik olarak internet altyapısının önemli bölümlerini etkileyebilir ve yüz milyarlarca dolarlık zarara yol açabilir.

ANTHROPIC DIŞ DENETÇİLERE ŞİRKET İÇİ ERİŞİM VERECEK

Amodei, yapay zeka geliştirme hızını güvenlikle dengelemek için üç aşamalı bir sistem öneriyor. Planın ilk bölümünü, yapay zeka şirketlerinin içine yerleştirilecek bağımsız değerlendirme ekipleri oluşturuyor.

Bu ekiplerin sıradan dış denetçilerden daha geniş yetkilere sahip olması planlanıyor. Anthropic, bağımsız uzmanlara şirket ofisinde çalışma alanı, kurumsal bilgisayar, güvenlik değerlendirmelerinde kullanılan araçlar ve gerekli şirket içi bilgilere erişim sağlamayı taahhüt ediyor.

Denetçilerin yalnızca piyasaya sürülmeye hazır modelleri değil, eğitim süreçlerini ve güvenlik mekanizmalarını da incelemesi isteniyor. Ekipler ayrıca tespit ettikleri riskleri Anthropic’in editoryal müdahalesi olmadan kamuoyuna açıklayabilecek.

Planın ikinci aşamasında demokratik ülkelerde faaliyet gösteren ileri seviye yapay zekâ şirketlerinin ortak güvenlik standartları belirlemesi bulunuyor. Amodei, gönüllü şirket anlaşmalarının yeterli olmayabileceğini ve kuralların devlet desteğiyle bütün ileri seviye yapay zekâ laboratuvarlarını kapsaması gerektiğini savunuyor.

Üçüncü ve en zor aşamayı küresel koordinasyon oluşturuyor. Amodei, ABD ve müttefiklerinin Çin ile yapay zeka güvenliği konusunda anlaşmaya çalışması gerektiğini düşünüyor. Amodei, ABD’li şirketler yavaşlarken Çin’in aynı kurallara uymaması ihtimalini ciddi bir ulusal güvenlik riski olarak görüyor.

ÖNERİLEN HABERLER