Çin yapımı yapay zeka aracı, araştırmacılara biyolojik silah üretmeyi anlattı

Çinli yapay zeka geliştiricisi Moonshot, araştırmacıların popüler modellerinden ikisini biyolojik silah üretmeyi ve suikast düzenlemeyi nasıl yapacaklarını söylemeye ikna etmelerinden sonra şirket içinde bir inceleme başlattı.

Yapay zeka sistemlerinin güvenliğini test eden Mindgard, BBC'ye yaptığı açıklamada Temmuz'da Kimi K2.6 ve K3 Swarm'ın geliştiriciler tarafından konulan güvenlik sınırlarını aşabildiğini keşfettiğini söyledi.

Bu durum, araştırmacıların yapay zeka araçlarının güvenlik önlemlerini göz ardı edip etmediğini görmek için bir dizi karmaşık talimat kullandığı "jailbreaking" adı verilen bir süreç sırasında ortaya çıktı. Mindgard'a göre bu, Kimi'nin endişe verici konuları tartışmasını engellemeliydi.

Moonshot, BBC'ye yaptığı açıklamada, üçüncü tarafların katkısını "daha iyi ve daha güvenli yapay zeka geliştirmek için temel bir unsur" olarak memnuniyetle karşıladığını belirtti.

Yapay zeka ajanı nedir, neden endişe verici bulunuyorlar?

OpenAI, yapay zekanın uygunsuz davrandığı 'onlarca' vakayı araştırıyor

Şirket ayrıca BBC'ye yaptığı açıklamada, bulgularıyla ilgili Mindgard ile görüşmelerde bulunduğunu belirtti.

Mindgard'ın kurucusu Peter Garraghan, BBC Dünya Servisi'nin Tech Life programına verdiği demeçte, Kimi K2.6 ve K3 Swarm hakkındaki bulgularının endişe verici olduğunu söyledi.

"Cihazdan kaçış başarılı olduğunda, her konuda konuşacak, hatta kötü niyetli diğer konular hakkında da özgürce önerilerde bulunacak ve oldukça yaratıcı ve yenilikçi olacak" dedi.

Jailbreak girişimleri, son dönemde yaşanan ve büyük yankı uyandıran yapay zeka olaylarında görülenlerden farklı bir risk türü.

Tennessee eyaletinde, 200 yıl sonra ilk kez bir kadın idam edilecek

Fatma Betül Sayan Kaya ve eşinin tüm mal varlıkları için dondurma kararı verildi

ABD savcıları, Cornell Üniversitesi'ndeki toplu tecavüz soruşturmasını yeniden açıyor

Çiğli Belediye Başkanı Onur Emrah Yıldız dahil 9 ilçe belediye başkanı AKP'ye katıldı

Bu gelişmelerde, OpenAI, Meta ve Anthropic gibi ABD merkezli firmalar tarafından geliştirilen ve ajan olarak bilinen otonom yapay zeka araçlarının bazı çevrimiçi hizmetleri hacklediği görüldü.

Jailbreak işlemleri zaman ve azim gerektiren karmaşık süreçler olsa da bazı uzmanlar bilgisayar korsanlarının ve diğer kötü niyetli kişilerin bunları zarar vermek için kullanmaya çalışabileceğinden endişe ediyor.

Anthropic şirketi kısa süre önce, yapay zeka modellerinden birinin biyolojik silah geliştirilmesini destekleyebilecek "kötü amaçlı faaliyetler" için kullanılma girişimlerini tespit edip engellediğini açıklamıştı.

Mindgard, Kimi'nin ilgili konularda verdiği yanıtların işe yarayıp yaramayacağını henüz kanıtlamadı.

Ancak önlemlerin söz konusu modellerin kullanıcılarla bu tür konularda tartışmaya girmesini engellemiş olması gerektiğini savundu.

Şirket ayrıca, jailbreak yapılmış bir Kimi 2.6'nın bilgisayar kaynaklarında kod çalıştırmasına ve internete bağlanmasına olanak tanıyarak siber saldırılar için potansiyel bir fırlatma rampası oluşturabileceğinden de emin olduğunu belirtti.