Nightshade aracı, yapay zeka modellerinin eğitim verilerini “zehirliyor”

Yeni bir araç, sanatçıların sanat eserlerini çevrimiçi olarak yüklemeden önce piksellerinde görünmez değişiklikler yapmasına olanak tanıyor. Eğer bu daha sonra görüntü üreten bir dil modelinde eğitim verisi olarak sonuçlanırsa, ortaya çıkan modelin kaotik ve öngörülemez bir şekilde bozulmasına yol açabilir.

Duyuru

Araç “Nightshade” olarak adlandırılıyor ve yapay zeka şirketleri bu çalışmaları yazarların izni olmadan modellerini eğitmek için kullandığında sanatçıların eserlerini korumayı amaçlıyor. Aracın bu eğitim verilerini “zehirlemek” için kullanılması, DALL-E, Midjourney ve Stable Diffusion gibi görüntü üreten yapay zeka modellerinin gelecekteki yinelemelerine, sonuçlarından bazılarını işe yaramaz hale getirerek zarar verebilir: köpekler kediye, arabalar ineğe vb. MIT Technology Review, Usenix siber güvenlik konferansında incelenmek üzere gönderilen araştırmaya özel bir bakış attı.

Örnek olarak OpenAI, Meta, Google ve Stability AI gibi şirketler, telif hakkıyla korunan materyallerinin ve kişisel bilgilerinin İnternet’ten izinsiz veya tazminatsız olarak toplandığını iddia eden sanatçılar tarafından açılan bir dizi davayla karşı karşıyadır. Chicago Üniversitesi’nde profesör ve ekibin lideri olan Ben Zhao, sanatçıların telif hakkı ve fikri mülkiyet haklarının ihlaline karşı etkili bir caydırıcı oluşturarak yapay zeka şirketleri ve sanatçılar arasındaki güç dengesini yeniden sağlamayı amaçlıyor. Meta, Google, Stability AI ve OpenAI, MIT Technology Review’un nasıl yanıt verebileceklerine ilişkin talebine yanıt vermedi.

Zhao’nun ekibi ayrıca sanatçıların kişisel tarzlarını yapay zeka şirketleri tarafından istismar edilmesini önlemek için “maskelemelerine” olanak tanıyan bir araç olan Glaze’i de yapıyor. Nightshade’e benzer şekilde çalışır: görüntü piksellerini insan gözünün göremeyeceği kadar ince bir şekilde değiştirir, ancak makine öğrenimi modellerini görüntüyü gerçekte gösterdiğinden farklı bir şey olarak yorumlamak için yönlendirir.

Ekip Nightshade’i Glaze’e entegre etmeyi planlıyor. Daha sonra sanatçılar veri zehirleme aracını kullanıp kullanmamayı seçebilirler. Araç ayrıca diğer kullanıcıların da kullanabilmesi ve kendi varyasyonlarını oluşturabilmesi için açık kaynak olarak sunulmalıdır. Zhao, aracı ne kadar çok insan kullanırsa ve kendi versiyonlarını yaratırsa aracın o kadar güçlü olacağını söylüyor. Büyük yapay zeka modellerine yönelik veri kümeleri milyarlarca görüntüden oluşabilir. Modele ne kadar zehirli görüntüler sokulabilirse teknoloji o kadar fazla zarar verebilir.

Çalışmalarını internete yüklemek isteyen ancak görsellerinin yapay zeka şirketleri tarafından silinmesini istemeyen sanatçılar, bunları Glaze’e yükleyerek kendilerininkinden farklı bir sanat tarzıyla gizleyebiliyor. Bu nedenle Nightshade bir olasılıktır. Yapay zeka geliştiricileri, yapay zeka modellerini iyileştirmek veya yeni bir tane oluşturmak için daha fazla veri elde etmek amacıyla interneti taradıklarında, bu zehirli örnekler modelin veri kümesine yerleşir ve arızalara neden olur.

Zehirli veri modelleri, modelleri manipüle ederek örneğin şapka görsellerinin pasta, çanta görsellerinin ise tost makinesi olduğunu öğrenebilir. Zehirli verilerin kaldırılması çok zordur çünkü teknoloji şirketlerinin her bozuk örneği zahmetli bir şekilde bulup ortadan kaldırması gerekir.

Araştırmacılar saldırıyı en yeni Stabil Difüzyon modelleri ve sıfırdan kendilerinin eğittiği bir yapay zeka modeli üzerinde test etti. Stable Diffusion’a sadece 50 zehirli köpek resmi verip köpeklerin kendi resimlerini oluşturmasını istediklerinde, sonuç tuhaf görünmeye başladı: çok fazla uzuvları ve karikatürize yüzleri olan yaratıklar. Bir saldırgan, 300 zehirli örnekle kararlı difüzyonu manipüle ederek kedilere benzeyen köpek görüntüleri üretebilir.

Üretken yapay zeka modelleri, kelimeler arasında bağlantı kurma konusunda mükemmeldir ve bu da “zehir”in yayılmasını teşvik eder. Nightshade yalnızca “köpek” kelimesini değil, “yavru köpek”, “husky” ve “kurt” gibi tüm benzer terimleri de etkiliyor. Zehirli saldırı, uzaktan ilişkili görüntülerde bile işe yarıyor. Örneğin, model “Fantazi Sanatı” istemi için bir Gece Gölgesi görseli kazıyacak olsaydı, “Ejderha” ve “Yüzüklerin Efendisindeki Bir Kale” istemleri de benzer şekilde başka bir şeye dönüştürülürdü.

Zhao, veri zehirlenmesi tekniğinin kötü amaçlarla kötüye kullanılması riskinin bulunduğunu kabul ediyor. Ancak saldırganların, milyarlarca veri örneği üzerinde eğitildikleri için daha büyük, daha güçlü modellere gerçek zarar vermek için Nightshade’i kullanarak binlerce örneği manipüle etmeleri gerekeceğini söylüyor.

“Henüz bu saldırılara karşı sağlam bir savunma bilmiyoruz. Modern saldırılara karşı henüz zehirli saldırılarımız yok [maschinelle Lern-]Yapay zeka modellerinin güvenliği üzerine çalışan ve araştırmaya dahil olmayan Cornell Üniversitesi profesörü Vitaly Shmatikov, “Doğada desenler gördük, ancak bu sadece bir zaman meselesi olabilir” diyor ve ekliyor: “Bu konuda çalışmanın zamanı geldi.” savunma” diye ekledi Shmatikov.

Waterloo Üniversitesi’nde yapay zeka modellerinin mahremiyeti ve sağlamlığı üzerine çalışan ve araştırmaya dahil olmayan yardımcı doçent Gautam Kamath, çalışmanın “harika” olduğunu söylüyor.

Kamath, “Çalışma, bu yeni modellerin güvenlik açıklarının sihirli bir şekilde ortadan kaybolmadığını, aksine daha ciddi hale geldiğini gösteriyor” diyor. “Bu modeller güçlendikçe ve insanlar onlara güvendikçe bu daha da doğru oluyor, çünkü zaman geçtikçe riskler de artıyor.”

ayrıca oku

Columbia Üniversitesi’nde derin öğrenme sistemlerinin güvenliği üzerine çalışan ve bu çalışmaya dahil olmayan bilgisayar bilimi profesörü Junfeng Yang, Nightshade’in yapay zeka şirketlerini sanatçıların haklarına daha iyi saygı göstermeye ikna etmesi durumunda büyük bir etki yaratabileceğini söylüyor. telif ücreti ödemeye daha istekli olmaları.

Stability AI ve OpenAI gibi üretken metin görselleri modelleri geliştiren AI şirketleri, sanatçılara modellerin gelecekteki sürümlerini eğitmek için görsellerini kullanmamalarını önerdi. Ancak sanatçılar bunun yeterli olmadığını söylüyor. Glaze’i kullanan illüstratör ve sanatçı Eva Toorenent, devre dışı bırakma politikasının sanatçıların tüm gücü teknoloji şirketlerine verirken geriye eğilmelerini gerektirdiğini söylüyor. Toorent, Nightshade’in mevcut durumu değiştirebileceğini umuyor.

“O yapacak [KI-Unternehmen] bizi iki kez düşündürüyor çünkü bizim rızamız olmadan işlerimizi alarak tüm modellerini yok etme imkanına sahipler” diyor.

Başka bir sanatçı olan Autumn Beverly, Nightshade ve Glaze gibi araçların, çalışmalarını tekrar çevrimiçi hale getirme konusunda kendisine güven verdiğini söylüyor. Daha önce de bu fotoğrafların popüler LAION görsel veri tabanına kendi izni olmadan eklendiğini keşfettikten sonra bunları internetten kaldırmıştı. “Sanatçılara eserleri üzerindeki gücü geri verebilecek bir araca sahip olduğum için gerçekten minnettarım” diyor.


(Jle)

Haberin Sonu

Bir yanıt yazın

E-posta adresiniz yayınlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir