Popüler iletişim platformu Discord, yapay zeka destekli içerik moderasyon sistemindeki ciddi bir hatayı kamuoyuyla paylaştı. Şirketin resmi açıklamasına göre son iki ay içinde 8.000'den fazla kullanıcı, tamamen zararsız görseller paylaştıkları gerekçesiyle yanlışlıkla platformdan yasaklandı. Mayıs ayından bu yana etkili olan sorun, hafta sonu boyunca 200 ek kullanıcının daha banlanmasının ardından nihayet tespit edilip giderilebildi.

Yanlışlıkla yasaklanan içerikler arasında en çok dikkat çekenler ise oldukça sıradan görseller oldu: elektronik tablolar, satranç tahtaları görüntüleri, video oyunu doku kaplamaları ve hatta beyaz ya da gri şeffaf arka planlı basit görseller. Platformun otomatik güvenlik sistemi, bu zararsız dosyaları bilinen zararlı içerik veritabanlarıyla eşleştirirken kritik bir hata yapmış gibi görünüyor.

Discord, X (eski adıyla Twitter) üzerinden yaptığı detaylı açıklamada, moderasyon sisteminin yüklenen içerikleri bilinen zararlı materyallerle karşılaştırarak çalıştığını belirtti. Her ne kadar bu teknoloji yasa dışı içerikleri yakalamak için tasarlanmış olsa da, benzerlik tabanlı eşleştirmenin zaman zaman yanlış pozitif sonuçlar üretebileceği kabul edildi. Normal işleyişte, işaretlenen içeriklerin bir insan moderatör tarafından incelenmesi gerekiyor; ancak söz konusu hata, sistemin bu insan denetimi aşamasını atlayarak doğrudan hesap yasaklamasına yol açtı.

Şirket, konuyla ilgili olarak "Böyle bir sorunun tekrar yaşanmaması için daha sağlam güvenlik önlemleri üzerinde çalışıyoruz" açıklamasını yaptı. Tüm etkilenen hesapların şu anda geri yüklenme sürecinde olduğu bildirildi.

Kullanıcılar En Çok Kareli Desenlerden Şikayetçi

Reddit ve X platformlarında bir araya gelen mağdur kullanıcılar, yaşadıkları deneyimleri paylaşarak benzer bir örüntüye dikkat çekti. Birçok kullanıcı, yalnızca kareli ızgara desenleri içeren görseller yükledikleri için kalıcı olarak yasaklandıklarını belirtti. Kullanıcıların tahminlerine göre Discord'un yapay zeka moderasyon araçları, kareli desenlere karşı aşırı hassas hale gelmiş olabilir; zira bu tür desenler daha önce NSFW içeriklerin ve çocuk istismarı materyallerinin otomatik tespit sistemlerinden gizlenmesi amacıyla kullanılmıştı.

Sosyal medyada öfke biriken kullanıcılar, yalnızca otomatik bir sisteme dayanarak uygulanan kalıcı hesap yasaklamalarının ciddi sonuçlar doğurabileceğini vurguladı. Discord'u iş iletişimi, oyun toplulukları ve uzak mesafedeki sosyal bağlantılar için kullanan pek çok kişi için bu tür yasaklamaların yıkıcı etkiler yarattığı dile getirildi. Bir X kullanıcısı, "Discord hesabını bu kadar haksız bir şekilde kaybetmek son derece yıkıcı olabilir ve kullanıcıları ciddi şekilde etkiler. Her gün milyonlarca kullanıcı yapay zeka kaynaklı haksız yasaklamalardan muzdarip. Bu durumun durdurulması gerekiyor" ifadelerini kullandı.

Başka bir mağdur olan ve oyun yönetmeni olduğunu belirten bir geliştirici ise oyun doku görselleri nedeniyle hesabının yasaklandığını ve tüm iş iletişimini Discord üzerinden yürüttüğünü söyleyerek hesabının iadesini talep etti.

Yapay Zeka Moderasyonu Tartışması Sektörün Genel Sorunu

Discord, otomatik moderasyon sistemlerinin yol açtığı sorunlarla boğuşan tek platform değil. Geçtiğimiz yıl Instagram ve Facebook Grupları kullanıcıları da yaygın ve açıklanamayan hesap yasaklamaları bildirmiş, birçok kişi bu durumun yapay zeka moderasyon sistemlerinden kaynaklandığına inanmıştı. Ancak Meta, yapay zeka hatalarının sorumlu olup olmadığına dair kamuya açık bir doğrulama yapmaktan kaçınmıştı. Meta'nın Denetim Kurulu (Oversight Board) ise bu konuda artan bir şeffaflık talebiyle gündeme gelmişti.

Benzer şekilde Tumblr da geçen yıl kullanıcılarının hesaplarının toplu olarak yasaklandığı ve net bir açıklama yapılmadığı şikayetleriyle karşılaşmıştı. Tüm bu örnekler, platformların içerik denetimini otomasyona devretmesinin yarattığı riskleri gözler önüne seriyor.

Discord'un bu olayı kabul etmesi ve hesapları geri yükleme sürecini başlatması olumlu bir adım olarak değerlendirilse de, yapay zeka destekli moderasyon sistemlerinin güvenilirliği ve hesap verebilirliği konusundaki temel soru işaretleri sektör genelinde tartışılmaya devam edecek gibi görünüyor.