Discord разобрался с массовыми блокировками за сетки в изображениях

В выходные на 4 июля в Discord начали приходить сообщения о необоснованных блокировках. Пользователи жаловались, что их аккаунты получали временные баны за нарушение политики защиты детей, хотя в действительности они загружали совершенно безобидные картинки — скриншоты инвентаря из Minecraft, таблицы, доски для шахмат, текстуры игр и прочую графику с сетчатой структурой.

Несколько пользователей выложили скриншоты своих приостановок и предупредили комьюнити не загружать похожие изображения, пока проблема не будет решена. Волна жалоб усилилась после того, как контент-крейтор Tall Cow обнародовал информацию о том, что система модерации Discord неправильно распознаёт изображения со сплошной сеткой как вредоносный контент.

Разработчики и обычные пользователи делились своим опытом — среди них был гейм-девелопер JDBRYANT, который назвал свою блокировку «ошибочной».

Проблема была в хеше, а не в AI

Когда ситуация стала резонировать в сети, разработчик Discord advaith выступил с официальным уточнением: это вовсе не «какая-то ошибка ИИ», как трактовали события в соцсетях. По словам devа, произошли ложные срабатывания при сопоставлении хешей контента, но все баны — только временные, пока аккаунты не будут проверены вручную.

«Это дезинформация. С AI это никак не связано. Было несколько ложных совпадений по хешам; баны только временные, пока их вручную не пересмотрят», — написал advaith в Twitter.

Когда другой пользователь спросил, исправлена ли проблема, разработчик ответил: «Да, когда мы узнали об этом вчера, мы нашли проблемный хеш и переопределили его, так что больше ничего не должно быть отфлагжено».

Комментарии указывают на то, что неприятность коренилась в неправильном содержимом хеша контента, а не в самой AI-системе модерации Discord — это напрямую противоречит версиям, которые циркулировали в интернете.

Сколько пострадало — неясно

Остаётся неизвестным, сколько пользователей пострадало до того, как проблемный хеш был удалён из системы. Хотя разработчик заверил, что новые загрузки больше не будут блокироваться, некоторые пользователи продолжали спрашивать о своих аккаунтах, которые остались в статусе приостановки и ждали ручной проверки.

Discord стал очередной платформой, где автоматическая модерация показала свои уязвимости. Напомним, что правила защиты детей на платформе действительно строгие, но иногда это приводит именно к таким ложным срабатываниям.