Roblox, Discord, OpenAI та Google об’єдналися задля створення нової неприбуткової організації, яка допомагатиме покращити безпеку дітей у мережі. Ініціатива Robust Open Online Safety Tools (ROOST) спрямована на розширення доступу до базових технологій безпеки, а також надання компаніям безкоштовних відкритих інструментів ШІ, що допоможуть виявляти, перевіряти та повідомляти про матеріали сексуального насильства над дітьми (CSAM). Про це йдеться в матеріалі The Verge.
Створення ROOST частково зумовлене впливом технологій генеративного ШІ, які радикально змінили онлайн-середовище. За словами співзасновника ROOST та колишнього гендиректора Google Еріка Шмідта, існує нагальна потреба прискорити інновації у сфері безпеки дітей у мережі. Деталі про інструменти для виявлення CSAM поки що обмежені, відомо лише, що вони будуть базуватися на великих мовних моделях ШІ й об’єднають наявні засоби боротьби із подібним контентом.
«Розпочавши із платформи, орієнтованої на захист дітей, ROOST зі своїм спільним і відкритим підходом сприятиме інноваціям, робитиме ключову інфраструктуру більш прозорою, доступною й інклюзивною з метою створити безпечніший інтернет для всіх», — наголосив Шмідт.
Заява про створення ROOST пролунала на тлі гострих суперечок довкола законодавчих ініціатив щодо захисту дітей у соцмережах і на онлайн-платформах. Багато компаній шукають шляхи саморегулювання, щоб задовольнити вимоги законодавців.
Національний центр із розшуку зниклих і експлуатованих дітей (NCMEC) повідомив, що кількість підозр у сексуальній експлуатації дітей зросла на 12% у 2022–2023 роках. Станом на 2020 рік понад половина американських дітей користувалися Roblox. Компанію неодноразово критикували за нездатність протидіяти сексуальній експлуатації дітей і недоречному контенту. Roblox і Discord згадувалися також у позові, який подали у 2022 році, де стверджувалося, що ці платформи не змогли запобігти комунікації дорослих із дітьми без належного контролю.
Засновники ROOST по-різному долучаються до ініціативи: надають фінансування, експертизу або власні технології. У ROOST заявили, що співпрацюватимуть із розробниками великих моделей ШІ, щоб створити спільноту практики у сфері контент-фільтрації, що передбачає надання перевірених наборів даних для навчання ШІ та виявлення прогалин у безпеці.
Ініціатива також прагне зробити наявні інструменти доступнішими, фактично об’єднавши різні технології виявлення та повідомлення про порушення в єдине рішення, яке буде легше впровадити іншим компаніям.
Як зазначив Наген Конеру (Naren Koneru), віцепрезидент Roblox із питань інженерії, довіри й безпеки, ROOST, можливо, розміщуватиме системи модерації на базі ШІ, до яких компанії зможуть підключатися через виклики до API. Проте поки неясно, які саме можливості матимуть ці інструменти.
Наприклад, Discord заявила, що її внесок ґрунтуватиметься на проєкті Lantern, присвяченому обміну інформацією між платформами, який компанія приєдналася до нього у 2023 році разом із Meta та Google.
Можливо, також ішлося про оновлену версію мовної моделі Roblox для виявлення нецензурної лексики, расизму, булінгу, сексуального характеру й іншого неприйнятного контенту в аудіозаписах, яку вони планують відкрити цього року. Невідомо достеменно, як саме ці інструменти будуть взаємодіяти з нинішніми системами виявлення CSAM, такими як Microsoft PhotoDNA.
Окрім участі в ROOST, Discord оголосив про нову функцію Ignore, яка дає змогу приховувати вхідні повідомлення і сповіщення без відома їхніх відправників.
«У Discord вірять, що безпека — це спільне благо. Ми прагнемо зробити весь інтернет, а не лише Discord, кращим і безпечнішим для молоді», — зазначив головний юрисконсульт компанії Клінт Сміт.
ROOST уже зібрав понад 27 мільйонів доларів на підтримку роботи в перші 4 роки. Серед філантропічних організацій, які фінансують ініціативу, McGovern Foundation, Future of Online Trust and Safety Fund, Knight Foundation та AI Collaborative. Також до проєкту залучені експерти у сфері захисту дітей, штучного інтелекту, відкритого коду і протидії поширенню екстремізму.
Нагадаємо, що Австралія заборонила всі соцмережі для дітей до 16 років, окрім YouTube.
Підписуйтеся на ProIT у Telegram, щоб не пропустити жодної публікації!
