Національний інститут стандартів і технологій (NIST) (Агентство Міністерства торгівлі США, яке розробляє й тестує технології для Уряду США, компаній і широкого загалу) повторно випустило тестовий стенд, призначений для вимірювання того, наскільки зловмисні атаки можуть погіршити продуктивність системи ШІ.
Як пише Tech Сrunch, модульний вебінструмент із відкритим вихідним кодом під назвою Dioptra спрямований на те, щоб допомогти компаніям, які навчають моделі штучного інтелекту, і людям, які використовують ці моделі, оцінювати, аналізувати та відстежувати ризики ШІ.
За словами фахівців NIST, Dioptra можна використовувати для порівняльного аналізу та дослідження моделей, а також для забезпечення загальної платформи для впливу на моделі імітованих загроз у середовищі red-teaming.
«Перевірка ефектів атак на моделі машинного навчання є однією з цілей Dioptra. Програмне забезпечення з відкритим вихідним кодом, як-от генерація дочірніх файлів, доступних для безкоштовного завантаження, може допомогти спільноті (державним установам та бізнесу) оцінити заяви розробників штучного інтелекту щодо продуктивності їхніх систем», — йдеться у пресрелізі NIST.
Тести ШІ є складними не в останню чергу тому, що найдосконаліші моделі штучного інтелекту сьогодні — це чорні скриньки, інфраструктура яких, навчальні дані та інші ключові деталі зберігаються в таємниці компаніями, які їх створюють.
Цього місяця Інститут Ади Лавлейс (британський некомерційний дослідницький інститут, який вивчає штучний інтелект) опублікував звіт, який показує, що одних тільки оцінок недостатньо для визначення реальної безпеки моделі ШІ частково тому, що поточна політика дозволяє відповідним постачальникам вибірково вибирати, яке саме оцінювання проводити.
У NIST не стверджують, що Dioptra може повністю зменшити ризик моделей. Але агентство припускає, що Dioptra може пролити світло на те, які типи атак можуть знизити ефективність системи ШІ й кількісно оцінити цей вплив на продуктивність.
Однак із великим обмеженням Dioptra готова до роботи лише на моделях, які можна завантажити та використовувати локально, зокрема, Llama від Meta. Моделі, створені за API, такі як GPT-4o OpenAI, не можна використовувати, принаймні поки що.
Нагадаємо, нещодавно OpenAI представив GPT-4o mini —маленьку модель ШІ, яка підтримує ChatGPT.
Підписуйтеся на ProIT у Telegram, щоб не пропустити жодної публікації!
