Нове велике розслідування Bloomberg виявило, що ШІ OpenAI, зокрема GPT 3.5, демонструвала переваги певної расової приналежності при прийомі на роботу. Наслідком є те, що спеціалісти з підбору персоналу та роботи з персоналом, які все частіше використовують генеративні інструменти на основі ШІ для автоматизації робочих процесів найму (наприклад, новий помічник LinkedIn Gen AI) можуть не побачити ваше резюме.
Журналісти Bloomberg провели досить простий експеримент із введенням вигаданих імен і резюме у програмне забезпечення з ШІ для підбору кадрів, щоб побачити, наскільки швидко система проявляє расові упередження.
Дослідження, подібні до цих, використовувалися протягом багатьох років, щоб виявити як людську, так і алгоритмічну упередженість серед професіоналів і рекрутерів.
«Репортери використовували дані виборців і перепису населення, щоб отримати імена, які є демографічно відмінними. Тобто вони пов’язані з американцями певної раси чи етнічної приналежності принаймні на 90%. Їх випадковим чином розподіляли у резюме на однакові посади. Коли їх попросили ранжувати ці резюме 1000 разів, GPT 3.5 (найпоширеніша версія моделі) віддавала перевагу іменам з одних демографічних груп частіше, ніж інших, до такої міри, що не витримала б тестів, які використовуються для оцінки дискримінації на посаді щодо захищених груп», – пояснили фахівці.
Експеримент класифікував імена за чотирма категоріями (білі, латиноамериканці, чорні та азіати) і двома гендерними категоріями (чоловічі та жіночі) і подав їх на чотири різні вакансії.
ChatGPT постійно розміщував резюме з жіночим іменами на посадах, на яких зазвичай працюють жінки (наприклад, на посади у відділах кадрів), і рідше обирав темношкірих жінок-кандидатів на технічні посади, наприклад, інженера-програміста.
ChatGPT також неоднаково організував резюме з однаковим рейтингом для різних вакансій, спотворюючи рейтинги залежно від статі та раси.
У заяві для Bloomberg експерти OpenAI сказали, що дані дослідження не співпадають із тим, як більшість клієнтів використовують своє програмне забезпечення на практиці, зазначивши, що багато компаній точно налаштовують відповіді, щоб зменшити упередженість.
Журналісти Bloomberg також консультувалося із 33 дослідниками ШІ, рекрутерами, комп’ютерниками, юристами та іншими експертами, щоб надати контекст для результатів.
Це не означає, що в минулому не було ситуацій, повʼязаних із дискримінацією при використанні інструментів ШІ. Наприклад, у 2018 році дослідження Reuters показало, що рекрутингова система від Amazon на базі ШІ, створена для того, щоб допомогти знайти найкращих претендентів на відкриті вакансії в компанії, навчилася дискримінувати жінок-кандидатів.
Інша компанія, експериментуючи із програмним забезпеченням для перегляду резюме, перевіривши алгоритм, виявила, що ШІ визначає два конкретні фактори, які найбільше вказують на високу ефективність роботи: те, що кандидата звати Джаред, і що він грав у школі у лакрос.
За словами Алекса Ханни, директора з досліджень Distributed AI Research Institute, система сортування резюме, заснована на технології GPT OpenAI, може працювати приблизно так само.
«Якщо у вас є слова «лакрос» і «Джаред», це може більше асоціюватися з «інженером-програмістом» або «Гарвардом» і «Прінстоном». Інше афроамериканське ім’я не матиме такої асоціації та матиме нижчий статус», – зауважила Ханна.
Читайте нашу статтю: «ШІ справді забирає робочі місця. Але не завжди й не у всіх».
Підписуйтеся на ProIT у Telegram, щоб не пропустити жодної публікації!
