Чи замислювалися ви коли-небудь, скільки електроенергії ви витрачаєте, коли ставите запитання або дякуєте штучному інтелекту? Інженер Hugging Face Жюльєн Делаванде замислився і створив інструмент, який допоможе дізнатися відповідь.
Моделі ШІ споживають енергію щоразу, коли їх запускають. Вони працюють на GPU і спеціалізованих чипах, яким потрібна велика потужність для обробки масштабних обчислювальних задач. Точно визначити споживання енергії моделлю складно, але загалом вважається, що зростання використання ШІ значно збільшить потребу в електроенергії вже в найближчі роки.
Прагнення задовольнити цю потребу штовхає деякі компанії до екологічно сумнівних рішень. Ініціативи на кшталт інструмента Делаванде мають на меті привернути увагу до цієї проблеми й, можливо, змусити користувачів ШІ замислитися.
«Навіть незначна економія енергії масштабується до мільйонів запитів. Вибір моделі або довжина відповіді можуть суттєво вплинути на довкілля», — пишуть Делаванде і його співавтори.
Створений інструмент працює з Chat UI — open source-фронтендом для моделей на кшталт Llama 3.3 70B від Meta та Gemma 3 від Google. Він у режимі реального часу оцінює енергоспоживання кожного повідомлення, надісланого до моделі чи отриманого від неї, і показує результат у ват-годинах або джоулях. Також інструмент порівнює споживання енергії з побутовими приладами, як-от мікрохвильовки чи світлодіоди.
За його підрахунками, створення типового електронного листа за допомогою Llama 3.3 70B споживає приблизно 0,1841 ват-години. Це як увімкнути мікрохвильову піч на 0,12 секунди або тостер на 0,02 секунди.
Як зазначає Tech Crunch, варто пам’ятати, що ці розрахунки є лише оцінками. Делаванде не стверджує, що вони абсолютно точні. Проте вони нагадують про те, що навіть у цифровому світі все має свою ціну, навіть повідомлення в чаті.
«Через такі проєкти, як AI Energy Score і ширше дослідження енергетичного сліду ШІ, ми просуваємо ідею прозорості у спільноті open source. Одного дня енергоспоживання може стати таким же видимим, як етикетки з калоріями на продуктах», — додали розробники інструменту.
Читайте також на ProIT, скільки важить наша цифрова реальність.
Підписуйтеся на ProIT у Telegram, щоб не пропустити жодної публікації!
