Попри активні інвестиції у стартапи та програми, пов’язані з ШІ й чипами, засновники венчурного фонду Andreessen Horowitz зазначили, що розвиток можливостей ШІ-моделей сповільнюється.
Марк Андрессен, один зі співзасновників фонду, сказав, що 2 роки тому модель GPT-3.5 від OpenAI була далеко попереду всіх, але зараз є шість моделей, які приблизно на одному рівні з нею. Всі вони досягають певної межі можливостей, повідомляє Observer.
Однак засновники Andreessen Horowitz не втрачають віри у нові технології. Фонд виділив $2,25 мільярда на AI-застосунки та інфраструктуру, інвестуючи у компанії Mistral AI (французький стартап, заснований колишніми дослідниками DeepMind і Meta), а також Air Space Intelligence, що використовує AI для покращення авіаперельотів.
Попри зацікавленість у технології, Андрессен і Хоровіц визнають, що є певні обмеження в її розвитку. На їхню думку, різниця в можливостях між моделями GPT-2.0, GPT-3 і GPT-3.5 була значно більшою порівняно з різницею між GPT-3.5 і GPT-4, що свідчить про сповільнення темпів вдосконалення.
Однією з основних проблем для розробників AI залишається глобальний дефіцит графічних процесорів (GPUs), необхідних для роботи AI-моделей.
За словами CEO OpenAI Сема Альтмана, обмеження обчислювальних ресурсів змушують компанію ухвалювати складні рішення щодо пріоритетних проєктів. NVIDIA, провідний виробник графічних процесорів, також зазначала, що дефіцит спричиняє занепокоєння серед клієнтів.
Щоб задовольнити попит, Andreessen Horowitz створили програму кредитування чипів для своїх портфельних компаній, надаючи їм графічні процесори в обмін на частки у компаніях.
За повідомленнями, фонд зібрав кластер чипів із 20 тисяч GPU, зокрема від NVIDIA. Крім наявності самих чипів, Хоровіц наголосив на необхідності більших потужностей для енергозабезпечення й охолодження центрів обробки даних.
«Коли у нас з’являться чипи, не вистачатиме потужності, а коли буде потужність — бракуватиме охолодження», — йдеться у повідомленні.
Проте найбільшою проблемою для вдосконалення можливостей AI-моделей може бути не брак обчислювальних ресурсів, а обмежений обсяг навчальних даних.
Як зазначив Андрессен, великі моделі тренуються за допомогою скрапінгу інтернету та залучення людських даних, текстів, відео й аудіо, але ці дані теж мають свої межі.
Згідно з дослідженням Data Provenance Initiative, з квітня 2023 до 2024 року приблизно 5% усіх даних і 25% найякісніших джерел були обмежені через запровадження вебсайтами заборон на використання їхнього тексту, зображень і відео для навчання AI.
Це питання настільки загострилося, що великі ШІ-лабораторії наймають тисячі програмістів, лікарів і юристів, щоб вони писали відповіді на запитання для навчання моделей. Наприклад, в OpenAI працює команда з підготовки даних, яка збирає спеціалізовані дані для тренування й оцінки моделей.
Багато ШІ-компаній співпрацюють із такими стартапами, як Scale AI та Invisible Tech, які залучають експертів із медицини, права й інших сфер діяльності для вдосконалення відповідей AI-моделей.
Ця тенденція йде врозріз із побоюваннями щодо безробіття через AI, зазначив Андрессен, оскільки дефіцит навчальних даних спричинив несподіваний бум на ринку праці для підтримки навчання моделей AI.
«Є певна іронія в цьому», — додав він.
Раніше ми повідомляли, чому плани Meta щодо створення ядерного центру обробки даних для ШІ в США були частково зупинені.
Читайте також на ProIT, що GenAI стимулює збільшення витрат на ІТ у 2025 році.
Підписуйтеся на ProIT у Telegram, щоб не пропустити жодної публікації!
