Google LLC розробила серію мовних моделей DataGemma, які можуть відповідати на запитання про числові факти точніше, ніж попередні алгоритми. Про це повідомляє Silicon Angle.
DataGemma оптимізована для відповідей на запити користувачів щодо статистичних даних, таких як середній дохід компаній у певному ринковому сегменті.
Вона надає відповіді, використовуючи інформацію з Data Commons, — безкоштовного сховища знань, яке підтримує Google. Це сховище містить понад 240 мільярдів даних із таких джерел, як ООН, Всесвітня організація охорони здоров’я, CDC і національні бюро перепису.
Основою серії DataGemma є модель Gemma 2 27B, яку Google випустила у червні.
Gemma 2 27B побудована на базі стандартної нейронної мережевої архітектури Transformer і містить 27 мільярдів параметрів. Google заявляє, що її продуктивність може конкурувати з моделями, які мають удвічі більше параметрів.
За словами представників компанії, DataGemma базується на версії Gemma 2 27B, спеціально оптимізованої для обробки числових фактів. Модель взаємодіє з Data Commons через пошукову панель природної мови, з якої вона отримує необхідні дані.
У межах цього проєкту Google розробила дві версії DataGemma. Кожна використовує різний підхід до відповідей на запитання користувачів.
Перша версія застосовує метод, відомий як RIG (retrieval-interleaved generation) для обробки запитів. Коли користувач ставить запитання, модель не генерує відповідь на основі своєї внутрішньої бази знань, а звертається до Data Commons для отримання необхідної інформації. Потім модель використовує ці дані для формування відповіді.
Друга версія DataGemma використовує більш поширений метод RAG (retrieval-augmented generation). Коли користувач вводить запит, модель отримує відповідну інформацію з Data Commons. Потім вона надсилає зібрані дані більш розвиненій моделі Google Gemini 1.5 Pro, яка генерує відповідь.
За даними MIT Technology Review, версія DataGemma на основі RIG може правильно отримати числові факти з Data Commons приблизно у 58% випадків. Це порівняно з 5%–17% точності, досягнутої іншими моделями, які оцінювалися Google. Під час цього тестування версія DataGemma на основі RAG правильно відповідала на 80%–94% запитів.
Компанія планує покращити DataGemma шляхом навчання на більшій кількості даних. Крім того, буде збільшено кількість запитань, на які може відповідати серія моделей, від кількох сотень до мільйонів.
У майбутньому компанія планує інтегрувати можливості отримання даних DataGemma у свою флагманську серію мовних моделей Gemini.
Нагадаємо, що в серпні Google випустила три нові відкриті генеративні моделі штучного інтелекту сімейства генеративних моделей Gemma 2 від Google.
Серія моделей Gemma від Google відрізняється від моделей Gemini тим, що Google не надає вихідний код для Gemini, який використовується власними продуктами Google, а також доступний для розробників.
Підписуйтеся на ProIT у Telegram, щоб не пропустити жодної публікації!
