Google анонсувала появу EmbeddingGemma — багатомовної текстової embedding-моделі, оптимізованої для роботи безпосередньо на смартфонах, ноутбуках та інших edge-пристроях.
Основні характеристики
EmbeddingGemma побудована на архітектурі Gemma 3 lightweight і містить 308 мільйонів параметрів. Модель навчена більш ніж на 100 мовах і достатньо компактна, щоб працювати менш ніж із 200 МБ оперативної пам’яті в режимі квантування.
Головні можливості:
• Контекстне вікно: до 2K токенів.
• Вихідні розміри embedding: від 768 до 128 завдяки Matryoshka representation.
• Підтримка RAG (retrieval-augmented generation) і семантичного пошуку.
• Орієнтація на мобільні та edge-сценарії.
Для чого потрібна EmbeddingGemma
За словами фахівців Google, модель дає можливість розробникам створювати гнучкі, локальні та приватні ШІ-застосунки, які працюють без доступу до хмарних API. Це особливо важливо для сценаріїв, де потрібна швидка обробка запитів і підвищений захист даних.
Приклади застосування:
• мобільні RAG-пайплайни;
• пошукові системи з семантичним аналізом;
• інструменти для класифікації текстів;
• AI-рішення для бізнесу з високими вимогами до конфіденційності.
Інтеграція та доступність
Google відкрила доступ до ваг EmbeddingGemma. Завантажити модель можна з:
• Hugging Face;
• Kaggle;
• Vertex AI.
EmbeddingGemma сумісна з широким набором інструментів:
sentence-transformers, llama.cpp, MLX, Ollama, LiteRT, transformers.js, LMStudio, Weaviate, Cloudflare, LlamaIndex, LangChain.
Раніше ми повідомляли, що Google покращує редагування зображень у Gemini завдяки моделі nano banana.
Підписуйтеся на ProIT у Telegram, щоб не пропустити жодної публікації!
