Цього літа в Google Photos з’явиться нова функція Ask Photos, створена на основі моделі штучного інтелекту Gemini. Компанія Google розповіла більше про цю функцію, пояснюючи, як саме вона працюватиме.
Як працює Ask Photos
За даними дослідницької команди Google, Ask Photos є “прикладом того, як моделі Gemini можуть діяти як агенти, використовуючи функції та можливості пам’яті”. Приклади запитів, які були продемонстровані, включають:
- “Покажіть мені найкращу фотографію з кожного національного парку, який я відвідав”.
- “На які теми ми святкували дні народження Лєри?”
Ваш діалоговий запит передається агентній моделі, яка використовує Gemini для визначення найкращого інструменту розширеного пошуку (RAG) для виконання завдання. Модель спочатку аналізує намір користувача, а потім формулює пошук за фотографіями, використовуючи оновлену векторну систему, яка розширює можливості пошуку за метаданими, вже вбудовані в Google Photos.
Система краще розуміє поняття природної мови, наприклад, “людина, що посміхається, їдучи на велосипеді”, ніж традиційний пошук за ключовими словами.
Після цього модель переглядає фотографії та відео, отримані в результаті пошуку. Завдяки “довгому контекстному вікну і мультимодальним можливостям Gemini” вона може знайти найбільш релевантну інформацію. Окрім візуального контенту, використовуються дати, місцезнаходження та інші метадані.
Потім модель створює відповідь на основі знайдених фотографій і відео.
Додаткові можливості
Ви можете коригувати Ask Photos, і програма запам’ятає ці зміни для майбутніх запитів. Це дозволяє використовувати функцію як асистента, а не лише інструмент пошуку. Користувачі можуть “переглядати та керувати запам’ятовуваними деталями в будь-який час”.
Експериментальна функція, можливо, пов’язана з проєктом Project Ellman, про який ходять чутки, буде запущена найближчими місяцями, і вже зараз з’являються натяки на нові можливості.
Висновок
Функція Ask Photos на базі моделі Gemini обіцяє покращити можливості пошуку в Google Photos, дозволяючи користувачам отримувати точні та релевантні відповіді на запити, використовуючи сучасні технології штучного інтелекту.
