Компания Google объявила о расширении возможностей своего экспериментального режима AI Mode , который теперь включает мультимодальный поиск. Эта функция позволяет пользователям задавать вопросы о изображениях, которые они загрузили или сняли с помощью камеры. Новая функциональность анализа изображений в AI Mode использует возможности Google Lens, что позволяет понимать весь контекст сцены на изображении, включая взаимосвязь объектов, их материалы, цвета, формы и расположение.
AI Mode применяет технику «fan-out», которая позволяет задавать несколько вопросов относительно изображения и объектов на нем, предоставляя более детальную информацию, чем традиционный поиск Google. Например, пользователь может сфотографировать свою книжную полку и спросить: «Если мне понравились эти книги, какие еще подобные книги имеют высокую оценку?». AI Mode определит каждую книгу и предоставит список рекомендованных книг с ссылками для дальнейшего ознакомления или покупки.
Новая функция уже доступна для пользователей приложения Google на Android и iOS. Она позволяет не только получать ответы на вопросы о содержимом изображения, но и уточнять запросы, например, о том, какая из рекомендованных книг является самой короткой. По словам представителей Google, расширение доступа к AI Mode позволит миллионам пользователей, подписанных на Labs, воспользоваться новыми возможностями без необходимости иметь подписку на Google One AI Premium.
За месяц тестирования AI Mode пользователи отметили его удобный дизайн, быстрое время отклика и способность понимать сложные и нюансированные вопросы. Количество запросов в AI Mode в среднем вдвое превышает традиционные запросы в Google Search, что свидетельствует о его использовании для более сложных задач, таких как сравнение продуктов, планирование путешествий и другие исследовательские запросы.
