Новый алгоритм многовекторного поиска Google (MUVERA) повышает скорость поиска и лучше справляется со сложными запросами.
Google анонсировала новый многовекторный алгоритм поиска под названием MUVERA, который ускоряет поиск и ранжирование, а также повышает точность. Алгоритм может использоваться для поиска, рекомендательных систем (например, YouTube) и для обработки естественного языка (NLP).
Хотя в объявлении прямо не говорилось, что он будет использоваться в поиске, в исследовательской работе четко указано, что MUVERA обеспечивает эффективный многовекторный поиск в веб-масштабе, в частности, делая его совместимым с существующей инфраструктурой (через MIPS) и сокращая задержку и объем используемой памяти.
Внедрение векторов в поиск
Векторные вложения — это многомерное представление отношений между словами, темами и фразами. Оно позволяет машинам понимать сходство через шаблоны, такие как слова, которые появляются в одном контексте, или фразы, которые означают одно и то же. Связанные слова и фразы занимают пространства, которые находятся ближе друг к другу.
- Слова «Король Лир» будут близки к фразе «Шекспировская трагедия».
- Слова «Сон в летнюю ночь» займут место рядом со словами «Шекспировская комедия».
- И «Король Лир», и «Сон в летнюю ночь» будут располагаться в пространстве, близком к Шекспиру.
Расстояния между словами, фразами и концепциями (технически математическая мера сходства) определяют, насколько тесно они связаны друг с другом. Эти закономерности позволяют машине делать выводы о сходстве между ними.
MUVERA решает внутреннюю проблему многовекторных вложений
В исследовательской работе MUVERA утверждается, что нейронные встраивания уже десять лет являются функцией поиска информации, а исследовательская работа ColBERT 2020 года о многовекторной модели упоминается как прорыв, однако в ней отмечается, что она страдает от узкого места, что делает ее далекой от идеала.
«Недавно, начиная с эпохальной статьи ColBERT, многовекторные модели, которые производят набор вложений на точку данных, достигли заметно более высокой производительности для задач IR. К сожалению, использование этих моделей для IR является вычислительно дорогим из-за возросшей сложности многовекторного поиска и оценки».
Анонс MUVERA от Google отражает эти недостатки:
«… последние достижения, в частности, внедрение многовекторных моделей, таких как ColBERT, продемонстрировали значительное улучшение производительности в задачах IR. Хотя этот многовекторный подход повышает точность и позволяет извлекать более релевантные документы, он вносит существенные вычислительные проблемы. В частности, возросшее количество внедрений и сложность многовекторной оценки сходства делают извлечение значительно более дорогим».
Может ли стать преемником технологии RankEmbed от Google?
Антимонопольный иск Министерства юстиции США (DOJ) привел к получению показаний, которые показали, что один из сигналов, используемых для создания страниц результатов поиска (SERP), называется RankEmbed и описывается следующим образом:
«RankEmbed — это модель двойного кодировщика, которая встраивает как запрос, так и документ в пространство встраивания. Пространство встраивания учитывает семантические свойства запроса и документа в дополнение к другим сигналам. Извлечение и ранжирование затем являются скалярным произведением (мерой расстояния в пространстве встраивания)… Чрезвычайно быстро; высокое качество для общих запросов, но может плохо работать для хвостовых запросов…»
MUVERA — это техническое достижение, которое устраняет ограничения производительности и масштабирования многовекторных систем, которые сами по себе являются шагом вперед по сравнению с моделями с двумя кодировщиками (например, RankEmbed), обеспечивая большую семантическую глубину и обработку производительности хвостовых запросов.
Прорывом является метод, называемый фиксированным размерным кодированием (FDE), который делит пространство встраивания на секции и объединяет векторы, которые попадают в каждую секцию, для создания одного вектора фиксированной длины, что ускоряет поиск по сравнению со сравнением нескольких векторов. Это позволяет эффективно использовать многовекторные модели в масштабе, повышая скорость поиска, не жертвуя точностью, которая достигается за счет более богатого семантического представления.
Согласно объявлению:
«В отличие от одновекторных вложений, многовекторные модели представляют каждую точку данных с помощью набора вложений и используют более сложные функции подобия, которые могут улавливать более глубокие взаимосвязи между точками данных.
Хотя этот многовекторный подход повышает точность и позволяет извлекать более релевантные документы, он вносит существенные вычислительные проблемы. В частности, возросшее количество вложений и сложность многовекторной оценки сходства делают извлечение значительно более дорогим.
В статье «MUVERA: многовекторный поиск с использованием фиксированных размерных кодировок» мы представляем новый алгоритм многовекторного поиска, призванный устранить разрыв в эффективности между одно- и многовекторным поиском.
…Этот новый подход позволяет нам использовать высокооптимизированные алгоритмы MIPS для извлечения начального набора кандидатов, которые затем могут быть повторно ранжированы с точным многовекторным сходством, тем самым обеспечивая эффективный многовекторный поиск без ущерба для точности».
Многовекторные модели могут давать более точные ответы, чем модели с двойным кодировщиком, но эта точность достигается за счет интенсивных вычислительных требований. MUVERA решает проблемы сложности многовекторных моделей, тем самым создавая способ достижения большей точности многовекторных подходов без высоких вычислительных требований.
Что это значит для SEO?
MUVERA показывает, как современный поисковый рейтинг все больше зависит от суждений о схожести, а не от старомодных сигналов ключевых слов, на которых часто фокусируются инструменты SEO и SEO-специалисты. SEO-специалисты и издатели могут захотеть переключить свое внимание с точного соответствия фраз на соответствие общему контексту и намерению запроса. Например, когда кто-то ищет «вельветовые куртки мужские средние», система, использующая поиск, подобный MUVERA, с большей вероятностью ранжирует страницы, которые действительно предлагают эти продукты, а не страницы, которые просто упоминают «вельветовые куртки» и включают слово «средний» в попытке сопоставить запрос.