В исследовательской работе Google DeepMind предлагается новый алгоритм ранжирования результатов поиска на основе искусственного интеллекта под названием BlockRank, который настолько эффективен, что делает расширенный семантический поиск доступным не только для крупных компаний, но и для отдельных пользователей и организаций.
&nbsp;
Контекстное ранжирование (ICR)
&nbsp;
В исследовательской статье описывается прорыв в использовании контекстного ранжирования (ICR) &mdash; метода, при котором веб-страницы оцениваются с учетом контекстного понимания текста крупной языковой модели.
&nbsp;
ICR использует три ключевых компонента:
&nbsp;
<ul>
<li>
инструкции к заданию (например, &laquo;оцените эти веб-страницы&raquo;)
</li>
<li>
документы-кандидаты (страницы, которые нужно ранжировать)
</li>
<li>
поисковый запрос
</li>
</ul>
&nbsp;
&nbsp;
Этот подход впервые был подробно изучен исследователями Google DeepMind и Google Research в 2024 году. Ранние эксперименты показали, что ICR может конкурировать по качеству с системами, специально разработанными для поиска информации.
&nbsp;
Однако у метода был существенный недостаток &mdash; снижение производительности при увеличении числа документов. Крупная языковая модель (LLM), оценивая большое количество файлов, должна учитывать каждое слово и его связь с остальными предложениями, делая процесс крайне ресурсоемким, замедляя работу. Но новое исследование решает эту проблему, демонстрируя масштабируемое контекстное ранжирование с использованием BlockRank.
&nbsp;
Принцип работы BlockRank
&nbsp;
Исследователи изучили, как модель распределяет внимание при обработке документов, и выявили два ключевых паттерна:
&nbsp;
<ul>
<li>
Разреженность блоков между документами
Модель при чтении группы документов в основном фокусируется на каждом из них отдельно, а не на сравнении всех документов друг с другом. Исследователи называют это &laquo;разреженностью блоков&raquo;.
На основе этого они изменили способ обработки данных: теперь модель анализирует каждый документ отдельно, но при этом сопоставляет его с поисковым запросом. Такой подход сохраняет ключевую часть &mdash; соответствие запроса документу &mdash; и исключает ненужные вычислительные операции, значительно ускоряя работу без потери точности.
</li>
<li>
Релевантность блока запроса и документа
При анализе запроса модель не оценивает все слова одинаково. Ключевые слова и знаки препинания, отражающие намерение пользователя, помогают определить, какой документ более важен. Модель обучена распознавать эти паттерны, чтобы эффективнее фокусироваться на релевантных документах.
</li>
</ul>
&nbsp;
&nbsp;
Объединение этих подходов позволило создать BlockRank &mdash; метод, который исключает ненужные сравнения и учит модель фокусироваться на действительно значимых элементах для ранжирования.
&nbsp;
Сравнительная эффективность
&nbsp;
BlockRank тестировался на трех основных наборах данных:
&nbsp;
<ul>
<li>
BEIR &mdash; набор разнообразных поисковых и вопросно-ответных задач для проверки универсальности алгоритма
</li>
<li>
MS MARCO &mdash; большой набор реальных поисковых запросов и текстов, оценивающий точность ранжирования
</li>
<li>
Natural Questions (NQ) &mdash; тест на основе реальных поисковых вопросов Google, где система должна находить релевантные фрагменты из Википедии
</li>
</ul>
&nbsp;
&nbsp;
Сравнение проводилось на модели Mistral LLM (7B параметров) с другими сильными системами ранжирования, включая FIRST, RankZephyr, RankVicuna и полностью настроенную базовую модель Mistral.
&nbsp;
Результаты показали, что BlockRank не только соответствует, но часто превосходит другие модели по всем трем тестам, демонстрируя высокую точность и эффективность. Но результаты актуальны только для модели Mistral-7B и не тестировались на других LLM.
&nbsp;
Применение и перспективы
&nbsp;
В исследовании не сообщается, используется ли BlockRank в реальных продуктах Google, поэтому любые предположения о его коммерческом применении остаются спекулятивными.
&nbsp;
Также BlockRank отличается от таких технологий, как FastSearch или RankEmbed, используемых в AI Mode, поэтому маловероятно, что он интегрирован в эти системы.
&nbsp;
Сейчас BlockRank считается прорывной технологией, позволяющей расширить доступ к передовому семантическому ранжированию:
&nbsp;
<ul>
<li>
Эффективность и масштабируемость &mdash; метод снижает вычислительные затраты и делает контекстное ранжирование более доступным
</li>
<li>
Ускорение работы и улучшение качества поиска &mdash; предоставляет пользователю более релевантную информацию, ускоряя исследования и обучение
</li>
<li>
Энергоэффективность &mdash; снижает потребление ресурсов LLM, что способствует более устойчивому внедрению ИИ
</li>
<li>
Доступность для ограниченных ресурсов &mdash; позволяет использовать передовые технологии в средах с ограниченной вычислительной мощностью
</li>
</ul>
&nbsp;
&nbsp;
Сейчас Google, судя по всему, планирует сделать BlockRank доступным на GitHub, но к настоящему времени кода в открытом доступе еще нет.
&nbsp;
 
👍🏻 Инфа была полезной? Ставь лайк!
 
&nbsp;
 
Всем конверта и ROI высоченного
 
&nbsp;
 
Наш Telegram-чат 👉🏻 <a href="http://t.me/rocketprofitchat">t.me/rocketprofitchat</a>

BlockRank — новая технология Google, которая повышает точность поиска, анализируя смысл текста, а не ключевики. Рассказали как работает этот алгоритм и какие преимущества он дает веб-мастерам

Google’s New BlockRank