Поисковику для ИИ-агентов мало найти десять подходящих ссылок: он должен собрать проверяемый ответ из разрозненных источников. Компания EXA строит именно такую инфраструктуру, рассчитанную на запросы триллионного масштаба, а агентный поиск превращается для разработчиков в отдельный инженерный слой между моделью и открытым вебом.
О подходе EXA рассказал её сооснователь Джефф Ван: компания развивает полноценную поисковую систему специально для ИИ-агентов, сообщает Stack Overflow Blog. В основе — собственные модели извлечения данных и векторные базы, которые должны обрабатывать сложные запросы без потока вторичного и низкокачественного контента. Главная мысль проста, хотя реализация совсем не простая: агенту нужен не список страниц для ручного просмотра, а материал, из которого можно составить ответ и показать, откуда он взялся.
У обычного веб-поиска и поиска для агента разные конечные продукты. Классический поисковик ранжирует документы и рассчитывает, что пользователь сам откроет несколько результатов, сопоставит факты и решит, кому верить. Агент действует в иной последовательности: формулирует подзадачи, ищет информацию, читает страницы, извлекает фрагменты, сверяет их и передаёт модели контекст для ответа или следующего действия. Ошибка на любом этапе превращается либо в уверенно изложенную выдумку, либо в дорогой и медленный обход интернета.
Поэтому EXA делает ставку не только на поиск похожих текстов, но и на извлечение содержимого. Для агентной системы веб-страница — не конечная остановка, а сырьё: из неё нужно получить релевантные части, убрать навигацию, рекламные блоки, дубли и устаревшие пересказы. Эта работа особенно заметна на запросах, где ответ нельзя взять из одного документа: например, при подготовке обзора рынка, проверке технической документации или сборе сведений о компании из нескольких источников.
Самая неприятная часть задачи — избыточность веба. Один и тот же материал копируют сайты, агрегаторы, пресс-релизы и страницы с автоматически переписанным текстом. Если система воспринимает такие публикации как независимые подтверждения, она получает иллюзию консенсуса. Ван прямо связывает качество ответов с дедупликацией массивов однотипного контента: без неё поиск может быть быстрым и формально релевантным, но доверия к его результату не прибавится.
Векторные базы в этой схеме нужны для работы со смысловым сходством, а не только с точным совпадением слов. Запрос агента часто длиннее пользовательского и содержит ограничения: период, отрасль, тип источника, нужный формат данных или несколько взаимосвязанных вопросов. Обычный поиск по ключевым словам здесь быстро начинает выдавать шум. Но и векторный поиск не является магической кнопкой: его приходится сочетать с ранжированием, фильтрами, извлечением текста и проверкой того, что найденный фрагмент действительно отвечает на запрос.
Для русскоязычных команд это важный сдвиг в постановке задач. При разработке корпоративного помощника уже недостаточно подключить большую языковую модель и добавить поле для поискового запроса. Нужно заранее решить, какие источники агент имеет право читать, как фиксировать происхождение фактов, что считать дублем, когда обновлять индекс и что делать с противоречивыми данными. Иначе продукт будет красиво формулировать ответы, но не сможет объяснить, почему им можно доверять.
Агентный поиск также меняет экономику ИИ-функций. Чем больше шагов делает агент, тем выше требования к задержке, стоимости запросов и качеству выдачи. Нерелевантная страница — это не просто неудачный клик пользователя; она тратит вычисления на извлечение, занимает контекст модели и может повести всю цепочку рассуждений в неверную сторону. На триллионных объёмах, о которых говорит EXA, эти мелкие потери перестают быть мелкими.
Конкуренция в поиске для агентов, похоже, будет идти не только за размер индекса и скорость ответа. Ключевым отличием станет способность показать модели свежий, очищенный и нераздутый дубликатами материал. Если этот подход закрепится, разработчикам придётся оценивать поисковые API не по числу найденных страниц, а по тому, насколько надёжно они помогают агенту собрать ответ из первоисточников.
