Прямое взаимодействие с данными: новый метод повышает точность ИИ-агентов

Когда автоматизированные ИИ-агенты не справляются с задачами, разработчики зачастую списывают это на слабые способности языковых моделей к рассуждению. Однако эксперты выяснили, что основной проблемой часто становится ограниченность интерфейса поиска информации. Исследователи из нескольких университетов предложили метод Direct Corpus Interaction (DCI), который позволяет ИИ обходить традиционные модели встраивания и искать данные напрямую в исходных материалах с помощью стандартных консольных инструментов.

Ограничения классического поиска

В традиционных системах, таких как RAG (генерация с дополненной выборкой), документы разбиваются на фрагменты и преобразуются в векторные представления (эмбеддинги). Когда пользователь отправляет запрос, система фильтрует базу данных и выдает список наиболее подходящих фрагментов. В обзоре отмечается, что такой подход эффективен для поиска общего смысла, но часто пасует перед конкретными задачами.

Современным ИИ-агентам для работы требуются не просто похожие по смыслу тексты, а точные данные: серийные номера, фрагменты кода, версии программного обеспечения или пути к файлам. В этих случаях семантический поиск оказывается ненадежным. Кроме того, стандартные системы решают слишком рано, какую информацию увидит агент, что создает «узкое горлышко» в процессе обработки данных.

Механизм прямого взаимодействия с корпусом

Метод DCI решает проблему неактуальности данных. В корпоративной среде информация меняется постоянно: финансовые отчеты, логи серверов и изменения в коде обновляются ежедневно. Векторные индексы не всегда успевают за этими изменениями, тогда как DCI позволяет агенту работать с текущим состоянием рабочего пространства.

ИИ-агент действует в среде, напоминающей терминал операционной системы. Для навигации и поиска он использует привычные инструменты разработчика:

• команды find и glob для перемещения по папкам и поиска файлов;
• инструменты grep и rg для нахождения точных строк и регулярных выражений;
• команды head, tail и cat для чтения конкретных разделов файлов;
• легковесные Python-скрипты для сложной обработки данных.

Такой подход позволяет делегировать интерпретацию смыслов самому агенту. Он может проверять гипотезы, комбинировать слабые сигналы из разных документов и находить детали, которые традиционный поиск мог бы пропустить.

Результаты тестирования и экономическая эффективность

Исследователи представили две версии системы. DCI-Agent-Lite — это бюджетное решение на базе компактных моделей, оптимизированное для работы с терминалом. DCI-Agent-CC — высокопроизводительная версия на базе Claude Sonnet 4.6, обладающая расширенными возможностями управления контекстом.

В ходе испытаний на сложных бенчмарках метод DCI показал следующие результаты:

• Точность выполнения задач на платформе BrowseComp-Plus выросла с 69% до 80%.
• Затраты на API при использовании продвинутых моделей снизились с 1440 до 1016 долларов.
• В задачах с многошаговыми вопросами (multi-hop QA) средняя точность достигла 83%, что на 30,7 процентных пункта выше показателей традиционных систем поиска.

Несмотря на то, что DCI может охватывать меньше документов одновременно, чем векторные модели, он извлекает значительно больше пользы из найденных материалов. По словам разработчиков, метод особенно эффективен при отладке программного кода, анализе логов и проведении сложных расследований.

Ограничения и внедрение

Метод имеет свои пределы масштабирования. Если количество документов в базе возрастает со 100 000 до 400 000, точность системы снижается, а количество обращений к инструментам растет. Кроме того, предоставление агенту доступа к терминалу требует создания безопасных «песочниц» и строгого контроля прав доступа.

Специалисты полагают, что оптимальным решением станет гибридная архитектура. В такой схеме семантический поиск будет отвечать за первичный подбор широкого круга документов, а слой DCI обеспечит точную проверку фактов и детальный анализ внутри найденных файлов. Код системы DCI уже опубликован под открытой лицензией MIT.