Возможность
Исследования с комментариями и обход сайтов в ClawAI
Как ClawAI исследует веб: планировщик, который выбирает между поиском и обходом сайта, живой журнал работы с комментариями, многоуровневая загрузка с соблюдением robots.txt и ссылки на источники.
Все возможности · Последняя проверка:
Решает планировщик, а не ключевое слово
В режиме исследования Auto планирующая модель читает сообщение и выбирает один из четырёх путей: ответить на основе уже известного, выполнить поиск в вебе, обойти конкретный сайт или сначала обойти, а затем искать. Вставленная вами ссылка открывается всегда. Если планирующая модель вернула непригодный результат, пробуется следующая модель, а исследование не обрывается молча.
Режим можно выбрать и самостоятельно в поле ввода: выключено, Auto, только поиск, поиск с загрузкой страниц или поиск с извлечением структурированного содержимого.
Журнал работы, за которым можно следить
Каждый шаг — план, каждый поиск, каждая загруженная или пропущенная страница — по мере выполнения передаётся в журнал с комментариями над ответом и сохраняется вместе с ответом, поэтому он остаётся на месте и после обновления страницы. Источники, на которые опирается ответ, перечислены рядом с ним, так что их можно открыть и проверить самостоятельно.
Многоуровневая загрузка по правилам
Страницы загружаются начиная с самого дешёвого способа: официальный API сайта, если он есть, затем обычный HTTP-запрос, затем переход к браузеру без интерфейса — только когда странице он нужен, а в качестве последующих запасных вариантов служат сервис чтения и снимки из веб-архивов. Обход может охватить до двухсот страниц одного сайта.
robots.txt соблюдается при каждом запросе от имени агента ClawAI-ResearchBot, а запрещённая страница не запрашивается повторно другим способом. Стены авторизации и юридические блокировки останавливают загрузку, капчи никогда не решаются, каждое перенаправление проверяется на адреса частных сетей, а архивная копия всегда помечается как архивная.
Частые вопросы
- Соблюдает ли ClawAI robots.txt?
- Да, при каждом запросе, от имени агента ClawAI-ResearchBot. Страница, запрещённая в robots.txt, пропускается и не запрашивается повторно другим способом загрузки.
- Могу ли я увидеть, что именно сделало исследование?
- Да. Журнал работы с комментариями показывает план, каждый поиск и каждую загруженную или пропущенную страницу и сохраняется вместе с ответом и списком использованных источников.
- Доступны ли веб-исследования на каждом тарифе?
- Режимы исследования — это функции тарифа (RESEARCH_MODE, WEB_SEARCH, WEB_FETCH и WEB_EXTRACT) с собственными лимитами, которые оператор задаёт для каждого тарифа. На странице цен видно, что входит в каждый тариф.
Попробуйте сами, а не верьте нам на слово
Исследовательский цикл работает в отдельном исследовательском сервисе с уровнями загрузки, которые может менять администратор, и учитывается на собственных поверхностях, а не как обычные токены чата.