قابلیت
پژوهش روایتشده و خزش وب در ClawAI
ClawAI چگونه در وب پژوهش میکند: برنامهریزی که میان جستوجو و خزش انتخاب میکند، گزارش کار زنده و روایتشده، دریافت چندمرحلهای با احترام به robots.txt و منابع مستند.
همه امکانات · آخرین بازبینی:
برنامهریز تصمیم میگیرد، نه یک کلیدواژه
در حالت پژوهش Auto، یک مدل برنامهریز پیام را میخواند و یکی از چهار مسیر را برمیگزیند: پاسخ از دانستههای خودش، جستوجو در وب، خزش یک سایت مشخص، یا خزش و سپس جستوجو. پیوندی که میچسبانید همیشه باز میشود. اگر مدل برنامهریز خروجی غیرقابلاستفادهای برگرداند، مدل بعدی امتحان میشود، نه اینکه پژوهش بیصدا متوقف شود.
میتوانید حالت را خودتان هم در کادر نوشتن انتخاب کنید: خاموش، Auto، فقط جستوجو، جستوجو و دریافت صفحات، یا جستوجو و استخراج محتوای ساختاریافته.
گزارش کاری که میتوانید تماشا کنید
هر گام — برنامه، هر جستوجو، هر صفحهای که دریافت یا رد شده — همزمان با وقوع در گزارشی روایتشده بالای پاسخ پخش میشود و همراه پاسخ ذخیره میشود تا پس از بازخوانی صفحه هم سر جایش باشد. منابعی که پاسخ از آنها بهره برده کنار آن فهرست میشوند تا خودتان بتوانید بازشان کنید و بررسی کنید.
دریافت چندمرحلهای که قواعد را رعایت میکند
صفحات از ارزانترین راه دریافت میشوند: ابتدا API رسمی سایت اگر وجود داشته باشد، سپس یک درخواست HTTP ساده، و فقط وقتی صفحه نیاز داشته باشد ارتقا به مرورگر بیسر، با یک سرویس خواننده و نسخههای بایگانیشده بهعنوان جایگزینهای بعدی. یک خزش میتواند تا دویست صفحه از یک سایت را پوشش دهد.
robots.txt در هر دریافت با عامل کاربر ClawAI-ResearchBot رعایت میشود و صفحهٔ ممنوع از راه دیگری دوباره امتحان نمیشود. دیوارهای ورود و انسدادهای قانونی دریافت را متوقف میکنند، کپچا هرگز حل نمیشود، هر تغییر مسیر در برابر نشانیهای شبکهٔ خصوصی بررسی میشود و نسخهٔ بایگانیشده همیشه با همین عنوان برچسب میخورد.
پرسشهای پرتکرار
- آیا ClawAI به robots.txt احترام میگذارد؟
- بله، در هر دریافت، با عامل کاربر ClawAI-ResearchBot. صفحهای که robots.txt ممنوع کرده باشد رد میشود و با روش دریافت دیگری دوباره امتحان نمیشود.
- آیا میتوانم ببینم پژوهش واقعاً چه کرده است؟
- بله. یک گزارش کار روایتشده برنامه، هر جستوجو و هر صفحهٔ دریافتشده یا ردشده را نشان میدهد و همراه با فهرست منابع استفادهشده، با پاسخ ذخیره میشود.
- آیا پژوهش وب در همهٔ پلنها در دسترس است؟
- حالتهای پژوهش ویژگیهای پلن هستند (RESEARCH_MODE، WEB_SEARCH، WEB_FETCH و WEB_EXTRACT) با سهمیههای مخصوص خود، که اپراتور برای هر پلن تعیین میکند. صفحهٔ قیمتگذاری نشان میدهد هر پلن شامل چه چیزهایی است.
بهجای باور حرف ما، خودتان امتحان کنید
چرخهٔ پژوهش در سرویس پژوهش مخصوص خودش اجرا میشود، با مراحل دریافتی که مدیر میتواند ویرایش کند، و روی سطوح سنجش خودش اندازهگیری میشود، نه بهعنوان توکنهای عادی گفتوگو.