फ़ीचर
ClawAI में कदम-दर-कदम बताई गई रिसर्च और वेब क्रॉलिंग
ClawAI वेब पर रिसर्च कैसे करता है: एक प्लानर जो सर्च या क्रॉल चुनता है, लाइव सुनाया जाने वाला वर्क लॉग, robots.txt का पालन करने वाली चरणबद्ध फ़ेचिंग, और उद्धृत स्रोत।
सभी फ़ीचर · अंतिम समीक्षा:
फ़ैसला एक प्लानर करता है, कोई कीवर्ड नहीं
Auto रिसर्च मोड में एक प्लानिंग मॉडल मैसेज पढ़ता है और चार में से एक रास्ता चुनता है: जो वह पहले से जानता है उससे जवाब देना, वेब पर सर्च करना, किसी खास साइट को क्रॉल करना, या पहले क्रॉल और फिर सर्च करना। आपका पेस्ट किया हुआ लिंक हमेशा खोला जाता है। अगर प्लानिंग मॉडल कुछ अनुपयोगी लौटाता है, तो रिसर्च चुपचाप रुकने के बजाय अगला मॉडल आज़माया जाता है।
आप कंपोज़र में मोड खुद भी चुन सकते हैं: बंद, Auto, सिर्फ़ सर्च, सर्च के साथ पेज फ़ेच करना, या सर्च के साथ संरचित सामग्री निकालना।
एक वर्क लॉग जिसे आप देख सकते हैं
हर कदम — योजना, हर सर्च, फ़ेच किया गया या छोड़ा गया हर पेज — जैसे-जैसे होता है, जवाब के ऊपर एक सुनाए जाने वाले लॉग में स्ट्रीम होता है, और जवाब के साथ सेव होता है ताकि रिफ़्रेश के बाद भी वहीं रहे। जवाब जिन स्रोतों पर आधारित है वे उसके साथ सूचीबद्ध होते हैं, ताकि आप उन्हें खोलकर खुद जाँच सकें।
नियमों का पालन करने वाली चरणबद्ध फ़ेचिंग
पेज सबसे सस्ते तरीके से पहले फ़ेच किए जाते हैं: जहाँ उपलब्ध हो वहाँ साइट का आधिकारिक API, फिर एक सादी HTTP रिक्वेस्ट, और हेडलेस ब्राउज़र तक सिर्फ़ तभी जाना जब पेज को उसकी ज़रूरत हो, बाद के फ़ॉलबैक के रूप में एक रीडर सर्विस और आर्काइव स्नैपशॉट के साथ। एक क्रॉल किसी एक साइट के दो सौ पेजों तक को कवर कर सकता है।
ClawAI-ResearchBot यूज़र एजेंट के तहत हर फ़ेच पर robots.txt का पालन होता है, और जिस पेज की अनुमति नहीं है उसे किसी दूसरे तरीके से दोबारा नहीं आज़माया जाता। साइन-इन वॉल और कानूनी रोक फ़ेच को रोक देती हैं, captcha कभी हल नहीं किए जाते, हर रीडायरेक्ट को निजी नेटवर्क पतों के ख़िलाफ़ जाँचा जाता है, और आर्काइव की गई कॉपी पर हमेशा साफ़ लिखा होता है कि वह आर्काइव कॉपी है।
लोग जो सवाल पूछते हैं
- क्या ClawAI robots.txt का पालन करता है?
- हाँ, हर फ़ेच पर, ClawAI-ResearchBot यूज़र एजेंट के तहत। जिस पेज को robots.txt मना करता है उसे छोड़ दिया जाता है और फ़ेच करने के किसी दूसरे तरीके से दोबारा नहीं आज़माया जाता।
- क्या मैं देख सकता हूँ कि रिसर्च ने असल में क्या किया?
- हाँ। एक सुनाया जाने वाला वर्क लॉग योजना, हर सर्च और फ़ेच किया गया या छोड़ा गया हर पेज दिखाता है, और इस्तेमाल किए गए स्रोतों की सूची के साथ जवाब में सेव होता है।
- क्या वेब रिसर्च हर प्लान पर उपलब्ध है?
- रिसर्च मोड प्लान फ़ीचर हैं (RESEARCH_MODE, WEB_SEARCH, WEB_FETCH और WEB_EXTRACT) जिनकी अपनी सीमाएँ हैं, जिन्हें ऑपरेटर हर प्लान के लिए तय करता है। प्राइसिंग पेज दिखाता है कि हर प्लान में क्या शामिल है।
हमारी बात मानने के बजाय खुद आज़माएँ
रिसर्च लूप अपनी अलग रिसर्च सर्विस में चलता है, जिसके फ़ेच चरण एडमिन बदल सकते हैं, और यह सामान्य चैट टोकन के बजाय अपने ही सरफ़ेस पर मापा जाता है।