Robots.txt जनरेटर और वैलिडेटर
क्रॉल नियम बनाएँ और देखें कि Googlebot किसी पथ को खोल सकता है या नहीं।
क्रॉल नियम
पहले वह क्रॉलर चुनें जिसे ये नियम मानने हैं।
साइटमैप
बना हुआ robots.txt
0नियम जाँच
पथ जाँचें
आपके क्रॉल नियम आपके ब्राउज़र में बनाए और जाँचे जाते हैं। BroBroGo पर कुछ भी अपलोड नहीं होता।
अक्सर पूछे जाने वाले सवाल
यह जनरेटर robots.txt में क्या जोड़ सकता है?
User-agent समूह, Allow और Disallow पथ, और एक या कई Sitemap URL जोड़ें। प्रीव्यू को सीधे robots.txt फ़ाइल में कॉपी किया जा सकता है।
पथ जाँच नियम कैसे चुनती है?
यह Google के मिलान क्रम का पालन करती है: सबसे लंबा मिलता हुआ पथ चुना जाता है। Allow और Disallow बराबर विशिष्ट हों तो Allow चुना जाता है।
क्या Disallow पेज को Google Search से हटा देता है?
नहीं। दूसरे पेज उस पते से लिंक करें तो वह खोज परिणामों में फिर भी दिख सकता है। खोज से हटाने के लिए noindex, access control या पेज हटाने का उपयोग करें।