Robots.txt जनरेटर आणि व्हॅलिडेटर
क्रॉल नियम तयार करा आणि Googlebot कोणत्या पाथवर प्रवेश करू शकते ते तपासा.
क्रॉल नियम
या नियमांचे पालन करणाऱ्या क्रॉलरपासून सुरुवात करा.
साइटमॅप्स
जनरेट केलेली robots.txt
0नियम तपासणी
पाथ तपासा
तुमचे क्रॉल नियम तुमच्या ब्राउझरमध्ये तयार आणि तपासले जातात. BroBroGo वर काहीही अपलोड केले जात नाही.
नेहमी विचारले जाणारे प्रश्न
हे जनरेटर robots.txt मध्ये काय जोडू शकते?
युझर-एजंट गट, Allow आणि Disallow पाथ आणि एक किंवा अधिक साइटमॅप URL जोडा. पूर्वावलोकन robots.txt फाइलमध्ये कॉपी करण्यासाठी तयार आहे.
पाथ तपासक नियम कसा निवडतो?
हे Google च्या मॅचिंग क्रमाचे अनुसरण करते: सर्वात लांब जुळणारा पाथ जिंकतो. जर जुळणारे Allow आणि Disallow नियम सारखेच विशिष्ट असतील, तर Allow जिंकतो.
Disallow केल्याने Google सर्चमधून पेज निघून जाते का?
नाही. इतर पेजेसनी लिंक केल्यास ब्लॉक केलेले पेज तरीही सर्च रिझल्ट्समध्ये दिसू शकते. सर्चमधून पूर्णपणे बाहेर ठेवण्यासाठी noindex, ॲक्सेस कंट्रोल वापरा किंवा ते पेज काढून टाका.