Robots.txt ജനറേറ്ററും വാലിഡേറ്ററും
ക്രോൾ നിയമങ്ങൾ നിർമ്മിക്കുക, Googlebot-ന് ഏതെല്ലാം പാത്ത് ആക്സസ് ചെയ്യാൻ കഴിയുമെന്ന് പരിശോധിക്കുക.
ക്രോൾ നിയമങ്ങൾ
ഈ നിയമങ്ങൾ പിന്തുടരേണ്ട ക്രോളർ (crawler) ഉപയോഗിച്ച് ആരംഭിക്കുക.
സൈറ്റ്മാപ്പുകൾ
ജനറേറ്റ് ചെയ്ത robots.txt
0നിയമ പരിശോധന
ഒരു പാത്ത് പരിശോധിക്കുക
നിങ്ങളുടെ ക്രോൾ നിയമങ്ങൾ ബ്രൗസറിൽ തന്നെ നിർമ്മിക്കുകയും പരിശോധിക്കുകയും ചെയ്യുന്നു. BroBroGo-ലേക്ക് ഒന്നും അപ്ലോഡ് ചെയ്യുന്നില്ല.
പതിവ് ചോദ്യങ്ങൾ
ഈ ജനറേറ്ററിന് robots.txt-ലേക്ക് എന്തൊക്കെ ചേർക്കാൻ കഴിയും?
ഒരു യൂസർ-ഏജന്റ് ഗ്രൂപ്പ്, Allow, Disallow പാത്തുകൾ, ഒന്നോ അതിലധികമോ സൈറ്റ്മാപ്പ് URL-കൾ എന്നിവ ചേർക്കുക. പ്രിവ്യൂ ഒരു robots.txt ഫയലിലേക്ക് പകർത്താൻ പാകത്തിൽ തയ്യാറാണ്.
പാത്ത് ചെക്കർ എങ്ങനെയാണ് ഒരു നിയമം തിരഞ്ഞെടുക്കുന്നത്?
ഇത് ഗൂഗിളിന്റെ മാച്ചിംഗ് ഓർഡർ പിന്തുടരുന്നു: ഏറ്റവും നീളമുള്ള മാച്ചിംഗ് പാത്ത് വിജയിക്കുന്നു. മാച്ചിംഗ് ആയ Allow, Disallow നിയമങ്ങൾ ഒരേപോലെ വ്യക്തമാണെങ്കിൽ, Allow വിജയിക്കും.
Disallow ഉപയോഗിച്ചാൽ ഗൂഗിൾ സെർച്ചിൽ നിന്ന് ഒരു പേജ് നീക്കം ചെയ്യപ്പെടുമോ?
ഇല്ല. മറ്റ് പേജുകൾ അതിലേക്ക് ലിങ്ക് ചെയ്യുമ്പോൾ ഒരു തടയപ്പെട്ട പേജ് ഇപ്പോഴും തിരയൽ ഫലങ്ങളിൽ പ്രത്യക്ഷപ്പെട്ടേക്കാം. തിരയലിൽ നിന്ന് പൂർണ്ണമായി ഒഴിവാക്കാൻ noindex, ആക്സസ് കൺട്രോൾ എന്നിവ ഉപയോഗിക്കുക അല്ലെങ്കിൽ പേജ് നീക്കം ചെയ്യുക.