Robots.txt ఫైల్ యొక్క ఉద్దేశ్యం మరియు పనితీరు
వెబ్సైట్ నిర్వాహకులు తమ సైట్ను సందర్శించే వెబ్ క్రాలర్లను నియంత్రించడానికి robots.txt ఫైల్ను ఉపయోగిస్తారు. Googlebot వంటి క్రాలర్లు వెబ్సైట్లోని ఏయే భాగాలను యాక్సెస్ చేయవచ్చో, వేటిని యాక్సెస్ చేయకూడదో ఈ ఫైల్ నిర్దేశిస్తుంది. "Robots.txt జనరేటర్ & వాలిడేటర్" సాధనం ద్వారా మీరు వివిధ క్రాలర్ల కోసం నిర్దిష్ట రూల్స్ను సులభంగా రూపొందించవచ్చు మరియు నిర్దిష్ట వెబ్సైట్ పాత్లను పరీక్షించి, అవి అనుమతించబడతాయో లేదా బ్లాక్ చేయబడతాయో తనిఖీ చేయవచ్చు.
ఈ సాధనం డిఫాల్ట్గా User-agent: * మరియు Disallow: /admin రూల్స్తో ప్రారంభమవుతుంది. దీని ద్వారా అన్ని క్రాలర్లకు వెబ్సైట్లోని /admin పాత్ బ్లాక్ చేయబడుతుంది.
యూజర్-ఏజెంట్ మరియు పాత్ రూల్స్
వెబ్ క్రాలర్ల ప్రవర్తనను నియంత్రించడంలో యూజర్-ఏజెంట్ ఆదేశాలు కీలక పాత్ర పోషిస్తాయి. ఈ సాధనంలో రూల్స్ కాన్ఫిగర్ చేయడానికి క్రింది ఇన్పుట్లు అవసరమవుతాయి:
- యూజర్-ఏజెంట్: క్రాలర్ పేరును నమోదు చేయాలి, లేదా అన్ని క్రాలర్లకు వర్తింపజేయడానికి
*ఉపయోగించాలి. యూజర్-ఏజెంట్ పేర్లలో ఖాళీలు (spaces) ఉండకూడదు. ఒకవేళ ఖాళీలు ఉంటే, సాధనం "ఖాళీలు లేని ఒక యూజర్-ఏజెంట్ పేరును నమోదు చేయండి లేదా అన్ని క్రాలర్ల కోసం * ఉపయోగించండి." అనే ఎర్రర్ను చూపుతుంది. - పాత్: క్రాలర్ యాక్సెస్ను నియంత్రించాల్సిన వెబ్సైట్ పాత్. రూల్ పాత్లు తప్పనిసరిగా
/తో ప్రారంభం కావాలి మరియు ఖాళీలను కలిగి ఉండకూడదు. లేనిపక్షంలో, "రూల్ పాత్లు తప్పనిసరిగా / తో ప్రారంభం కావాలి మరియు ఖాళీలను కలిగి ఉండకూడదు." అనే హెచ్చరిక కనిపిస్తుంది. $చిహ్నం వాడకం: రూల్ పాత్లో$క్యారెక్టర్ను కేవలం పాత్ ముగింపులో మాత్రమే ఉపయోగించాలి. మధ్యలో ఉపయోగిస్తే, "రూల్ పాత్ ముగింపులో మాత్రమే $ ఉపయోగించండి." అనే ఎర్రర్ వస్తుంది.
Allow మరియు Disallow రూల్స్ మధ్య పరస్పర చర్య
వెబ్ క్రాలర్లకు యాక్సెస్ ఇవ్వడానికి 'Allow' రూల్ను, యాక్సెస్ నిరాకరించడానికి 'Disallow' రూల్ను ఉపయోగిస్తారు. ఈ రూల్స్ మధ్య వైరుధ్యాలు ఏర్పడినప్పుడు సాధనం వాటిని గుర్తించి హెచ్చరిస్తుంది:
- ఒకే పాత్ వైరుధ్యం: Allow మరియు Disallow రూల్స్ రెండూ ఒకే పాత్ను ఉపయోగిస్తే, సాధనం "Allow మరియు Disallow ఒకే పాత్ను ఉపయోగిస్తాయి. రెండూ సమానంగా నిర్దిష్టంగా ఉన్నప్పుడు Google 'Allow'ని వర్తింపజేస్తుంది." అనే హెచ్చరికను జారీ చేస్తుంది.
- పునరావృత రూల్స్: ఒకే యూజర్-ఏజెంట్ కోసం ఒకే రూల్ మళ్లీ జోడించబడితే, "ఈ రూల్ ఒకే యూజర్-ఏజెంట్ కోసం పునరావృతం చేయబడింది." అని ఫ్లాగ్ చేయబడుతుంది.
- సమూహాల కలయిక: ఒకే యూజర్-ఏజెంట్ను వేర్వేరు సమూహాలలో పేర్కొన్నప్పుడు, "ఒకే యూజర్-ఏజెంట్ను పేర్కొనే సమూహాలను Google కంబైన్ చేస్తుంది." అనే నోటిఫికేషన్ కనిపిస్తుంది.
సైట్మ్యాప్ (Sitemap) URLల ప్రాముఖ్యత
robots.txt ఫైల్లో సైట్మ్యాప్ URLలను చేర్చడం ద్వారా సెర్చ్ ఇంజన్ క్రాలర్లు వెబ్సైట్లోని అన్ని పేజీలను సులభంగా కనుగొనగలుగుతాయి.
- సైట్మ్యాప్ URLలు తప్పనిసరిగా పూర్తి
http://లేదాhttps://చిరునామాలను కలిగి ఉండాలి. - అసంపూర్ణంగా లేదా తప్పుగా ఉన్న URLలను నమోదు చేస్తే, సాధనం "సైట్మ్యాప్ URLలకు పూర్తి http:// లేదా https:// చిరునామా అవసరం." అనే ఎర్రర్ను ప్రదర్శిస్తుంది.
Google రూల్ మ్యాచింగ్ ఆర్డర్ మరియు పరిమితులు
పాత్లను పరీక్షించేటప్పుడు, ఈ సాధనం Google యొక్క అధికారిక మ్యాచింగ్ నియమాలను అనుసరిస్తుంది:
- పొడవైన పాత్ నియమం: అత్యంత పొడవైన మరియు నిర్దిష్టంగా సరిపోలే పాత్ రూల్ మాత్రమే వర్తిస్తుంది.
- సమాన ప్రాధాన్యత: ఒకవేళ సరిపోలే Allow మరియు Disallow రూల్స్ సమాన పొడవుతో (సమానంగా నిర్దిష్టంగా) ఉంటే, Allow రూల్ విజయం సాధిస్తుంది.
- పరిమాణ పరిమితి: జనరేట్ చేయబడిన robots.txt ఫైల్ పరిమాణం 100,000 క్యారెక్టర్లను మించితే, సాధనం "ఇక్కడ సమీక్షించడానికి ఈ robots.txt పరిమాణం చాలా పెద్దదిగా ఉంది." అనే హెచ్చరికను చూపుతుంది.
సెర్చ్ ఇండెక్సింగ్ పరిమితులు
robots.txt ద్వారా ఒక పేజీని బ్లాక్ చేసినంత మాత్రాన అది సెర్చ్ ఫలితాల నుండి పూర్తిగా తొలగించబడదు. ఇతర వెబ్సైట్లు లేదా పేజీలు ఆ బ్లాక్ చేయబడిన పేజీకి లింక్ చేసినప్పుడు, అది ఇప్పటికీ సెర్చ్ ఫలితాల్లో కనిపించే అవకాశం ఉంది. ఈ సాధనం noindex ట్యాగ్లను, సర్వర్ యాక్సెస్ కంట్రోల్ను లేదా పేజీ తొలగింపులను తనిఖీ చేయదు.
గోప్యత మరియు డేటా ప్రాసెసింగ్
ఈ సాధనంలో మీ క్రాల్ రూల్స్ అన్నీ మీ బ్రౌజర్లోనే సృష్టించబడతాయి మరియు తనిఖీ చేయబడతాయి. మీ డేటా లేదా రూల్స్ ఏవీ BroBroGo సర్వర్లకు అప్లోడ్ చేయబడవు, దీనివల్ల మీ కాన్ఫిగరేషన్ మీ పరికరంలోనే ఉంటుంది.
సాధనం యొక్క అవుట్పుట్ మరియు ఫలితాల వివరణ
పాత్ పరీక్షను రన్ చేసినప్పుడు సాధనం క్రింది ఫలితాలను మరియు లేబుల్లను ప్రదర్శిస్తుంది:
| అవుట్పుట్ లేబుల్ | వివరణ |
|---|---|
| robots.txt అప్డేట్ చేయబడింది. | ఫైల్ విజయవంతంగా జనరేట్ చేయబడిందని సూచిస్తుంది. |
{count} రూల్(లు) |
జనరేట్ చేయబడిన ఫైల్లోని మొత్తం రూల్స్ సంఖ్య. |
| ఎటువంటి సింటాక్స్ లేదా రూల్ వైరుధ్యాలు కనుగొనబడలేదు. | ఫైల్లో ఎటువంటి లోపాలు లేవని నిర్ధారిస్తుంది. |
సమీక్షించడానికి {count} అంశం(లు) ఉన్నాయి. |
ఫైల్లో సరిచేయవలసిన సమస్యల సంఖ్యను చూపుతుంది. |
అనుమతించబడింది — {rule} |
పరీక్షించిన పాత్ అనుమతించబడిందని మరియు దానికి కారణమైన రూల్ను చూపుతుంది. |
బ్లాక్ చేయబడింది — {rule} |
పరీక్షించిన పాత్ బ్లాక్ చేయబడిందని మరియు దానికి కారణమైన రూల్ను చూపుతుంది. |
| సరిపోలే రూల్ లేదు. Google డిఫాల్ట్గా ఈ పాత్ను అనుమతిస్తుంది. | ఎటువంటి రూల్ వర్తించనప్పుడు Google డిఫాల్ట్గా యాక్సెస్ ఇస్తుందని సూచిస్తుంది. |
తరచుగా అడిగే ప్రశ్నలు (FAQ)
ఈ జనరేటర్ robots.txtకి ఏమి జోడించగలదు?
యూజర్-ఏజెంట్ సమూహం, Allow మరియు Disallow పాత్లు మరియు ఒకటి లేదా అంతకంటే ఎక్కువ సైట్మ్యాప్ URLలను జోడించండి. ప్రివ్యూ robots.txt ఫైల్లోకి కాపీ చేయడానికి సిద్ధంగా ఉంటుంది.
పాత్ చెకర్ రూల్ను ఎలా ఎంచుకుంటుంది?
ఇది Google యొక్క సరిపోలిక క్రమాన్ని అనుసరిస్తుంది: అత్యంత పొడవైన సరిపోలే పాత్ గెలుస్తుంది. సరిపోలే Allow మరియు Disallow రూల్స్ సమానంగా నిర్దిష్టంగా ఉంటే, Allow గెలుస్తుంది.
Disallow అనేది Google సెర్చ్ నుండి పేజీని తీసివేస్తుందా?
లేదు. ఇతర పేజీలు దానికి లింక్ చేసినప్పుడు బ్లాక్ చేయబడిన పేజీ ఇప్పటికీ సెర్చ్ ఫలితాల్లో కనిపించవచ్చు. మీరు దాన్ని సెర్చ్ నుండి దూరంగా ఉంచాలనుకున్నప్పుడు noindex, యాక్సెస్ కంట్రోల్ని ఉపయోగించండి లేదా పేజీని తీసివేయండి.