Robots.txt ਜਨਰੇਟਰ ਅਤੇ ਵੈਲੀਡੇਟਰ
ਕ੍ਰਾਲ ਨਿਯਮ ਬਣਾਓ ਅਤੇ ਜਾਂਚ ਕਰੋ ਕਿ Googlebot ਕਿਸ ਮਾਰਗ ਤੱਕ ਪਹੁੰਚ ਕਰ ਸਕਦਾ ਹੈ।
ਕ੍ਰਾਲ ਨਿਯਮ
ਉਸ ਕ੍ਰਾਲਰ (crawler) ਨਾਲ ਸ਼ੁਰੂ ਕਰੋ ਜਿਸਨੂੰ ਇਹਨਾਂ ਨਿਯਮਾਂ ਦਾ ਪਾਲਣ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ।
ਸਾਈਟਮੈਪ
ਤਿਆਰ ਕੀਤੀ ਗਈ robots.txt
0ਨਿਯਮ ਦੀ ਜਾਂਚ
ਮਾਰਗ ਦੀ ਜਾਂਚ ਕਰੋ
ਤੁਹਾਡੇ ਕ੍ਰਾਲ ਨਿਯਮ ਤੁਹਾਡੇ ਬ੍ਰਾਊਜ਼ਰ ਵਿੱਚ ਬਣਾਏ ਅਤੇ ਚੈੱਕ ਕੀਤੇ ਜਾਂਦੇ ਹਨ। BroBroGo 'ਤੇ ਕੁਝ ਵੀ ਅੱਪਲੋਡ ਨਹੀਂ ਕੀਤਾ ਜਾਂਦਾ।
ਅਕਸਰ ਪੁੱਛੇ ਜਾਣ ਵਾਲੇ ਸਵਾਲ
ਇਹ ਜਨਰੇਟਰ robots.txt ਵਿੱਚ ਕੀ ਜੋੜ ਸਕਦਾ ਹੈ?
ਇੱਕ ਯੂਜ਼ਰ-ਏਜੰਟ ਗਰੁੱਪ, Allow ਅਤੇ Disallow ਮਾਰਗ, ਅਤੇ ਇੱਕ ਜਾਂ ਵੱਧ ਸਾਈਟਮੈਪ URL ਜੋੜੋ। ਪੂਰਵ-ਦਰਸ਼ਨ (preview) robots.txt ਫਾਈਲ ਵਿੱਚ ਕਾਪੀ ਕਰਨ ਲਈ ਤਿਆਰ ਹੈ।
ਮਾਰਗ ਜਾਂਚਕਰਤਾ (path checker) ਕਿਸੇ ਨਿਯਮ ਨੂੰ ਕਿਵੇਂ ਚੁਣਦਾ ਹੈ?
ਇਹ Google ਦੇ ਮੇਲ ਖਾਣ ਦੇ ਕ੍ਰਮ ਦਾ ਪਾਲਣ ਕਰਦਾ ਹੈ: ਸਭ ਤੋਂ ਲੰਬਾ ਮੇਲ ਖਾਂਦਾ ਮਾਰਗ ਜਿੱਤਦਾ ਹੈ। ਜੇਕਰ ਮੇਲ ਖਾਂਦੇ Allow ਅਤੇ Disallow ਨਿਯਮ ਬਰਾਬਰ ਵਿਸ਼ੇਸ਼ ਹਨ, ਤਾਂ Allow ਜਿੱਤਦਾ ਹੈ।
ਕੀ Disallow ਕਿਸੇ ਪੇਜ ਨੂੰ Google ਖੋਜ ਤੋਂ ਹਟਾ ਦਿੰਦਾ ਹੈ?
ਨਹੀਂ। ਇੱਕ ਬਲੌਕ ਕੀਤਾ ਗਿਆ ਪੇਜ ਅਜੇ ਵੀ ਖੋਜ ਨਤੀਜਿਆਂ ਵਿੱਚ ਦਿਖਾਈ ਦੇ ਸਕਦਾ ਹੈ ਜੇਕਰ ਹੋਰ ਪੇਜ ਇਸ ਨਾਲ ਲਿੰਕ ਕਰਦੇ ਹਨ। ਜਦੋਂ ਤੁਸੀਂ ਚਾਹੁੰਦੇ ਹੋ ਕਿ ਪੇਜ ਖੋਜ ਤੋਂ ਬਾਹਰ ਰਹੇ, ਤਾਂ noindex, ਪਹੁੰਚ ਨਿਯੰਤਰਣ (access control) ਦੀ ਵਰਤੋਂ ਕਰੋ, ਜਾਂ ਪੇਜ ਨੂੰ ਹਟਾ ਦਿਓ।