Robots.txt ಜನರೇಟರ್ ಮತ್ತು ವ್ಯಾಲಿಡೇಟರ್

ಕ್ರಾಲ್ ನಿಯಮಗಳನ್ನು ನಿರ್ಮಿಸಿ ಮತ್ತು Googlebot ಯಾವ ಪಾತ್ ಅನ್ನು ಪ್ರವೇಶಿಸಬಹುದು ಎಂಬುದನ್ನು ಪರಿಶೀಲಿಸಿ.

ಕ್ರಾಲ್ ನಿಯಮಗಳು

ಈ ನಿಯಮಗಳನ್ನು ಅನುಸರಿಸಬೇಕಾದ ಕ್ರಾಲರ್‌ನೊಂದಿಗೆ ಪ್ರಾರಂಭಿಸಿ.

ಸೈಟ್‌ಮ್ಯಾಪ್‌ಗಳು

ಜನರೇಟ್ ಮಾಡಲಾದ robots.txt

0
robots.txt
ಸಿದ್ಧವಾಗಿದೆ. ಉದಾಹರಣೆಯು ಎಲ್ಲಾ ಕ್ರಾಲರ್‌ಗಳಿಗಾಗಿ /admin ಅನ್ನು ನಿರ್ಬಂಧಿಸುತ್ತದೆ.

ನಿಯಮದ ಪರಿಶೀಲನೆ

    ಪಾತ್ ಅನ್ನು ಪರೀಕ್ಷಿಸಿ

    ನಿಮ್ಮ ಕ್ರಾಲ್ ನಿಯಮಗಳನ್ನು ನಿಮ್ಮ ಬ್ರೌಸರ್‌ನಲ್ಲೇ ರಚಿಸಲಾಗುತ್ತದೆ ಮತ್ತು ಪರಿಶೀಲಿಸಲಾಗುತ್ತದೆ. BroBroGo ಗೆ ಏನನ್ನೂ ಅಪ್‌ಲೋಡ್ ಮಾಡಲಾಗುವುದಿಲ್ಲ.

    ಪದೇ ಪದೇ ಕೇಳಲಾಗುವ ಪ್ರಶ್ನೆಗಳು

    ಈ ಜನರೇಟರ್ robots.txt ಗೆ ಏನನ್ನು ಸೇರಿಸಬಹುದು?

    ಯೂಸರ್-ಏಜೆಂಟ್ ಗುಂಪು, Allow ಮತ್ತು Disallow ಪಾತ್‌ಗಳು ಮತ್ತು ಒಂದು ಅಥವಾ ಹೆಚ್ಚಿನ ಸೈಟ್‌ಮ್ಯಾಪ್ URL ಗಳನ್ನು ಸೇರಿಸಿ. ಪೂರ್ವವೀಕ್ಷಣೆಯು robots.txt ಫೈಲ್‌ಗೆ ನಕಲಿಸಲು ಸಿದ್ಧವಾಗಿರುತ್ತದೆ.

    ಪಾತ್ ಪರಿಶೀಲಕವು ನಿಯಮವನ್ನು ಹೇಗೆ ಆಯ್ಕೆ ಮಾಡುತ್ತದೆ?

    ಇದು Google ನ ಹೊಂದಾಣಿಕೆಯ ಕ್ರಮವನ್ನು ಅನುಸರಿಸುತ್ತದೆ: ಅತಿ ಉದ್ದದ ಹೊಂದಾಣಿಕೆಯ ಪಾತ್ ಜಯಶಾಲಿಯಾಗುತ್ತದೆ. ಹೊಂದಾಣಿಕೆಯಾಗುವ Allow ಮತ್ತು Disallow ನಿಯಮಗಳು ಸಮಾನವಾಗಿ ನಿರ್ದಿಷ್ಟವಾಗಿದ್ದರೆ, Allow ಜಯಶಾಲಿಯಾಗುತ್ತದೆ.

    Disallow ನಿಯಮವು ಗೂಗಲ್ ಹುಡುಕಾಟದಿಂದ ಪುಟವನ್ನು ತೆಗೆದುಹಾಕುತ್ತದೆಯೇ?

    ಇಲ್ಲ. ಇತರ ಪುಟಗಳು ಲಿಂಕ್ ಮಾಡಿದಾಗ ನಿರ್ಬಂಧಿಸಿದ ಪುಟವು ಇನ್ನೂ ಹುಡುಕಾಟ ಫಲಿತಾಂಶಗಳಲ್ಲಿ ಕಾಣಿಸಿಕೊಳ್ಳಬಹುದು. ಹುಡುಕಾಟದಿಂದ ಹೊರಗಿಡಲು ನಿಮಗೆ ಅಗತ್ಯವಿದ್ದಾಗ noindex, ಪ್ರವೇಶ ನಿಯಂತ್ರಣ ಬಳಸಿ ಅಥವಾ ಪುಟವನ್ನು ತೆಗೆದುಹಾಕಿ.

    Robots.txt ಫೈಲ್‌ನ ಉದ್ದೇಶ ಮತ್ತು ಕಾರ್ಯನಿರ್ವಹಣೆ

    ವೆಬ್‌ಸೈಟ್ ನಿರ್ವಹಣೆಯಲ್ಲಿ robots.txt ಫೈಲ್ ಪ್ರಮುಖ ಪಾತ್ರ ವಹಿಸುತ್ತದೆ. ಇದು ಸರ್ಚ್ ಇಂಜಿನ್ ಕ್ರಾಲರ್‌ಗಳು (ಉದಾಹರಣೆಗೆ Googlebot) ನಿಮ್ಮ ವೆಬ್‌ಸೈಟ್‌ಗೆ ಭೇಟಿ ನೀಡಿದಾಗ ಯಾವ ಪುಟಗಳನ್ನು ಪ್ರವೇಶಿಸಬೇಕು ಮತ್ತು ಯಾವುದನ್ನು ನಿರ್ಬಂಧಿಸಬೇಕು ಎಂಬುದನ್ನು ನಿರ್ದೇಶಿಸುವ ಒಂದು ಪಠ್ಯ ಫೈಲ್ ಆಗಿದೆ. ವೆಬ್‌ಸೈಟ್ ನಿರ್ವಾಹಕರು ಮತ್ತು ಡೆವಲಪರ್‌ಗಳು ತಮ್ಮ ಸೈಟ್‌ನ ಕ್ರಾಲಿಂಗ್ ಪ್ರಕ್ರಿಯೆಯನ್ನು ನಿಯಂತ್ರಿಸಲು, ಪ್ರಮುಖ ಪುಟಗಳು ಸರ್ಚ್ ಇಂಜಿನ್‌ಗಳಿಗೆ ಸುಲಭವಾಗಿ ಸಿಗುವಂತೆ ಮಾಡಲು ಮತ್ತು ಅನಗತ್ಯ ಅಥವಾ ಸೂಕ್ಷ್ಮ ವಿಭಾಗಗಳನ್ನು ಕ್ರಾಲರ್‌ಗಳಿಂದ ದೂರವಿಡಲು ಈ ಫೈಲ್ ಅನ್ನು ಬಳಸುತ್ತಾರೆ.

    ಈ ಉಪಕರಣವು ನಿಮ್ಮ ವೆಬ್‌ಸೈಟ್‌ಗಾಗಿ ನಿಖರವಾದ robots.txt ನಿಯಮಗಳನ್ನು ರಚಿಸಲು ಮತ್ತು ಅವುಗಳನ್ನು ಪರೀಕ್ಷಿಸಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ. ನಿಮ್ಮ ಕ್ರಾಲ್ ನಿಯಮಗಳನ್ನು ನಿಮ್ಮ ಬ್ರೌಸರ್‌ನಲ್ಲೇ ರಚಿಸಲಾಗುತ್ತದೆ ಮತ್ತು ಪರಿಶೀಲಿಸಲಾಗುತ್ತದೆ. BroBroGo ಗೆ ಏನನ್ನೂ ಅಪ್‌ಲೋಡ್ ಮಾಡಲಾಗುವುದಿಲ್ಲ. ಇದರಿಂದಾಗಿ ನಿಮ್ಮ ನಿಯಮಗಳ ಗೌಪ್ಯತೆ ಬ್ರೌಸರ್ ಮಟ್ಟದಲ್ಲೇ ಉಳಿಯುತ್ತದೆ.


    User-agent ನಿಯಮಗಳು ಮತ್ತು ಕ್ರಾಲರ್ ನಿಯಂತ್ರಣ

    Robots.txt ಫೈಲ್‌ನಲ್ಲಿ User-agent ಎಂಬುದು ಅತ್ಯಂತ ಮೂಲಭೂತ ನಿರ್ದೇಶನವಾಗಿದೆ. ಇದು ಯಾವ ನಿರ್ದಿಷ್ಟ ವೆಬ್ ಕ್ರಾಲರ್‌ಗೆ ನಿಯಮಗಳು ಅನ್ವಯಿಸುತ್ತವೆ ಎಂಬುದನ್ನು ಸೂಚಿಸುತ್ತದೆ.

    • ಎಲ್ಲಾ ಕ್ರಾಲರ್‌ಗಳು: ಎಲ್ಲಾ ಸರ್ಚ್ ಇಂಜಿನ್ ಕ್ರಾಲರ್‌ಗಳಿಗೆ ಒಂದೇ ನಿಯಮವನ್ನು ಅನ್ವಯಿಸಲು * ಚಿಹ್ನೆಯನ್ನು ಬಳಸಲಾಗುತ್ತದೆ.
    • ನಿರ್ದಿಷ್ಟ ಕ್ರಾಲರ್‌ಗಳು: ಕೇವಲ Googlebot ನಂತಹ ನಿರ್ದಿಷ್ಟ ಕ್ರಾಲರ್‌ಗೆ ಮಾತ್ರ ನಿಯಮಗಳನ್ನು ಅನ್ವಯಿಸಲು ಆ ಕ್ರಾಲರ್‌ನ ನಿಖರ ಹೆಸರನ್ನು ನಮೂದಿಸಬೇಕು.

    ಈ ಉಪಕರಣವನ್ನು ಬಳಸುವಾಗ ಕೆಲವು ನಿಯಮಗಳನ್ನು ಪಾಲಿಸಬೇಕಾಗುತ್ತದೆ:

    • ಯೂಸರ್-ಏಜೆಂಟ್ ಹೆಸರುಗಳಲ್ಲಿ ಯಾವುದೇ ಖಾಲಿ ಜಾಗಗಳು (spaces) ಇರಬಾರದು. ತಪ್ಪಾದಲ್ಲಿ ಉಪಕರಣವು "ಖಾಲಿ ಜಾಗಗಳಿಲ್ಲದೆ ಒಂದು ಯೂಸರ್-ಏಜೆಂಟ್ ಹೆಸರನ್ನು ನಮೂದಿಸಿ, ಅಥವಾ ಎಲ್ಲಾ ಕ್ರಾಲರ್‌ಗಳಿಗಾಗಿ * ಬಳಸಿ." ಎಂಬ ದೋಷ ಸಂದೇಶವನ್ನು ತೋರಿಸುತ್ತದೆ.
    • ಉಪಕರಣವು ಪೂರ್ವನಿಯೋಜಿತವಾಗಿ User-agent: * ಮತ್ತು Disallow: /admin ನಿಯಮದೊಂದಿಗೆ ಪ್ರಾರಂಭವಾಗುತ್ತದೆ.
    • ಒಂದೇ ಯೂಸರ್-ಏಜೆಂಟ್ ಅನ್ನು ಹೆಸರಿಸುವ ಗುಂಪುಗಳನ್ನು Google ಸಂಯೋಜಿಸುತ್ತದೆ. ಒಂದು ವೇಳೆ ನೀವು ಒಂದೇ ಯೂಸರ್-ಏಜೆಂಟ್‌ಗೆ ಬೇರೆ ಬೇರೆ ಕಡೆ ನಿಯಮಗಳನ್ನು ಬರೆದರೆ, ಉಪಕರಣವು "ಒಂದೇ ಯೂಸರ್-ಏಜೆಂಟ್ ಅನ್ನು ಹೆಸರಿಸುವ ಗುಂಪುಗಳನ್ನು Google ಸಂಯೋಜಿಸುತ್ತದೆ." ಎಂಬ ಎಚ್ಚರಿಕೆಯನ್ನು ನೀಡುತ್ತದೆ.

    Allow ಮತ್ತು Disallow ನಿಯಮಗಳ ಪರಸ್ಪರ ಕ್ರಿಯೆ

    ಕ್ರಾಲರ್‌ಗಳಿಗೆ ನಿರ್ದಿಷ್ಟ ಪಾತ್‌ಗಳನ್ನು ಅನುಮತಿಸಲು ಅಥವಾ ನಿರ್ಬಂಧಿಸಲು Allow ಮತ್ತು Disallow ನಿಯಮಗಳನ್ನು ಬಳಸಲಾಗುತ್ತದೆ.

    • Disallow (ನಿರ್ಬಂಧಿಸಿ): ಕ್ರಾಲರ್‌ಗಳು ಪ್ರವೇಶಿಸಬಾರದು ಎಂದು ನೀವು ಬಯಸುವ ಪಾತ್ ಅನ್ನು ಇದು ನಿರ್ಬಂಧಿಸುತ್ತದೆ.
    • Allow (ಅನುಮತಿಸಿ): ಸಾಮಾನ್ಯವಾಗಿ ನಿರ್ಬಂಧಿಸಲಾದ ಡೈರೆಕ್ಟರಿಯ ಒಳಗಿರುವ ನಿರ್ದಿಷ್ಟ ಉಪ-ಪುಟ ಅಥವಾ ಪಾತ್ ಅನ್ನು ಕ್ರಾಲರ್‌ಗಳು ಪ್ರವೇಶಿಸಲು ಇದು ಅನುಮತಿಸುತ್ತದೆ.

    ನಿಯಮಗಳ ರಚನೆ ಮತ್ತು ಮಿತಿಗಳು:

    1. ಪಾತ್ ರಚನೆ: ನಿಯಮದ ಪಾತ್‌ಗಳು ಕಡ್ಡಾಯವಾಗಿ / ನಿಂದ ಪ್ರಾರಂಭವಾಗಬೇಕು ಮತ್ತು ಖಾಲಿ ಜಾಗಗಳನ್ನು ಹೊಂದಿರಬಾರದು. ಇಲ್ಲದಿದ್ದರೆ ಉಪಕರಣವು "ನಿಯಮದ ಪಾತ್‌ಗಳು / ನಿಂದ ಪ್ರಾರಂಭವಾಗಬೇಕು ಮತ್ತು ಖಾಲಿ ಜಾಗಗಳನ್ನು ಹೊಂದಿರಬಾರದು." ಎಂಬ ದೋಷವನ್ನು ಪ್ರದರ್ಶಿಸುತ್ತದೆ.
    2. ವಿಶೇಷ ಅಕ್ಷರ $: ಪಾತ್‌ನ ನಿಖರವಾದ ಅಂತ್ಯವನ್ನು ಸೂಚಿಸಲು ಮಾತ್ರ $ ಚಿಹ್ನೆಯನ್ನು ಬಳಸಬಹುದು. ಇದನ್ನು ನಿಯಮದ ಪಾತ್‌ನ ಕೊನೆಯಲ್ಲಿ ಮಾತ್ರ ಬಳಸಬೇಕು, ಇಲ್ಲದಿದ್ದರೆ "ನಿಯಮದ ಪಾತ್‌ನ ಕೊನೆಯಲ್ಲಿ ಮಾತ್ರ $ ಬಳಸಿ." ಎಂಬ ದೋಷ ಸಂದೇಶ ಕಾಣಿಸಿಕೊಳ್ಳುತ್ತದೆ.
    3. ನಕಲಿ ನಿಯಮಗಳು: ಒಂದೇ ಯೂಸರ್-ಏಜೆಂಟ್‌ಗಾಗಿ ಒಂದೇ ನಿಯಮವನ್ನು ಪುನರಾವರ್ತಿಸಿದರೆ, ಉಪಕರಣವು "ಈ ನಿಯಮವನ್ನು ಅದೇ ಯೂಸರ್-ಏಜೆಂಟ್‌ಗಾಗಿ ಪುನರಾವರ್ತಿಸಲಾಗಿದೆ." ಎಂದು ಗುರುತಿಸುತ್ತದೆ.
    4. ಸಂಘರ್ಷಗಳು: Allow ಮತ್ತು Disallow ನಿಯಮಗಳು ಒಂದೇ ಪಾತ್ ಅನ್ನು ಬಳಸುತ್ತಿದ್ದರೆ, ಉಪಕರಣವು "Allow ಮತ್ತು Disallow ಒಂದೇ ಪಾತ್ ಅನ್ನು ಬಳಸುತ್ತಿವೆ. ಎರಡೂ ಸಮಾನವಾಗಿ ನಿರ್ದಿಷ್ಟವಾಗಿದ್ದಾಗ Google 'Allow' ಅನ್ನು ಅನ್ವಯಿಸುತ್ತದೆ." ಎಂಬ ಎಚ್ಚರಿಕೆಯನ್ನು ನೀಡುತ್ತದೆ.

    Google ನ ನಿಯಮ ಹೊಂದಾಣಿಕೆ ಕ್ರಮ (Matching Order)

    ವೆಬ್ ಕ್ರಾಲರ್‌ಗಳು robots.txt ಫೈಲ್‌ನಲ್ಲಿರುವ ನಿಯಮಗಳನ್ನು ಹೇಗೆ ಅರ್ಥೈಸಿಕೊಳ್ಳುತ್ತವೆ ಎಂಬುದಕ್ಕೆ ನಿರ್ದಿಷ್ಟ ಕ್ರಮಗಳಿವೆ. ವಿಶೇಷವಾಗಿ Google ನ ಹೊಂದಾಣಿಕೆಯ ಕ್ರಮವು ಈ ಕೆಳಗಿನ ತತ್ವಗಳ ಆಧಾರದ ಮೇಲೆ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ:

    • ಅತಿ ಉದ್ದದ ಪಾತ್ ಜಯಶಾಲಿ: ಕ್ರಾಲರ್ ಒಂದು URL ಅನ್ನು ಪರೀಕ್ಷಿಸುವಾಗ, ಅತ್ಯಂತ ಉದ್ದವಾದ ಮತ್ತು ಹೆಚ್ಚು ನಿರ್ದಿಷ್ಟವಾಗಿ ಹೊಂದಾಣಿಕೆಯಾಗುವ ಪಾತ್ ನಿಯಮಕ್ಕೆ ಮೊದಲ ಆದ್ಯತೆ ನೀಡುತ್ತದೆ.
    • ಸಮಬಲದ ಸಂದರ್ಭದಲ್ಲಿ 'Allow' ಜಯಶಾಲಿ: ಹೊಂದಾಣಿಕೆಯಾಗುವ Allow ಮತ್ತು Disallow ನಿಯಮಗಳು ಸಮಾನವಾಗಿ ನಿರ್ದಿಷ್ಟವಾಗಿದ್ದರೆ (ಅಂದರೆ ಎರಡೂ ಪಾತ್‌ಗಳ ಉದ್ದ ಒಂದೇ ಆಗಿದ್ದರೆ), Google 'Allow' ನಿಯಮವನ್ನು ಅನ್ವಯಿಸುತ್ತದೆ.

    ಈ ಉಪಕರಣದಲ್ಲಿ ನೀವು "URL ಪಾತ್" ಮತ್ತು "ಕ್ರಾಲರ್" ಹೆಸರನ್ನು ನಮೂದಿಸಿ "ಪಾತ್ ಪರಿಶೀಲಿಸಿ" ಕ್ಲಿಕ್ ಮಾಡಿದಾಗ, ಅದು ಈ ಕೆಳಗಿನ ಫಲಿತಾಂಶಗಳನ್ನು ನೀಡುತ್ತದೆ:

    • ಅನುಮತಿಸಲಾಗಿದೆ — {rule}: ಪರೀಕ್ಷಿಸಿದ ಪಾತ್ ಅನ್ನು ಅನುಮತಿಸಲಾಗಿದೆ ಮತ್ತು ಅದಕ್ಕೆ ಕಾರಣವಾದ ನಿಯಮವನ್ನು ಇದು ತೋರಿಸುತ್ತದೆ.
    • ನಿರ್ಬಂಧಿಸಲಾಗಿದೆ — {rule}: ಪರೀಕ್ಷಿಸಿದ ಪಾತ್ ಅನ್ನು ನಿರ್ಬಂಧಿಸಲಾಗಿದೆ ಮತ್ತು ಅದಕ್ಕೆ ಕಾರಣವಾದ ನಿಯಮವನ್ನು ಇದು ತೋರಿಸುತ್ತದೆ.
    • ಯಾವುದೇ ಹೊಂದಾಣಿಕೆಯ ನಿಯಮವಿಲ್ಲ. Google ಪೂರ್ವನಿಯೋಜಿತವಾಗಿ ಈ ಪಾತ್ ಅನ್ನು ಅನುಮತಿಸುತ್ತದೆ.: ಯಾವುದೇ ನಿರ್ದಿಷ್ಟ ನಿಯಮಗಳು ಅನ್ವಯಿಸದಿದ್ದಾಗ Google ಆ ಪಾತ್ ಅನ್ನು ಮುಕ್ತವಾಗಿ ಪ್ರವೇಶಿಸುತ್ತದೆ ಎಂಬುದನ್ನು ಇದು ಸೂಚಿಸುತ್ತದೆ.

    ಸೈಟ್‌ಮ್ಯಾಪ್ URL ಗಳ ಪ್ರಾಮುಖ್ಯತೆ

    Robots.txt ಫೈಲ್‌ನಲ್ಲಿ ಸೈಟ್‌ಮ್ಯಾಪ್ (Sitemap) URL ಅನ್ನು ಸೇರಿಸುವುದು ಅತ್ಯಂತ ಪ್ರಮುಖವಾದ ಅಭ್ಯಾಸವಾಗಿದೆ. ಇದು ಸರ್ಚ್ ಇಂಜಿನ್ ಕ್ರಾಲರ್‌ಗಳಿಗೆ ನಿಮ್ಮ ವೆಬ್‌ಸೈಟ್‌ನಲ್ಲಿರುವ ಎಲ್ಲಾ ಪ್ರಮುಖ ಪುಟಗಳ ಪಟ್ಟಿಯನ್ನು ನೇರವಾಗಿ ಪತ್ತೆಹಚ್ಚಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ.

    • ಸೈಟ್‌ಮ್ಯಾಪ್ URL ಗಳು ಸಂಪೂರ್ಣವಾದ ವಿಳಾಸವನ್ನು ಹೊಂದಿರಬೇಕು. ಅಂದರೆ ಅವು ಕಡ್ಡಾಯವಾಗಿ http:// ಅಥವಾ https:// ನಿಂದ ಪ್ರಾರಂಭವಾಗಬೇಕು.
    • ಅಪೂರ್ಣ ಅಥವಾ ತಪ್ಪು ವಿಳಾಸವನ್ನು ನಮೂದಿಸಿದರೆ, ಉಪಕರಣವು "ಸೈಟ್‌ಮ್ಯಾಪ್ URL ಗಳಿಗೆ ಸಂಪೂರ್ಣ http:// ಅಥವಾ https:// ವಿಳಾಸದ ಅಗತ್ಯವಿದೆ." ಎಂಬ ದೋಷವನ್ನು ತೋರಿಸುತ್ತದೆ.

    Robots.txt ನ ಮಿತಿಗಳು ಮತ್ತು ಇಂಡೆಕ್ಸಿಂಗ್ ನಿಯಂತ್ರಣ

    Robots.txt ಫೈಲ್ ಅನ್ನು ಬಳಸುವಾಗ ಅದರ ಮಿತಿಗಳನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವುದು ಬಹಳ ಮುಖ್ಯ. ಅನೇಕರು robots.txt ನಲ್ಲಿ ಪುಟವನ್ನು ನಿರ್ಬಂಧಿಸಿದರೆ ಅದು ಗೂಗಲ್ ಹುಡುಕಾಟದಿಂದ ಸಂಪೂರ್ಣವಾಗಿ ಮರೆಯಾಗುತ್ತದೆ ಎಂದು ತಪ್ಪಾಗಿ ಭಾವಿಸುತ್ತಾರೆ.

    • ಹುಡುಕಾಟ ಫಲಿತಾಂಶಗಳಲ್ಲಿ ಕಾಣಿಸಿಕೊಳ್ಳುವಿಕೆ: ಒಂದು ಪುಟವನ್ನು robots.txt ನಲ್ಲಿ Disallow ಮಾಡಿದ್ದರೂ ಸಹ, ಬೇರೆ ಯಾವುದೇ ವೆಬ್‌ಸೈಟ್ ಅಥವಾ ಪುಟವು ಆ ನಿರ್ಬಂಧಿತ ಪುಟಕ್ಕೆ ಲಿಂಕ್ ನೀಡಿದ್ದರೆ, ಅದು ಗೂಗಲ್ ಹುಡುಕಾಟ ಫಲಿತಾಂಶಗಳಲ್ಲಿ ಕಾಣಿಸಿಕೊಳ್ಳಬಹುದು.
    • ಇಂಡೆಕ್ಸಿಂಗ್ ತಡೆಗಟ್ಟಲು ಪರ್ಯಾಯಗಳು: ಈ ಉಪಕರಣವು noindex ನಿರ್ದೇಶನ, ಪ್ರವೇಶ ನಿಯಂತ್ರಣ (Access Control) ಅಥವಾ ಪುಟ ತೆಗೆದುಹಾಕುವಿಕೆಯನ್ನು ಪರಿಶೀಲಿಸುವುದಿಲ್ಲ. ನಿಮ್ಮ ಪುಟಗಳು ಸರ್ಚ್ ಇಂಜಿನ್‌ನಲ್ಲಿ ಇಂಡೆಕ್ಸ್ ಆಗದಂತೆ ಸಂಪೂರ್ಣವಾಗಿ ತಡೆಯಲು ನೀವು ಮೆಟಾ ಟ್ಯಾಗ್‌ಗಳಲ್ಲಿ noindex ಬಳಸಬೇಕು ಅಥವಾ ಪುಟಕ್ಕೆ ಪಾಸ್‌ವರ್ಡ್ ರಕ್ಷಣೆ ನೀಡಬೇಕು.
    • ಫೈಲ್ ಗಾತ್ರದ ಮಿತಿ: ಜನರೇಟ್ ಮಾಡಲಾದ robots.txt ಫೈಲ್‌ನ ಗಾತ್ರವು 100,000 ಅಕ್ಷರಗಳನ್ನು ಮೀರಿದರೆ, ಉಪಕರಣವು "ಈ robots.txt ಇಲ್ಲಿ ಪರಿಶೀಲಿಸಲು ತುಂಬಾ ದೊಡ್ಡದಾಗಿದೆ." ಎಂಬ ಎಚ್ಚರಿಕೆಯನ್ನು ನೀಡುತ್ತದೆ.

    FAQ - ಸಾಮಾನ್ಯ ಪ್ರಶ್ನೆಗಳು

    ಈ ಜನರೇಟರ್ robots.txt ಗೆ ಏನನ್ನು ಸೇರಿಸಬಹುದು?

    ಯೂಸರ್-ಏಜೆಂಟ್ ಗುಂಪು, Allow ಮತ್ತು Disallow ಪಾತ್‌ಗಳು ಮತ್ತು ಒಂದು ಅಥವಾ ಹೆಚ್ಚಿನ ಸೈಟ್‌ಮ್ಯಾಪ್ URL ಗಳನ್ನು ಸೇರಿಸಿ. ಪೂರ್ವವೀಕ್ಷಣೆಯು robots.txt ಫೈಲ್‌ಗೆ ನಕಲಿಸಲು ಸಿದ್ಧವಾಗಿರುತ್ತದೆ.

    ಪಾತ್ ಪರಿಶೀಲಕವು ನಿಯಮವನ್ನು ಹೇಗೆ ಆಯ್ಕೆ ಮಾಡುತ್ತದೆ?

    ಇದು Google ನ ಹೊಂದಾಣಿಕೆಯ ಕ್ರಮವನ್ನು ಅನುಸರಿಸುತ್ತದೆ: ಅತಿ ಉದ್ದದ ಹೊಂದಾಣಿಕೆಯ ಪಾತ್ ಜಯಶಾಲಿಯಾಗುತ್ತದೆ. ಹೊಂದಾಣಿಕೆಯಾಗುವ Allow ಮತ್ತು Disallow ನಿಯಮಗಳು ಸಮಾನವಾಗಿ ನಿರ್ದಿಷ್ಟವಾಗಿದ್ದರೆ, Allow ಜಯಶಾಲಿಯಾಗುತ್ತದೆ.

    Disallow ನಿಯಮವು ಗೂಗಲ್ ಹುಡುಕಾಟದಿಂದ ಪುಟವನ್ನು ತೆಗೆದುಹಾಕುತ್ತದೆಯೇ?

    ಇಲ್ಲ. ಇತರ ಪುಟಗಳು ಲಿಂಕ್ ಮಾಡಿದಾಗ ನಿರ್ಬಂಧಿಸಿದ ಪುಟವು ಇನ್ನೂ ಹುಡುಕಾಟ ಫಲಿತಾಂಶಗಳಲ್ಲಿ ಕಾಣಿಸಿಕೊಳ್ಳಬಹುದು. ಹುಡುಕಾಟದಿಂದ ಹೊರಗಿಡಲು ನಿಮಗೆ ಅಗತ್ಯವಿದ್ದಾಗ noindex, ಪ್ರವೇಶ ನಿಯಂತ್ರಣ ಬಳಸಿ ಅಥವಾ ಪುಟವನ್ನು ತೆಗೆದುಹಾಕಿ.

    ಈ ಉಪಕರಣದಲ್ಲಿ ನನ್ನ ಡೇಟಾ ಸುರಕ್ಷಿತವಾಗಿದೆಯೇ?

    ಹೌದು. ನಿಮ್ಮ ಕ್ರಾಲ್ ನಿಯಮಗಳನ್ನು ನಿಮ್ಮ ಬ್ರೌಸರ್‌ನಲ್ಲೇ ರಚಿಸಲಾಗುತ್ತದೆ ಮತ್ತು ಪರಿಶೀಲಿಸಲಾಗುತ್ತದೆ. BroBroGo ಗೆ ಯಾವುದೇ ಡೇಟಾವನ್ನು ಅಪ್‌ಲೋಡ್ ಮಾಡಲಾಗುವುದಿಲ್ಲ.