Robots.txt Generator & Validator

Bumuo ng mga panuntunan sa crawl at suriin kung aling path ang maaaring ma-access ng Googlebot.

Mga panuntunan sa crawl

Magsimula sa crawler na dapat sumunod sa mga panuntunang ito.

Mga Sitemap

Binuong robots.txt

0
Handa na. Hinaharang ng halimbawa ang /admin para sa lahat ng crawler.

Pagsusuri ng panuntunan

    Subukan ang isang path

    Ang inyong mga panuntunan sa crawl ay ginagawa at sinusuri sa inyong browser. Walang ina-upload sa BroBroGo.

    FAQ

    Ano ang maaaring idagdag ng generator na ito sa robots.txt?

    Magdagdag ng grupo ng user-agent, mga path ng Allow at Disallow, at isa o higit pang URL ng sitemap. Handa nang kopyahin ang preview sa isang robots.txt file.

    Paano pumipili ng panuntunan ang path checker?

    Sumusunod ito sa pagkakasunud-sunod ng pagtutugma ng Google: ang pinakamahabang tumutugmang path ang nananalo. Kung ang magkatugmang panuntunan ng Allow at Disallow ay parehong partikular, ang Allow ang nananalo.

    Inaalis ba ng Disallow ang isang page sa Google Search?

    Hindi. Ang isang hinarang na page ay maaari pa ring lumitaw sa mga resulta ng paghahanap kapag may ibang mga page na naka-link dito. Gumamit ng noindex, access control, o alisin ang page kapag kailangan mo itong ilayo sa paghahanap.

    XML Formatter / ValidatorI-format, i-minify, at suriin ang istruktura ng XML sa iyong browser.URL Encoder/Decoder + HTML EntitiesI-encode ang mga URL, i-decode ang mga percent escape, at i-escape ang mga HTML entity.URL Slug GeneratorGawing malinis at may gitling na mga URL slug ang mga pamagat ng page.XML Sitemap GeneratorGawing handang-gamiting sitemap.xml ang mga URL ng page at metadata ng crawl.Hreflang GeneratorIdagdag ang bawat localized na URL at kumuha ng kumpletong hreflang set na may x-default.Canonical Tag CheckerMaglagay ng URL ng page upang mahanap ang canonical nito at ihambing ito sa address ng page.Redirect Rule GeneratorGawing mga panuntunang 301 o 302 para sa Nginx, Apache, at Vercel ang mga CSV mapping ng source at destination.