Robots.txt generátor és ellenőrző

Hozzon létre feltérképezési szabályokat, és ellenőrizze, mely útvonalakat érheti el a Googlebot.

Feltérképezési szabályok

Kezdje azzal a keresőrobottal (crawler), amelyre ezek a szabályok vonatkoznak.

Oldaltérképek

Generált robots.txt

0
Kész. A példa blokkolja az /admin útvonalat az összes keresőrobot számára.

Szabályok ellenőrzése

    Útvonal tesztelése

    A feltérképezési szabályok létrehozása és ellenőrzése a böngészőjében történik. Semmi sem kerül feltöltésre a BroBroGo szervereire.

    GYIK

    Mit tud hozzáadni ez a generátor a robots.txt fájlhoz?

    Hozzáadhat egy user-agent csoportot, Allow és Disallow útvonalakat, valamint egy vagy több oldaltérkép (sitemap) URL-t. Az előnézet azonnal készen áll a másolásra egy robots.txt fájlba.

    Hogyan választ szabályt az útvonal-ellenőrző?

    A Google egyezési sorrendjét követi: a leghosszabb egyező útvonal nyer. Ha a megfelelő Allow és Disallow szabályok egyformán specifikusak, az Allow szabály nyer.

    Eltávolítja a Disallow szabály az oldalt a Google Keresőből?

    Nem. Egy letiltott oldal továbbra is megjelenhet a keresési találatok között, ha más oldalak hivatkoznak rá. Használjon noindex címkét, hozzáférés-szabályozást, vagy távolítsa el az oldalt, ha teljesen ki szeretné zárni a keresőkből.

    XML formázó és validálóFormázza, tömörítse és ellenőrizze az XML szerkezetét közvetlenül a böngészőjében.URL kódoló/dekódoló + HTML entitásokKódoljon URL-eket, dekódoljon százalékos kódolásokat, és alakítson át HTML-entitásokat.URL slug generátorAlakítsa át az oldalcímeket tiszta, kötőjeles URL-slugokká.XML oldaltérkép generátorAlakítsa át az oldal-URL-eket és a feltérképezési metaadatokat használatra kész sitemap.xml fájllá.Hreflang generátorAdja meg az egyes lokalizált URL-eket, és kapjon egy teljes hreflang címkekészletet x-default értékkel.Kanonikus címke ellenőrzőAdja meg egy oldal URL-jét a kanonikus címke megkereséséhez és az oldal címével való összehasonlításához.Átirányítási szabály generátorAlakítsa át a forrás- és cél-CSV-hozzárendeléseket 301-es vagy 302-es szabályokká Nginx, Apache és Vercel rendszerekhez.