Hva verktøyet gjør og hvem det er for
Dette verktøyet hjelper deg med å opprette og kontrollere regler som søkeroboter, som for eksempel Googlebot, skal følge når de besøker nettstedet ditt. Du kan bygge en robots.txt-fil ved å legge til ulike regler for forskjellige søkeroboter, og deretter teste spesifikke stier på nettstedet for å se om en søkerobot vil ha tillatelse eller bli blokkert basert på disse reglene.
Verktøyet er utviklet for flere brukergrupper:
- Nettstedsadministratorer som ønsker å kontrollere hvordan søkeroboter får tilgang til nettstedet deres.
- Utviklere som har behov for å opprette eller endre robots.txt-filer.
- Alle som ønsker å forhindre at søkeroboter får tilgang til spesifikke deler av nettstedet deres.
- Brukere som vil forsikre seg om at viktige sider ikke blir blokkert for søkeroboter ved et uhell.
Slik bruker du inndataene i verktøyet
For å generere og validere reglene dine, bruker verktøyet spesifikke inndata som du oppgir i grensesnittet:
- Brukeragent: Navnet på en søkerobot, eller
*for alle søkeroboter. - Sti (Path): En sti på nettstedet, som må starte med
/. - Nettkart-URL: En fullstendig
http://ellerhttps://adresse til et nettkart. - URL-sti (for testing): En spesifikk sti på nettstedet ditt som du ønsker å teste.
- Søkerobot (for testing): Navnet på søkeroboten du vil teste den valgte stien mot.
Forstå utdataene og resultatene
Når du bruker verktøyet, vil det generere ulike utdata og statuser basert på reglene du har lagt inn:
- Generert robots.txt: En forhåndsvisning av selve robots.txt-filen.
{count}regel/regler: Det nøyaktige antallet regler som finnes i den genererte robots.txt-filen.{count}element(er) å se over: Antallet problemer eller feil som er funnet i reglene dine.- Tillatt —
{rule}: Indikerer at den testede stien er tillatt, og viser regelen som tillater det. - Blokkert —
{rule}: Indikerer at den testede stien er blokkert, og viser regelen som blokkerer den. - Ingen samsvarende regel. Google tillater denne stien som standard.: Indikerer at ingen av reglene gjelder for den testede stien, og at Google dermed gir tilgang.
Regler, grensetilfeller og valideringsfeil
Verktøyet starter automatisk med en standardinnstilling der User-agent: * og Disallow: /admin er lagt inn. Når du bygger og redigerer dine egne regler, må du være oppmerksom på følgende syntaksregler og feilmeldinger som verktøyet kontrollerer for:
- Mellomrom i brukeragent: Navn på brukeragenter kan ikke inneholde mellomrom. Hvis dette brytes, vil du se feilmeldingen: Skriv inn ett user-agent-navn uten mellomrom, eller bruk * for alle søkeroboter..
- Format på stier: Regelstier må starte med
/og kan ikke inneholde mellomrom. Ved feil vises meldingen: Regelstier må starte med / og kan ikke inneholde mellomrom.. - Bruk av spesialtegn: Tegnet
$kan bare brukes helt i slutten av en regelsti. Hvis det plasseres andre steder, flagges det med: Bruk $ bare i slutten av en regelsti.. - Gjentatte regler: Hvis en regel gjentas for samme brukeragent, flagges dette med: Denne regelen er gjentatt for samme user-agent..
- Konflikt mellom tillat og blokker: Hvis en Allow-regel og en Disallow-regel bruker nøyaktig samme sti, vil verktøyet advare deg med: Allow og Disallow bruker samme sti. Google bruker Allow når begge er like spesifikke..
- Flere grupper for samme agent: Hvis den samme brukeragenten er navngitt i flere forskjellige grupper, flagges dette med: Google slår sammen grupper som navngir samme user-agent..
- Nettkart-adresser: Nettkart-URL-er må være fullstendige adresser som starter med enten
http://ellerhttps://. Hvis ikke, får du feilmeldingen: Sitemap-nettadresser må ha en fullstendig http://- eller https://-adresse.. - Størrelsesbegrensning: Hvis den genererte robots.txt-filen overskrider 100 000 tegn, vil verktøyet flagge dette med: Denne robots.txt-filen er for stor til å sjekkes her..
Slik prioriterer Google reglene
Når verktøyet sjekker stier, følger det Googles offisielle prioriteringsrekkefølge for samsvar:
- Lengste sti vinner: Det er den lengste samsvarende stien som har prioritet og vinner.
- Like spesifikke regler: Hvis en samsvarende Allow-regel og en Disallow-regel er nøyaktig like spesifikke, er det Allow-regelen som vinner.
Det er også viktig å være klar over begrensningene til en robots.txt-fil når det gjelder indeksering i søkemotorer. En blokkert side kan fortsatt dukke opp i søkeresultatene dersom andre sider på nettet lenker til den. Dette verktøyet sjekker ikke for noindex-direktiver, tilgangskontroll (passordbeskyttelse) eller om siden faktisk er slettet.
Personvern og databehandling
Når du bruker dette verktøyet, blir søkereglene dine opprettet og sjekket lokalt i nettleseren din. Ingenting av det du taster inn eller genererer blir lastet opp eller sendt til BroBroGo.
Ofte stilte spørsmål (FAQ)
Hva kan denne generatoren legge til i robots.txt?
Legg til en user-agent-gruppe, Allow- og Disallow-stier, og én eller flere sitemap-nettadresser. Forhåndsvisningen er klar til å kopieres inn i en robots.txt-fil.
Hvordan velger stisjekkeren en regel?
Den følger Googles prioriteringsrekkefølge: den lengste samsvarende stien vinner. Hvis en Allow- og Disallow-regel er like spesifikke, vinner Allow.
Fjerner Disallow en side fra Google-søk?
Nei. En blokkert side kan fortsatt vises i søkeresultater hvis andre sider lenker til den. Bruk noindex, tilgangskontroll eller slett siden hvis du vil holde den helt ute av søk.