Robots.txt-generaattori ja -validoija

Robots.txt-tiedoston toiminta ja merkitys

Robots.txt on verkkosivuston juurikansioon sijoitettava tekstitiedosto, joka ohjaa hakurobottien, kuten Googlebotin, toimintaa sivustolla. Sen avulla määritetään, mihin osiin sivustoa hakuroboteilla on lupa mennä ja mitkä osat on suljettu niiden pääsyltä. Tiedoston säännöt auttavat hallitsemaan sivuston indeksointia ja säästämään palvelimen resursseja estämällä tarpeettomien tai yksityisten osioiden tarpeetonta lataamista.

Robots.txt-generaattori ja -validoija on työkalu, jolla voi luoda sääntöjä eri hakuroboteille ja testata, miten ne vaikuttavat sivuston eri polkuihin. Työkalun avulla voi varmistaa, että tärkeät sivut pysyvät hakukoneiden saatavilla ja että kriittiset osiot on suojattu indeksoinnilta.

User-agent-direktiivit ja hakurobottien ohjaaminen

Hakurobotit tunnistautuvat niin sanotun User-agent-tunnisteen avulla. Robots.txt-tiedostossa säännöt ryhmitellään näiden tunnisteiden mukaan.

• Yleiset säännöt: Käyttämällä merkkiä * säännöt kohdistetaan kaikkiin hakurobotteihin. Työkalu käynnistyy oletusasetuksilla, joissa on määritetty User-agent: * ja Disallow: /admin.
• Kohdistetut säännöt: Säännöt voidaan osoittaa tietylle hakurobotille syöttämällä sen tarkka nimi, kuten Googlebot. User-agent-nimissä ei saa käyttää välilyöntejä.

Jos sama hakurobotti nimetään useammassa eri ryhmässä, hakukoneet käsittelevät niitä yhdistettynä kokonaisuutena. Työkalu tunnistaa tämän ja antaa huomautuksen: "Google yhdistää ryhmät, jotka nimeävät saman user-agentin".

Allow- ja Disallow-sääntöjen vuorovaikutus

Sivuston polkujen käyttöoikeuksia säädellään kahdella päädirektiivillä:

• Disallow: Estää hakurobottia vierailemasta määritetyllä polulla.
• Allow: Sallii pääsyn polulle, joka on muutoin estetty yleisemmällä Disallow-säännöllä.

Sääntöjen polkujen on aina alettava /-merkillä, eivätkä ne saa sisältää välilyöntejä. Erityismerkkiä $ voidaan käyttää määrittämään polun päättyminen, mutta sitä saa käyttää ainoastaan sääntöpolun lopussa.

Jos samalle hakurobotille määritetään täysin identtinen sääntö useita kertoja, työkalu ilmoittaa: "Tämä sääntö toistuu samalle hakurobotille". Tilanteissa, joissa Allow- ja Disallow-säännöt on asetettu täsmälleen samalle polulle, työkalu antaa huomautuksen: "Allow- ja Disallow-säännöt käyttävät samaa polkua. Google soveltaa Allow-sääntöä, kun molemmat ovat yhtä tarkkoja".

Googlen täsmäysjärjestys ja sääntöjen prioriteetit

Kun hakurobotti pyytää sivuston polkua, se vertaa polkua robots.txt-tiedoston sääntöihin. Google noudattaa sääntöjen tulkinnassa tarkkaa täsmäysjärjestystä, jossa pisin täsmäävä polku voittaa. Polun pituus lasketaan merkkien määrän perusteella, jolloin tarkempi ja pidempi sääntö ohittaa lyhyemmän ja yleisemmän säännön.

Jos täsmäävät Allow- ja Disallow-säännöt ovat merkkipituudeltaan eli tarkkuudeltaan täysin yhtä pitkiä, Allow-sääntö voittaa ja pääsy polulle sallitaan. Mikäli mikään sääntö ei täsmää testattavaan polkuun, hakurobotti saa vapaasti indeksoida sivun. Työkalu ilmoittaa tästä tuloksella: "Ei täsmäävää sääntöä. Google sallii tämän polun oletuksena.".

Sivukarttojen määrittäminen robots.txt-tiedostossa

Sivukartan (Sitemap) ilmoittaminen robots.txt-tiedostossa auttaa hakukoneita löytämään sivuston kaikki osoitteet tehokkaasti. Sivukartan osoitteen on oltava täydellinen URL-osoite, joka alkaa joko http://- tai https://-protokollalla. Jos osoite on puutteellinen, työkalu antaa virheilmoituksen: "Sivukartan URL-osoitteet vaativat täydellisen http://- tai https://-osoitteen.".

Sivukartat sijoitetaan yleensä tiedoston loppuun omiksi riveikseen, ja ne ovat riippumattomia User-agent-ryhmistä.

Yleiset virheet ja robots.txt-tiedoston rajoitukset

Robots.txt-tiedoston laadinnassa tapahtuu usein virheitä, jotka voivat estää sivuston näkyvyyden tai jättää kriittiset osat suojaamatta. Työkalu tarkistaa tiedoston koon ja säännöt automaattisesti. Jos tiedoston koko ylittää 100 000 merkkiä, validoija antaa ilmoituksen: "Tämä robots.txt on liian suuri tarkistettavaksi tässä".

On tärkeää ymmärtää robots.txt-tiedoston rajoitukset:

• Ei estä indeksointia täysin: Disallow-säännöllä estetty sivu voi silti päätyä hakukoneen hakutuloksiin, jos muut sivustot tai oman sivuston muut osat linkittävät kyseiseen osoitteeseen.
• Ei korvaa tietoturvaa: Robots.txt ei toimi pääsynvalvontana. Se on julkinen tiedosto, jonka kuka tahansa voi lukea.
• Ei sisällönsuojausta: Työkalu ei tarkista noindex-tageja, palvelintason pääsynvalvontaa (kuten salasanasuojausta) tai sivujen poistamista palvelimelta. Jos sivu halutaan varmasti pois hakutuloksista, on käytettävä muita menetelmiä, kuten meta-noindex-tagia tai käyttäjätunnistautumista.

Tietosuoja ja tietojen käsittely

Kaikki sääntöjen luonti, muokkaus ja polkujen testaus tapahtuu paikallisesti käyttäjän omassa selaimessa. Syötettyjä sääntöjä, polkuja tai sivuston osoitteita ei lähetetä BroBroGo-palveluun.

---

Usein kysytyt kysymykset

Mitä tällä generaattorilla voi lisätä robots.txt-tiedostoon?

Lisää user-agent-ryhmä, sallitut (Allow) ja estetyt (Disallow) polut sekä yksi tai muutama sivukartan URL-osoite. Esikatselu on valmis kopioitavaksi robots.txt-tiedostoon.

Miten polun tarkistusohjelma valitsee säännön?

Se noudattaa Googlen täsmäysjärjestystä: pisin täsmäävä polku voittaa. Jos täsmäävät Allow- ja Disallow-säännöt ovat yhtä tarkkoja, Allow voittaa.

Poistaako Disallow-sääntö sivun Google-hausta?

Ei. Estetty sivu voi silti näkyä hakutuloksissa, jos muut sivut linkittävät siihen. Käytä noindex-tagia, pääsynvalvontaa tai poista sivu kokonaan, jos haluat pitää sen poissa hausta.