Rialú Crawling agus Feidhm an Chomhaid Robots.txt
Is comhad téacs simplí é robots.txt a chuirtear i bhfréamh-eolaire suímh Ghréasáin chun treoracha a thabhairt do lorgairí gréasáin (crawlers), amhail Googlebot, faoi na codanna den suíomh ar féidir leo cuairt a thabhairt orthu. Cabhraíonn an uirlis "Gineadóir & Seiceálaí Robots.txt" leat na rialacha seo a chruthú agus a bhailíochtú go cruinn.
Trí chomhad robots.txt a chumrú, is féidir rochtain lorgairí ar chodanna áirithe de do shuíomh a bhainistiú. Tá sé seo thar a bheith tábhachtach do chothaitheoirí suímh agus d'fhorbróirí ar mian leo cosc a chur ar lorgairí rochtain a fháil ar chodanna sonracha, nó a chinntiú nach bhfuil leathanaigh thábhachtacha blocáilte de thaisme. Tosaíonn an uirlis seo le cumraíocht réamhshocraithe ina bhfuil User-agent: * agus Disallow: /admin.
Treoracha User-agent agus Rialacha Cosáin
Sainmhíníonn treoir an User-agent cé acu crawler lena mbaineann na rialacha ina dhiaidh sin. Is féidir ainm crawler ar leith a shonrú, nó an carachtar * a úsáid chun gach crawler a chur san áireamh. Ní mór aird a thabhairt ar na rialacha comhréire seo a leanas agus gníomhairí agus cosáin á socrú:
- Ainmneacha User-agent: Ní féidir spásanna a bheith in ainmneacha gníomhaire úsáideora. Mura leanann an t-ainm an riail seo, taispeánfar an teachtaireacht earráide: "Cuir isteach ainm user-agent amháin gan spásanna, nó úsáid * do gach crawler.".
- Cosáin Rialach: Ní mór do gach cosán tosú leis an gcarachtar
/agus ní féidir spásanna a bheith iontu. Mura gcomhlíontar é seo, taispeánfar an earráid: "Ní mór do chosáin rialach tosú le / agus ní féidir spásanna a bheith iontu.". - Úsáid an charachtair $: Ní féidir an carachtar
$a úsáid ach ag deireadh cosán rialach amháin. Má úsáidtear in áit ar bith eile é, taispeánfar an earráid: "Ná húsáid $ ach ag deireadh cosán rialach.".
Má dhéantar an riail chéanna a athdhéanamh don gníomhaire úsáideora céanna, bratachófar é leis an teachtaireacht: "Déantar an riail seo a athdhéanamh don user-agent céanna.". Chomh maith leis sin, má ainmnítear an gníomhaire úsáideora céanna i ngrúpaí iolracha, bratachófar é seo leis an teachtaireacht: "Comhcheanglaíonn Google grúpaí a ainmníonn an user-agent céanna.".
Rialacha Ceadaigh (Allow) agus Ná Ceadaigh (Disallow)
Rialaíonn na treoracha Allow (Ceadaigh) agus Disallow (Ná ceadaigh) an rochtain ar chosáin shonracha. Nuair a úsáidtear an dá threoir seo, d'fhéadfadh coinbhleachtaí tarlú:
- Cosáin Chomhionanna: Má úsáideann riail Ceadaigh agus riail Ná Ceadaigh an cosán cruinn céanna, bratachófar an coinbhleacht seo leis an teachtaireacht: "Úsáideann Ceadaigh agus Ná Ceadaigh an cosán céanna. Cuireann Google Ceadaigh i bhfeidhm nuair atá an dá cheann chomh sonrach céanna.".
- Ord Meaitseála Google: Leanann an uirlis ord meaitseála oifigiúil Google chun cosáin a sheiceáil. Is é an cosán meaitseála is faide a bhíonn an bua aige i gcónaí. Má tá rialacha Ceadaigh agus Ná Ceadaigh chomh sonrach céanna (is é sin, go bhfuil an fad céanna acu), bíonn an bua ag an riail Ceadaigh.
Léarscáileanna Suímh i Robots.txt
Is gné thábhachtach eile é URL an léarscáil suímh (Sitemap) a chur isteach sa chomhad robots.txt chun cabhrú le lorgairí struchtúr do shuímh a thaiscéaladh. Ní mór do URLanna léarscáileanna suímh a bheith ina seoltaí iomlána a thosaíonn le http:// nó https://. Mura bhfuil an URL iomlán nó má tá sé mícheart, taispeánfar an earráid: "Teastaíonn seoladh iomlán http:// nó https:// do URLanna léarscáileanna suímh.".
Teorainneacha agus Príobháideachas Sonraí
Tá teorainn mhéide i bhfeidhm sa seiceálaí chun feidhmíocht a chinntiú. Má théann an comhad robots.txt ginte thar 100,000 carachtar, taispeánfar an teachtaireacht: "Tá an robots.txt seo ró-mhór le hathbhreithniú anseo.".
Maidir le próiseáil sonraí agus príobháideachas, cruthaítear agus seiceáiltear do rialacha crawling go léir go díreach i do bhrabhsálaí gréasáin féin. Ní uaslódáiltear aon sonraí nó rialacha chuig freastalaithe BroBroGo.
Ní mór a mheas freisin nach bhfuil i robots.txt ach treoir do lorgairí cairdiúla. Ní seiceálann an uirlis seo le haghaidh treoracha noindex, rialú rochtana (access control), nó baint leathanach. Is féidir le leathanach atá blocáilte ag riail Disallow feiceáil fós i dtorthaí cuardaigh Google má tá naisc ag pointeáil chuige ó shuímh eile.
Ceisteanna Coitianta
Cad is féidir leis an ngineadóir seo a chur le robots.txt?
Cuir grúpa user-agent leis, cosáin Ceadaigh agus Ná Ceadaigh, agus URL amháin nó níos mó do léarscáil suímh. Tá an réamhamharc réidh le cóipeáil isteach i gcomhad robots.txt.
Conas a roghnaíonn an seiceálaí cosáin riail?
Leanann sé ord meaitseála Google: an cosán meaitseála is faide a bhíonn an bua aige. Má tá rialacha Ceadaigh (Allow) agus Ná Ceadaigh (Disallow) chomh sonrach céanna, bíonn an bua ag Ceadaigh.
An mbaineann Disallow leathanach as Google Search?
Ní dhéanann. Is féidir le leathanach blocáilte fós feiceáil i dtorthaí cuardaigh nuair a nascann leathanaigh eile leis. Úsáid noindex, rialú rochtana, nó bain an leathanach nuair is gá é a choinneáil amach as an gcuardach.