Matoorka & Hubiyaha Robots.txt waa qalab loogu talagalay in lagu caawiyo maamulayaasha mareegaha iyo horumariyayaasha si ay u xakameeyaan habka ay gurguurayaasha shabakadu (sida Googlebot) u booqdaan mareegtooda. Qalabkani wuxuu kuu oggolaanayaa inaad dhisto faylka robots.txt adoo ku daraya xeerar kala duwan oo loogu talagalay gurguurayaal gaar ah, ka dibna aad tijaabiso dariiqyada mareegta si aad u ogaato in gurguuraruhu heli karo iyo in kale.
Ujeedada iyo Shaqada Faylka Robots.txt
Faylka robots.txt waa fayl qoraal ah oo fudud oo la dhigo galka ugu weyn (root directory) ee mareegtaada. Shaqadiisa ugu weyn waa inuu u sheego gurguurayaasha makiinadaha raadinta dariiqyada ay geli karaan iyo kuwa ay tahay inay ka fogaadaan. Isticmaalka faylkan wuxuu muhiim u yahay:
- Maamulayaasha mareegaha ee raba inay xakameeyaan habka ay gurguurayaashu u dhex maraan mareegtooda.
- Horumariyayaasha u baahan inay abuuraan ama wax ka beddelaan xeerarka robots.txt.
- Cid kasta oo rabta inay ka hortagto in gurguuraruhu galo qaybo gaar ah oo ka mid ah mareegta.
- Isticmaalayaasha raba inay hubiyaan in bogyada muhiimka ah aan si kama' ah looga xannibin gurguurayaasha.
Fahanka Awaamiirta User-agent
Awaamiirta User-agent waxay qeexaysaa gurguuraha gaarka ah ee xeerarku khuseeyaan. Qalabkani wuxuu ku bilaabmaa xeerka caadiga ah ee User-agent: * iyo Disallow: /admin.
Markaad qeexayso User-agent, xeerarka soo socda ayaa khuseeya:
- Waxaad isticmaali kartaa magac gurguure oo gaar ah ama
*si aad xeerka ugu dabaqdo dhammaan gurguurayaasha. - Magacyada User-agent ma laha karaan meelo bannaan. Haddii kale, qalabku wuxuu muujinayaa fariinta: "Geli hal magac oo user-agent ah oo aan lahayn meelo banaan, ama isticmaal * dhammaan crawler-yada."
- Haddii aad isku user-agent ku qeexdo kooxeedyo kala duwan, qalabku wuxuu ku siinayaa digniinta: "Google wuxuu isku daraa kooxaha magacaaba isku user-agent."
Xeerarka Oggolow iyo Ha oggolaan (Disallow)
Xeerarka Allow iyo Disallow waxay xakameeyaan gelitaanka dariiqyada mareegta. Si loo hubiyo in xeerarku sax yihiin, waa inay raacaan shuruudahan:
- Dariiqyada xeerarku waa inay ka bilaabmaan
/mana ku jiri karaan meelo bannaan. Haddii kale, qalabku wuxuu muujinayaa: "Dariiqyada xeerku waa inay ka bilaabmaan / mana ku jiri karaan meelo banaan." - Astaanta
$waxaa la isticmaali karaa oo keliya dhammaadka dariiqa xeerka. Haddii meel kale la dhigo, qalabku wuxuu muujinayaa: "Isticmaal $ kaliya dhamaadka dariiqa xeerka." - Haddii xeer isku mid ah lagu celiyo isla user-agent-ka dhexdiisa, qalabku wuxuu muujinayaa: "Xeerkan waa lagu celiyay isla user-agent-ka."
- Haddii xeerarka Allow iyo Disallow ay isticmaalaan isku dariiq, qalabku wuxuu muujinayaa: "Oggolow iyo Ha oggolaan waxay isticmaalaan isku dariiq. Google wuxuu adeegsadaa Oggolow marka labaduba ay si isku mid ah u qeexan yihiin."
Sida Google u Kala Mudnaansheeyo Xeerarka
Marka la hubinayo dariiqyada, qalabku wuxuu raacaa nidaamka u dhigma ee Google:
- Dariiqa ugu dheer ayaa guulaysta: Google wuxuu mudnaanta siiyaa xeerka ugu dhererka badan ee u dhigma dariiqa la codsaday.
- Xeerka Allow ayaa guulaysta: Haddii xeerarka Allow iyo Disallow ee u dhigma ay si isku mid ah u qeexan yihiin (ay isku dherer yihiin), xeerka Allow ayaa mudnaanta leh oo guulaysanaya.
Muhiimadda URL-yada Sitemap
Sitemap waa khariidada mareegtaada oo caawisa gurguurayaasha inay si fudud u helaan bogyadaada. Markaad ku darayso URL-ka sitemap gudaha robots.txt, waa inuu ahaadaa cinwaan dhammaystiran oo ka bilaabma http:// ama https://. Haddii URL-ku uusan dhammaystirnayn, qalabku wuxuu muujinayaa: "URL-yada sitemap waxay u baahan yihiin cinwaan dhammaystiran oo http:// ama https:// ah."
Xaddidaadaha Robots.txt ee Xakameynta Tusaha Raadinta
Waa muhiim in la fahmo in robots.txt uusan ahayn qalab lagu xaqiijiyo amniga ama qarsoodiga bogyada. Bog la xannibay (Disallow) wali wuxuu ka muuqan karaa natiijooyinka raadinta Google haddii bogyo kale ay ku xiraan boggaas.
Qalabkani ma hubiyo:
- Awaamiirta
noindexee bogyada dhexdiisa ku jira. - Xakamaynta gelitaanka (access control) ama xaqiijinta aqoonsiga.
- Ka saarista rasmiga ah ee bogyada laga saarayo makiinadaha raadinta.
Haddii faylka robots.txt ee la soo saaray uu ka bato 100,000 oo xaraf, qalabku wuxuu muujinayaa digniinta: "Robots.txt-kan aad buu u weyn yahay in halkan dib loogu eego."
Qarsoodiga iyo Habaynta Xogta
Xeerarkaaga gurguurashada waxaa lagu abuuraa laguna hubiyaa biraawsarkaaga dhexdiisa. Waxba looma soo geliyo BroBroGo. Tani waxay ka dhigan tahay in xogtaada iyo xeerarka aad tijaabinayso ay ku dhex haraan aaladdaada inta aad isticmaalayso qalabka.
Su'aalaha Badanaa La Isweydiiyo (FAQ)
Maxay tahay waxa uu matoor-kani ku dari karo robots.txt?
Ku dar koox user-agent ah, dariiqyada Oggolow iyo Ha oggolaan, iyo hal ama dhowr URL oo sitemap ah. Horu-fiirintu waxay diyaar u tahay in lagu koobiyeeyo faylka robots.txt.
Sidee hubiyaha dariiqu u doortaa xeerka?
Wuxuu raacayaa nidaamka u dhigma ee Google: dariiqa ugu dheer ee u dhigma ayaa guulaysanaya. Haddii xeerarka Oggolow iyo Ha oggolaan ee u dhigma ay si isku mid ah u qeexan yihiin, Oggolow ayaa guulaysanaya.
Miyay Ha oggolaan (Disallow) ka saartaa bogga Google Search?
Maya. Bog la xannibay wali wuxuu ka muuqan karaa natiijooyinka raadinta marka bogyo kale ay ku xirmaan. Isticmaal noindex, xakamaynta gelitaanka, ama ka saar bogga marka aad u baahan tahay in laga fogeeyo raadinta.