የ-Robots.txt አመንጪ እና ማረጋገጫ

የክራውል ደንቦችን ይገንቡ እና Googlebot የትኛውን መንገድ መድረስ እንደሚችል ይፈትሹ።

የክራውል ደንቦች

እነዚህን ደንቦች መከተል በሚገባው ክራውለር (crawler) ይጀምሩ።

ዝግጁ ነው። ምሳሌው ለሁሉም ክራውለሮች /adminን ያግዳል።

የ-URL መንገድክራውለር (Crawler)

የእርስዎ የክራውል ደንቦች በብሮውዘርዎ ውስጥ ይፈጠራሉ እና ይረጋገጣሉ። ወደ BroBroGo ምንም ነገር አይሰቀልም።

ይህ አመንጪ ወደ robots.txt ምን ማከል ይችላል?

የ-user-agent ቡድን፣ የ-Allow እና Disallow መንገዶችን፣ እና አንድ ወይም ከዚያ በላይ የጣቢያ ካርታ (sitemap) URLዎችን ያክሉ። ቅድመ-ዕይታው ወደ robots.txt ፋይል ለመቀዳት ዝግጁ ነው።

የመንገድ ፈታሹ ደንብን የሚመርጠው እንዴት ነው?

የ-Googleን የማዛመጃ ቅደም ተከተል ይከተላል፦ ረጅሙ የሚዛመደው መንገድ ያሸንፋል። የሚዛመዱ Allow እና Disallow ደንቦች እኩል ዝርዝር ከሆኑ፣ Allow ያሸንፋል።

Disallow ማድረግ አንድን ገጽ ከGoogle ፍለጋ ያስወግዳል?

አይደለም። ሌሎች ገጾች ወደ እሱ የሚያገናኙ ከሆነ የታገደ ገጽ አሁንም በፍለጋ ውጤቶች ውስጥ ሊታይ ይችላል። ከፍለጋ ውጭ እንዲሆን ሲፈልጉ noindex፣ የመዳረሻ ቁጥጥር ይጠቀሙ ወይም ገጹን ያስወግዱት።