Robots.txt ထုတ်လုပ်နှင့် စစ်ဆေးသည့်ကိရိယာ
Crawl စည်းမျဉ်းများကို တည်ဆောက်ပြီး Googlebot မည်သည့်လမ်းကြောင်းကို ဝင်ရောက်နိုင်သည်ကို စစ်ဆေးပါ။
Crawl စည်းမျဉ်းများ
ဤစည်းမျဉ်းများကို လိုက်နာရမည့် crawler ဖြင့် စတင်ပါ။
Sitemap များ
ထုတ်လုပ်ထားသော robots.txt
0စည်းမျဉ်း စစ်ဆေးမှု
လမ်းကြောင်းတစ်ခုကို စမ်းသပ်ရန်
သင့် crawl စည်းမျဉ်းများကို သင့်ဘရောက်ဆာထဲတွင်သာ ဖန်တီးပြီး စစ်ဆေးပေးပါသည်။ BroBroGo သို့ မည်သည့်အရာမျှ တင်ပို့မည်မဟုတ်ပါ။
အမေးအဖြေ
ဤထုတ်လုပ်သည့်ကိရိယာသည် robots.txt ထဲသို့ မည်သည့်အရာများ ထည့်သွင်းနိုင်သနည်း။
user-agent အုပ်စု၊ Allow နှင့် Disallow လမ်းကြောင်းများ၊ နှင့် sitemap URL တစ်ခု သို့မဟုတ် တစ်ခုထက်ပို၍ ထည့်သွင်းပါ။ အစမ်းကြည့်ရှုမှုကို robots.txt ဖိုင်ထဲသို့ ကူးယူရန် အဆင်သင့်ဖြစ်ပါမည်။
လမ်းကြောင်း စစ်ဆေးသည့်ကိရိယာသည် စည်းမျဉ်းတစ်ခုကို မည်သို့ ရွေးချယ်သနည်း။
၎င်းသည် Google ၏ ကိုက်ညီမှုအစီအစဉ်အတိုင်း လိုက်နာပါသည်- အရှည်ဆုံး ကိုက်ညီသော လမ်းကြောင်းက အနိုင်ရရှိသည်။ ကိုက်ညီသော Allow နှင့် Disallow စည်းမျဉ်းများသည် တူညီစွာ တိကျနေပါက Allow က အနိုင်ရရှိသည်။
Disallow သည် စာမျက်နှာတစ်ခုကို Google Search မှ ဖယ်ရှားပေးပါသလား။
မဟုတ်ပါ။ အခြားစာမျက်နှာများမှ ၎င်းကို ချိတ်ဆက်ထားပါက ပိတ်ဆို့ထားသော စာမျက်နှာသည် ရှာဖွေမှုရလဒ်များတွင် ပေါ်လာနိုင်ပါသေးသည်။ ရှာဖွေမှုမှ လုံးဝဖယ်ထုတ်လိုပါက noindex၊ ဝင်ရောက်ခွင့် ထိန်းချုပ်မှု (access control) ကို အသုံးပြုပါ သို့မဟုတ် စာမျက်နှာကို ဖယ်ရှားပါ။