Robots.txt ફાઇલ એ કોઈપણ વેબસાઇટના સર્ચ એન્જિન ઓપ્ટિમાઇઝેશન (SEO) અને ક્રોલિંગ મેનેજમેન્ટનો એક મહત્વપૂર્ણ ભાગ છે. તે સર્ચ એન્જિનના ક્રોલર્સ (જેમ કે Googlebot) ને સૂચના આપે છે કે વેબસાઇટના કયા ભાગોની મુલાકાત લઈ શકાય છે અને કયા ભાગોને ક્રોલિંગથી દૂર રાખવાના છે. "Robots.txt જનરેટર અને વેલિડેટર" ટૂલની મદદથી તમે સરળતાથી આ નિયમો બનાવી શકો છો અને તેનું પરીક્ષણ કરી શકો છો.
તમારા ક્રોલ નિયમો તમારા બ્રાઉઝરમાં જ બનાવવામાં અને તપાસવામાં આવે છે. BroBroGo પર કંઈપણ અપલોડ થતું નથી. આ પ્રક્રિયા સંપૂર્ણપણે સ્થાનિક સ્તરે થાય છે, જે તમારી ગોપનીયતા જાળવી રાખે છે.
Robots.txt ફાઇલનો હેતુ અને તેની કામગીરી
Robots.txt એ એક ટેક્સ્ટ ફાઇલ છે જે વેબસાઇટના રૂટ ડિરેક્ટરીમાં મૂકવામાં આવે છે. જ્યારે પણ કોઈ સર્ચ એન્જિન ક્રોલર તમારી સાઇટની મુલાકાત લે છે, ત્યારે તે સૌથી પહેલા આ ફાઇલને તપાસે છે. આ ફાઇલ ક્રોલર્સને ચોક્કસ પાથ પર જતા રોકવા માટેના નિયમો પ્રદાન કરે છે.
આ ટૂલ ડિફોલ્ટ રૂપે User-agent: * અને Disallow: /admin ના નિયમ સાથે શરૂ થાય છે. આનો અર્થ એ છે કે તમામ ક્રોલર્સ માટે /admin પાથ પર જવાની મનાઈ છે.
User-agent અને તેના નિયમો
User-agent એ ચોક્કસ ક્રોલરનું નામ છે જેને તમે લક્ષ્ય બનાવવા માંગો છો.
- તમામ ક્રોલર્સને એકસાથે નિયમો લાગુ કરવા માટે
*નો ઉપયોગ થાય છે. - ચોક્કસ ક્રોલર જેમ કે Googlebot માટે અલગથી નિયમો બનાવી શકાય છે.
- યુઝર-એજન્ટના નામમાં સ્પેસ (ખાલી જગ્યા) હોઈ શકતી નથી. જો નામમાં સ્પેસ હશે, તો ટૂલ "સ્પેસ વગર એક યુઝર-એજન્ટ નામ દાખલ કરો, અથવા બધા ક્રોલર્સ માટે * નો ઉપયોગ કરો." ની ભૂલ દર્શાવશે.
- જો એક જ યુઝર-એજન્ટનું નામ અલગ-અલગ જૂથોમાં વારંવાર વાપરવામાં આવે, તો ટૂલ ચેતવણી આપશે કે "Google સમાન યુઝર-એજન્ટનું નામ ધરાવતા જૂથોને જોડે છે."
Allow અને Disallow નિયમો વચ્ચેનો તફાવત
ક્રોલિંગને નિયંત્રિત કરવા માટે બે મુખ્ય નિર્દેશોનો ઉપયોગ થાય છે:
- Disallow (નામંજૂર કરો): આ નિયમ ક્રોલરને ચોક્કસ પાથ ક્રોલ કરતા અટકાવે છે.
- Allow (મંજૂરી આપો): આ નિયમ ક્રોલરને એવા પાથ પર જવાની મંજૂરી આપે છે જે કદાચ Disallow નિયમ હેઠળ આવરી લેવાયો હોય.
નિયમો બનાવતી વખતે નીચેની બાબતોનું ધ્યાન રાખવું જરૂરી છે:
- દરેક નિયમનો પાથ
/થી શરૂ થવો જોઈએ અને તેમાં સ્પેસ હોઈ શકતી નથી. જો આ નિયમનું પાલન ન થાય, તો "નિયમ પાથ / થી શરૂ થવા જોઈએ અને તેમાં સ્પેસ હોઈ શકે નહીં." ની ભૂલ જોવા મળશે. - ચોક્કસ પાથના અંતને દર્શાવવા માટે
$ચિહ્નનો ઉપયોગ થાય છે. આ ચિહ્ન માત્ર પાથના અંતે જ વાપરી શકાય છે. અન્યથા "નિયમ પાથના અંતે જ $ નો ઉપયોગ કરો." ની ભૂલ આવશે. - જો એક જ યુઝર-એજન્ટ માટે સમાન નિયમ ફરીથી લખવામાં આવે, તો ટૂલ "આ નિયમ સમાન યુઝર-એજન્ટ માટે પુનરાવર્તિત થાય છે." નો સંકેત આપશે.
- જો Allow અને Disallow બંને નિયમો સમાન પાથ માટે સેટ કરવામાં આવે, તો ટૂલ ચેતવણી આપશે: "Allow અને Disallow બંને સમાન પાથનો ઉપયોગ કરે છે. જ્યારે બંને સમાન રીતે વિશિષ્ટ હોય ત્યારે Google 'Allow' લાગુ કરે છે."
સાઇટમેપ (Sitemap) નું મહત્વ
Robots.txt ફાઇલમાં સાઇટમેપનું URL ઉમેરવાથી સર્ચ એન્જિનને તમારી વેબસાઇટનું માળખું અને તમામ મહત્વપૂર્ણ પેજ ઝડપથી શોધવામાં મદદ મળે છે.
- સાઇટમેપ URL હંમેશા સંપૂર્ણ હોવું જોઈએ, જે
http://અથવાhttps://થી શરૂ થતું હોય. - જો URL અધૂરું હશે, તો ટૂલ "સાઇટમેપ URL માટે સંપૂર્ણ http:// અથવા https:// સરનામું જરૂરી છે." ની ભૂલ બતાવશે.
Google નો નિયમ મેચિંગ ઓર્ડર
જ્યારે કોઈ ક્રોલર ચોક્કસ પાથની મુલાકાત લે છે, ત્યારે આ ટૂલ Google ના સત્તાવાર નિયમોના આધારે પાથનું પરીક્ષણ કરે છે:
- સૌથી લાંબો પાથ: Google હંમેશા સૌથી લાંબા અને વધુ વિશિષ્ટ મેચિંગ પાથને પ્રાથમિકતા આપે છે.
- સમાન લંબાઈના નિયમો: જો Allow અને Disallow બંને નિયમો સમાન રીતે વિશિષ્ટ (એક સરખી લંબાઈના) હોય, તો Allow નિયમ વિજેતા બને છે અને ક્રોલિંગની મંજૂરી મળે છે.
જો કોઈ પાથ માટે કોઈ મેળ ખાતો નિયમ ન મળે, તો ટૂલ "કોઈ મેળ ખાતો નિયમ નથી. Google ડિફોલ્ટ રૂપે આ પાથને મંજૂરી આપે છે." તેવો આઉટપુટ આપશે. જો પાથ મંજૂર હશે તો "મંજૂર — {rule}" અને જો બ્લૉક હશે તો "બ્લૉક કરેલ — {rule}" પ્રદર્શિત થશે.
મર્યાદાઓ અને કદની ચેતવણી
Robots.txt ફાઇલનું કદ મર્યાદિત હોવું જોઈએ. જો જનરેટ થયેલી ફાઇલનું કદ 100,000 અક્ષરો (characters) કરતાં વધી જાય, તો આ વેલિડેટર "આ robots.txt અહીં સમીક્ષા કરવા માટે ખૂબ મોટી છે." ની ચેતવણી આપશે.
વધુમાં, એ સમજવું જરૂરી છે કે robots.txt ફાઇલ એ ક્રોલિંગ અટકાવવા માટે છે, ઇન્ડેક્સિંગ અટકાવવા માટે નહીં. જો અન્ય વેબસાઇટ્સ તમારા બ્લૉક કરેલા પેજ સાથે લિંક કરેલી હશે, તો પણ તે પેજ સર્ચ પરિણામોમાં દેખાઈ શકે છે. આ ટૂલ noindex ટેગ, એક્સેસ કંટ્રોલ (પાસવર્ડ પ્રોટેક્શન) અથવા પેજ દૂર કરવાની પ્રક્રિયા તપાસતું નથી.
વારંવાર પૂછાતા પ્રશ્નો (FAQ)
આ જનરેટર robots.txt માં શું ઉમેરી શકે છે?
યુઝર-એજન્ટ ગ્રૂપ, Allow અને Disallow પાથ અને એક અથવા વધુ સાઇટમેપ URL ઉમેરો. પ્રિવ્યૂ robots.txt ફાઇલમાં કૉપિ કરવા માટે તૈયાર છે.
પાથ ચેકર નિયમ કેવી રીતે પસંદ કરે છે?
તે Google ના મેચિંગ ઓર્ડરને અનુસરે છે: સૌથી લાંબો મેચિંગ પાથ જીતે છે. જો મેચિંગ Allow અને Disallow નિયમો સમાન રીતે વિશિષ્ટ હોય, તો Allow જીતે છે.
શું Disallow કરવાથી પેજ Google સર્ચમાંથી દૂર થઈ જાય છે?
ના. જ્યારે અન્ય પેજ તેની સાથે લિંક કરે છે ત્યારે બ્લૉક કરેલું પેજ હજી પણ સર્ચ પરિણામોમાં દેખાઈ શકે છે. જ્યારે તમારે પેજને સર્ચમાંથી બહાર રાખવું હોય ત્યારે noindex, એક્સેસ કંટ્રોલનો ઉપયોગ કરો અથવા પેજને દૂર કરો.