Google Blogger के लिए robots.txt

Google Blogger के लिए robots.txt कैसे बनाए

robots.txt एक छोटा सा टेक्स्ट फ़ाइल होता है जो आपके वेबसाइट के रूट डायरेक्टरी में स्थित होता है। यह फ़ाइल सर्च इंजन के क्रॉलर्स (जैसे Googlebot) को बताती है कि आपकी वेबसाइट के किन हिस्सों तक उनकी पहुंच हो सकती है और किन हिस्सों तक नहीं। यह फ़ाइल वेबसाइट के SEO और क्रॉलिंग को नियंत्रित करने में बहुत उपयोगी होती है।

1. robots.txt क्या है और यह क्यों महत्वपूर्ण है?

• robots.txt एक टेक्स्ट फ़ाइल होती है जो आपके वेबसाइट के रूट डायरेक्टरी में स्थित होती है।
• यह फ़ाइल विभिन्न वेब क्रॉलर्स (जैसे Googlebot, Bingbot, आदि) को निर्देश देती है कि आपकी वेबसाइट के किन पेजों या फ़ोल्डर्स तक उनकी पहुंच हो सकती है।
• यह फ़ाइल आपकी वेबसाइट के कुछ हिस्सों को क्रॉल होने से रोक सकती है, जैसे प्रशासनिक पेज, स्थानिक फ़ाइलें, या अन्य गैर-महत्वपूर्ण पेज।
• यह फ़ाइल आपकी वेबसाइट के लिए SEO को बेहतर बनाने में मदद करती है, क्योंकि यह अनावश्यक पेजों को क्रॉल होने से रोकती है और सर्च इंजन को केवल महत्वपूर्ण पेजों पर ध्यान केंद्रित करने में मदद करती है।

2. Google Blogger के लिए robots.txt कैसे बनाए:

Google Blogger पर robots.txt फ़ाइल बनाने की प्रक्रिया बहुत सरल है। नीचे चरणबद्ध जानकारी दी गई है:

1. robots.txt फ़ाइल की मूल बातें समझें: robots.txt फ़ाइल का नाम होता है और यह आपके वेबसाइट के रूट डायरेक्टरी में स्थित होती है। उदाहरण के लिए, यदि आपकी वेबसाइट का URL है `example.blogspot.com`, तो आपकी robots.txt फ़ाइल का URL होगा `example.blogspot.com/robots.txt`।

2. robots.txt फ़ाइल के निर्देश: robots.txt फ़ाइल में आप निम्नलिखित निर्देशों का उपयोग कर सकते हैं:

• User-agent: यह निर्दिष्ट करता है कि कौन से क्रॉलर्स को निर्देश लागू होंगे। उदाहरण के लिए, `User-agent: *` का मतलब है कि निर्देश सभी क्रॉलर्स पर लागू होंगे। 
• Disallow: यह निर्दिष्ट करता है कि कौन से पेज या फ़ोल्डर्स क्रॉल नहीं किए जा सकते। उदाहरण के लिए, `Disallow: /admin/` का मतलब है कि `/admin/` फ़ोल्डर और उसके अंदर के सभी पेज क्रॉल नहीं किए जा सकते। 
• Allow: यह निर्दिष्ट करता है कि कौन से पेज या फ़ोल्डर्स क्रॉल किए जा सकते हैं, भले ही वे एक Disallow निर्देश के अंदर हों। उदाहरण के लिए, `Allow: /admin/public/` का मतलब है कि `/admin/public/` फ़ोल्डर और उसके अंदर के पेज क्रॉल किए जा सकते हैं। 
• Crawl-delay: यह निर्दिष्ट करता है कि क्रॉलर्स को एक पेज से दूसरे पेज पर जाने से पहले कितनी देरी करनी चाहिए। उदाहरण के लिए, `Crawl-delay: 10` का मतलब है कि क्रॉलर्स को एक पेज से दूसरे पेज पर जाने से पहले 10 सेकंड की देरी करनी चाहिए।

3. robots.txt फ़ाइल बनाने के लिए एक उदाहरण: नीचे एक उदाहरण दिया गया है जो आपको समझने में मदद करेगा कि robots.txt फ़ाइल कैसे बनाई जाती है:

```

User-agent: *

Disallow: /admin/

Disallow: /private/

Allow: /admin/public/

Crawl-delay: 10

```

• User-agent:*: यह निर्देश सभी क्रॉलर्स पर लागू होगा।
• Disallow: /admin/: यह निर्देश `/admin/` फ़ोल्डर और उसके अंदर के सभी पेजों को क्रॉल होने से रोकेगा।
• Disallow: /private/: यह निर्देश `/private/` फ़ोल्डर और उसके अंदर के सभी पेजों को क्रॉल होने से रोकेगा।
• Allow: /admin/public/: यह निर्देश `/admin/public/` फ़ोल्डर और उसके अंदर के पेजों को क्रॉल करने की अनुमति देगा, भले ही वे `/admin/` फ़ोल्डर के अंदर हों।
• Crawl-delay: 10: यह निर्देश क्रॉलर्स को एक पेज से दूसरे पेज पर जाने से पहले 10 सेकंड की देरी करने के लिए कहता है।

4. Google Blogger पर robots.txt फ़ाइल कैसे अपलोड करें: Google Blogger पर robots.txt फ़ाइल अपलोड करने के लिए निम्नलिखित चरणों का पालन करें:

1. एक टेक्स्ट एडिटर में robots.txt फ़ाइल बनाएं: 

   एक टेक्स्ट एडिटर (जैसे Notepad, Sublime Text, या Atom) में अपनी robots.txt फ़ाइल बनाएं।

   इसमें अपने आवश्यकतानुसार निर्देश जोड़ें।

   उदाहरण के लिए, निम्नलिखित सामग्री का उपयोग करें:

     ```

     User-agent: *

     Disallow: /admin/

     Disallow: /private/

     Allow: /admin/public/

     Crawl-delay: 10

     ```

2. robots.txt फ़ाइल को अपने कंप्यूटर में सहेजें: 

• फ़ाइल को अपने कंप्यूटर में सहेजने के लिए "File" मेनू में "Save As" विकल्प चुनें।
• फ़ाइल का नाम `robots.txt` रखें और इसे एक सुरक्षित स्थान पर सहेजें जहां से आप इसे आसानी से ढूंढ सकें।

3. Google Blogger में robots.txt फ़ाइल अपलोड करें: 

• Google Blogger में लॉगिन करें।
• अपने ब्लॉग के डैशबोर्ड में जाएं।
• "Settings" (सेटिंग्स) में जाएं।
• "Other" (अन्य) सेक्शन में जाएं।
• "Upload robots.txt" (robots.txt अपलोड करें) विकल्प पर क्लिक करें।
• अपने कंप्यूटर से robots.txt फ़ाइल चुनें और इसे अपलोड करें।
• अपलोड होने के बाद, "Save changes" (परिवर्तन बचाएं) बटन पर क्लिक करें।

4. robots.txt फ़ाइल को टेस्ट करें: 

• एक बार robots.txt फ़ाइल अपलोड हो जाने के बाद, आप इसे टेस्ट करने के लिए Google Search Console का उपयोग कर सकते हैं।
• Google Search Console में लॉगिन करें। 
• अपने ब्लॉग के प्रॉपर्टी में जाएं। 
• "Crawl" > "robots.txt Tester" में जाएं। 
• अपनी robots.txt फ़ाइल को टेस्ट करने के लिए "Test" बटन पर क्लिक करें। 
• यदि आपकी robots.txt फ़ाइल में कोई त्रुटि होगी, तो Google Search Console आपको इसकी जानकारी देगा।

5. robots.txt फ़ाइल के लिए सर्वोत्तम अभ्यास: 

• सरल रखें: अपनी robots.txt फ़ाइल को सरल और स्पष्ट रखें। जटिल निर्देशों से बचें, क्योंकि वे गलती से आपकी वेबसाइट के महत्वपूर्ण पेजों को क्रॉल होने से रोक सकते हैं।
• नियमित रूप से अद्यतन करें: यदि आपकी वेबसाइट के संरचना में कोई बदलाव होता है, तो अपनी robots.txt फ़ाइल को भी अद्यतन करें।
• केवल आवश्यक पेजों को ब्लॉक करें: केवल उन पेजों को ब्लॉक करें जिन्हें वास्तव में ब्लॉक करने की आवश्यकता है। अनावश्यक पेजों को ब्लॉक करने से बचें, क्योंकि इससे आपकी वेबसाइट की रैंकिंग पर नकारात्मक प्रभाव पड़ सकता है।
• Crawl-delay का उपयोग करें: यदि आपकी वेबसाइट पर ट्रैफ़िक बहुत अधिक है, तो Crawl-delay निर्देश का उपयोग करके क्रॉलर्स को एक पेज से दूसरे पेज पर जाने से पहले कुछ समय की देरी करने के लिए कह सकते हैं। इससे आपकी वेबसाइट के सर्वर पर बोझ कम होगा।

robots.txt फ़ाइल आपकी वेबसाइट के SEO और क्रॉलिंग को नियंत्रित करने में एक महत्वपूर्ण भूमिका निभाती है। इस फ़ाइल का उपयोग करके, आप निर्दिष्ट कर सकते हैं कि कौन से पेज या फ़ोल्डर्स क्रॉल किए जा सकते हैं और कौन से नहीं। Google Blogger पर robots.txt फ़ाइल बनाने और अपलोड करने की प्रक्रिया बहुत सरल है, और आप इसे अपनी आवश्यकतानुसार अनुकूलित कर सकते हैं। बस यह सुनिश्चित करें कि आपकी robots.txt फ़ाइल में कोई त्रुटि न हो, और यह आपकी वेबसाइट के लिए उपयुक्त निर्देश प्रदान करती हो।