How to create robots.txt for Google Blogger

robots.txt एक छोटा सा टेक्स्ट फ़ाइल है जो आपके वेबसाइट के रूट डायरेक्टरी में स्थित होता है। यह फ़ाइल विभिन्न वेब क्रॉलर्स (जैसे Googlebot, Bingbot, Yahoo Slurp, आदि) को निर्देश देती है कि आपकी वेबसाइट के किन हिस्सों तक उनकी पहुंच हो सकती है और किन हिस्सों तक नहीं। यह फ़ाइल आपकी वेबसाइट के SEO और क्रॉलिंग को नियंत्रित करने में बहुत उपयोगी होती है।

robots.txt

इस लेख में, हम आपको robots.txt फ़ाइल के बारे में विस्तृत जानकारी प्रदान करेंगे, जिसमें इसका महत्व, यह कैसे काम करता है, और Google Blogger जैसे प्लेटफ़ॉर्म पर इसे कैसे बनाया और अपलोड किया जा सकता है। हम उदाहरणों के साथ-साथ सर्वोत्तम अभ्यासों पर भी चर्चा करेंगे ताकि आप अपनी वेबसाइट के लिए एक प्रभावी robots.txt फ़ाइल बना सकें।

robots.txt क्या है?

robots.txt एक टेक्स्ट फ़ाइल है जो आपके वेबसाइट के रूट डायरेक्टरी में स्थित होती है। यह फ़ाइल विभिन्न वेब क्रॉलर्स को निर्देश देती है कि आपकी वेबसाइट के किन पेजों या फ़ोल्डर्स तक उनकी पहुंच हो सकती है। यह फ़ाइल आपकी वेबसाइट के कुछ हिस्सों को क्रॉल होने से रोक सकती है, जैसे प्रशासनिक पेज, स्थानिक फ़ाइलें, या अन्य गैर-महत्वपूर्ण पेज।

robots.txt क्यों महत्वपूर्ण है?

• SEO को बेहतर बनाता है: robots.txt फ़ाइल आपकी वेबसाइट के कुछ हिस्सों को क्रॉल होने से रोकती है, जैसे प्रशासनिक पेज या स्थानिक फ़ाइलें। इससे सर्च इंजन केवल आपकी वेबसाइट के महत्वपूर्ण पेजों पर ध्यान केंद्रित कर सकते हैं, जिससे आपकी वेबसाइट की रैंकिंग में सुधार हो सकता है। 
• वेबसाइट के संसाधनों को बचाता है: यदि आपकी वेबसाइट पर ट्रैफ़िक बहुत अधिक है, तो क्रॉलर्स आपके सर्वर पर भारी बोझ डाल सकते हैं। robots.txt फ़ाइल का उपयोग करके, आप क्रॉलर्स को कुछ विशिष्ट पेजों से दूर रख सकते हैं, जिससे आपके सर्वर का बोझ कम होगा. 
• गोपनीयता और सुरक्षा को बढ़ाता है: यदि आपकी वेबसाइट में कुछ गोपनीय या सुरक्षित पेज हैं, तो आप उन्हें robots.txt फ़ाइल का उपयोग करके क्रॉल होने से रोक सकते हैं। इससे आपकी वेबसाइट के संवेदनशील डेटा को सुरक्षित रखा जा सकता है 
• वेबसाइट के अनुभव को बेहतर बनाता है: robots.txt फ़ाइल आपकी वेबसाइट के कुछ हिस्सों को क्रॉल होने से रोकती है, जैसे 404 त्रुटि पेज या अन्य गैर-महत्वपूर्ण पेज। इससे सर्च इंजन आपकी वेबसाइट के उपयोगकर्ता अनुभव को बेहतर बनाने में मदद कर सकते हैं। 

robots.txt के मूलभूत निर्देश: robots.txt फ़ाइल में आप निम्नलिखित निर्देशों का उपयोग कर सकते हैं:

• User-agent: User-agent निर्दिष्ट करता है कि कौन से क्रॉलर्स को निर्देश लागू होंगे। उदाहरण के लिए, User-agent: का मतलब है कि निर्देश सभी क्रॉलर्स पर लागू होंगे। आप विशिष्ट क्रॉलर्स के लिए निर्देश भी दे सकते हैं, जैसे User-agent: Googlebot या User-agent: Bingbot 
• Disallow: Disallow निर्दिष्ट करता है कि कौन से पेज या फ़ोल्डर्स क्रॉल नहीं किए जा सकते। उदाहरण के लिए, `Disallow: /admin/` का मतलब है कि `/admin/` फ़ोल्डर और उसके अंदर के सभी पेज क्रॉल नहीं किए जा सकते। आप विशिष्ट पेजों को भी ब्लॉक कर सकते हैं, जैसे `Disallow: /private.html`।
• Allow: Allow निर्दिष्ट करता है कि कौन से पेज या फ़ोल्डर्स क्रॉल किए जा सकते हैं, भले ही वे एक Disallow निर्देश के अंदर हों। उदाहरण के लिए, `Allow: /admin/public/` का मतलब है कि `/admin/public/` फ़ोल्डर और उसके अंदर के पेज क्रॉल किए जा सकते हैं।
• Crawl-delay: Crawl-delay निर्दिष्ट करता है कि क्रॉलर्स को एक पेज से दूसरे पेज पर जाने से पहले कितनी देरी करनी चाहिए। उदाहरण के लिए, `Crawl-delay: 10` का मतलब है कि क्रॉलर्स को एक पेज से दूसरे पेज पर जाने से पहले 10 सेकंड की देरी करनी चाहिए।
• Host: Host निर्दिष्ट करता है कि यह निर्देश किस डोमेन या सबडोमेन पर लागू होता है। उदाहरण के लिए, `Host: example.com` का मतलब है कि यह निर्देश 'example.com` डोमेन पर लागू होता है।

robots.txt फ़ाइल का उदाहरण: नीचे एक उदाहरण दिया गया है जो आपको समझने में मदद करेगा कि robots.txt फ़ाइल कैसे बनाई जाती है:

```

User-agent: *

Disallow: /admin/

Disallow: /private/

Allow: /admin/public/

Crawl-delay: 10

```

• User-agent: यह निर्देश सभी क्रॉलर्स पर लागू होगा।
• Disallow: /admin/: यह निर्देश `/admin/` फ़ोल्डर और उसके अंदर के सभी पेजों को क्रॉल होने से रोकेगा।
• Disallow: /private/: यह निर्देश `/private/` फ़ोल्डर और उसके अंदर के सभी पेजों को क्रॉल होने से रोकेगा।Allow: /admin/public/: यह निर्देश `/admin/public/` फ़ोल्डर और उसके अंदर के पेजों को क्रॉल करने की अनुमति देगा, भले ही वे `/admin/` फ़ोल्डर के अंदर हों।
• Crawl-delay: 10: यह निर्देश क्रॉलर्स को एक पेज से दूसरे पेज पर जाने से पहले 10 सेकंड की देरी करने के लिए कहता है।

Google Blogger पर robots.txt फ़ाइल कैसे बनाएं और अपलोड करें: 

Google Blogger पर robots.txt फ़ाइल बनाने और अपलोड करने की प्रक्रिया बहुत सरल है। नीचे चरणबद्ध जानकारी दी गई है:

robots.txt फ़ाइल बनाने के लिए एक टेक्स्ट एडिटर का उपयोग करें: 

• एक टेक्स्ट एडिटर (जैसे Notepad, Sublime Text, या Atom) में एक नई फ़ाइल बनाएं। इसमें अपने आवश्यकतानुसार निर्देश जोड़ें। 
• उदाहरण के लिए, निम्नलिखित सामग्री का उपयोग करें:

  ```

  User-agent: *

  Disallow: /admin/

  Disallow: /private/

  Allow: /admin/public/

  Crawl-delay: 10

  ```

• फ़ाइल को अपने कंप्यूटर में सहेजने के लिए "File" मेनू में "Save As" विकल्प चुनें।
• फ़ाइल का नाम `robots.txt` रखें और इसे एक सुरक्षित स्थान पर सहेजें जहां से आप इसे आसानी से ढूंढ सकें।

Google Blogger में robots.txt फ़ाइल अपलोड करें: 

• Google Blogger में लॉगिन करें।
• अपने ब्लॉग के डैशबोर्ड में जाएं।
• "Settings" (सेटिंग्स) में जाएं।
• "Other" (अन्य) सेक्शन में जाएं।
• "Upload robots.txt" (robots.txt अपलोड करें) विकल्प पर क्लिक करें।
• अपने कंप्यूटर से robots.txt फ़ाइल चुनें और इसे अपलोड करें।
• अपलोड होने के बाद, "Save changes" (परिवर्तन बचाएं) बटन पर क्लिक करें।

robots.txt फ़ाइल को टेस्ट करें

एक बार robots.txt फ़ाइल अपलोड हो जाने के बाद, आप इसे टेस्ट करने के लिए Google Search Console का उपयोग कर सकते हैं।

• Google Search Console में लॉगिन करें।
• अपने ब्लॉग के प्रॉपर्टी में जाएं।
• "Crawl" > "robots.txt Tester" में जाएं।
• अपनी robots.txt फ़ाइल को टेस्ट करने के लिए "Test" बटन पर क्लिक करें।
• यदि आपकी robots.txt फ़ाइल में कोई त्रुटि होगी, तो Google Search Console आपको इसकी जानकारी देगी।

robots.txt फ़ाइल के लिए सर्वोत्तम अभ्यास:

• सरल रखें: अपनी robots.txt फ़ाइल को सरल और स्पष्ट रखें। जटिल निर्देशों से बचें, क्योंकि वे गलती से आपकी वेबसाइट के महत्वपूर्ण पेजों को क्रॉल होने से रोक सकते हैं।
• नियमित रूप से अद्यतन करें: यदि आपकी वेबसाइट के संरचना में कोई बदलाव होता है, तो अपनी robots.txt फ़ाइल को भी अद्यतन करें। इससे सुनिश्चित होगा कि आपकी वेबसाइट के नए पेज या फ़ोल्डर्स सही ढंग से क्रॉल किए जा रहे हैं।
• केवल आवश्यक पेजों को ब्लॉक करें: केवल उन पेजों को ब्लॉक करें जिन्हें वास्तव में ब्लॉक करने की आवश्यकता है। अनावश्यक पेजों को ब्लॉक करने से बचें, क्योंकि इससे आपकी वेबसाइट की रैंकिंग पर नकारात्मक प्रभाव पड़ सकता है।
• Crawl-delay का उपयोग करें: यदि आपकी वेबसाइट पर ट्रैफ़िक बहुत अधिक है, तो Crawl-delay निर्देश का उपयोग करके क्रॉलर्स को एक पेज से दूसरे पेज पर जाने से पहले कुछ समय की देरी करने के लिए कह सकते हैं। इससे आपकी वेबसाइट के सर्वर पर बोझ कम होगा।
• नियमित रूप से टेस्ट करें: अपनी robots.txt फ़ाइल को नियमित रूप से टेस्ट करें ताकि सुनिश्चित हो सके कि यह सही ढंग से काम कर रही है। आप Google Search Console के robots.txt Tester टूल का उपयोग कर सकते हैं।

robots.txt फ़ाइल आपकी वेबसाइट के SEO और क्रॉलिंग को नियंत्रित करने में एक महत्वपूर्ण भूमिका निभाती है। इस फ़ाइल का उपयोग करके, आप निर्दिष्ट कर सकते हैं कि कौन से पेज या फ़ोल्डर्स क्रॉल किए जा सकते हैं और कौन से नहीं। Google Blogger पर robots.txt फ़ाइल बनाने और अपलोड करने की प्रक्रिया बहुत सरल है, और आप इसे अपनी आवश्यकतानुसार अनुकूलित कर सकते हैं। बस यह सुनिश्चित करें कि आपकी robots.txt फ़ाइल में कोई त्रुटि न हो, और यह आपकी वेबसाइट के लिए उपयुक्त निर्देश प्रदान करती हो।