टूल
गाइड

Robots मेटा जनरेटर

डेव

index/noindex/follow/noarchive और अन्य निर्देशों से <meta name="robots"> टैग तथा X-Robots-Tag शीर्षक बनाता है।

100% क्लाइंट-साइड कोई बैकएंड नहीं
विकल्प
मेटा टैग
X-Robots-Tag शीर्षक
इस पृष्ठ पर

Robots मेटा निर्देश क्या है?#

एक robots मेटा निर्देश खोज इंजन क्रॉलरों को बताता है कि वे किसी पृष्ठ के साथ क्या कर सकते हैं: इसे अनुक्रमित करें या नहीं, इसके लिंक का अनुसरण करें या नहीं, कैशित प्रति रखें, परिणामों में स्निपेट दिखाएँ, और इसी तरह। यह पृष्ठ-स्तरीय लीवर है जिसे आप तब खींचते हैं जब किसी URL को सार्वजनिक रहना चाहिए (एक staging पृष्ठ, एक धन्यवाद पृष्ठ, एक कानूनी PDF) किंतु Google के परिणामों में नहीं आना चाहिए, या जब आप यह आकार देना चाहते हैं कि कोई परिणाम स्निपेट कैसा दिखे।

कोई निर्देश दो जगहों पर रह सकता है। robots मेटा टैग पृष्ठ के HTML <head> में बैठता है और उस एक HTML दस्तावेज़ पर लागू होता है। X-Robots-Tag HTTP शीर्षक प्रतिक्रिया में ही यात्रा करता है और किसी भी चीज़ पर लागू होता है जो कोई सर्वर लौटाता है — एक PDF, एक छवि, एक वीडियो, एक JSON फ़ाइल — जिनमें टैग रखने के लिए कोई <head> नहीं होता। खोज इंजन दोनों का सम्मान करते हैं; यह टूल टॉगल के एक ही समूह से दोनों रूप उत्पन्न करता है ताकि आप अपने स्टैक को जो चाहिए वह कॉपी कर सकें।

याद रखने योग्य सबसे महत्वपूर्ण नियम: किसी निर्देश का अनुपस्थित होने का अर्थ “कोई प्रतिबंध नहीं” है। बिना किसी robots टैग वाला पृष्ठ index, follow माना जाता है — पूरी तरह क्रॉलयोग्य। यह टूल जो निर्देश उत्सर्जित करता है वे उस डिफ़ॉल्ट के शीर्ष पर सभी opt-in प्रतिबंध हैं। Google का संदर्भ मानक समूह परिभाषित करता है, और यही टॉगल यहाँ के अनुरूप हैं।

इसका उपयोग कैसे करें#

  1. बाईं ओर विकल्प चेकबॉक्स चुनें। पहले दो विशेष हैं — वे डिफ़ॉल्ट रूप से चयनित हैं:
    • अनुक्रमण अनुमत — noindex / nofollow उत्सर्जित करने के लिए अचुनें।
    • लिंक का अनुसरण अनुमत — nofollow उत्सर्जित करने के लिए अचुनें।
    • noarchive — Google को “Cached” लिंक दिखाने से रोकता है।
    • nosnippet — परिणाम के अंतर्गत पाठ स्निपेट दबाता है।
    • noimageindex — इस पृष्ठ की छवियों को referring pages के रूप में अनुक्रमित होने से रोकता है।
    • notranslate — परिणामों में “Translate this page” प्रस्ताव अस्वीकार करता है।
    • noodp — लिगेसी; अप्रचलित DMOZ/ODP शीर्षक पर ध्यान नहीं देता।
    • nositelinkssearchbox — sitelinks खोज बॉक्स दबाता है।
  2. वैकल्पिक रूप से unavailable_after (तिथि) के अंतर्गत एक तिथि और समय चुनें — पृष्ठ उस क्षण के बाद खोज परिणामों से हटा दिया जाएगा। किसी प्रचार या समय-सीमित दस्तावेज़ की समाप्ति के लिए उपयोगी।
  3. दाईं ओर दो आउटपुट पढ़ें:
    • मेटा टैग — पूरा <meta name="robots" content="..."> तत्व, किसी <head> में चिपकाने के लिए तैयार।
    • X-Robots-Tag शीर्षक — HTTP शीर्षक रूप, अपने सर्वर या CDN प्रतिक्रिया config में जोड़ने के लिए तैयार।
  4. किसी भी आउटपुट के बगल में कॉपी क्लिक करके इसे लें।

मुख्य विशेषताएँ#

  • एक स्रोत से दोनों रूप। मेटा टैग और X-Robots-Tag शीर्षक साथ उत्पन्न होते हैं, इसलिए HTML पृष्ठ और ग़ैर-HTML संसाधनों (PDFs, छवियाँ) को एक ही निर्देश मिलता है।
  • डिफ़ॉल्ट-जागरूक। index और follow डिफ़ॉल्ट रूप से चयनित हैं, वास्तविक वेब डिफ़ॉल्ट “कथन के बिना कोई प्रतिबंध नहीं” से मेल।
  • पूर्ण मानक निर्देश समूह। हर निर्देश Google प्रलेखित करता है उसे कवर करता है — noindex, nofollow, noarchive, nosnippet, noimageindex, notranslate, noodp, nositelinkssearchbox, और unavailable_after।
  • unavailable_after समर्थन। एकमात्र निर्देश जो एक मान लेता है; इसे unavailable_after: <date> के रूप में जोड़ा जाता है और शाब्दिक रूप से पास किया जाता है ताकि आप ठीक प्रारूप नियंत्रित कर सकें।
  • 100% क्लाइंट-साइड। अपलोड करने के लिए कोई config नहीं, कोई सर्वर राउंड-ट्रिप नहीं — उत्पन्न करें और कॉपी करें, फिर परिणाम अपने CMS, टेम्पलेट, या nginx config में स्वयं लागू करें।

विस्तृत उदाहरण#

डिफ़ॉल्ट (केवल अनुक्रमण अनुमत और लिंक का अनुसरण अनुमत चयनित) छोड़ें और दोनों आउटपुट पढ़ते हैं:

<meta name="robots" content="index, follow">
X-Robots-Tag: index, follow

यह “कोई प्रतिबंध नहीं” का स्पष्ट रूप है — उपयोगी जब आप किसी पृष्ठ के पूरी तरह क्रॉलयोग्य होने पर जानबूझकर स्पष्ट होना चाहते हैं।

अब अनुक्रमण अनुमत अचुनें (किसी धन्यवाद पृष्ठ को अनुक्रमण से बाहर रखने के लिए जबकि उसके लिंक से link equity अभी भी प्रवाहित हो) और आउटपुट बन जाते हैं:

<meta name="robots" content="noindex, follow">
X-Robots-Tag: noindex, follow

एक तीसरा मामला: किसी मौसमी अभियान का लैंडिंग पृष्ठ जो अंत होने के बाद गायब हो जाना चाहिए। अनुक्रमण अनुमत और लिंक का अनुसरण अनुमत चयनित रखें, unavailable_after को अभियान के अंत पर सेट करें, और टैग बन जाता है:

<meta name="robots" content="index, follow, unavailable_after: 2025-12-31T00:00">

Google उस टाइमस्टैम्प के बाद पृष्ठ को परिणामों में दिखाना बंद कर देगा। तिथि मान ठीक वैसे ही उत्सर्जित होता है जैसे आपने चुना, इसलिए पुष्टि करें कि यह आपके लक्षित खोज इंजन द्वारा स्वीकार्य प्रारूप से मेल खाता है।

अक्सर पूछे जाने वाले प्रश्न#

मेटा टैग में noindex और robots.txt में disallow करने में क्या अंतर है?#

वे अलग-अलग परतों पर काम करते हैं और लापरवाही से नहीं मिलाए जाने चाहिए। noindex एक निर्देश है जो क्रॉलर पृष्ठ लाने के बाद पढ़ता है। यदि आप robots.txt में URL को अवरुद्ध करते हैं, तो क्रॉलर इसे कभी नहीं लाता, noindex कभी नहीं देखता, और इसकी ओर इशारा करने वाले लिंक के आधार पर अभी भी URL अनुक्रमित कर सकता है। किसी पृष्ठ को अनुक्रमण से भरोसेमंद ढंग से बाहर रखने के लिए, क्रॉलिंग की अनुमति दें किंतु noindex जोड़ें — पृष्ठ को क्रॉलर से पूरी तरह न छिपाएँ।

मुझे मेटा टैग के बजाय X-Robots-Tag शीर्षक कब उपयोग करना चाहिए?#

जब भी संसाधन HTML नहीं है — एक PDF, एक छवि, एक वीडियो, एक स्प्रेडशीट — वहाँ कोई <head> तत्व नहीं है जिसमें मेटा टैग रखा जा सके, इसलिए शीर्षक एकमात्र विकल्प है। यह अपने सर्वर या CDN config के माध्यम से एक नियम को कई फ़ाइलों पर एक बार में लागू करने के लिए भी सही विकल्प है, बजाय प्रत्येक दस्तावेज़ को संपादित करने के।

हाँ। noindex नियंत्रित करता है कि पृष्ठ परिणामों में दिखता है या नहीं; follow नियंत्रित करता है कि क्रॉलर पृष्ठ पर लिंक का अनुसरण करता है या नहीं। noindex, follow पृष्ठ को अनुक्रमण से बाहर रखता है किंतु link equity को पृष्ठ की निवर्तमान लिंक के माध्यम से प्रवाहित होने देता है। यह धन्यवाद पृष्ठों, आंतरिक खोज परिणामों, और faceted-filter पृष्ठों के लिए मानक नुस्खा है।

जब index, follow डिफ़ॉल्ट है तो टूल इसे उत्सर्जित क्यों करता है?#

क्योंकि स्पष्ट होना उपयोगी हो सकता है: यह पृष्ठ स्रोत में इरादे का दस्तावेज़ीकरण करता है, यह किसी अधिक प्रतिबंधात्मक विरासत में मिली नियम को ओवरराइड कर सकता है, और कुछ टीमें टैग की उपस्थिति को एक संकेत के रूप में मानती हैं कि पृष्ठ की समीक्षा हुई। यदि आप अंतर्निहित डिफ़ॉल्ट पर भरोसा करना पसंद करते हैं, तो बस टैग छोड़ दें — इसे पूरी तरह छोड़ना index, follow के समतुल्य है।