টুল
গাইড

Robots মেটা জেনারেটর

ডেভ

index/noindex/follow/noarchive ও অন্যান্য নির্দেশ থেকে <meta name="robots"> ট্যাগ এবং X-Robots-Tag শীর্ষলেখ একত্রিত করে।

100% ক্লায়েন্ট-সাইড কোনো ব্যাকএন্ড নেই
বিকল্প
মেটা ট্যাগ
X-Robots-Tag শীর্ষলেখ
এই পৃষ্ঠায়

Robots মেটা নির্দেশনা কী?#

একটি robots মেটা নির্দেশনা সার্চ ইঞ্জিন ক্রলারদের বলে একটি পৃষ্ঠার সাথে তারা কী করতে পারে: এটি ইনডেক্স করবে কি না, এর লিংকগুলো অনুসরণ করবে কি না, একটি ক্যাশে কপি রাখবে, ফলাফলে একটি স্নিপেট দেখাবে, ইত্যাদি। এটি হলো পৃষ্ঠা-স্তরের লিভার আপনি টানেন যখন একটি URL অবশ্যই পাবলিক থাকতে হবে (একটি স্টেজিং পৃষ্ঠা, একটি ধন্যবাদ-পৃষ্ঠা, একটি আইনি PDF) কিন্তু Google-এর ফলাফলে দেখা উচিত নয়, বা যখন আপনি একটি ফলাফল স্নিপেট কেমন দেখাবে তা আকৃতি দিতে চান।

একটি নির্দেশনা দুটি জায়গায় থাকতে পারে। robots মেটা ট্যাগ পৃষ্ঠার HTML <head>-তে থাকে এবং সেই একটি HTML নথির জন্য প্রযোজ্য। X-Robots-Tag HTTP শীর্ষলেখ প্রতিক্রিয়া নিজেই ভ্রমণ করে এবং একটি সার্ভার যা ফেরত দেয় তার জন্য প্রযোজ্য — একটি PDF, একটি ছবি, একটি ভিডিও, একটি JSON ফাইল — সেই সম্পদ সহ যার একটি <head> নেই যেখানে একটি ট্যাগ বসানো যাবে। সার্চ ইঞ্জিন উভয়কেই সম্মান করে; এই টুলটি একই সেট টগল থেকে উভয় ফর্ম তৈরি করে যাতে আপনি আপনার স্ট্যাক যা প্রয়োজন তা কপি করতে পারেন।

মনে রাখার জন্য সবচেয়ে গুরুত্বপূর্ণ একক নিয়ম: একটি নির্দেশনার অনুপস্থিতি মানে “কোনো সীমাবদ্ধতা নেই।” কোনো robots ট্যাগ ছাড়া একটি পৃষ্ঠাকে index, follow হিসেবে বিবেচনা করা হয় — সম্পূর্ণ ক্রলযোগ্য। এই টুলটি যে নির্দেশনাগুলো নির্গত করে সেগুলো সেই ডিফল্টের উপরে সবগুলোই অপ্ট-ইন সীমাবদ্ধতা। Google-এর রেফারেন্স প্রমিল সেটটি সংজ্ঞায়িত করে, এবং এখানকার টগলগুলো ঠিক সেই অনুযায়ী।

কীভাবে ব্যবহার করবেন#

  1. বাম দিকের বিকল্প চেকবক্সগুলো টিক দিন। প্রথম দুটি বিশেষ — সেগুলো চেক করা অবস্থায় ডিফল্ট:
    • ইনডেক্সিং অনুমোদিত / লিংক অনুসরণ অনুমোদিত — noindex / nofollow নির্গত করতে চিহ্ন তুলে দিন।
    • noarchive — Google-কে একটি “ক্যাশে করা” লিংক দেখানো থেকে বিরত রাখে।
    • nosnippet — ফলাফলের অধীনে টেক্সট স্নিপেট দমন করে।
    • noimageindex — এই পৃষ্ঠার ছবিগুলোকে রেফারিং পৃষ্ঠা হিসেবে ইনডেক্স করা থেকে থামায়।
    • notranslate — ফলাফলে “এই পৃষ্ঠা অনুবাদ করুন” অফার প্রত্যাখ্যান করে।
    • noodp — লিগেসি; অপ্রচলিত DMOZ/ODP শিরোনাম উপেক্ষা করে।
    • nositelinkssearchbox — sitelinks অনুসন্ধান বাক্স দমন করে।
  2. ঐচ্ছিকভাবে unavailable_after (তারিখ)-এর অধীনে একটি তারিখ এবং সময় বাছুন — সেই মুহূর্তের পরে পৃষ্ঠাটি সার্চ ফলাফল থেকে বাদ দেওয়া হবে। একটি প্রমোশন বা একটি সময়-সীমিত নথি মেয়াদ শেষ করার জন্য কার্যকর।
  3. ডান দিকের দুটি আউটপুট পড়ুন:
    • মেটা ট্যাগ — সম্পূর্ণ <meta name="robots" content="..."> এলিমেন্ট, একটি <head>-তে পেস্ট করার জন্য প্রস্তুত।
    • X-Robots-Tag — HTTP শীর্ষলেখ ফর্ম, আপনার সার্ভার বা CDN প্রতিক্রিয়া কনফিগে যোগ করার জন্য প্রস্তুত।
  4. এটি ধরতে যেকোনো আউটপুটের পাশে কপি ক্লিক করুন।

প্রধান বৈশিষ্ট্য#

  • এক উৎস থেকে উভয় ফর্ম। মেটা ট্যাগ এবং X-Robots-Tag শীর্ষলেখ একসাথে তৈরি করা হয়, তাই HTML পৃষ্ঠা এবং অ-HTML সম্পদ (PDF, ছবি) একই নির্দেশনা পায়।
  • ডিফল্ট-সচেতন। index এবং follow চেক করা অবস্থায় ডিফল্ট, “নির্দিষ্ট না করা পর্যন্ত কোনো সীমাবদ্ধতা নেই”-এর প্রকৃত ওয়েব ডিফল্টের সাথে মিলে যায়।
  • সম্পূর্ণ প্রমিল নির্দেশনা সেট। Google যা নথিভুক্ত করে তার প্রতিটি নির্দেশনা ঢেকে রাখে — noindex, nofollow, noarchive, nosnippet, noimageindex, notranslate, noodp, nositelinkssearchbox, এবং unavailable_after।
  • unavailable_after সমর্থন। একমাত্র নির্দেশনা যা একটি মান নেয়; এটি unavailable_after: <date> হিসেবে একত্রিত করা হয় এবং আক্ষরিকভাবে পাস করা হয় যাতে আপনি নির্দিষ্ট ফরম্যাটটি নিয়ন্ত্রণ করেন।
  • ১০০% ক্লায়েন্ট-সাইড। আপলোড করার কোনো কনফিগ নেই, রাউন্ড-ট্রিপ করার কোনো সার্ভার নেই — তৈরি করুন এবং কপি করুন, তারপর আপনার CMS, টেমপ্লেট, বা nginx কনফিগে ফলাফলটি নিজে প্রয়োগ করুন।

ব্যবহারের উদাহরণ#

ডিফল্টগুলো ছেড়ে দিন (কেবল ইনডেক্সিং অনুমোদিত এবং লিংক অনুসরণ অনুমোদিত চেক করা) এবং উভয় আউটপুট পড়ে:

<meta name="robots" content="index, follow">
X-Robots-Tag: index, follow

এটি হলো “কোনো সীমাবদ্ধতা নেই”-এর স্পষ্ট রূপ — কার্যকর যখন আপনি একটি পৃষ্ঠা সম্পূর্ণ ক্রলযোগ্য হওয়া সম্পর্কে ইচ্ছাকৃত হতে চান।

এখন ইনডেক্সিং অনুমোদিত চিহ্ন তুলে দিন (একটি ধন্যবাদ-পৃষ্ঠাকে ইনডেক্সের বাইরে রাখতে যখন এর লিংকগুলোর মাধ্যমে লিংক ইক্যুইটি পাস করা হয়) এবং আউটপুটগুলো হয়ে যায়:

<meta name="robots" content="noindex, follow">
X-Robots-Tag: noindex, follow

একটি তৃতীয় ক্ষেত্রে: একটি মৌসুমি প্রচারের জন্য একটি ল্যান্ডিং পৃষ্ঠা যা শেষ হলে অদৃশ্য হয়ে যেতে হবে। ইনডেক্সিং অনুমোদিত এবং লিংক অনুসরণ অনুমোদিত চেক করা রাখুন, unavailable_after প্রচারের শেষে সেট করুন, এবং ট্যাগটি হয়ে যায়:

<meta name="robots" content="index, follow, unavailable_after: 2025-12-31T00:00">

Google সেই টাইমস্ট্যাম্পের পরে পৃষ্ঠাটিকে ফলাফলে দেখানো বন্ধ করবে। তারিখের মানটি আপনি যেমন নির্বাচন করেছেন তেমনভাবে নির্গত হয়, তাই নিশ্চিত করুন এটি আপনার লক্ষ্য সার্চ ইঞ্জিন যে ফরম্যাট গ্রহণ করে তার সাথে মেলে।

প্রশ্নোত্তর#

একটি মেটা ট্যাগে noindex এবং robots.txt-এ disallow করার মধ্যে পার্থক্য কী?#

সেগুলো ভিন্ন স্তরে কাজ করে এবং যত্ন সহকারে মেশানো উচিত নয়। noindex হলো একটি নির্দেশনা যা ক্রলার পৃষ্ঠাটি আনার পরে পড়ে। আপনি যদি robots.txt-তে URL অবরুদ্ধ করেন, ক্রলার কখনো তা আনে না, কখনো noindex দেখে না, এবং এটির দিকে নির্দেশ করা লিংকের উপর ভিত্তি করে এখনও URL ইনডেক্স করতে পারে। একটি পৃষ্ঠাকে নির্ভরযোগ্যভাবে ইনডেক্সের বাইরে রাখতে, ক্রলিং অনুমোদন করুন কিন্তু noindex যোগ করুন — ক্রলার থেকে পৃষ্ঠাটিকে সম্পূর্ণভাবে লুকিয়ে রাখবেন না।

আমার কখন মেটা ট্যাগের বদলে X-Robots-Tag শীর্ষলেখ ব্যবহার করা উচিত?#

যখনই সম্পদটি HTML নয় — একটি PDF, একটি ছবি, একটি ভিডিও, একটি স্প্রেডশিট — একটি মেটা ট্যাগ বসানোর জন্য কোনো <head> এলিমেন্ট নেই, তাই শীর্ষলেখটিই একমাত্র অপশন। এটি একটি নিয়ম অনেকগুলো ফাইলের জন্য একবারে প্রয়োগ করার জন্যও সঠিক পছন্দ আপনার সার্ভার বা CDN কনফিগের মাধ্যমে, প্রতিটি নথি সম্পাদনা করার বদলে।

noindex, follow কি এখনও লিংক ইক্যুইটি পাস করে?#

হ্যাঁ। noindex নিয়ন্ত্রণ করে পৃষ্ঠাটি ফলাফলে দেখা যায় কি না; follow নিয়ন্ত্রণ করে ক্রলার পৃষ্ঠার লিংকগুলো অনুসরণ করে কি না। noindex, follow পৃষ্ঠাটিকে ইনডেক্সের বাইরে রাখে কিন্তু এখনও লিংক ইক্যুইটিকে পৃষ্ঠার বাহিরগামী লিংকগুলোর মাধ্যমে প্রবাহিত হতে দেয়। এটি হলো ধন্যবাদ-পৃষ্ঠা, অভ্যন্তরীণ সার্চ ফলাফল, এবং ফ্যাসেটেড-ফিল্টার পৃষ্ঠাগুলোর জন্য প্রমিল রেসিপি।

টুলটি কেন index, follow নির্গত করে যখন সেটি ডিফল্ট?#

কারণ স্পষ্ট হওয়া কার্যকর হতে পারে: এটি পৃষ্ঠার উৎসে অভিপ্রায় নথিভুক্ত করে, এটি একটি আরও সীমাবদ্ধ উত্তরাধিকারসূত্রে প্রাপ্ত নিয়মকে ওভাররাইড করতে পারে, এবং কিছু দল ট্যাগের উপস্থিতিকে একটি সংকেত হিসেবে বিবেচনা করে যে পৃষ্ঠাটি পর্যালোচনা করা হয়েছে। আপনি যদি অন্তর্নিহিত ডিফল্টের উপর নির্ভর করতে পছন্দ করেন, সহজভাবে ট্যাগটি বাদ দিন — এটি সম্পূর্ণভাবে বাদ দেওয়া index, follow-এর সমতুল্য।