الأدوات
الأدلة

مولّد وسوم Robots

تطوير

يجمع وسم <meta name="robots"> ورأس X-Robots-Tag من توجيهات index/noindex/follow/noarchive وغيرها.

100% من جهة العميل بدون خادم خلفي
الخيارات
وسم meta
رأس X-Robots-Tag
في هذه الصفحة

ما هو توجيه robots الوصفيّ؟#

توجيه robots الوصفيّ يُخبر زواحف محرّكات البحث بما يجوز لهم فعله بصفحة: فهرستها أولًا، واتباع روابطها أولًا، والاحتفاظ بنسخة مخبّأة، وإظهار مقتطف في النتائج، وهلمّ جرًّا. هو الرافعة على مستوى الصفحة تُحرّكها حين يجب أن يبقى URL عامًّا (صفحة staging، أوشكرًا، أوPDF قانونيّ) لكن لا ينبغي أن يظهر في نتائج Google، أولما تريد تشكيل شكل مقتطف النتيجة.

لتوجيهٍ مكانان يسكنهما. وسم robots الوصفيّ يقيم في <head> الخاصّ بـ HTML للصفحة ويُطبَّق على مستند HTML واحد. أمّا ترويسة X-Robots-Tag لـ HTTP فتسافر في الاستجابة نفسها وتُطبَّق على أيّ شيء يُرجعه خادم — PDF أوصورة أفيديو أوملفّ JSON — بما في ذلك الموارد التي لا <head> لها تضع فيه وسمًا. تحترم محرّكات البحث كليهما؛ وتُولِّد هذه الأداة الشكلَين معًا من المجموعة ذاتها من المفاتيح، لتنسخ أيّهما تحتاجه حزمتك.

القاعدة الوحيدة الأهمّ التي تُتذكَّر: غياب التوجيه يعني «لا تقييد». تُعامَل صفحة بلا وسم robots إطلاقًا كـ index, follow — قابلة للزحف بالكامل. التوجيهات التي تُصدرها هذه الأداة كلّها قيود اختيارية فوق ذلك الافتراضي. وتُعرِّف مرجعية Google المجموعة القياسية، وهي بالضبط ما تقابله المفاتيح هنا.

كيفية الاستخدام#

  1. فعِّل خانات الخيارات على اليسار. الأوليان خاصّتان — تفترضان ممزّأَتَين:
    • index / follow — ألغِ التفعيل لإصدار noindex / nofollow.
    • noarchive — يمنع Google من إظهار رابط «نسخة مخبّأة».
    • nosnippet — يكبت المقتطف النصّيّ أسفل النتيجة.
    • noimageindex — يوقف فهرسة صور هذه الصفحة كصفحات إحالة.
    • notranslate — يرفض عرض «ترجم هذه الصفحة» في النتائج.
    • noodp — عتيق؛ يتجاهل عنوان DMOZ/ODP البائد.
    • nositelinkssearchbox — يكبت صندوق البحث للروابط الفرعية.
  2. اختر تاريخًا ووقتًا اختياريًّا تحت unavailable_after — ستُسقَط الصفحة من نتائج البحث بعد تلك اللحظة. مفيد لإنهاء ترويج أومستند محدود بوقت.
  3. اقرأ المخرَجَين على اليمين:
    • وسم وصفيّ — عنصر <meta name="robots" content="..."> كامل، جاهز للّصق في <head>.
    • X-Robots-Tag — شكل ترويسة HTTP، جاهز للإضافة إلى إعدادات استجابة خادمك أوCDN.
  4. اضغط نسخ بجانب أيّ مخرَج لأخذه.

الميزات الرئيسية#

  • الشكلان من مصدر واحد. يُولَّد وسم الوصف وترويسة X-Robots-Tag معًا، فتحصل صفحات HTML والموارد غير HTML (PDF والصور) على التوجيه نفسه.
  • واعٍ بالافتراضي. يُفترض index وfollow ممزّأَتَين، مطابقاً الافتراضيّ الحقيقيّ للويب «لا تقييد ما لم يُذكَر».
  • مجموعة التوجيهات القياسية الكاملة. تغطّي كلّ توجيه توثّقه Google — noindex وnofollow وnoarchive وnosnippet وnoimageindex وnotranslate وnoodp وnositelinkssearchbox وunavailable_after.
  • دعم unavailable_after. التوجيه الوحيد الذي يأخذ قيمة؛ يُجمَّع كـ unavailable_after: <date> ويُمرَّر حرفيًّا لتتحكّم في الصيغة بالضبط.
  • 100% من جهة العميل. لا إعداد لرفعه ولا خادم لرحلة ذهاب وإياب — ولِّد وانسخ، ثمّ طبّق النتيجة في CMS أوقالب أودليل nginx بنفسك.

مثال عملي#

اترك الافتراضات (فقط index وfollow ممزّأَتان) فيقرأ المخرَجان:

<meta name="robots" content="index, follow">
X-Robots-Tag: index, follow

وذاك الشكل الصريح لـ «لا تقييد» — مفيد حين تريد التأنّي في كون صفحةٍ قابلة للزحف بالكامل.

الآن ألغِ تفعيل index (لإبعاد صفحة شكرًا عن الفهرس مع إمرار قيمة الرابط عبر روابطها) فتصبح المخرجات:

<meta name="robots" content="noindex, follow">
X-Robots-Tag: noindex, follow

حالة ثالثة: صفحة هبوط لحملة موسمية يجب أن تختفي بعد انتهائها. اترك index وfollow ممزّأَتَين، واضبط unavailable_after على نهاية الحملة، فيصبح الوسم:

<meta name="robots" content="index, follow, unavailable_after: 2025-12-31T00:00">

ستتوقّف Google عن إظهار الصفحة في النتائج بعد ذلك الطابع الزمني. تُصدَر قيمة التاريخ كما اخترتها بالضبط، فتأكّد أنها تطابق صيغة يقبلها محرّك البحث الهدف.

الأسئلة الشائعة#

ما الفرق بين noindex في وسم وصفيّ والمنع في robots.txt؟#

يعملان في طبقتين مختلفتين ولا يُخلط بينهما بإهمال. noindex توجيه يقرأه الزاحف بعد جلب الصفحة. فإن حجبت URL في robots.txt، فلن يجلبه الزاحف أصلًا، ولن يرى noindex، وقد يُفهرس URL مع ذلك بناءً على روابط تشير إليه. ولإبعاد صفحةٍ عن الفهرس بموثوقية، اسمح بالزحف لكن أضِف noindex — لا تخفِ الصفحة عن الزاحف كليًّا.

متى أستخدم ترويسة X-Robots-Tag بدلًا من الوسم الوصفيّ؟#

كلّما كان المورد ليس HTML — PDF أوصورة أفيديو أوجدول بيانات — فلا عنصر <head> لوضع وسم فيه، فالترويسة هي الخيار الوحيد. وهي أيضًا الاختيار الصائب لتطبيق قاعدة واحدة على ملفّات كثيرة دفعةً عبر إعداد خادمك أوCDN، بدل تحرير كلّ مستند.

هل يُمرِّر noindex, follow قيمة الرابط فعلًا؟#

نعم. يتحكّم noindex في ظهور الصفحة في النتائج؛ ويتحكّم follow في اتّباع الزاحف روابط الصفحة. يحتفظ noindex, follow بإبعاد الصفحة عن الفهرس لكنه يبقي قيمة الرابط تتدفّق عبر روابطها الصادرة. وهذه هي الوصفة القياسية لصفحات الشكر ونتائج البحث الداخلية وصفحات الفلاتر المُجوَّهة.

لماذا تُصدِر الأداة index, follow أصلًا رغم أنّه الافتراضي؟#

لأنّ الصراحة قد تفيد: توثّق النيّة في مصدر الصفحة، وقد تطغى على قاعدة موروثة أكثر تقييدًا، وتعامل بعض الفرق وجود الوسم كإشارة على أنّ الصفحة روجعَت. وإن فضّلت الاعتماد على الافتراضي الضمني فاترك الوسم خارجًا — إسقاطه كليًّا يُعادل index, follow.