مولد ملف robots.txt
أنشئ ملف robots.txt بقواعد Allow وDisallow لكل روبوت، مع روابط sitemap وتأخير الزحف. قوالب جاهزة لـ WordPress والمتاجر الإلكترونية، مع التحقق من الأخطاء.
جارٍ تحميل مولد ملف robots.txt…
ملفاتك لا تغادر جهازك أبدًا
طريقة استخدام مولد ملف robots.txt
- 1
افتح مولد ملف robots.txt في هذه الصفحة. تُحمَّل مباشرة في متصفحك.
- 2
أضف ملفك أو نصك أو القيم، واضبط الإعدادات.
- 3
انسخ النتيجة أو نزّلها. لا يُرفع أي شيء ولا يُخزَّن.
عن هذه الأداة
يوجد ملف robots.txt في جذر موقعك، ويخبر زواحف محركات البحث بالأجزاء التي يمكنها زيارتها من الموقع. ينشئ مولد robots.txt هذا الملف لك من نموذج بسيط: اختر الروبوتات، وأضف قواعد Allow وDisallow، واربط ملف sitemap، ثم انسخ أو نزّل ملفًا يُفحص بحثًا عن الأخطاء أثناء العمل.
كيف تنشئ ملف robots.txt
- ابدأ من قالب جاهز: Open to all أو Block all أو WordPress أو E-commerce.
- اختر وكلاء المستخدم (user agents): كل الروبوتات (*)، أو روبوتات محددة مثل Googlebot وBingbot وDuckDuckBot وYandexBot وBaiduspider وSlurp وfacebookexternalhit وTwitterbot وLinkedInBot أو اسمًا مخصصًا.
- أضف قواعد Disallow وAllow للمسارات، أو اختر من المسارات الشائعة لحظرها.
- أضف رابط sitemap الخاص بك، وعند الحاجة تأخير الزحف والمضيف المفضل.
- راجع نتائج التحقق والمعاينة، ثم نزّل robots.txt وارفعه إلى جذر موقعك.
الصياغة باختصار
| القاعدة | المعنى |
|---|---|
| User-agent: * | القواعد التالية تنطبق على كل الروبوتات |
| Disallow: /admin/ | لا تزحف إلى أي شيء داخل /admin/ |
| Allow: /admin/help | استثناء من قاعدة Disallow أوسع |
| Disallow: /*.pdf$ | حظر كل الروابط المنتهية بـ .pdf |
| Disallow: /*? | حظر الروابط التي تحتوي على معاملات |
| Sitemap: https://example.com/sitemap.xml | مكان ملف sitemap |
من المهم معرفته
- يتحكم robots.txt في الزحف، لا في الفهرسة. قد تظهر الصفحة المحظورة في Google إذا كانت مواقع أخرى ترتبط بها. لإبعاد صفحة عن نتائج البحث، استخدم وسم meta noindex واسمح بالزحف إليها.
- إنه ليس وسيلة حماية. الملف عام ويمكن لأي شخص قراءته. احمِ المناطق الخاصة بتسجيل الدخول.
- لا تحظر ملفات CSS أو JavaScript أو الصور التي تحتاجها صفحاتك؛ فـ Google يعرض الصفحات وقد يسيء تقييمها بدونها.
- يتجاهل Google التوجيه Crawl-delay، بينما يحترمه Bing وبعض المحركات الأخرى.
- ملف واحد لكل مضيف، على العنوان https://yourdomain.com/robots.txt، باسم بأحرف صغيرة.
بعد الرفع، اختبر الملف في Google Search Console. ثم أنشئ ملف sitemap باستخدام مولد خريطة الموقع XML، واضبط الوسوم المناسبة لكل صفحة باستخدام مولد وسوم الميتا.
الأسئلة الشائعة
أين أضع ملف robots.txt؟
في جذر نطاقك، ليكون متاحًا على https://yourdomain.com/robots.txt. يحتاج كل نطاق فرعي إلى ملفه الخاص.
هل يمنع robots.txt ظهور الصفحة في Google؟
لا. إنه يمنع الزحف لا الفهرسة. استخدم وسم meta noindex في الصفحة ولا تحظرها في robots.txt، حتى يتمكن Google من رؤية noindex.
كيف أحظر كل الروبوتات؟
استخدم قالب Block all، الذي يكتب User-agent: * ثم Disallow: /. استخدمه فقط لمواقع الاختبار أو المواقع الخاصة.
ما الفرق بين Allow وDisallow؟
يحظر Disallow مسارًا، ويضيف Allow استثناءً داخل مسار محظور. عند تداخل القواعد يتبع Google القاعدة الأكثر تحديدًا.
هل أضيف ملف sitemap إلى robots.txt؟
نعم. يساعد سطر Sitemap كل محركات البحث في العثور عليه، إضافة إلى إرساله في Search Console.
هل يمكنني حظر زواحف الذكاء الاصطناعي؟
نعم. أضف وكيل مستخدم مخصصًا مثل GPTBot أو CCBot مع Disallow: /. الروبوتات المنضبطة تحترم ذلك، وقد لا تحترمه روبوتات أخرى.