مُنشئ ملف Robots.txt
أنشئ ملف robots.txt صحيحًا بقوالب جاهزة وقواعد مخصصة وحظر لبوتات الذكاء الاصطناعي وسطر خريطة الموقع — جاهز للتنزيل.
1,111 مشاهدة
ما الذي يفعله robots.txt فعليًا
robots.txt ملف نصي عادي يقع في جذر نطاقك، يخبر زواحف محركات البحث بالعناوين التي ينبغي ألا تجلبها، باستخدام مجموعة صغيرة من التوجيهات: User-agent (البوت الذي تنطبق عليه القاعدة)، Disallow (المسار الذي يجب تجاوزه)، Allow (استثناء يُقتطع من Disallow أوسع)، وSitemap (مكان العثور على sitemap.xml الخاص بك). تقرأ الزواحف الملتزمة مثل Googlebot هذا الملف قبل الزحف وتحترمه، وهذا بالضبط سبب نجاحه في توفير ميزانية الزحف وإبقاء صفحات الإدارة وصفحات نتائج البحث وعناوين URL المُصفّاة خارج قائمة انتظار الزحف.
مثال ملموس: أضِف Disallow: /admin/ وDisallow: /search?، وسيتوقف Googlebot عن إنفاق ميزانية الزحف المحدودة على شاشات تسجيل الدخول ونتائج البحث الداخلية، محرّرًا تلك الميزانية للصفحات التي تريد فهرستها فعلًا. لكن هنا التحذير الجوهري الذي توجد هذه الأداة لتعليمه: robots.txt ليس إجراءً أمنيًا. فهو يوجّه فقط البوتات حسنة النية — أما زاحف خبيث، أو بوت منافس، أو أي شخص لديه متصفح، فيمكنه ببساطة تجاهل الملف وطلب عنوان URL الممنوع مباشرة، لأن الملف نفسه يُقدَّم علنًا لأي شخص يطلبه على yourdomain.com/robots.txt.
ما ينبغي أن تعرفه
هذا يخلق فخًا حقيقيًا: إضافة Disallow: /secret-admin-panel/ لإبعاد مسار حساس عن نتائج البحث تنشر فعليًا عنوانه الدقيق لكل شخص أو بوت يقرأ الملف، وهو عكس إخفائه تمامًا. إذا كانت صفحة ما تحتاج فعلًا للبقاء خاصة، فالحماية الحقيقية الوحيدة هي التحكم بالوصول — كلمة مرور، أو فحص مصادقة، أو إزالتها كليًا من الاستضافة العامة — وليس robots.txt أبدًا. بشكل منفصل، منع عنوان URL لا يزيله من فهرس بحث إذا كان موجودًا فيه بالفعل أو مرتبطًا به من مصدر خارجي؛ فقد تظهر صفحة محظورة في النتائج، عادة بلا وصف لأن الزاحف لم يُسمح له قط بقراءة المحتوى. الأداة الصحيحة لمنع الفهرسة هي وسم meta بقيمة noindex أو ترويسة HTTP، وهذا يتطلب أن تكون الصفحة قابلة للزحف أصلًا.
- يجب أن يقع الملف بالضبط في جذر النطاق (example.com/robots.txt) — تُتجاهل النسخ الموضوعة في مجلدات فرعية، ويحتاج كل نطاق فرعي إلى ملفه الخاص.
- الإضافة الحديثة التي يتعامل معها هذا المُنشئ هي ما إذا كنت تريد حظر زواحف تدريب الذكاء الاصطناعي (GPTBot وCCBot وGoogle-Extended وما شابهها). حظرها يُبقي محتواك بعيدًا عن بيانات تدريب النماذج المستقبلية، لكنه يُقصيك أيضًا من الإجابات التي يولّدها الذكاء الاصطناعي والتي قد تستشهد بك وتربط إلى موقعك — لا يوجد خيار صحيح عالميًا، بل مفاضلة تعتمد على أهدافك.
- أدرج دائمًا توجيه Sitemap مشيرًا إلى sitemap.xml الخاص بك — إنه السطر الوحيد في الملف الذي يساعد الزواحف فعليًا على العثور على محتواك، بدلًا من إخبارها بما تتجاوزه.
الأسئلة الشائعة
أين يجب وضع ملف robots.txt بالضبط؟
بالضبط في جذر النطاق — yourdomain.com/robots.txt. تُتجاهل النسخة الموضوعة داخل مجلد فرعي مثل yourdomain.com/blog/robots.txt من قِبل الزواحف ببساطة، ويحتاج كل نطاق فرعي، مثل shop.yourdomain.com، إلى ملفه المنفصل الخاص.
هل يمكنني استخدام robots.txt لإخفاء صفحة خاصة أو حساسة؟
لا، والقيام بذلك قد يأتي بنتيجة عكسية. الملف عام، لذا فإن إدراج مسار حساس تحت Disallow يعلن عنوانه الدقيق لأي شخص يقرأه. الخصوصية الحقيقية تتطلب التحكم بالوصول، مثل تسجيل الدخول أو فحص المصادقة، وليس توجيهًا للزاحف.
إذا منعت عنوان URL، هل سيختفي من نتائج البحث؟
ليس بالضرورة. Disallow يوقف الزحف فقط، لا الفهرسة — يمكن أن تبقى الصفحة مفهرسة، غالبًا بلا وصف مرئي، إذا كانت مرتبطة من مكان آخر. لإزالة صفحة فعليًا من نتائج البحث، استخدم وسم meta بقيمة noindex أو ترويسة HTTP على صفحة لا يزال يُسمح للزواحف بالوصول إليها.
هل ينبغي أن أحظر بوتات تدريب الذكاء الاصطناعي مثل GPTBot؟
إنها مفاضلة حقيقية. حظرها يحمي محتواك من الاستخدام في تدريب النماذج المستقبلية، لكنه يُقصيك أيضًا من الإجابات التي يولّدها الذكاء الاصطناعي والتي قد تستشهد بموقعك وتربط إليه. ينقسم الناشرون بالتساوي تقريبًا — قرر بناءً على ما إذا كانت زيارات الإحالة من الذكاء الاصطناعي مهمة لعملك.
هل تحترم البوتات الخبيثة أو أدوات الاستخراج robots.txt؟
لا، وهذا أكبر قيود هذا الملف. يعتمد robots.txt كليًا على الامتثال الطوعي — تحترمه الزواحف الموثوقة مثل Googlebot، لكن أدوات الاستخراج المصممة لجمع المحتوى أو بيانات الأسعار أو رسائل البريد الإلكتروني تتجاهله عادة بالكامل. إنه إرشاد للأطراف حسنة النية، وليس حاجزًا ضد الأطراف السيئة.
أدوات مشابهة
الإبلاغ عن مشكلة
مُنشئ ملف Robots.txt
التعليقات
لا توجد تعليقات بعد — كن أول من يكتب تعليقًا!