مُنشئ ملف Robots.txt
أنشئ ملف robots.txt صحيحًا بقوالب جاهزة وقواعد مخصصة وحظر لبوتات الذكاء الاصطناعي وسطر خريطة الموقع — جاهز للتنزيل.
808 مشاهدة
ما الذي يفعله robots.txt فعليًا؟
يطلب من الزواحف الملتزمة بالقواعد ألا تجلب مسارات معينة — ما يوفّر ميزانية الزحف ويُبقي عناوين الإدارة والبحث والتصفية خارج قائمة الانتظار. أخطاء شائعة نُصححها: هذا الملف ليس أداة تحكم بالوصول (فهو عام والبوتات الضارة تتجاهله)، وحظر عنوان لا يزيله من الفهرس — لذلك استخدم noindex؛ فالصفحة المحظورة قد تُفهرس رغم ذلك عبر روابط خارجية، لكن دون محتوى.
تغطي الأداة قرارات اليوم الفعلية: الحظر القياسي، قالب ووردبريس، قواعد لكل بوت، سطر خريطة الموقع، والسؤال الحديث — هل تحظر زواحف تدريب الذكاء الاصطناعي (GPTBot وCCBot وGoogle-Extended وغيرها)؟ حظرها يُبقي المحتوى بعيدًا عن تدريب النماذج المستقبلية، لكنه يُبعده أيضًا عن إجابات الذكاء الاصطناعي التي قد تستشهد بك؛ كلا الخيارين مشروع.
الأسئلة الشائعة
أين يوضع هذا الملف؟
بالضبط في جذر النطاق: example.com/robots.txt. النسخ الموضوعة في مجلدات فرعية تُتجاهل؛ ويحتاج كل نطاق فرعي إلى ملفه الخاص.
هل ينبغي أن أحظر بوتات الذكاء الاصطناعي؟
الأمر مفاضلة: الحظر (GPTBot وأمثاله) يحمي المحتوى من مجموعات التدريب لكنه يُفقدك الظهور داخل مساعدات الذكاء الاصطناعي. ينقسم الناشرون بالتساوي تقريبًا — قرر بناءً على أهمية الإحالات من الذكاء الاصطناعي بالنسبة إليك.
أدوات مشابهة
الإبلاغ عن مشكلة
مُنشئ ملف Robots.txt