من إصدار ووردبريس 5.7، المنصة بتولّد ملف robots.txt افتراضيًا تلقائيًا (virtual — مش ملف حقيقي على السيرفر). الملف الافتراضي بيسمح لجوجل بزحف الموقع كله وبيشير لملف الـ sitemap. لكن لو محتاج تخصيص — زي منع أقسام معينة — هتحتاج إضافة سيو زي Rank Math أو Yoast.
أسهل طريقة: إضافة Rank Math (Rank Math > General Settings > Edit robots.txt) أو Yoast SEO (Tools > File Editor). لو عندك ملف robots.txt حقيقي على السيرفر، هو اللي هيكسب على الـ virtual — فاتأكد إن مفيش تعارض بينهم.
أشهر سببين: أولًا — خيار «Discourage search engines from indexing this site» متفعل في Settings > Reading (ووردبريس بيضيف noindex لكل الموقع). ثانيًا — سطر Disallow: / موجود في ملف robots.txt من أيام التطوير ومتنساش. اتأكد من الاتنين قبل أي حاجة تانية.
صفحات المصطلحات دي هتتضاف للقاموس قريبًا.
أيوه — من إصدار 5.7 ووردبريس بيولد ملف افتراضي تلقائيًا (virtual). تقدر تشوفه على domain.com/robots.txt حتى لو مفيش ملف حقيقي.
من إضافة سيو: Rank Math أو Yoast SEO فيهم محرر مدمج. أو ارفع ملف robots.txt حقيقي على السيرفر في مجلد الموقع الرئيسي.
اسمح بزحف الموقع كله، اشير للـ sitemap، وامنع: /wp-admin/ وملفات البحث الداخلي (/?s=) وصفحات الـ tag/archive الضعيفة لو مش بتستخدمها.