ملف robots.txt هو ملف نصي بسيط موجود في جذر موقعك (domain.com/robots.txt) — وظيفته إنه يقول لروبوتات محركات البحث (زي Googlebot) إيه الأجزاء المسموح يزحفوها وإيه اللي يتجاهلوه. أول حاجة أي روبوت بيعملها لما يزور موقعك إنه يدور على الملف ده.
User-agent: بيحدد الروبوت الموجه ليه الكلام (Googlebot أو * للكل). Disallow: بيمنع الزحف لمسار معين. Allow: بيسمح بمسار مستثنى. Sitemap: بيشير لمكان ملف الـ sitemap. مثال عملي: User-agent: * ثم Disallow: /admin/ ثم Sitemap: https://example.com/sitemap.xml
سطر واحد — Disallow: / — كفيل إنه يخفي موقعك كله من جوجل. الغلطة دي بتحصل كتير في مواقع التطوير اللي بتتنقل للايف من غير ما حد يشيل الحجب. دايمًا اتأكد من ملفك بعد أي إطلاق أو تحديث كبير.
صفحات المصطلحات دي هتتضاف للقاموس قريبًا.
في جذر الموقع مباشرة: domain.com/robots.txt — أي مسار تاني جوجل مش هيبص عليه.
لا — وهذه من أشهر المفاهيم الغلط. robots.txt بيمنع الزحف فقط، لكن الصفحة ممكن تتفهرس لو فيه روابط خارجية بتشير ليها. عشان تمنع الفهرسة استخدم noindex.
robots.txt بيتعامل مع الزحف على مستوى الموقع كله قبل ما الروبوت يزور الصفحة، أما meta robots فتاج داخل الصفحة نفسها بيتحكم في الفهرسة (noindex) واتباع الروابط (nofollow) لصفحة بعينها.