# ============================================ */
# ملف robots.txt - منصة Menuza
# ============================================ */
# الموقع: https://www.menuza.app
# تاريخ الإنشاء: 2026-05-04
# آخر تحديث: 2026-05-04
# الغرض: توجيه محركات البحث للزحف إلى الصفحات الصحيحة وتجنب الصفحات غير المرغوب فيها
# ============================================ */


# ============================================ */
# القسم 1: الإعدادات العامة لجميع محركات البحث
# ============================================ */

# السماح لجميع محركات البحث بالزحف إلى الموقع بشكل عام
User-agent: *
Allow: /

# ============================================ */
# القسم 2: منع الزحف إلى مجلدات إدارية وحساسة
# ============================================ */

# مجلدات الإدارة ولوحات التحكم
Disallow: /admin/
Disallow: /administrator/
Disallow: /dashboard/
Disallow: /cPanel/
Disallow: /wp-admin/
Disallow: /controlpanel/

# صفحات تسجيل الدخول والخروج (لن تظهر في نتائج البحث)
Disallow: /login/
Disallow: /logout/
Disallow: /signin/
Disallow: /signout/

# صفحات تسجيل المستخدمين (تجنب تكرار المحتوى)
Disallow: /register/
Disallow: /signup-complete/
Disallow: /verify-email/

# صفحات استعادة كلمة المرور
Disallow: /forgot-password/
Disallow: /reset-password/

# ============================================ */
# القسم 3: منع الزحف إلى ملفات ومجلدات تعمل بنظام API
# ============================================ */

# مجلدات API وواجهات البرمجة (ليست للمستخدمين النهائيين)
Disallow: /api/
Disallow: /api/v1/
Disallow: /api/v2/
Disallow: /rest-api/
Disallow: /graphql/

# مجلدات AJAX والطلبات الديناميكية
Disallow: /ajax/
Disallow: /includes/ajax/
Disallow: /wp-json/

# ============================================ */
# القسم 4: منع الزحف إلى مجلدات النظام والمؤقتة
# ============================================ */

# مجلدات النظام والتخزين المؤقت
Disallow: /tmp/
Disallow: /temp/
Disallow: /cache/
Disallow: /caches/
Disallow: /backup/
Disallow: /backups/
Disallow: /logs/
Disallow: /error_logs/

# مجلدات التحميل المؤقتة
Disallow: /uploads/tmp/
Disallow: /uploads/temp/

# ============================================ */
# القسم 5: منع الزحف إلى مجلدات الـ Libraries والـ Vendor
# ============================================ */

Disallow: /lib/
Disallow: /libs/
Disallow: /library/
Disallow: /libraries/
Disallow: /vendor/
Disallow: /node_modules/
Disallow: /bower_components/

# ============================================ */
# القسم 6: منع الزحف إلى مجلدات الـ CSS و JS (لتحسين الزحف)
# ============================================ */
# ملاحظة: لا يتم منع CSS/JS عادةً حتى لا يمنع Google من قراءة أسلوب الصفحات.
# لذلك نقوم بمنع المجلدات غير القياسية فقط.

Disallow: /assets/minified/
Disallow: /assets/compiled/

# ============================================ */
# القسم 7: منع الزحف إلى أنواع معينة من الملفات
# ============================================ */

# ملفات الضغط (تجنب فهرستها)
Disallow: /*.zip$
Disallow: /*.rar$
Disallow: /*.7z$
Disallow: /*.tar$
Disallow: /*.gz$

# ملفات تنفيذية (ليست محتوى للمستخدم)
Disallow: /*.exe$
Disallow: /*.dll$
Disallow: /*.so$
Disallow: /*.bin$

# ملفات قاعدة البيانات (حساسة جداً)
Disallow: /*.sql$
Disallow: /*.db$
Disallow: /*.sqlite$

# ملفات الإعدادات والتكوين
Disallow: /*.env$
Disallow: /*.config$
Disallow: /*.ini$
Disallow: /*.yaml$
Disallow: /*.yml$
Disallow: /*.json$

# ملفات السجلات (لا طلب لها في نتائج البحث)
Disallow: /*.log$

# ============================================ */
# القسم 8: منع الزحف إلى معلمات URL التي تسبب محتوى مكرر
# ============================================ */

# معاملات الفرز والترتيب
Disallow: /*?sort=
Disallow: /*?order=
Disallow: /*?dir=
Disallow: /*?page=
Disallow: /*?offset=
Disallow: /*?limit=

# معاملات البحث (تجنب فهرسة عمليات البحث الداخلية)
Disallow: /*?s=
Disallow: /*?search=
Disallow: /*?q=
Disallow: /*?query=
Disallow: /*?keyword=

# معاملات التصفية (تجنب المحتوى المكرر)
Disallow: /*?filter=
Disallow: /*?category=
Disallow: /*?tag=
Disallow: /*?type=

# معاملات الجلسات والتتبع
Disallow: /*?session=
Disallow: /*?sid=
Disallow: /*?token=
Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?source=

# ============================================ */
# القسم 9: منع الزحف إلى صفحات ومجلدات التجارة الإلكترونية (إن وجدت)
# ============================================ */

# صفحات عربة التسوق والدفع (لا تظهر في نتائج البحث)
Disallow: /cart/
Disallow: /checkout/
Disallow: /billing/
Disallow: /payment/
Disallow: /invoice/

# صفحات حساب المستخدم
Disallow: /my-account/
Disallow: /account/
Disallow: /profile/
Disallow: /orders/
Disallow: /order-history/

# ============================================ */
# القسم 10: منع الزحف إلى مجلدات الـ CMS والقالب (لأنظمة محددة)
# ============================================ */

# لأنظمة WordPress
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /xmlrpc.php
Disallow: /wp-links-opml.php
Disallow: /wp-cron.php

# لأنظمة Laravel
Disallow: /storage/
Disallow: /bootstrap/cache/
Disallow: /config/

# لأنظمة Next.js
Disallow: /_next/
Disallow: /out/
Disallow: /.next/

# ============================================ */
# القسم 11: منع الزحف إلى صفحات اختبار وتطوير
# ============================================ */

Disallow: /test/
Disallow: /tests/
Disallow: /testing/
Disallow: /dev/
Disallow: /development/
Disallow: /staging/
Disallow: /demo/

# ============================================ */
# القسم 12: منع الزحف إلى صفحات الخطأ والشكر
# ============================================ */

Disallow: /404
Disallow: /500
Disallow: /error
Disallow: /thank-you
Disallow: /thanks
Disallow: /confirmation

# ============================================ */
# القسم 13: إعدادات وقت الزحف (لحماية السيرفر)
# ============================================ */

# تأخير الزحف بالثواني لمنع تحميل السيرفر بشكل زائد
# مناسب للمواقع المتوسطة والكبيرة
Crawl-delay: 2

# ============================================ */
# القسم 14: تعليمات خاصة لكل محرك بحث على حدة
# ============================================ */

# Googlebot - زاحف Google الرئيسي
User-agent: Googlebot
Crawl-delay: 1
Allow: /

# Googlebot-Image - زاحف صور Google
User-agent: Googlebot-Image
Allow: /images/
Allow: /assets/img/
Allow: /uploads/

# Googlebot-News - زاحف أخبار Google
User-agent: Googlebot-News
Allow: /blog/
Allow: /news/

# Googlebot-Video - زاحف فيديو Google
User-agent: Googlebot-Video
Disallow: /private-videos/

# Bingbot - زاحف محرك Bing
User-agent: Bingbot
Crawl-delay: 2
Allow: /

# Yandex - زاحف محرك Yandex الروسي
User-agent: Yandex
Crawl-delay: 2
Allow: /

# Baiduspider - زاحف محرك Baidu الصيني
User-agent: Baiduspider
Crawl-delay: 3
Allow: /

# DuckDuckBot - زاحف محرك DuckDuckGo
User-agent: DuckDuckBot
Crawl-delay: 2
Allow: /

# Applebot - زاحف Apple (Siri و Spotlight)
User-agent: Applebot
Crawl-delay: 2
Allow: /

# Facebookbot - زاحف Facebook (للمشاركات)
User-agent: Facebookbot
Crawl-delay: 2
Allow: /

# LinkedInBot - زاحف LinkedIn
User-agent: LinkedInBot
Crawl-delay: 2
Allow: /

# ============================================ */
# القسم 15: مواقع Sitemap (بعد التحديث)
# ============================================ */

# ملف Sitemap الرئيسي
Sitemap: https://www.menuza.app/sitemap_index.xml

# ملفات Sitemap الفرعية
Sitemap: https://www.menuza.app/sitemap-main.xml
Sitemap: https://www.menuza.app/sitemap-blog.xml
Sitemap: https://www.menuza.app/sitemap-pages.xml

# ملف robots.txt نفسه (يمكن إضافته لتأكيد الوصول)
Sitemap: https://www.menuza.app/robots.txt

# ============================================ */
# القسم 16: تعليمات إضافية للمواقع المتقدمة
# ============================================ */

# منع الزحف إلى صفحات معينة باستخدام Regex (تدعمها بعض محركات البحث)
# Disallow: /*/print/
# Disallow: /*/pdf/

# توجيه Google إلى نسخة الجوال من الموقع (إذا كانت منفصلة)
# Host: https://www.menuza.app
# Sitemap: https://www.menuza.app/sitemap-mobile.xml

# ============================================ */
# القسم 17: السماح بمجلدات المحتوى الهام
# ============================================ */

# التأكيد على السماح بزحف المجلدات المهمة (حتى لو تم منعها أعلاه)
Allow: /blog/
Allow: /images/
Allow: /assets/
Allow: /uploads/

# السماح بزحف ملفات CSS و JS الأساسية لتحسين عرض الصفحات
Allow: /*.css$
Allow: /*.js$

# ============================================ */
# القسم 18: تعليمات لحظر روبوتات ضارة (اختياري)
# ============================================ */

# حظر بعض الروبوتات المعروفة بالزحف المكثف أو الضار
User-agent: MJ12bot
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: PetalBot
Disallow: /

User-agent: GPTBot
Disallow: /

# ============================================ */
# نهاية الملف
# ============================================ */