راهنمای جامع فایل robots.txt وردپرس و ووکامرس

فایل robots.txt وردپرس و ووکامرس برای بهینه سازی بودجه خزش

فایل robots.txt یکی از مهم‌ترین ابزارهای بهینه‌سازی سئو و مدیریت بودجه خزش در هر وب‌سایت وردپرسی است. این فایل ساده اما قدرتمند، اولین نقطه تماس بین موتورهای جستجو مانند گوگل و سایت شماست و به ربات‌ها می‌گوید که کدام بخش‌های سایت را بخزند و کدام را نادیده بگیرند. در این مقاله از مجموعه مقالات آموزشی وردپرس، یک نمونه فایل robots.txt استاندارد و بهینه برای سایت‌های وردپرس و فروشگاه‌های ووکامرس ارائه می‌دهیم که با مدیریت دسترسی ربات‌ها به مسیرهای اضافی، از اتلاف بودجه خزش و ایندکس ناخواسته جلوگیری می‌کند و سئو سایت شما را بهبود می‌بخشد.

چرا فایل robots.txt برای سئو و بودجه خزش حیاتی است؟

گوگل هر بار که از سایت شما بازدید می‌کند، زمان و منابع محدودی (به نام بودجه خزش) برای بررسی صفحات شما اختصاص می‌دهد. اگر ربات‌های گوگل زمان خود را صرف خزش بخش‌های بی‌ارزش مانند صفحات مدیریت، سطل زباله، نتایج جستجو، صفحات سبد خرید و تسویه حساب و فیلترهای بی‌نهایت محصولات کنند، صفحات مهم شما (محصولات، دسته‌بندی‌ها و مطالب اصلی) ممکن است به موقع خزش نشوند یا ایندکس کامل نشوند. یک فایل robots.txt بهینه‌شده با بستن دسترسی ربات‌ها به این بخش‌های بی‌ارزش، بودجه خزش را برای صفحات کلیدی سایت ذخیره می‌کند و سرعت ایندکس شدن محتوای اصلی را افزایش می‌دهد. همچنین از ایجاد محتوای تکراری در نتایج جستجو جلوگیری کرده و از ایندکس شدن اطلاعات حساس کاربران مانند حساب کاربری و سفارشات جلوگیری می‌کند.

نمونه فایل robots.txt بهینه برای وردپرس و ووکامرس

در زیر یک نمونه فایل robots.txt استاندارد و بهینه برای سایت‌های وردپرس و فروشگاه‌های ووکامرس ارائه شده است. این فایل با بستن دسترسی ربات‌ها به مسیرهای بی‌ارزش و حساس، بودجه خزش را بهینه کرده و از ایندکس ناخواسته جلوگیری می‌کند. برای استفاده، این کد را در یک فایل متنی با نام robots.txt ذخیره کرده و در ریشه اصلی سایت (معمولاً public_html) آپلود کنید. همچنین می‌توانید از افزونه‌های سئو مانند Yoast SEO، Rank Math یا AIOSEO برای ویرایش این فایل از داخل پیشخوان وردپرس استفاده کنید.

User-agent: *
# Block unnecessary directories and files
Disallow: /cgi-bin/
Disallow: /readme.html
Disallow: /license.txt

# Block WordPress admin but allow AJAX requests
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# Block feeds
Disallow: /feed/

# Block search results
Disallow: /search/

# Block author archives
Disallow: /author/

# Block date archives
Disallow: /archives/

# Block user accounts (WooCommerce)
Disallow: /my-account/

# Block WooCommerce downloads
Disallow: /downloads/

# Block WooCommerce cart, checkout and add-to-cart
Disallow: /cart/
Disallow: /checkout/
Disallow: *?add-to-cart=

# Block WooCommerce filters, sorting, and all parameters
Disallow: /?filter_
Disallow: /?orderby=
Disallow: /?min_price=
Disallow: /?max_price=
Disallow: /?per_page=
Disallow: /?shop_view=

# Block all parameter-based URLs to avoid duplicate content
Disallow: /*?*

# Allow static assets for proper rendering (override the general block above)
Allow: /*?ver*

# Block direct access to PHP and HTML files for added security
Disallow: /*.php$
Disallow: /*.html$

# Block Aparat video embeds (optional - remove if not needed)
Disallow: /v/

# Define the location of your sitemap (UPDATE THIS WITH YOUR ACTUAL URL)
Sitemap: https://example.com/sitemap_index.xml

نحوه عملکرد کد و تحلیل بخش‌های مختلف

در این بخش، هر یک از دستورات (directives) موجود در فایل robots.txt را به صورت دقیق بررسی می‌کنیم و کاربرد هر کدام را توضیح می‌دهیم:

1. User-agent: *: این دستور مشخص می‌کند که قوانین زیر برای همه ربات‌ها و خزنده‌ها اعمال شود. اگر نیاز به قوانین خاص برای ربات خاصی (مانند Googlebot) دارید، می‌توانید آن را به طور جداگانه تعریف کنید.
2. بستن دایرکتوری‌های بی‌ارزش: دستورات Disallow: /cgi-bin/، /readme.html و /license.txt دسترسی به فایل‌های سیستمی و اطلاعاتی را که هیچ ارزش سئویی ندارند، مسدود می‌کنند.
3. مدیریت بخش مدیریت وردپرس: دستور Disallow: /wp-admin/ دسترسی به پیشخوان وردپرس را مسدود می‌کند. اما با Allow: /wp-admin/admin-ajax.php به ربات‌ها اجازه می‌دهیم تا به فایل AJAX دسترسی داشته باشند تا صفحات به درستی رندر شوند.
4. بستن فیدها، نتایج جستجو و آرشیوها: دستورات Disallow: /feed/، /search/، /author/ و /archives/ از ایندکس شدن محتوای تکراری و بی‌ارزش جلوگیری می‌کنند.
5. مدیریت صفحات ووکامرس: دستورات Disallow: /cart/، /checkout/ و /my-account/ از ایندکس شدن صفحات تراکنشی و حساس جلوگیری می‌کنند. همچنین Disallow: *?add-to-cart= از خزش لینک‌های افزودن به سبد خرید جلوگیری می‌کند.
6. مدیریت فیلترها و پارامترها: دستورات Disallow: /?filter_، /?orderby=، /?min_price= و /?max_price= از خزش صفحات فیلتر شده که باعث ایجاد محتوای تکراری و اتلاف بودجه خزش می‌شوند، جلوگیری می‌کنند.
7. بستن تمام پارامترها با Disallow: /*?*: این دستور قدرتمند، تمام URLهای دارای پارامتر را از خزش مسدود می‌کند تا از محتوای تکراری جلوگیری شود. سپس با Allow: /*?ver* به ربات‌ها اجازه می‌دهیم تا فایل‌های CSS و JavaScript دارای پارامتر ver را برای رندر صحیح صفحات دریافت کنند.
8. بستن فایل‌های PHP و HTML: دستورات Disallow: /*.php$ و Disallow: /*.html$ از دسترسی مستقیم به فایل‌های اجرایی جلوگیری می‌کنند.
9. تعیین مسیر Sitemap: دستور Sitemap: https://example.com/sitemap_index.xml به موتورهای جستجو مسیر نقشه سایت را نشان می‌دهد تا بتوانند تمام صفحات مهم شما را کشف کنند.

نکات مهم

در این بخش به نکات کلیدی و مهم درباره فایل robots.txt اشاره می‌کنیم که باید به آن‌ها توجه ویژه‌ای داشته باشید:

• هیچگاه دایرکتوری‌های حیاتی را نبندید: هرگز دستور Disallow برای دایرکتوری‌های /wp-includes/، /wp-content/plugins/ یا /wp-content/uploads/ ندهید. بستن این مسیرها باعث می‌شود ربات‌ها نتوانند CSS، JavaScript و تصاویر محصولات را ببینند و ممکن است رندر صفحات با مشکل مواجه شود یا تصاویر محصولات در نتایج جستجو نمایش داده نشوند.
• فایل robots.txt یک ابزار امنیتی نیست: این فایل فقط یک توصیه به ربات‌های خوش‌رفتار است و ربات‌های مخرب آن را نادیده می‌گیرند. برای محافظت از اطلاعات حساس، از رمز عبور و مجوزهای دسترسی مناسب استفاده کنید.
• همیشه فایل را تست کنید: پس از ایجاد یا تغییر فایل robots.txt، حتماً آن را با ابزار تست robots.txt در گوگل سرچ کنسول بررسی کنید تا از عدم وجود خطا اطمینان حاصل کنید.
• فایل را به‌روز نگه دارید: با تغییر ساختار سایت، افزودن بخش‌های جدید یا حذف محتوا، فایل robots.txt را نیز به‌روزرسانی کنید.
• از مسدود کردن بیش از حد خودداری کنید: بستن بیش از حد مسیرها می‌تواند به سئو آسیب بزند. فقط مسیرهایی را ببندید که واقعاً ارزش سئویی ندارند.
• مسیر Sitemap را حتماً وارد کنید: اضافه کردن مسیر Sitemap به ربات‌ها کمک می‌کند تا تمام صفحات مهم شما را سریع‌تر کشف کنند.

جمع‌بندی

در این مقاله از سری مقالات آموزشی وردپرس، یک نمونه فایل robots.txt استاندارد و بهینه برای سایت‌های وردپرس و فروشگاه‌های ووکامرس ارائه شد. با استفاده از این فایل و بستن دسترسی ربات‌ها به مسیرهای بی‌ارزش و حساس، می‌توانید بودجه خزش را بهینه کرده، از ایندکس ناخواسته جلوگیری کنید و سئو سایت خود را بهبود بخشید. به یاد داشته باشید که این فایل باید بر اساس استراتژی سئو و ساختار خاص سایت شما شخصی‌سازی شود و به‌طور دوره‌ای به‌روزرسانی گردد.

امیدواریم این آموزش برای شما مفید بوده باشد. اگر سوالی درباره فایل robots.txt، نحوه تنظیم آن یا هر بخش دیگری از این آموزش دارید، لطفاً در بخش نظرات مطرح کنید. همچنین اگر تجربه‌ای در بهینه‌سازی بودجه خزش یا مدیریت دسترسی ربات‌ها دارید، خوشحال می‌شویم آن را با ما و سایر کاربران به اشتراک بگذارید.