نحوه راه اندازی فایل txt ربات وردپرس. نمونه کار دستورالعمل برای وردپرس

Robots.txt - نقش بسیار مهمی در نمایه سازی دارد. robots.txt صحیح به طور کلی بسیار مهم است. چقدر درست می گوید؟ و کی گفته؟ اما آیا قطعا به ارتقای منبع در موتورهای جستجو کمک می کند؟ هنگام بهینه سازی و جستجوی اطلاعات در اینترنت در مورد آن، من نیز سوالات مشابه زیادی داشتم. در اصل، زمانی که وب سایتی در Ucoz داشتم، به ربات ها علاقه مند شدم (شاید، اتفاقا، مقاله در مورد آن را دوست داشته باشید)، زیرا می توان آن را در آنجا پیکربندی کرد، و اصول اولیه را یاد گرفتم.

به بیان ساده: برای ارائه صحیح منبع شما. برای مثال، ربات‌های جستجوگر هنگام بازدید و فهرست‌بندی سایت شما، می‌توانند عناصر غیرضروری سیستم را گرفته و فهرست‌بندی کنند. به عنوان یک قاعده، چنین صفحاتی برای خزیدن توسط روبات ها چندان مناسب نیستند و بنابراین بهینه سازی ضعیفی در نظر گرفته می شوند. اگر تعداد زیادی از این صفحات وجود داشته باشد، موتور جستجو ممکن است پروژه شما را در نتایج جستجو کاهش دهد.

در حالت کاملاً متضاد، که جای تاسف کمتری ندارد، ممکن است معلوم شود که سایت شما به طور کامل برای ایندکس بسته خواهد شد. این اغلب اتفاق نمی افتد، اما هنوز باید آن را در نظر بگیرید.

راه اندازی مناسب robots.txt برای وردپرس

برای اینکه آب نریزم، فوراً می گویم که دو راه وجود دارد. می توانید robots.txt را از طریق ویرایشگر افزونه Yoast SEO (که بسیار توصیه شدهبرای نصب)، یا چنین فایلی را به صورت دستی ایجاد کنید (مثلاً در دفترچه یادداشت)، و آن را در ریشه سایت قرار دهید. در مورد دوم، به هر حال، شایان ذکر است که باید فایل را طوری قرار دهید که در دسترس باشد: site.ru/robots.txt.

اگرچه، من فکر می کنم که با این چیزهای کوچک شما آن را مرتب خواهید کرد. بیایید روی محتویات این فایل تمرکز کنیم.

عامل کاربر: * غیر مجاز: /cgi-bin غیر مجاز: /؟ Disallow: /search/ Disallow: /author/ Disallow: /users/ Disallow: */trackback Disallow: */feed Disallow: */rss Disallow: /wp- Disallow: *?s= Disallow: *&s= Disallow: */ جاسازی Disallow: /xmlrpc.php Disallow: *utm= Disallow: *openstat= Disallow: /tag/ # Close برای جلوگیری از نمایه سازی بیش از حد تکراری. # اگر می خواهید برچسب ها ایندکس شوند، این قانون را حذف کنید. مجاز: */uploads User-agent: GoogleBot غیر مجاز: /cgi-bin غیر مجاز: /؟ Disallow: /search/ Disallow: /author/ Disallow: /users/ Disallow: /wp- Disallow: *?s= Disallow: *&s= Disallow: */trackback Disallow: */feed Disallow: */rss Disallow: */ embed Disallow: /xmlrpc.php غیر مجاز: *utm= غیر مجاز: *openstat= مجاز: */uploads مجاز: /*/*.js مجاز: /*/*.css مجاز: /wp-*.png مجاز: /wp -*.jpg مجاز: /wp-*.jpeg مجاز: /wp-*.gif مجاز: /wp-admin/admin-ajax.php عامل کاربر: Yandex غیر مجاز: /cgi-bin غیر مجاز: /؟ Disallow: /wp- Disallow: *?s= Disallow: *&s= Disallow: /search/ Disallow: /author/ Disallow: /users/ Disallow: */trackback Disallow: */feed Disallow: */rss Disallow: */ embed Disallow: /xmlrpc.php Allow: /wp-*.jpg Allow: /wp-admin/admin-ajax.php Allow: */uploads Allow: /wp-*.jpeg Allow: /wp-*.gif Allow: /*/*.js Allow: /*/*.css Allow: /wp-*.png Clean-Param: utm_source&utm_medium&utm_campaign Clean-Param: openstat نقشه سایت: https://site.ru/sitemap.xml نقشه سایت: https:/ /site.ru/sitemap.xml.gz # مشخص کنید که از Google XML Sitemap Host برای ایجاد نقشه استفاده شده است: https://site.ru # با پروتکل مشخص کنید

چند نکته بسیار مهم:

• اگر از / استفاده می کنید، باید به Yandex اجازه دسترسی به فایل xml را بدهید
• وقتی مطالب را در یک فایل کپی می کنید، بهتر است نظرات را حذف کنید (توضیحات با #)
• همانطور که قبلاً گفتم قانون است غیر مجاز: /tag/قابل حذف است. من شخصاً برچسب ها را به دلیل تعداد زیاد تکراری (صفحه هایی با محتوای مشابه) از فهرست بندی حذف کردم، زیرا آنها تأثیر مخربی در تبلیغات دارند.
• اگر از گواهی SSL (و پروتکل https) استفاده نمی کنید، نیازی به تعیین پروتکل http در Host ندارید. دستورالعمل مانند Host: www.site.ru یا Host: site.ru خواهد بود.

چرا باید قوانینی را برای هر ربات مشخص کنید؟

به لطف این رویکرد، به گفته برخی از بهینه سازان و مدیران سایت، می توانید به نتایج بسیار بهتری در ارتقای وب سایت دست پیدا کنید. و این منطقی است: اگر قوانین حاوی دستورالعمل های مستقیم برای هر ربات باشد، آنها به طور فعال تر و بیشتر ایندکس می شوند.

اگر از این صفحه بازدید کرده اید، در این فکر هستید که فایل robots.txt در وردپرس کجاست. این مشکل معمولاً با آن مواجه می شود. پس از خواندن این مقاله کوتاه، تمام آنچه را که باید بدانید را خواهید فهمید.

به طور کلی، من می توانم به سادگی بنویسم "فایل در فهرست اصلی سایت قرار دارد." افسوس که این پاسخ تنها بخشی از بازدیدکنندگان را راضی خواهد کرد، همه از "ریشه ها" و مانند آن خبر ندارند. در این مورد، بیایید مانند اولین بار همه چیز را تجزیه و تحلیل کنیم.

چگونه بررسی کنیم که آیا فایل robots.txt وجود دارد یا خیر

ابتدا بیایید بررسی کنیم که آیا فایل مورد نیاز اصلا وجود دارد یا خیر، برای این کار آدرس سایت آدرس.ru/robots.txt را در خط مرورگر وارد می کنیم، اگر سند باز می شود و متنی به زبان انگلیسی می بینید، چیزی شبیه به این:

بنابراین همه چیز مرتب است، فایل وجود دارد، در غیر این صورت، به احتمال زیاد، گم شده است، یا در جایی که مورد نیاز است قرار ندارد، باید ایجاد شود.

بیایید ابتدا تصمیم بگیریم که چگونه کار با فایل های سایت برای شما راحت است. راه های مختلفی برای این کار وجود دارد. اولین مورد خیلی راحت نیست، اما برای دوستداران ویندوز بیشتر آشناست - این برنامه ای در هاست شما است که با آن فایل ها و پوشه ها را در سایت خود ایجاد و حذف می کنید. کل چیز باید چیزی شبیه به این باشد:

در پوشه WWW/YOUR SITE باید پوشه‌های wp-includes، wp-content، wp-admin در زیر آنها فایل روبات‌هایی است که شما نیاز دارید. یک روش مرتب شده است، می توانید به روش بعدی بروید.

فایل sitemap.xml و robots.txt صحیح برای سایت دو سند اجباری هستند که به نمایه سازی سریع و کامل تمام صفحات ضروری منبع وب توسط روبات های جستجو کمک می کنند. نمایه سازی صحیح سایت در Yandex و Google، کلید ارتقاء موفق وبلاگ در موتورهای جستجو است.

قبلاً نوشتم که چگونه می توان یک نقشه سایت با فرمت XML ایجاد کرد و چرا به آن نیاز است. و اکنون بیایید در مورد نحوه ایجاد robots.txt مناسب برای یک سایت وردپرس و اینکه چرا اصلاً به آن نیاز است صحبت کنیم. اطلاعات دقیق در مورد این فایل را می توانید به ترتیب از Yandex و Google خود دریافت کنید. من با استفاده از فایل خود به عنوان مثال به اصل موضوع می پردازم و تنظیمات اصلی robots.txt برای وردپرس را لمس می کنم.

چرا برای یک سایت به فایل robots.txt نیاز دارید؟

استاندارد robots.txt در ژانویه 1994 معرفی شد. هنگام خزیدن یک منبع وب، ربات های جستجوگر ابتدا به دنبال فایل متنی robots.txt واقع در پوشه ریشه یک وب سایت یا وبلاگ می گردند. با کمک آن می‌توانیم قوانین خاصی را برای روبات‌های موتورهای جستجوی مختلف مشخص کنیم که بر اساس آن، سایت را فهرست‌بندی می‌کنند.

تنظیم صحیح robots.txt اجازه می دهد:

• موارد تکراری و صفحات مختلف زباله را از فهرست حذف کنید.
• ممنوعیت فهرست‌سازی صفحات، فایل‌ها و پوشه‌هایی را که می‌خواهیم پنهان کنیم، اعمال کنیم.
• به طور کلی از فهرست کردن برخی از روبات های جستجوگر خودداری می کنند (به عنوان مثال، یاهو، برای مخفی کردن اطلاعات مربوط به لینک های دریافتی از رقبا).
• آینه اصلی سایت (با www یا بدون www) را نشان دهید.
• مسیر نقشه سایت sitemap.xml را مشخص کنید.

نحوه ایجاد robots.txt صحیح برای یک وب سایت

برای این منظور ژنراتورها و پلاگین های خاصی وجود دارد که انجام آن به صورت دستی صحیح تر است.

شما فقط باید با استفاده از هر ویرایشگر متنی (مثلاً Notepad یا Notepad ++) یک فایل متنی ساده به نام robots.txt ایجاد کنید و آن را در پوشه اصلی وبلاگ در هاست آپلود کنید. در این فایل، شما باید دستورالعمل های خاصی را بنویسید، i.e. قوانین نمایه سازی ربات های Yandex، Google و غیره

اگر خیلی تنبل هستید که با این کار زحمت بکشید، در زیر نمونه ای از robots.txt صحیح برای وردپرس را از دیدگاه خودم از وبلاگ خود ارائه می کنم. می توانید با جایگزینی نام دامنه در سه مکان از آن استفاده کنید.

قوانین و دستورالعمل های ایجاد Robots.txt

برای بهینه سازی موفقیت آمیز یک وبلاگ برای موتورهای جستجو، باید قوانینی را برای ایجاد robots.txt بدانید:

• عدم وجود یا خالی بودن فایل robots.txt به این معنی است که موتورهای جستجو اجازه دارند تمام محتوای منبع وب را فهرست کنند.
• robots.txt باید در site.ru/robots.txt شما باز شود و به ربات یک کد پاسخ 200 OK و حجمی بیش از 32 کیلوبایت بدهد. فایلی که باز نمی شود (مثلاً به دلیل خطای 404) یا بزرگتر باشد، مجاز در نظر گرفته می شود.
• تعداد دستورات موجود در فایل نباید از 1024 تجاوز کند. طول یک خط نباید از 1024 کاراکتر تجاوز کند.
• یک فایل robots.txt معتبر می تواند چندین دستورالعمل داشته باشد، که هر کدام باید با یک دستورالعمل User-agent شروع شود و حداقل یک دستورالعمل Disallow داشته باشد. معمولاً دستورالعمل ها را در robots.txt برای گوگل و همه ربات های دیگر و به طور جداگانه برای Yandex می نویسند.

دستورالعمل های اصلی robots.txt:

User-agent - نشان می دهد که دستورالعمل به کدام خزنده خطاب شده است.

نماد "*" به این معنی است که این برای همه ربات ها صدق می کند، به عنوان مثال:

عامل کاربر: *

اگر ما نیاز به ایجاد یک قانون در robots.txt برای Yandex داشته باشیم، می نویسیم:

عامل کاربر: Yandex

اگر دستورالعملی برای یک ربات خاص مشخص شده باشد، دستورالعمل User-agent: * توسط آن نادیده گرفته می شود.

Disallow و Allow - به ترتیب، ربات ها را ممنوع کرده و اجازه می دهد تا صفحات مشخص شده را فهرست بندی کنند. همه آدرس ها باید از ریشه سایت مشخص شوند، یعنی. از اسلش سوم شروع می شود. مثلا:

• ممنوعیت ایندکس کردن کل سایت برای همه ربات ها:
  

  عامل کاربر: *
  غیر مجاز:/

• Yandex مجاز به فهرست کردن تمام صفحاتی که با /wp-admin شروع می‌شوند را ندارد:
  

  عامل کاربر: Yandex
  غیر مجاز: /wp-admin

• یک دستورالعمل غیر مجاز خالی اجازه می دهد تا همه چیز ایندکس شود و مشابه Allow است. به عنوان مثال، من به Yandex اجازه می دهم کل سایت را فهرست کند:
  

  عامل کاربر: Yandex
  غیر مجاز:

• و بالعکس، من همه صفحات را از ایندکس شدن توسط همه روبات های جستجو ممنوع می کنم:
  

  عامل کاربر: *
  اجازه:

• دستورات مجاز و غیر مجاز از یک بلوک عامل کاربر بر اساس طول پیشوند URL مرتب شده و به صورت متوالی اجرا می شوند. اگر چندین دستورالعمل برای یک صفحه از سایت مناسب باشد، آخرین مورد در لیست اجرا می شود. حالا ترتیب نوشتن آنها برای استفاده از دستورالعمل ها توسط ربات مهم نیست. اگر دستورالعمل ها دارای پیشوندهایی با طول یکسان باشند، ابتدا Allow اجرا می شود. این قوانین از 8 مارس 2012 اجرایی شد. برای مثال، ایندکس کردن تنها صفحاتی که با /wp-includes شروع می‌شوند را مجاز می‌کند:
  

  عامل کاربر: Yandex
  غیر مجاز:/
  Allow: /wp-includes

نقشه سایت - نشانی اینترنتی نقشه سایت XML را مشخص می کند. ممکن است چندین دستورالعمل نقشه سایت در یک سایت وجود داشته باشد که می تواند تودرتو باشد. تمام آدرس های فایل نقشه سایت باید در robots.txt مشخص شوند تا ایندکس سایت سرعت بیشتری بگیرد:

نقشه سایت: http://site/sitemap.xml.gz
نقشه سایت: http://site/sitemap.xml

میزبان - به ربات آینه می گوید که کدام آینه سایت اصلی ترین در نظر گرفته می شود.

اگر سایت در چندین آدرس در دسترس است (به عنوان مثال، با www و بدون www)، سپس صفحات تکراری کامل ایجاد می شود که می توانید برای آنها زیر فیلتر قرار بگیرید. همچنین در این صورت نمی توان صفحه اصلی را ایندکس کرد، بلکه صفحه اصلی برعکس از فهرست موتور جستجو حذف می شود. برای جلوگیری از این امر از دستور Host استفاده می شود که در فایل robots.txt فقط برای Yandex در نظر گرفته شده است و فقط می تواند یکی باشد. بعد از Disallow و Allow نوشته شده و به شکل زیر است:

میزبان: سایت

Crawl-Delay - تأخیر بین بارگیری صفحه را در چند ثانیه تنظیم می کند. اگر بار سنگینی وجود داشته باشد و سرور زمان پردازش درخواست ها را نداشته باشد استفاده می شود. در سایت های جوان بهتر است از دستورالعمل Crawl-Delay استفاده نکنید. او اینگونه می نویسد:

عامل کاربر: Yandex
تاخیر خزیدن: 4

Clean-param - فقط توسط Yandex پشتیبانی می شود و برای حذف صفحات تکراری با متغیرها، چسباندن آنها به یکی استفاده می شود. بنابراین، ربات Yandex صفحات مشابه را بارها دانلود نمی کند، به عنوان مثال، صفحات مرتبط با پیوندهای ارجاع. من هنوز از این دستورالعمل استفاده نکرده ام، اما در راهنمای robots.txt برای Yandex، در لینک ابتدای مقاله، می توانید این دستورالعمل را به طور کامل بخوانید.

کاراکترهای ویژه * و $ در robots.txt برای مشخص کردن مسیرهای دستورات Disallow و Allow استفاده می‌شوند:

• کاراکتر ویژه "*" به معنای هر دنباله ای از کاراکترها است. به عنوان مثال، Disallow: /*?* به معنای ممنوعیت در هر صفحه ای است که در آن "؟" در آدرس وجود دارد، صرف نظر از اینکه چه نویسه هایی قبل و بعد از این علامت آمده است. به طور پیش فرض، کاراکتر ویژه "*" به انتهای هر قانون اضافه می شود، حتی اگر به طور خاص نوشته نشده باشد.
• کاراکتر "$" "*" را در انتهای قانون لغو می کند و به معنای تطبیق سخت است. به عنوان مثال، دستور Disallow: /*?$ فهرست کردن صفحاتی که با علامت "؟" ختم می شوند را ممنوع می کند.

نمونه وردپرس robots.txt

در اینجا نمونه ای از فایل robots.txt من برای وبلاگ وردپرس آورده شده است:

عامل کاربر: * غیر مجاز: /cgi-bin غیر مجاز: /wp-admin غیر مجاز: /wp-includes غیر مجاز: /wp-content/plugins غیر مجاز: /wp-content/cache غیر مجاز: /wp-content/themes غیر مجاز: / trackback Disallow: */trackback Disallow: */*/trackback Disallow: /feed/ Disallow: */*/feed/*/ Disallow: */feed Disallow: /*?* Disallow: /?s= User-agent: Yandex غیر مجاز: /cgi-bin غیر مجاز: /wp-admin غیر مجاز: /wp-includes غیر مجاز: /wp-content/plugins غیر مجاز: /wp-content/cache غیر مجاز: /wp-content/themes غیر مجاز: /trackback غیر مجاز: */ trackback Disallow: */*/trackback Disallow: /feed/ Disallow: */*/feed/*/ Disallow: */feed Disallow: /*?* Disallow: /?.ru/sitemap.xml..xml

برای اینکه خودتان را با ایجاد robots.txt صحیح برای وردپرس گول نزنید، می توانید از این فایل استفاده کنید. هیچ مشکلی برای نمایه سازی وجود ندارد. من یک اسکریپت محافظت از کپی دارم، بنابراین دانلود robots.txt تمام شده و آپلود آن در هاست خود راحت تر خواهد بود. فقط فراموش نکنید که نام سایت من را با نام شما در دستورالعمل هاست و نقشه سایت جایگزین کنید.

افزودنی های مفید برای پیکربندی صحیح فایل robots.txt برای وردپرس

اگر نظرات درختی در وبلاگ وردپرس شما نصب شده باشد، صفحات تکراری مانند ?replytocom= ایجاد می کنند. در robots.txt، چنین صفحاتی با دستور Disallow: /*?* بسته می شوند. اما این راه چاره نیست و بهتر است ممنوعیت ها را حذف کنید، اما با replytocom به گونه ای دیگر برخورد کنید. چی، .

بنابراین، robots.txt فعلی برای جولای 2014 به شکل زیر است:

عامل کاربر: * غیر مجاز: /wp-includes غیر مجاز: /wp-feed غیر مجاز: /wp-content/plugins غیر مجاز: /wp-content/cache غیر مجاز: /wp-content/themes عامل کاربر: Yandex غیر مجاز: /wp -شامل غیر مجاز: /wp-feed غیر مجاز: /wp-content/plugins غیر مجاز: /wp-content/cache غیر مجاز: /wp-content/themes میزبان: site.ru عامل کاربر: Googlebot-Image مجاز: /wp-content /uploads/ عامل کاربر: YandexImages Allow: /wp-content/uploads/ نقشه سایت: http://site.ru/sitemap.xml

علاوه بر این حاوی قوانینی برای روبات های نمایه سازی تصویر است.

عامل کاربر: Mediapartners-Google
غیر مجاز:

اگر قصد دارید صفحات دسته یا برچسب را تبلیغ کنید، باید آنها را برای روبات ها باز کنید. به عنوان مثال، در یک سایت وبلاگ، بخش ها از نمایه سازی بسته نمی شوند، زیرا آنها فقط اطلاعیه های کوچکی از مقالات منتشر می کنند که از نظر محتوای تکراری بسیار ناچیز است. و اگر از خروجی نقل قول ها در فید وبلاگ استفاده کنید که با اعلان های منحصر به فرد پر شده است، هیچ تکراری وجود نخواهد داشت.

اگر از افزونه فوق استفاده نمی کنید، می توانید در فایل robots.txt ممنوعیت فهرست بندی برچسب ها، دسته ها و آرشیوها را مشخص کنید. برای مثال، با افزودن این خطوط:

غیر مجاز: /author/
غیر مجاز: /tag
غیر مجاز: /category/*/*
غیر مجاز: /20*

فراموش نکنید که فایل robots.txt را در پنل Yandex.Webmaster بررسی کنید و سپس آن را دوباره در هاست آپلود کنید.

اگر اضافه‌ای برای راه‌اندازی robots.txt دارید، در نظرات بنویسید. و اکنون ویدیویی در مورد چیستی آن و نحوه ایجاد robots.txt صحیح برای سایت، نحوه غیرفعال کردن نمایه سازی در فایل robots.txt و رفع خطاها تماشا کنید.

Robots.txt- یک فایل متنی که به روبات‌های جستجوگر می‌گوید کدام فایل‌ها و پوشه‌ها باید خزیده شوند (ایندکس‌سازی شوند) و کدام‌ها نباید خزیده شوند.

موتورهای جستجو مانند Yandex و Google ابتدا فایل robots.txt را بررسی می کنند و پس از آن شروع به خزیدن با روبات های وب می کنند که وب سایت ها را آرشیو و دسته بندی می کنند.

فایل robots.txt حاوی مجموعه‌ای از دستورالعمل‌ها است که به ربات می‌گوید برخی فایل‌ها یا فهرست‌ها را نادیده بگیرد. این ممکن است به دلایل حفظ حریم خصوصی یا به این دلیل باشد که صاحب سایت معتقد است که محتوای این فایل ها و دایرکتوری ها نباید در نتایج موتورهای جستجو ظاهر شوند.

اگر یک وب سایت بیش از یک زیر دامنه داشته باشد، هر زیر دامنه باید فایل robots.txt خود را داشته باشد. توجه به این نکته ضروری است که همه ربات ها از فایل robots.txt استفاده نمی کنند. برخی از ربات های مخرب حتی فایل robots.txt را می خوانند تا بفهمند کدام فایل ها و دایرکتوری ها را می خواهید پنهان کنید. همچنین، حتی اگر فایل robots.txt مشخص کند که صفحات خاصی در سایت نادیده گرفته شود، آن صفحات ممکن است همچنان در نتایج جستجو ظاهر شوند اگر توسط صفحات خزیده شده دیگر به آنها پیوند داده شده باشد. روبات استاندارد txt برای وردپرس کل سایت را برای فهرست باز می کند، بنابراین باید بخش های غیر ضروری وردپرس را از فهرست بندی ببندیم.

بهینه robots.txt

نسخه توسعه یافته (قوانین مجزا برای Google و Yandex)

Robots.txt بهینه برای WooCommerce

صاحبان فروشگاه های آنلاین در وردپرس - WooCommerce نیز باید از robots.txt صحیح مراقبت کنند. ما سبد خرید، صفحه تسویه حساب، و پیوندها را برای افزودن موارد به سبد خرید از نمایه سازی می بندیم.

عامل کاربر: * غیر مجاز: /cgi-bin غیر مجاز: /؟ Disallow: /wp- Disallow: /wp/ Disallow: *?s= Disallow: *&s= Disallow: /search/ Disallow: /author/ Disallow: /users/ Disallow: */trackback Disallow: */feed Disallow: */ rss غیر مجاز: */embed غیر مجاز: */wlwmanifest.xml غیر مجاز: /xmlrpc.php غیر مجاز: *utm*= غیر مجاز: *openstat= غیر مجاز: /cart/ غیر مجاز: /checkout/ غیر مجاز: /*add-to-cart= * مجاز: */uploads مجاز: /*/*.js مجاز: /*/*.css مجاز: /wp-*.png مجاز: /wp-*.jpg مجاز: /wp-*.jpeg مجاز: /wp -*.gif اجازه دهید: /wp-admin/admin-ajax.php نقشه سایت: https://site.ru/sitemap_index.xml

پاسخ سوال

فایل robots.txt در وردپرس کجاست

معمولا robots.txt در ریشه سایت قرار دارد. اگر وجود ندارد، باید یک فایل متنی ایجاد کنید و آن را از طریق FTP یا کنترل پنل هاست در سایت آپلود کنید. اگر نتوانستید robots txt را در ریشه سایت پیدا کنید، اما وقتی روی پیوند yoursite.ru/robots.txt کلیک می کنید، آن باز می شود، برخی از افزونه های SEO آن را تولید می کنند.

یک فایل robots.txt که به درستی ایجاد شده باشد به نمایه سازی سریع صفحات سایت کمک می کند. این فایل یک فایل سرویس است و برای بهبود بهینه سازی سایت برای موتورهای جستجو طراحی شده است. بهینه سازی صفحه داخلی نیز برای پروژه مهم است و باید به آن رسیدگی شود.

فایل robots.txt به شما این امکان را می دهد که نمایه سازی آن دسته از صفحاتی را که نیازی به ایندکس شدن ندارند، محدود کنید. ربات های جستجوگر به این فایل خدماتی توجه می کنند تا از نمایش صفحات بسته در موتورهای جستجو جلوگیری کنند. ضمناً نقشه سایت و آینه آن نیز در فایل مشخص شده است.

نحوه ایجاد robots.txt برای وردپرس

برای شروع ایجاد فایل مناسب، ابتدا بیایید بفهمیم که robots.txt وردپرس در کجا قرار دارد. در ریشه سایت قرار دارد. برای مشاهده پوشه ها و فایل های اصلی پروژه خود، باید از هر سرویس گیرنده FTP استفاده کنید، برای این کار فقط باید روی "اتصال" پیکربندی شده کلیک کنید.

برای مشاهده محتویات فایل سرویس ما، کافی است robots.txt را بعد از نام سایت در نوار آدرس تایپ کنید. مثال:https://مکان من.com/روبات هاtxt

جایی که WordPress robots.txt نهفته است، می دانید، باید بررسی کنیم که فایل سرویس ایده آل برای موتور فوق چگونه باید باشد.

1. اول از همه، در فایل باید مسیر نقشه سایت را مشخص کنید:

نقشه سایت: http://web-profy.com/sitemap.xml

1. و اکنون به طور مستقیم ساختار صحیح فایل robots.txt برای وردپرس:

غیر مجاز: /wp-admin

غیر مجاز: /wp-includes

غیر مجاز: /wp-content/plugins

غیر مجاز: /wp-content/cache

غیر مجاز: /wp-content/themes

غیر مجاز: /trackback

غیر مجاز: */trackback

غیر مجاز: */*/ترک بک

غیر مجاز: */*/feed/*/

غیر مجاز: */feed

عامل کاربر: Yandex

غیر مجاز: /wp-admin

غیر مجاز: /wp-includes

غیر مجاز: /wp-content/plugins

غیر مجاز: /wp-content/cache

غیر مجاز: /wp-content/themes

غیر مجاز: /trackback

غیر مجاز: */trackback

غیر مجاز: */*/ترک بک

غیر مجاز: */*/feed/*/

غیر مجاز: */feed

میزبان: mysite.com

نقشه سایت: http://mysite.com/sitemap.xml.gz

نقشه سایت: http://mysite.com/sitemap.xml

به سادگی این داده ها را در فایل خود کپی کنید. این همان چیزی است که robots.txt صحیح برای وردپرس به نظر می رسد.

حال بیایید ببینیم که هر یک از خطوط در ساختار فایل سرویس به چه معناست:

عامل کاربر: * - رشته ای که نشان می دهد تمام داده های وارد شده در زیر برای همه موتورهای جستجو قابل اجرا هستند.

با این حال، برای Yandex، قانون به این صورت خواهد بود: User-agent: Yandex.

مجاز: - صفحاتی که روبات های جستجوگر می توانند فهرست بندی کنند.

غیر مجاز: - صفحاتی که روبات های جستجوگر از فهرست بندی منع می شوند.

میزبان: mysite.com یک آینه سایت است که باید در این فایل سرویس مشخص شود.

نقشه سایت: - مسیر نقشه سایت.

robots.txt برای یک سایت وردپرس بدون CNC پیکربندی شده است

robots.txt برای سایت وردپرس که لیست قوانین در آن قرار دارد، اگر سایت پیکربندی CNC نداشته باشد، کمی متفاوت به نظر می رسد.

غیر مجاز: /cgi-bin

غیر مجاز: /wp-admin

غیر مجاز: /wp-includes

غیر مجاز: /wp-content/plugins

غیر مجاز: /wp-content/cache

غیر مجاز: /wp-content/themes

غیر مجاز: /trackback

غیر مجاز: */trackback

غیر مجاز: */*/ترک بک

غیر مجاز: */*/feed/*/

غیر مجاز: */feed

عامل کاربر: Yandex

غیر مجاز: /cgi-bin

غیر مجاز: /wp-admin

غیر مجاز: /wp-includes

غیر مجاز: /wp-content/plugins

غیر مجاز: /wp-content/cache

غیر مجاز: /wp-content/themes

غیر مجاز: /trackback

غیر مجاز: */trackback

غیر مجاز: */*/ترک بک

غیر مجاز: */*/feed/*/

غیر مجاز: */feed

میزبان: mysite.com

نقشه سایت: http://mysite.com/sitemap.xml.gz

نقشه سایت: http://mysite.com/sitemap.xml

اگر CNC پیکربندی نشده باشد، چه مشکلاتی ممکن است در سایت وردپرس ایجاد شود. خط در فایل سرویس robots.txt غیر مجاز: /*?* اجازه ایندکس کردن صفحات سایت را نمی دهد و آدرس صفحات پروژه در صورت نبود تنظیمات CNC دقیقاً به این صورت است. این می تواند بر رتبه یک پروژه اینترنتی در موتورهای جستجو تأثیر منفی بگذارد، زیرا محتوای مورد نیاز کاربران به سادگی در نتایج جستجو به آنها نشان داده نمی شود.

البته این خط به راحتی از فایل حذف می شود. سپس سایت به طور معمول کار خواهد کرد.

چگونه از صحت robots.txt مطمئن شویم

این را می توان با استفاده از یک ابزار ویژه از Yandex انجام داد - Yandex.Webmaster.

نیاز به رفتن به تنظیمات نمایه سازی - تجزیه و تحلیلروبات هاtxt

در داخل، همه چیز شهودی است. باید روی آن کلیک کنید "دانلودروبات هاtxtاز سایت".همچنین می توانید هر صفحه را به صورت جداگانه برای امکان ایندکس شدن آن مشاهده کنید. در "فهرست URL ها" می توانید به سادگی آدرس صفحات مورد نظر خود را وارد کنید، سیستم همه چیز را خودش نشان می دهد.

فراموش نکنید که تمام تغییراتی که در فایل robots.txt ایجاد می کنید بلافاصله در دسترس نخواهد بود، اما تنها پس از چند ماه.

چگونه فایل robots.txt را به درستی ذخیره کنیم

برای اینکه فایل سرویس ما در موتور جستجویی مانند گوگل در دسترس باشد، باید به صورت زیر ذخیره شود:

1. فایل باید در قالب متن باشد.
2. شما باید آن را در ریشه سایت خود قرار دهید.
3. نام فایل باید robots.txt باشد نه چیز دیگری.

آدرسی که روبات‌های جستجو robots.txt را پیدا می‌کنند باید به این شکل باشد - https://mysite.com/robots.txt