آیا بلاک کردن فایل های مشخص در robots.txt مجاز است؟

زمان مطالعه: 3 دقیقه
1K بازدید
آیا بلاک کردن فایل های مشخص در robots.txt مجاز است؟

دیزاوو کردن فایل های css و htacess در robots.txt

در یکی از برنامه های Ask Google Webmaster یکی از دنبال کنندگان سؤال بسیار جذاب و چالش برانگیز از جان مولر پرسیده بود که پاسخی که به این سؤال داده شده  تاثیر زیادی بر روی رتبه بندی سایت شما خواهد داشت و ما در آکادمی راه دی ام سعی کردیم تا با بررسی کامل این پرسش و پاسخ جان مولر بتوانیم جواب کامل این سؤال را بدست آوریم.

کاربری از جان مولر پرسیده بود که ایا میتوانیم فایل های مثل فایل های css یا فایل های htacess را در robots.txt دیزالوو (disallow) کنیم؟ یا به زبان ساده تر دسترسی ربات های گوگل را به این فایل ها ببندیم؟

  • disallow: /*.css$
  • disallow: /php.ini
  • disallow: /.htaccess

در پاسخ جان مولر اظهار داشت که گوگل هیچ وقت نمیتواند وبسمتران را از انجام این کار منع کند اما در اصل این روش درست نیست و پیشنهاد نمیشود. البته مولر به این موضوع هم اشاره کرد که در بعضی از موارد ممکن است بعضی از فایل ها اضافی باشند و شما با بستن دسترسی ربات گوگل به این فایل ها به شدت به گوگل برای کرال کردن سایتتان کمک کنید و در نهایت اقدامی درست باشد ولی در مواردی هم انجام این کار صحیح و اصولی نیست و شاید به رتبه و ترافیک شما ضربه بزند.

بلاک کردن CSS

کرال کردن فایل های CSS به شدت برای ربات های گوگل مسئله مهمی است زیرا به این ربات ها کمک میکند تا صفحات شما را رندر کنند. شاید خیلی از وبمستران تصور میکنند که کرال شدن فایل های CSS برای سایتشان ضرر داشته باشد ولی نکته اینجاست که بستن دسترسی ربات های گوگل به این فایل های ضربه بیشتری به سایت شما میزند چرا که فایل های CSS در واقعیت ایندکس نمیشوند ولی گوگل برای اینکه متوجه شود که آیا سایت شما موبایل فرندلی است یا نه؟ نیاز دارد تا صفحه شما را رندر کند.

پس فراموش نکنید درست است که گوگل فایل های CSS را ایندکس نمیکند ولی از جایی که برای گوگل موبایل فرندلی بودن بسیار مهم است و از همین رو صفحه شما را رندر میکند تا شاخص های مورد نظر برای موبایل فرندلی بودن را بسنجد از همین رو اگر دسترسی گوگل را به فایل های CSS ببندید بی شک آسیب زیادی به ترافیک و رتبه سایت شما وارد میشود.

بلاک کردن PHP

بلاک کردن فایل PHP.ini در robots.txt کاملا کاری بیهوده است چرا این که این فایل به صورتی نیست که به راحتی قابل دسترسی باشد. PHP.ini فایل پیکربندی است که تنظیمات php در آن قرار گرفته است. البته به دلیل اینکه دسترسی به این فایل میتواند باعث شود تا با استفاده از اسکریپت شل هر شخصی میتواند به اطلاعات کاربران و سرور دسترسی پیدا کند خیلی از هاستینگ های ایرانی دسترسی به این فایل را بسته اند.

مولر اشاره کرده شما میتوانید با قفل کردن یا تغییر مسیر دادن این فایل دسترسی هر کسی به آن را ببندید و حتی ربات گوگل هم نمیتواند دیگر به آن دسترسی داشته باشد پس نیازی ندارید تا دسترسی گوگل به آن را بلاک کنید.

اسکریپت شل چیست؟

شل اسکریپت (Shell Script) اسکریپت هایی هستند که برای کنترل سرورها نوشته شده و امکاناتی بسیار زیاد را برای شخص فراهم میکند که معمولا در دنیای هک و امنیت کاربرد دارد.

بلاک کردن htacess

بلاک کردن htacess نیز همانند php کاری اصولی نیست چر اکه فایل htacess نیز قفل است و کسی به آن دسترسی ندارد و ربات گوگل نیز از این قاعد مستثنی نیست پس نیازی نیست دسترسی به آن را ببندید.

جمع بندی

در آخر هم جان مولر سعی کرد نکات بسیار کلیدی و مهم درباره robots.txt را بیان کند. جان مولر اشاره کرد که خیلی از افراد از robots.txt سایت های دیگر استفاده میکنند ولی مولر اشاره داشت که هر چند ممکن است این فایل ها برای سایت شما نیز کار کند ولی نیاز است تا خود شما دسترسی User Agent ها را برای ربات های مختلف تعریف کنید در اصل منظور این است شما باید به صورت اختصاصی و با توجه به شرایط سایتتان دسترسی ها را تعریف کنید.

در انتها امیدوارم از مطالعه این مقاله لذت برده باشید و با اشتراک گذاری آن ما را در راستای هدف علم بدون مرز همراهی کنید.

۵/۵ - (۳ امتیاز)

اشتراک گذاری مقاله

با اشتراک گذاری مقاله هم به دوستانتان لطف کردید هم به ما 🙂

جدید ترین مقالات دیجیتال مارکتینگ

دوره های رایگان دیجیتال مارکتینگ

مقاله
نظرات
اشتراک گذاری
فهرست