فایل Robots.txt چیست و چه کاربردی دارد؟

فایل Robots.txt چیست و چه کاربردی دارد؟

فایل Robots.txt ، موضوع بحث امروز ما در این مقاله است.

گوگل ، یاهو ، بینگ ، یاندکس ، مایکروسافت و سایر موتور های جستجو فعال در دنیای وب ،

برای دسترسی ، کاوش ، ثبت و نهایتا ایندکس کردن صفحات ، ورودی ها و برگه های مختلف یک وبسایت ،

از ربات هایی معروف به اسپایدر ( عنکوبت – spider  ) ، کرم ها ( crawler ) و … ربات های مختلف دیگر ،

جهت انجام و عملی ساختن این فرآیند وسیع و گسترده استفاده می کنند.

این ربات ها تمامی اطلاعات موجود در یک وبسایت ، اعم از صفحات ، لینک ها و … را بازخوانی کرده ،

و سپس به موتور های جستجوی مربوطه و مادر می فرستند.

نحوه عملکرد و الگوریتم هر جستجوگر بسته به ربات های مختلف و تعداد مراجعه هر ربات به یک صفحه متفاوت است.

از طریق فایل Robots.txt می توان دسترسی این ربات ها را به اطلاعات وبسایت و صفحات مختلف آن ،

برای مثال صفحات امنیتی و مدیریتی محرمانه محدود کرد.

با نحوه عملکرد این فایل همپای همپاوردپرس باشید.

 

فایل Robots.txt چیست :

فایل Robots.txt ، وظیفه محدود کردن دسترسی ربات های موتورهای جستجو به اطلاعات سایت را برعهده دارد.

عملکرد این ربات ها کاملا خودکار بوده و هدف آن ها دسترسی به همه محتوا های شما است.

اگر فایل Robots.txt در سایت کارگذاری شده باشد ، ربات ها پیرو قوانین موجود در فضای مجازی ،

از صفحه و محتوای اشاره شده در فایل بررسی نخواهند کرد.

برای اطمینان خاطر بیشتر علاوه بر عدم دسترسی ربات ها به یک محتوا یا اطلاعات از طریق فایل Robots.txt ،

می توانید صفحات خود را رمز یا کد گذاری کنید.

 

سایت MOZ نیز به صورت تخصصی به اهمیت این فایل پرداخته است.

? Why do you need robots.txt

Robots.txt files control crawler access to certain areas of your site. While this can be very dangerous if you accidentally disallow Google bot from crawling your entire site (!!), there are some situations in which a robots.txt file can be very handy.

Some common use cases include:

Preventing duplicate content from appearing in SERPs (note that meta robots is often a better choice for this)

Keeping entire sections of a website private (for instance, your engineering team’s staging site)

Keeping internal search results pages from showing up on a public SERP

Specifying the location of sitemap(s)

Preventing search engines from indexing certain files on your website (images, PDFs, etc.)

Specifying a crawl delay in order to prevent your servers from being overloaded when crawlers load multiple pieces of content at once

If there are no areas on your site to which you want to control user-agent access, you may not need a robots.txt file at all.

 

از دست ندهید !  205 فاکتور سئو - تطابق دقیق کلمه کلیدی با دامنه

نمونه فایل Robots.txt

 

تصویر فوق خلاصه ای از تعریفی بود که ارائه کردیم.

در سمت چپ ربات های مختلف موتوهای جستجوی مختلف ، به تمامی صفحات و محتوای یک سایت دسترسی دارند.

برعکس ، در سمت راست برای یک محتوای خاص محدودیت دسترسی توسط فایل Robots.txt قائل شده است.

کاربرد فایل Robots.txt :

استفاده از این فایل ، کاربرد های مختلفی برای وبمستران دارد.

شما به کمک ویژگی های این فایل ، می توانید به ربات ها برای نمایش محتوای سایت شما برای کاربران ،

جهت دهی دهید ، یعنی هر آنچه که نیاز به ایندکس می بینید را دستور به نمایش دهید.

در زمینه سئو و بهینه سازی نیز ، می توانید محتوای تکراری خود را از دید ربات ها پنهان کنید .

لینک ها ، صفحات ، و محتوای بی ارزش یا کم ارزش را نیز پنهان کنید و زمان گذران و بررسی ربات ها

در بین محتوا های با کیفیت سایت خود را ، بهینه کنید.

کاربر فایل Robots.txt فقط هنگام محدود سازی عملکرد ربات های جستجو توصیه می شود ،

در غیر این صورت هیچ گونه الزامی جهت استفاده از این فایل برای محدود کردن ایندکس یا بررسی محتوای خود ندارید.

 

کاربرد فایل Robots.txt

 

ساخت و استفاده از فایل Robots.txt :

برای ساخت و استفاده از این فایل در وبسایت خود ، دو راه دارید.

اگر به هاستینگ سایت دسترسی داشته باشید ، فایل را در هاستینگ قرار داده و محدودیت را اعمال می کنید.

در غیر اینصورت ، از طریق متا تگ های معین ، این محدودیت را اجرایی می کنید.

برای جلوگیری از ورود تمامی وبات های اینترنتی به صفحه و محتوا :

 

برای محدود کردن فقط روبات های گوگل از تگ:

با استفاده از تگ فوق در هدر برای محدودیت گوگل ، محتوا بطور کلی از نتایج حذف خواهد شد.

 

اما راه اول ، ساخت و استفاده فایل در هاستینگ ، به معرفی دستور ها و قسمت های مختلف فایل می پردازیم :

فایل robot.txt یک فایل متنی ساده (دقیقا با همین نام و پسوند txt) است.

2. User-agent :

در اولین خط فایل قرار دارد .

بیانگر نوع رباتی است که قصد اعمال محدودیت دسترسی و ایندکس شدن را داریم.

در فایل بصورت زیر نوشته می شود :

ستاره یا * به معنی اعمال محدودیت برای تمامی ربات های مختلف موتورهای جستجوگر مختلف می باشد.

 

اگر فقط یک موتور جستجو مد نظر است ، بصورت زیر نوشته می شود.

از دست ندهید !  افسانه‌ها و تصورات غلط رایج در مورد سئو و بهینه سازی در دنیای وب

برای مثال گوگل :

 

تا اینجا نوع اعمال محدودیت بر ربات یا موتور جستجو مشخص شده است.

حالا نیاز به اجرایی شدن محدودیت بر یک صفحه یا محتوای خاص را داریم.

2. Disallow :

برای پنهان کردن ، محدود کردن و به نمایش در نیامدن صفحه خاصی ، از این دستور استفاده می کنیم.

دستور فوق اعمال محدودیت ربات های گوگل ، برای ایندکس نشدن تمامی صفحات وبسایت است.

 

برای اعمال محدودیت یک صفحه یا محتوای خاص ، به شکل زیر عمل میکنیم.

برای مثال اعمال محدودیت برای ایندکس نشدن صفحه admin.php :

 

3. Allow :

این دستور برای دسترسی به یک زیرشاخه از شاخه یا محتوایی که محدود شده است استفاده می شود.

برای مثال :

در دستور فوق ، ربات حق بازرسی از فایل images به جز قسمت hampa را ندارد.

 

نمونه دستور آماده برای سیستم مدیریت محتوای وردپرس :

 

برای نمونه دیدن فایل robot.txt گوگل ، جالب است !

https://www.google.com/robots.txt

 

فایل robot.txt در گوگل وبمستر :

گوگل وبمستر بخش معینی را به صفحاتی که توسط شما برای ربات ها محدود شده ، تدارک دیده است.

بخش Blocked URLs  زیر مجموعه ای از بخش Crawl است که این صفحات را با مشخصات نمایش می دهد.

برای اطمنیان از عملکرد فایل robot.txt سایت خود ، به این بخش مراجعه کنید.

 

فایل robot.txt در گوگل وبمستر

 

یک توصیه به عنوان بخش پایانی مقاله امروز :

همان طور که با فایل robot.txt و نحوه عملکرد آن آشنا شدید ، تمامی محدودیت هایی که اعمال می شوند ،

توسط وبمستر دستور داده می شود.

بس این فایل رابطه مستقیمی با سیستم مدیریت وبسایت شما جهت ارائه محتوا به کاربران و موتور های جستجو دارد.

ممکن است یک اشتباه در روند اجرای فایل ، محدودیت صفحات یا تفکر اشتباه ، منجر به نتایج بد برای وبسایت شما شود.

بس حتما قبل از استفاده نهایی از این فایل ، به متخصصین سئو و بهینه سازی وب ، سئو محتوا و وبمستران با تجربه مشورت کنید .

تیم تخصصی سئو و بهینه سازی وب همپاوردپرس نیز ، همپای شما در مسیر مدیریت سایت شما است .

موفق باشید .

 

تیم تخصصی سئو و بهینه سازی همپاوردپرس

|- واقعی تر از مستند -||- متخصص سئو و بهینه سازی وردپرس -||- تامین امنیت وردپرس -||- توسعه گر وب -|

عضویت و ثبت درخواست

اگر می‌خواهید از آخرین و محبوب‌ترین مقالات ما در ایمیل خود مطلع شوید، همین الان ایمیل خود را در کادر زیر وارد کنید

تعداد علاقه‌مندانی که تاکنون عضو خبرنامه ما شده‌اند

۳۸۸

مطالب دانلودی مرتبط :

دیدگاه خود را بیان کنید :

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *