فایل Robots.txt چیست؟

فایل Robots.txt چیست؟

یک Robots.txt درواقع یک فایل متنی ساده است که در مسیر اصلی فضای سایت شما یا روت دایرکتوری (Root Directory) قرار می‌گیرد. در حقیقت وظیفه این فایل معرفی بخش‌های قابل دسترسی و بخش‌های محدود شده برای دسترسی ربات‌ها یا با تعریفی دقیق‌تر، خزندگان سطح وب (Web Crawlers) که از سوی موتورهای جستجو به منظور بررسی و ثبت اطلاعات سایت‌ها ایجاد شده اند می‌باشد.

 

چرا باید فایل Robots.txt داشته باشیم؟

صاحبان وبسایت و وبمسترها می‌توانند ورود ربات‌ها به وبسایت را از راه‌های مختلفی کنترل کنند. کنترل کردن هم دلایل مختلفی دارد.


 

فایل Robots.txt سایت من کجاست؟

در صورتی فایل Robots.txt در پرونده های سایت شما موجود باشد، با طریق وارد کردن آدرس domain.com/robots.txt در مرورگر، تصویری مشابه با عکس زیر مشاهده خواهید کرد: