Robots.txt

robots.txt چیست ؟

بطور خلاصه فایل robots.txt محدودیت‌هایی را برای موتورهای جستجو در زمینه جستجو و گردآوری سایت شما انجام می‌دهد.

شاید شما هم به این فکر رسیده باشید که اگر بخواهید جلوی قسمتی از سایت، محتوا و یا جایی از سایت خود را برای خوانده شدن توسط موتورهای جستجویی نظیر گوگل یا یاهو بگیرید چه کاری باید انجام دهید.

راه حل استفاده از فایل robots.txt هست. موتورهای جستجو قبل از هر کاری ابتدا به این فایل مراجعه می‌کنند و اگر اجازه داشتند به ادامه کار می‌پردازند. پیروی از فایل robots.txt نوعی قانون در موتورهای جستجو محسوب می‌شود.

اگه شما می‌خواهید موتورهای جستجو تمامی محتوای سایت شما را بخوانند نبود این فایل نشانگر رضایت شما از خوانده شدن تمام محتوای قابل دسترس برای موتورهای جستجو است.

فایل robots.txt کجا باید قرار گیرد؟

فایل robots.txt باید در root هاست شما ( پوشه اصلی که دامنه شما در آن قرار دارد ) قرار گیرد.

بطور مثال آدرس فایل http://www.example.com/robots.txt قابل قبول است ولی آدرسی مانند http://www.example.com/mysite/robots.txt غیرقابل قبول محسوب می‌شود و محتویات آن خوانده نمی‌شود. اگر شما به پوشه اصلی ( root ) دسترسی ندارید می‌توانید از META tag‌ها استفاده کنید.

چگونه فایل robots.txt رو بسازم ؟

شما کافیست برای این کار فایلی با نام robots و با پسوند txt بسازید. توجه داشته باشید تمامی حروف باید کوچک باشد و برای هنگام ذخیره باید حالت ASCII-encoded text را انتخاب کنید. با برنامه‌ای مثل notepad می توانید خیلی راحت این کار را انجام دهید.

ساده‌ترین فایل robots.txt شامل ۲ نقش است

• User-agent : روبات های مجاز
• Disallow : صفحه های غیرمجاز

بطور مثال برای اجازه دادن به تمامی روبات‌های خزنده وب می‌توانید از دستور زیر استفاده کنید:

<source lang="xml">

User-agent: *

</source>

چند تا مثال کاربردی

جلوگیری از خوانده شدن محتوا برای تمامی موتورهای جستجو:

<source lang="xml">

User-agent: * Disallow: /

</source>

جلوگیری از خوانده شدن محتوای ۴ پوشه مشخص شده:

<source lang="xml">

User-agent: * Disallow: /cgi-bin/ Disallow: /images/ Disallow: /tmp/ Disallow: /private/

</source>

جلوگیری از خواندن محتویات پوشه private توسط گوگل:

<source lang="xml">

User-agent: Googlebot Disallow: /private/

</source>

جلوگیری از خوانده شدن یک فایل خاص:

<source lang="xml">

User-agent: * Disallow: /directory/file.html

</source>

برای کامنت گذاری از # استفاده می‌شود. تمامی نوشته‌ها بعد از # در یک خط کامنت محسوب می‌شوند ( در نظر گرفته نمی‌شوند ).

توجه داشته باشید که بزرگ و کوچک بودن آدرس ها مهم است.

منبع

عصرونه

بارنویسی : تیم مامبولرن

استفاده از مطالب دانشنامه جوملا فارسی - مامبو فارسی با ذکر منبع ( دانشنامه جوملا فارسی ) و لینک مستقیم به http://docs.joomlafarsi.com بلامانع است.