آموزش تصویری ساخت فایل robot.txt

با سلام خدمت تمامی کاربران آکادمی پروژه آ. در این آموزش قصد داریم شما را با فایل robot.txt آشنا کنیم و نحوه ساخت فایل robots.txt را به شما بیاموزیم. بی شک برای شما هم پیش آمده است که نخواهید صفحات تان توسط ربات های جستجوگر ایندکس نشود پس با ما همراه باشید.

robots.txt چیست؟

فایل robots.txt یک فایل متنی است که در ریشه اصلی وب سایت شما در پوشه public_html قرار میگیرد. فرمت این نوع فایل txt است و از طریق آدرس زیر قابل مشاهده می باشد:

https://www.DominWebSite/robots.txt

فایل robots.txt باعث می شود که وب سایت شما در رتبه بهتری در گوگل قرار گیرد علاوه بر بهینه کردن وب سایت شما باعث بالا رفتن امنیت در وب سایت شما می شود. نقش اصلی فایل robots.txt در محدود کردن دسترسی ربات‌های موتور جستجوی گوگل به محتوای سایت شما است تمامی این ربات ها بصورت خودکار عمل می کنند.

ربات های جستجوگر وقتی وارد وب سایت شما می شوند در مرحله اول به دنبال یک فایل هستند تا بدانند اجازه Crawl و دسترسی به چه بخش‌هایی را دارند.

ساختار فایل robots.txt

نحوه ساخت فایل robots.txt

فایل robots یک فایل بسیار ساده می باشد که داری سه قسمت زیر می باشد:

  • User-agent: این دستور مشخص می کند که روبات نباید به این صفحه از وب سایت دسترسی داشته باشد.
  • Disallow: این دستور نشان دهنده ای این است که آدرس مورد نظر را برای روبات ها مخفی کن.
  • Allow: آزادی سازی برای تمام موتورهای جستجو

به کاربردن علامت * به این معنی است که تمام موتورهای جستجو این دستور را اعمال کنند. اما دستور User-agent: Googlebot به این معنی است که فقط یکی از ربات ها محدود شود.

نمونه ای از ایجاد فایل robots.txt

نمونه زیر استفاده از فایل robots.txt و مسدود کردن یک فولدر برای یک ربات خاص را نشان می‏دهد:

User-agent: Googlebot

Disallow: /personal

نمونه زیر نحوه استفاده از فایل robots.txt و مسدود کردن یک فایل برای تمام ربات ها را نشان می‏دهد:

* :User-agent

Disallow: /old-posts/mypic.jpg

نمونه زیر نحوه استفاده از فایل robots.txt و مسدود کردن یک فولدر برای تمام ربات ها را نشان می‏دهد:

* :User-agent

 /Disallow: /old-tag

نمونه زیر نحوه استفاده از فایل robots.txt و مسدود کردن یک فایل در ریشه سایت برای تمام ربات ها را نشان می‏دهد:

Disallow: /projecta.html

نمونه زیر، مجاز بودن تمام صفحات برای تمام ربات ها را نشان می‏دهد:

* :User-agent

 /:Allow

برای اطلاعات بیشتر این مطلب را هم بخوانید...
ثبت سایت در گوگل وبمستر(سرچ کنسول)

نحوه ساخت فایل robots.txt 

جهت ساخت فایل robots و اضافه کردن آن به وبمستر بصورت زیر عمل کنید:

ابتداد وارد اکانت خود در گوگل وبمستر شوید و در زیر شاخه Crawl بر روی گزینه robots.txt کلیک کنید. یک صفحه همانند شکل زیر برای شما باز می شود.

نحوه ساخت فایل robots.txt

در قسمت سمت راست یک پنجره به شما نمایش داده می شود که میتوانید داخل آن نوشته اضافه کنید طبق دستورات می توانید آدرس های خود را وارد کنید و بر روی دکمه submit کلیک نمایید.

بعد از ارسال کردن فایل robots به گوگل وبمستر این صفحه برای شما بروزرسانی می شود و اطلاعات جدید شما در این صفحه قرار می گیرد.

در قسمت پایین صفحه یک ابزار برای شما گذاشته شده است که جهت تست کردن اینکه کدام فایل ها یا دایرکتوری ها در فایل robots.txt محدود شده است می توانید توسط تست کننده گوگل وبمستر که در شکل بالا نمایش داده شده است استفاده نمایید.

سخن آخر

در این آموزش ما با نحوه ساخت فایل robots.txt آشنا شدیم. به یاد داشته باشید قدرت ابزار گوگل وبمستر بسیار زیاد می باشد شما به راحتی با مقداری دانش می توانید ربات های گوگل رو محدود یا آزاد کنید. یک سئو کار باید با قسمت های اصلی سایت گوگل وبمستر آشنایی کامل داشته باشد برای آموزش گوگل وبمستر کلیک کنید.

[تعداد: 2   میانگین:  5/5]