Robots.txt چیست و نحوه استفاده از آن
Robots.txt چیست و نحوه استفاده از آن چگونه است؟
Robots.txt را می توان از جمله کار آمد ترین ابزار ها برای مدیریت وب به شمار آورد. شما با استفاده از این ابزار قادر خواهید بود تا ربات هایی را برای مدیریت بهتر وب سایت خود به کار گیرید؛ در ادامه به بررسی موارد و روش های به کار گیری robots.txt خواهیم پرداخت.
Robots.txt چیست؟
Robots.txt یک فایل متنی است که به شما این امکان را می دهد که ربات هایی را ردیابی موتور های جستجوگر در صفحات وب سایت خود ایجاد کنید.
شما با استفاده از Robots.txt قادر خواهید بود تا بازدید کننده گان بیشتری را به وب سایت خود جذب کنید و موازی با این امر رتبه وب سایت شما نیز افزایش خواهد یافت.
فرمت پایه
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
کد های بالا همراه با هم یک دستور را برای ربات تعریف می کنند، البته شما با استفاده از دانش کد نویسی خود می توانید دستور العمل های بیشتری را برای ربات خود تعریف کنید.
شما می توانید دستورات خود را با گذاشتن یک خط، فاصله از یکدیگر جدا کنید؛ برای مثال:
سه مجموعه مجزا از دستورالعمل های کاربر، هرکدام بایک خط جدا شده اند.
اگر کد های شما بیش از یک خط نیز می باشند می توانید به این صورت عمل کنید.
یک نمونه از فایل Robots.txt
در اینجا چند مثال از robots.txt در وب سایت www.example.com وجود دارد:
آدرس فایل Robots.txt: www.example.com/robots.txt
مسدود کردن همه crawler ها از تمام قسمت های وب
User-agent: *
Disallow: /
این دستور موجب خواهد شد تا Robots.txt موجب بسته شدن همه crawler ها خواهد شد.
حال با استفاده از این دستور العمل دوبار قادر به فعال سازی crawler ها خواهید بود:
User-agent: *
Disallow:
مسدود کردن همه crawler ها از فولدر ها
User-agent: Googlebot
Disallow: /example-subfolder/
مسدود سازی همه crawler ها از یک صفحه وب سایت
User-agent: Bingbot
Disallow: /example-subfolder/blocked-page.html
Robots.txt چگونه کار می کند؟
موتور های جستجو دو وظیفه اصلی دارند:
1. جستجو وب برای کشف محتوا
2. فهرست کردن محتوا به صورتی که کاربر قادر به یافتن بهترین گزینه برای دسیابی به هدف خود باشد.
یک موتور جستجوگر پس از یافتن یک صفحه از وب سایت اقدام به بررسی آن خواهد کرد، در صورتی که با یک فایل Robots.txt برخورد کند، قبل از اتمام بررسی صفحه به بررسی فایل خواهد پرداخت و Robots.txt می تواند اطلاعات دقیقی را آنگونه که شما می خواهید در اختیار ربات قرار دهد.
سایر مواردی که می بایست درباره Robots.txt بدانید
فایل Robots.txt بشدت بر روی نام و حروف حساس است، این گفته بدان معناست که نام این فایل دقیقا باید به صورت Robots.txt وارد شود و عدم رعایت این دستور شما را با مشکلات متعددی رو به رو خواهد ساخت.
برای پیدا شدن فایل Robots.txt این فایل می بایست در یک دایرکتوری سطح بالا در وب سایت قرار بگیرد.
فایل Robots.txt شما ممکن است توسط برخی روبات ها و جستجوگر ها نادیده گرفته شود. این امر بیشتر در ربات های مخرب رایج می باشد.
شما با استفاده از Robots.txt قادر خواهید بود تا موتور های جستجوگر را به سمت وب سایت خود بکشید و به افزایش بازدید از سایت خود کمک کنید. تنها کافی است نحوه استفاده درست از این ابزار را فرا گیرید.
توضیحات بیشتر در مورد سریعترین روش جهت افزایش رتبه وب کلیک کنید
