رپورتاژ اگهی

Robots.txt چیست و نحوه استفاده از آن چگونه است؟

Robots.txt را می توان از جمله کار آمد ترین ابزار ها برای مدیریت وب به شمار آورد. شما با استفاده از این ابزار قادر خواهید بود تا ربات هایی را برای مدیریت بهتر وب سایت خود به کار گیرید؛ در ادامه به بررسی موارد و روش های به کار گیری robots.txt خواهیم پرداخت.

Robots.txt چیست؟

Robots.txt یک فایل متنی است که به شما این امکان را می دهد که ربات هایی را ردیابی موتور های جستجوگر در صفحات وب سایت خود ایجاد کنید.

شما با استفاده از Robots.txt قادر خواهید بود تا بازدید کننده گان بیشتری را به وب سایت خود جذب کنید و موازی با این امر رتبه وب سایت شما نیز افزایش خواهد یافت.

فرمت پایه

User-agent: [user-agent name]

Disallow: [URL string not to be crawled]

کد های بالا همراه با هم یک دستور را برای ربات تعریف می کنند، البته شما با استفاده از دانش کد نویسی خود می توانید دستور العمل های بیشتری را برای ربات خود تعریف کنید.

شما می توانید دستورات خود را با گذاشتن یک خط، فاصله از یکدیگر جدا کنید؛ برای مثال:

سه مجموعه مجزا از دستورالعمل های کاربر، هرکدام بایک خط جدا شده اند.

اگر کد های شما بیش از یک خط نیز می باشند می توانید به این صورت عمل کنید.

یک نمونه از فایل Robots.txt

در اینجا چند مثال از robots.txt در وب سایت www.example.com وجود دارد:

آدرس فایل Robots.txt: www.example.com/robots.txt

مسدود کردن همه crawler ها از تمام قسمت های وب

User-agent: * 

Disallow: /

این دستور موجب خواهد شد تا Robots.txt موجب بسته شدن همه crawler ها خواهد شد.

حال با استفاده از این دستور العمل دوبار قادر به فعال سازی crawler ها خواهید بود:

User-agent: * 

Disallow:

مسدود کردن همه crawler ها از فولدر ها

User-agent: Googlebot 

Disallow: /example-subfolder/

مسدود سازی همه crawler ها از یک صفحه وب سایت

User-agent: Bingbot

Disallow: /example-subfolder/blocked-page.html

Robots.txt چگونه کار می کند؟

موتور های جستجو دو وظیفه اصلی دارند:

1.      جستجو وب برای کشف محتوا

2.      فهرست کردن محتوا به صورتی که کاربر قادر به یافتن بهترین گزینه برای دسیابی به هدف خود باشد.

یک موتور جستجوگر پس از یافتن یک صفحه از وب سایت اقدام به بررسی آن خواهد کرد، در صورتی که با یک فایل Robots.txt برخورد کند، قبل از اتمام بررسی صفحه به بررسی فایل خواهد پرداخت و Robots.txt می تواند اطلاعات دقیقی را آنگونه که شما می خواهید در اختیار ربات قرار دهد.

سایر مواردی که می بایست درباره Robots.txt بدانید

فایل Robots.txt بشدت بر روی نام و حروف حساس است، این گفته بدان معناست که نام این فایل دقیقا باید به صورت Robots.txt وارد شود و عدم رعایت این دستور شما را با مشکلات متعددی رو به رو خواهد ساخت.

برای پیدا شدن فایل Robots.txt این فایل می بایست در یک دایرکتوری سطح بالا در وب سایت قرار بگیرد.

فایل Robots.txt شما ممکن است توسط برخی روبات ها و جستجوگر ها نادیده گرفته شود. این امر بیشتر در ربات های مخرب رایج می باشد.

شما با استفاده از Robots.txt قادر خواهید بود تا موتور های جستجوگر را به سمت وب سایت خود بکشید و به افزایش بازدید از سایت خود کمک کنید. تنها کافی است نحوه استفاده درست از این ابزار را فرا گیرید.

توضیحات بیشتر در مورد سریعترین روش جهت افزایش رتبه وب کلیک کنید

دلیل افت در سئو ( افت در رتبه بندی) چیست؟

حتما عادت کرده اید رتبه عالی برای سایت خود داشته باشید، سایت خود را برای کلیدواژه های مختلف در موتورهای جستجو ببینید و ترافیک زیادی به سمت سایت داشته باشید که به کسب ادرس ایمیل، تماس تلفنی، تولید سرنخ وفروش منجر می شود. با اینحال ممکن است در یک بازه زمانی با افت در سئو یا همان افت در رتبه بندی مواجه شوید.  در این شرایط باید گزارش ابزارهای آنالیتیکی را بررسی کنید و ببینید چه چیزی باعث از دست رفتن ترافیک تان شده است.  حالا سوال اینجاست که چه چیزی باعث افت در رتبه بندی سایت می شود؟ در این مقاله به همین موضوع خواهیم پرداخت.

 به دنبال رتبه بندی اشتباهی هستید:

 در سال های اخیر زبان جستجو تغییرات زیادی کرده است. این روزها افراد زمانی که وارد موتورهای جستجو می شوند به جای استفاده از چند کلیدواژه ساده از زبان و جملات گفتاری کامل استفاده می کنند. اگر تنها کلمات کلیدی عمومی را پیگیری می کنید باید بدانید که استراتژی مرتبط با کلیدواژه شما قدیمی شده است. این روزها افراد به دنبال استفاده از عبارات جدید هستند.

 وبسایت جدیدی دارید:

 اگر طراحی سایت فعلی خود را آغاز کرده اید باید انتظار افت در سئو را داشته باشید. برای اینکه از بروز چنین شرایطی بکاهید بهتر است مطمئن شوید ریدایرکت 301 درستی را به کار ببرید.

لینک های بی کیفتی دارید:

بیشتر شرکت ها این روزها بک لینک های متعددی را با کمترین قیمت در اختیار شما قرار می دهند. با اینحال باید بدانید که به روزرسانی های زیادی از طرف گوگل انجام شده است و دیگر خرید این بک لینک ها ارزشی ندارد. اگر سایت شما بک لینک های بی کیفیتی داشته باشد از طرف گوگل جریمه خواهد شد.

 ممکن است دچار جریمه دستی یا الگوریتمی گوگل شده باشید:

 اگر رتبه بندی شما برای واژه های تجاری افت کرده است و  بک لینک مشکوکی به آن صفحه اشاره دارد، ممکن است این افت رتبه بندی به خاطر جریمه یا همان پنالتی گوگل رخ داده باشد.  پنالتی های گوگل معمولا یا به صورت دستی هستند یا به صورت الگوریتمی اعمال می شوند. در هر دو مورد، باید بلافاصله علت بروز مشکل را پیدا کنید و برطرف نمایید. در کنسول جستجوی گوگل، پیام های بخش manual action را بررسی کنید. این اولین جایی است که گوگل تلاش می کند جریمه های اعمال شده بر روی سایت را به اطلاع صاحبان آن برساند.

سایر علل افت سئو:

·       از دست دادن بک لینک های خوب

·       هاست بد

·       فایل Robots.txt نادرست