عمل crawling برای صفحاتی که نیاز به دیده شدن ندارند را با robots.txt محدود کنید
Robots.txt فایلی است که که به موتورهای جستجو می گوید که به کدام قسمت از صفحات سایت دسترسی داشته باشد و کدام یک از صفحات باید ایندکس شوند. این فایل باید در ریشه (root) سایت قرار گرفته باشد و بسیار برای سئو ی سایت اهمیت دارد.
ممکن است بخواهید که یک صفحه ی مشخص از سایت که از نظر شما اگر کاربرآنها را در نتایج جستجوی خود مشاهده کند برایش مفید نباشد، دیده نشود. برای اینکه توسط موتور های جستجو ایندکس نشود، می توانید از Google Webmaster Tools برای ایجاد این فایل استفاده نمایید. توجه داشته باشید که اگر سایت شما از subdomain یا زیر دامنه نیز استفاده می کند و شما بخواهید که یک صفحه ی خاص از زیر دامنه ایندکس نشود باید یک فایل robots.txt جداگانه برای آن زیردامنه ایجاد نمایید.می توانید اطلاعات بیشتر در رابطه با robots.txt و عدم نمایش آنها را در (Block URLs with robots.txt) مشاهده بفرمایید.
البته راهکار های دیگری نیز برای جلوگیری از نمایش محتوای صفحات وجود دارد. مانند اضافه کردن “NOINDEX” در متاتگ robots، استفاده از .htaccess جهت رمز گذراری برای یک دایرکتوری خاص و یا استفاده از Google Webmaster Tools جهت حذف محتوایی که ایندکس شده است.
استفاده از لینک های nofollow
یکی از ویژگی هایی که برای نوشتن لینک ها استفاده می کنیم، “rel” می باشد. که اگر مقدار آن را “nofollow” قرار دهیم، به این صورت : “rel=”nofollow، به گوگل می گوید که این لینک نباید دنبال شود و یا دراعتبار و رنک سایت و دیگر سایت ها که لینک می شود نباید تاثیر گذار باشد.
چه زمانی از لینک nofollow استفاده می شود
اگر در صفحه ی نظرات سایت شما لینک نامرتبط یا اسپم قرار داده شود، می تواند از اعتبار سایت شما برای خود استفاده نماید. با ویژگی nofollow تضمین می شود که شهرت و رنک سایت شما به سایت ها ی نا مرتبط یا (spammy site) داده نشده است.
مورد دیگر از کاربرد nofollow برای زمانی است که شما برای نوشتن محتویات سایت از منابعی استفاده کرده اید ولی مایل نیستید که با لینک دادن به آن سایت، رنک و اعتبار سایت خود را منتقل کنید. البته در صورتی که تمایل به استفاده از nofollow در تمام محتوای سایت را دارید می توانید آن را در متاتگ های robots نیز قرار دهید که در <head> قرار می گیرد.
