معرفی ربات های گوگل

ببینید که کدام یک از ربات های گوگل برای دسترسی به سایت شما استفاده شده اند.

واژه ی “crawler” ویا ربات خزنده یک عبارت کلی برای هر برنامه ای است (شامل ربات گوگل و ربات عینکبوت و..) که سایت ها را به طور خودکار به وسیله ی دنبال کردن لینک ها؛ کشف و اسکن می کند. اصلی ترین ربات خزنده ی گوگل googlebot نام دارد.جدول زیر لیستی از  نام و اطلاعاتgoogle crawler است که شما ممکن است در صفحه ورود خود آنها را مشاهده کنید و همچنین حاوی طریقی است که باید در فایل robot.txt؛تگ متای robotsو دستورالعمل های http تگ X-Robots شناسانده شوند.

ربات گوگل

ربات   گوگل robots.txt :

درمواردی که چندین شناسه در فایل robot.txt شناسانده شده است؛ گوگل بسیار دقیق عمل می کن.اگر شما می خواهید همه ی ربات های گوگل قادر به دسترسی به سایت شماباشند دیگر نیازی به فایل robots.txt ندارید.اگر شما می خواهید دسترسی همه ی ربا ت های گوگل به برخی از اطلاعات خود را مسدود کنید و یا فقط اجازه ی دسترسی همه ی ربا ت ها به برخی از مطالب سایت خود را بدهید می توانید Googlebot را به عنوان شنا سه کاربری تعیین کنید.برای مثال اگر شما می خواهید همه ی صفحات وب سایت تان در صفحه ی نمایش نتایج گوگل پدیدار شوند و تبلیغات AdSense روی صفحات تان باشد دیگر نیازی به فایل robot.txt ندارید. و به طور متشابه اگر می خواهید دسترسی جمیع ربات های گوگل به برخی از صفحات سایت خود را مسدود کنید با مسدود کردن دسترسی booglebot؛ دسترسی بقیه ی ربات ها نیز مسدود می شود.

اگر بخواهید کنترل ریز بینانه تری داشته باشید؛ می توانید کمی دقیق تر عمل کنید.برای مثال شما ممکن است بخواهید به همه صفحات سایتتان به جزتصاویر دایرکتوری شخصی شما دسترسی وجود داشته باشد؛در اینصورت از robots.txt به منظور disallow کردن ربات Googlebot-image استفاده کنید؛ این در صورتی است که Googlebot اجازه دسترسی به اطلاعات شمارا دارد.همانند فرم زیر:

User-agent: Googlebot

Disallow:

User-agent: Googlebot-Image

Disallow: /personal

در مثال بعد شما می خواهید که تبلیغات در همه ی صفحات شما باشد؛ اما این صفحات در جستجوی گوگل ظاهر نباشند؛ در اینصورت می بایست دسترسی ربات googlebot را مسدود کرده ولی به ربات Mediapartners-Google اجازه دسترسی دهید.همانند فر زیر:

User-agent: Googlebot

Disallow: /

User-agent: Mediapartners-Google

Disallow:

ربات گوگل   robots meta tag :

در برخی از صفحات از تگ متای ربات های متعدد برای تعیین دایرکتیوری ها برای ربات ها ی خزنده گوگل استفاده می شود؛ برای مثال:

 <meta name=”robots” content=”nofollow”><meta name=”googlebot” content=”noindex”>

در این حالت گوگل از همه ی directive های منفی استفاده می کند و googlebot همه ی دایرکتیو های nofollow و nonindex را در نظر می گیرد.