Nazwa Googlebot odnosi się do 2 skanujących robotów:
- Googlebot komputerowy, który przegląda stronę tak, jak użytkownik na komputerze,
- Googlebot na smartfony, którego zadaniem jest symulowanie użytkownika korzystającego z urządzenia mobilnego.
W związku ze stosowanym przez Google podejściem Mobile-first Indexing większość stron jest obecnie skanowana przez Googlebota mobilnego.
Jak działa Google bot?
Działania Googlebota jest niezmiernie istotne z punktu widzenia poszerzania listy stron dostępnych w wynikach wyszukiwania Google. Robot Google odpytuje adres URL i jeżeli uzyska dostęp do strony, skanuje jej zawartość. Linki zewnętrzne i wewnętrzne prowadzące do innych podstron, grafik czy plików (np. CSS, JS, PDF), zapisuje w swojej bazie do późniejszego sprawdzenia. Ten sposób działania pozwala na odkrywanie nowych zasobów w Internecie, które następnie mogą zostać zapisane w indeksie Google. Pozyskane podczas skanowania informacje służą do oceny zasadności umieszczenia strony w bazie danych Google.
Skanowanie zazwyczaj odbywa się z adresów IP serwerów Google zlokalizowanych w Stanach Zjednoczonych. Jeżeli przy próbie dostępu do strony wystąpi problem, Googlebot spróbuje przeskanować witrynę z adresu IP innego kraju.
Jak zablokować dostęp Googlebota do strony?
Aby zablokować możliwość skanowania witryny przez Google, należy:
- dodać dyrektywę Disallow dla User-agenta Googlebot w pliku robots.txt,
- zabezpieczyć stronę hasłem,
- zablokować IP Googlebota w pliku .htaccess
- zablokować User-agenta w pliku .htaccess
Popularne roboty Google
Google wykorzystuje wiele różnych botów, których celem budowanie indeksu wyszukiwarki, przeprowadzania testów, analiz i weryfikacji.
Roboty Google, które najczęściej skanują internet to m.in:
- Googlebot Smartphone — To odmiana Googlebota, która skupia się na skanowaniu treści, symulując wejście z urządzeń mobilnych. Obecnie jest to robot indeksujący najczęściej odwiedzający strony internetowe, w związku z tym konieczna jest optymalizacja witryny pod kątem szybkiego i prawidłowego wyświetlania się przy rozdzielczościach typowych dla smartfonów.
- Googlebot Desktop — Bot skanujący strony w wersji desktopowej. Obecnie rzadziej używany.
- Googlebot Image — to specjalna wersja robota indeksującego, którego zadaniem jest przeszukiwanie i indeksowanie obrazów dostępnych w sieci. Zbiera on informacje, takie jak nazwy plików, atrybuty „alt” czy kontekst, w jakim zostały one umieszczone, by ułatwić ich znalezienie w wyszukiwarce obrazów Google.
- Googlebot Video — Bot specjalizuje się w przeszukiwaniu i indeksowaniu filmów z różnych stron internetowych. Zaindeksowane materiały umieszcza w Google Video lub innych usługach zależnych od wideo.
- Googlebot News — Bot używany do indeksowania wiadomości i aktualności. Przeszukuje Internet w poszukiwaniu newsów i dodaje je do indeksu Google, dzięki czemu mogą pojawiać się w aplikacji Google News czy na karcie News w wyszukiwarce Google.
- Google StoreBot — Wyspecjalizowany bot indeksujący, którego zadaniem jest zbieranie i analizowanie danych ze stron produktowych i procesów płatności. Zbiera takie informacje o produktach, jak: cena produktu, cena i czas dostawy, kraje dostawy, cena dostawy z podatkiem, dostępność online i offline, ważność kuponów, formy płatności czy dane kontaktowe. Dane te wykorzystywane są w Google Shopping i zakładce Zakupy w wyszukiwarce.
- Google InpectionTool — bot wysyłany na stronę na żądanie użytkownika podczas przeprowadzania testów takich jak test wyników z elementami rozszerzonymi lub test narzędziem do sprawdzania adresów URL w Google Search Console.
Pozostałe typowe Googleboty to:
- GoogleOther
- GoogleOther-Image
- GoogleOther-Video
- Google-CloudVertexBot
- Google-Extended
Specjalne roboty Google
Te boty są wykorzystywane w konkretnych usługach Google do skanowania stron za zgodą ich właścicieli. Boty specjalne mogą ignorować globalną regułę w pliku robots.txt, jak ma to miejsce w przypadku Adsbot'a.
- AdsBot Mobile Web — Robot Google, który bada jakość reklam i stronę internetową w wersji mobilnej reklamodawcy na potrzeby określenia wyniku jakości w usłudze Google Ads.
- AdsBot — Bot dział tak jak AdsBot Mobile Web z tą różnicą, że sprawdza stronę w wersji desktopowej.
- AdSense — Monitoruje zawartość strony w celu wyświetlenia odpowiednich reklam z systemu AdSense.
- Mobile AdSense — mobilna wersja bota AdSence.
Google-Safety - Robot skanujący strony w poszukiwaniu zagrożeń i niezgodności z polityką Google. Jego zadaniem jest m.in. wykrywanie złośliwego oprogramowania.
Ostatnia aktualizacja: 4 października 2024
Pozyskuj klientów online i zwiększaj zyski dzięki reklamie w Internecie!
Powiązane Artykuły
Jak działa indeksowanie w wyszukiwarce Google
Czy zdarzyło Ci się, że pomimo wprowadzenia aktualizacji, Google wydaje się być nieświadomy zmian? Czy może Twoja nowa strona internetowa nie jest wcale widoczna w...
Przeczytaj artykuł >>Jak dodać stronę do Google?
Bez tej prostej, jakby mogło się wydawać czynności, wszelkie działania mające prowadzić do wysokich pozycji spalą na panewce. Z tego artykułu dowiesz się, dlaczego...
Przeczytaj artykuł >>Czym jest Crawl Budget i dlaczego ma taki wpływ na SEO?
Zastanawiałeś się kiedyś co robią roboty Google gdy odwiedzają Twoją stronę, i jak długo trwa ich wizyta? Dlaczego niektóre witryny są częściej skanowane...
Przeczytaj artykuł >>