Co to jest Googlebot — Definicja

Googlebot to nazwa robota używanego do przeszukiwania internetu (web crawler) w poszukiwaniu nowych stron internetowych w celu dodania ich do indeksu wyszukiwarki Google. Głównym zadaniem bota jest systematyczne odwiedzanie stron internetowych, analizowanie ich treści, dodawanie ich do indeksu oraz poszukiwanie odnośników, by odnaleźć nowe strony.

Czym jest googlebot?

Nazwa Googlebot odnosi się do 2 skanujących robotów:

  • Googlebot komputerowy, który przegląda stronę tak, jak użytkownik na komputerze,
  • Googlebot na smartfony, którego zadaniem jest symulowanie użytkownika korzystającego z urządzenia mobilnego.

W związku ze stosowanym przez Google podejściem Mobile-first Indexing większość stron jest obecnie skanowana przez Googlebota mobilnego.

Jak działa Google bot?

Działania Googlebota jest niezmiernie istotne z punktu widzenia poszerzania listy stron dostępnych w wynikach wyszukiwania Google. Robot Google odpytuje adres URL i jeżeli uzyska dostęp do strony, skanuje jej zawartość. Linki zewnętrzne i wewnętrzne prowadzące do innych podstron, grafik czy plików (np. CSS, JS, PDF), zapisuje w swojej bazie do późniejszego sprawdzenia. Ten sposób działania pozwala na odkrywanie nowych zasobów w Internecie, które następnie mogą zostać zapisane w indeksie Google. Pozyskane podczas skanowania informacje służą do oceny zasadności umieszczenia strony w bazie danych Google.

Skanowanie zazwyczaj odbywa się z adresów IP serwerów Google zlokalizowanych w Stanach Zjednoczonych. Jeżeli przy próbie dostępu do strony wystąpi problem, Googlebot spróbuje przeskanować witrynę z adresu IP innego kraju.

Jak zablokować dostęp Googlebota do strony?

Aby zablokować możliwość skanowania witryny przez Google, należy:

  • dodać dyrektywę Disallow dla User-agenta Googlebot w pliku robots.txt,
  • zabezpieczyć stronę hasłem,
  • zablokować IP Googlebota w pliku .htaccess
  • zablokować User-agenta w pliku .htaccess

Popularne roboty Google

Google wykorzystuje wiele różnych botów, których celem budowanie indeksu wyszukiwarki, przeprowadzania testów, analiz i weryfikacji. 

Roboty Google, które najczęściej skanują internet to m.in:

  • Googlebot Smartphone — To odmiana Googlebota, która skupia się na skanowaniu treści, symulując wejście z urządzeń mobilnych. Obecnie jest to robot indeksujący najczęściej odwiedzający strony internetowe, w związku z tym konieczna jest optymalizacja witryny pod kątem szybkiego i prawidłowego wyświetlania się przy rozdzielczościach typowych dla smartfonów.
  • Googlebot Desktop — Bot skanujący strony w wersji desktopowej. Obecnie rzadziej używany.
  • Googlebot Image — to specjalna wersja robota indeksującego, którego zadaniem jest przeszukiwanie i indeksowanie obrazów dostępnych w sieci. Zbiera on informacje, takie jak nazwy plików, atrybuty „alt” czy kontekst, w jakim zostały one umieszczone, by ułatwić ich znalezienie w wyszukiwarce obrazów Google.
  • Googlebot Video — Bot specjalizuje się w przeszukiwaniu i indeksowaniu filmów z różnych stron internetowych. Zaindeksowane materiały umieszcza w Google Video lub innych usługach zależnych od wideo.
  • Googlebot News — Bot używany do indeksowania wiadomości i aktualności. Przeszukuje Internet w poszukiwaniu newsów i dodaje je do indeksu Google, dzięki czemu mogą pojawiać się w aplikacji Google News czy na karcie News w wyszukiwarce Google.
  • Google StoreBot — Wyspecjalizowany bot indeksujący, którego zadaniem jest zbieranie i analizowanie danych ze stron produktowych i procesów płatności. Zbiera takie informacje o produktach, jak: cena produktu, cena i czas dostawy, kraje dostawy, cena dostawy z podatkiem, dostępność online i offline, ważność kuponów, formy płatności czy dane kontaktowe. Dane te wykorzystywane są w Google Shopping i zakładce Zakupy w wyszukiwarce.
  • Google InpectionTool — bot wysyłany na stronę na żądanie użytkownika podczas przeprowadzania testów takich jak test wyników z elementami rozszerzonymi lub test narzędziem do sprawdzania adresów URL w Google Search Console.

Pozostałe typowe Googleboty to:

  • GoogleOther
  • GoogleOther-Image
  • GoogleOther-Video
  • Google-CloudVertexBot
  • Google-Extended

Specjalne roboty Google

Te boty są wykorzystywane w konkretnych usługach Google do skanowania stron za zgodą ich właścicieli. Boty specjalne mogą ignorować globalną regułę w pliku robots.txt, jak ma to miejsce w przypadku Adsbot'a.

  • AdsBot Mobile Web — Robot Google, który bada jakość reklam i stronę internetową w wersji mobilnej reklamodawcy na potrzeby określenia wyniku jakości w usłudze Google Ads.
  • AdsBot — Bot dział tak jak AdsBot Mobile Web z tą różnicą, że sprawdza stronę w wersji desktopowej.
  • AdSense — Monitoruje zawartość strony w celu wyświetlenia odpowiednich reklam z systemu AdSense.
  • Mobile AdSense — mobilna wersja bota AdSence.

Google-Safety - Robot skanujący strony w poszukiwaniu zagrożeń i niezgodności z polityką Google. Jego zadaniem jest m.in. wykrywanie złośliwego oprogramowania.

Ostatnia aktualizacja: 4 października 2024

Czy ta definicja była dla Ciebie pomocna?

(5/5), głosów: 5
Ocena strony:
Marketing Manager

Pozyskuj klientów online i zwiększaj zyski dzięki reklamie w Internecie!

Skontaktuj się z nami

Zamów bezpłatną wycenę!

(czytaj więcej) Na podstawie tej zgody będziemy mogli skontaktować się z Tobą za pośrednictwem np. telefonu czy poczty elektronicznej w celu obsługi przez nas twojego zapytania. Administratorem Twoich danych osobowych jest KS Sp. z o.o. Gorzyce 141, 38-230 Nowy Żmigród, NIP: 6852338589. Gwarantujemy spełnienie wszystkich Twoich praw wynikających z ogólnego rozporządzenia o ochronie danych, tj. prawo dostępu, sprostowania oraz usunięcia Twoich danych, ograniczenia ich przetwarzania, a także prawo wyrażenia sprzeciwu wobec przetwarzania Twoich danych osobowych (więcej na temat przetwarzania Twoich danych osobowych znajdziesz w Polityka Prywatności). (zwiń)