Zasady tworzenia pliku robots.txt
Plik robots.txt jest zwykłym plikiem tekstowym. Zawiera wytyczne dla robotów crawlujących i zwykle umieszcza się go w głównym katalogu strony. Jeśli chcesz, by plik był czytelny dla różnych systemów, zapisuj go w UTF-8 (standard kodowania znaków obsługujący większość alfabetów świata) i używaj wyłącznie znaków ASCII (podstawowego zestawu znaków, który obejmuje litery angielskie, cyfry i najprostsze znaki interpunkcyjne). Pamiętaj też, że robots.txt ma charakter publiczny. Nie ukrywa poufnych danych ani nie chroni prywatnych plików przed ludźmi.
Plik może występować tylko pod nazwą robots.txt i jest dostępny pod adresem https://example.com/robots.txt. Dla jednej domeny powinien istnieć tylko jeden taki plik. Dyrektywy w nim są wskazówkami dla robotów, a nie twardą blokadą techniczną. Google zwykle respektuje te zasady, ale część crawlerów może je ignorować. Jeśli chcesz zabezpieczyć prywatne katalogi lub pliki, użyj dodatkowych zabezpieczeń po stronie serwera.
Przykładowe konfiguracje pliku robots.txt
Przykład numer 1
User-Agent: *
Allow: /
Disallow: /zdjecia/User-Agent określa, których robotów dotyczą dyrektywy. W przypadku znaku * reguły obejmują wszystkie roboty.
Allow wskazuje zasoby, do których robot ma dostęp. W naszym przykładzie robot może odwiedzać całą witrynę, o ile inna reguła nie blokuje wybranych adresów.
Disallow określa zasoby lub strony, które mają pozostać niedostępne. Tutaj chodzi o cały katalog „zdjęcia” oraz wszystkie podkatalogi w jego obrębie.
Przykład numer 2
User-agent: Googlebot
Allow: /
Disallow: /*?sort=*
Disallow: /*?k=*
Sitemap: https://example.com/sitemap.xmlUser-agent w tym przypadku dotyczy tylko Googlebota. Allow odblokowuje wszystkie zasoby. Disallow blokuje dwa typy parametrów związanych z sortowaniem i filtrowaniem. Takie reguły często pomagają w e-commerce i większych serwisach, gdzie w adresach URL pojawia się wiele kombinacji tych samych treści. Z kolei mapa strony wskazana w dyrektywie Sitemap ułatwia wyszukiwarce szybsze odnalezienie ważnych adresów i porządkuje indeksację dużej witryny.
Jak sprawdzić, czy strona jest zablokowana?
- Zaloguj się do Google Search Console i wybierz właściwą usługę.
- Wklej dokładny adres URL do weryfikacji w górnym pasku wyszukiwarki (narzędzie „Sprawdzenie adresu URL”) i wciśnij Enter.
- Poczekaj na pobranie danych z indeksu Google, a następnie w prawym górnym rogu kliknij przycisk „Sprawdź URL wersji opublikowanej”.
- Po zakończeniu testu rozwiń kartę „Dostępność strony” (w sekcji wyników).
- Znajdź wiersz „Czy pobieranie jest dozwolone?”, aby zweryfikować dostęp dla Googlebota.
- Przeanalizuj wynik: jeśli strona jest zablokowana, zobaczysz komunikat „Nie: zablokowane przez plik robots.txt”. Jeśli dostęp jest swobodny, status będzie wynosił „Tak”.
Jeśli nie masz dostępu do Google Search Console albo chcesz szybko porównać wynik, możesz skorzystać z narzędzia technicalseo.com.
Czy kolejność reguł w pliku robots txt ma znaczenie?
Kolejność dyrektyw w pliku robots.txt nie ma znaczenia dla jego działania. Zablokowanych zasobów nie odblokujesz formułą „Allow: /” umieszczoną na końcu pliku. Uwaga! Roboty rozróżniają wielkość liter, więc zapis ma znaczenie.
Krótka historia Robots Exclusion Protocol
Protokół Robots Exclusion Protocol powstał w 1994 roku. Zaproponował go Martijn Koster jako prostą odpowiedź na problem przeciążonych serwerów. W 2022 roku opisano go też w standardzie RFC 9309.
Blokowanie botów AI za pomocą robots.txt
Plik robots.txt możesz wykorzystać także do ograniczania dostępu botów AI do treści serwisu. W praktyce wydawcy wpisują w nim reguły dla wybranych user-agentów, takich jak GPTBot, Google-Extended czy ClaudeBot, i blokują je dyrektywą Disallow. Trzeba jednak pamiętać, że podobnie jak w klasycznym SEO jest to prośba o niewchodzenie na wskazane adresy, a nie twarda blokada techniczna.
W praktyce
Jeśli chcesz ograniczyć dostęp wybranych botów AI do całej witryny, możesz dodać osobne sekcje z nazwą user-agenta i regułą Disallow: /. Taki zapis nie usuwa treści z internetu, ale zmniejsza szansę na jej automatyczne pobieranie przez wskazane systemy.
Kiedy warto skonsultować plik robots.txt ze specjalistą?
Warto to zrobić, gdy zarządzasz dużym serwisem, sklepem internetowym albo stroną z wieloma filtrami i parametrami URL. Jeden błąd w robots.txt może zablokować ważne sekcje, a nawet całą witrynę przed skanowaniem. W e-commerce szczególnie łatwo o niechcianą deindeksację części kategorii lub stron produktowych. Jeśli masz wątpliwość, lepiej sprawdzić plik przed wdrożeniem niż naprawiać skutki po fakcie.
Najczęściej zadawane pytania
Ostatnia aktualizacja: 15 lipca 2026
Pozyskuj klientów online i zwiększaj zyski dzięki reklamie w Internecie!
Powiązane Artykuły
Snippets, czyli sposób na wyróżnienie swojej strony w wynikach wyszukiwania
Wyróżnienie swojej strony internetowej w morzu konkurencji jest nie lada wyzwaniem. Wszystkie drogi prowadzą przez wyszukiwarki, a te kierują się własnymi,...
Przeczytaj artykuł >>
Czym są słowa kluczowe i jak wybrać te najlepsze dla biznesu?
Większość działań SEO kończy się niepowodzeniem z jednego powodu: skupienia na niewłaściwych frazach. W pozycjonowaniu stron internetowych nie chodzi o to, aby...
Przeczytaj artykuł >>
Jak wyszukiwać w Google, czyli zaawansowane możliwości wyszukiwarki
Z wyszukiwarki od Google korzystasz zapewne codziennie. Wyszukanie strony internetowej zawierającej interesujące Cię informacje dzięki niej jest prostsze, szybsze i...
Przeczytaj artykuł >>