Co to jest noindex - Definicja

Gdzie noindex występuje najczęściej?

Występują dwa typy tagów noindex, jakie możesz znaleźć na stronie internetowej:

Kod HTML

Najczęściej ten niewielki kod zawierający dyrektywy dla robotów znajdziemy w sekcji head strony internetowej (przeważnie zarówno w kodzie strony głównej jak i danej podstrony). Zazwyczaj występuje on w parze z tagiem nofollow i wygląda następująco:

< meta name="robots" content="noindex,nofollow" >

X-Robots-Tag

Rzadziej spotykanym sposobem jak zablokować roboty Google (ale i nie tylko) jest przesłanie informacji o noindex w nagłówku strony.

Jeśli serwer odpowiedzialny za obsługę naszej witryny internetowej pozwala na edycję (w przypadku serwera Apache) pliku .htaccess to wystarczy, że posłużymy się kodem:

header("X-Robots-Tag: noindex, nofollow", true);

Dla przykładu - chcąc dodać tagi noindex, nofollow do wszystkich plików z rozszerzeniem .txt dodaj poniższy kod do pliku .htaccess:

< FilesMatch ".txt$" >

Header set X-Robots-Tag "noindex, nofollow"

< /FilesMatch >

Również w przypadku serwerów Nginx można określić nagłówek X-Robots-Tag wykorzystując poniższy kod.

location ~* \.(txt)$ {

   add_header X-Robots-Tag "noindex, nofollow";

}

Dlaczego warto używać noindex?

Tag Meta Robots zaprojektowany w 1996 roku jest obecnie standardem sieciowym (tak jak wspominany wcześniej robots.txt). Dlaczego zatem warto go używać?

Odpowiedź jest bardzo prosta. Metatag pozwala na precyzyjne podejście do sposobu indeksowania treści oraz wyświetlania strony w wyszukiwarce Google.

Informuje on Google o tym, że strony nie należy wyświetlać w SERP'ach. Za pomocą tego atrybutu można zablokować indeksowanie np. zduplikowanych stron internetowych.

Niestety, często zdarza się, że roboty szczególnie te określane jako malware, ignorują działanie tego tagu.

Ostatnia aktualizacja: 12 czerwca 2024

Wojtek Jakieła

Senior Web Developer