Duplicate content czym jest i jak go uniknąć

W tym artykule przeczytasz:

• Czym jest duplicate content.
• Powielona treść w obrębie jednej witryny.
• Treść powielona w obrębie wielu domen.
• Jak sprawdzić czy treść jest zduplikowana.
• Jak poradzić sobie z zewnętrzną duplikacją.
• Gdzie najczęściej mamy do czynienia z zewnętrznym duplicate content.
• Jak znaleźć duplikaty treści.
• Zduplikowane opisy produktów w sklepie internetowym.
• Unikalne opisy produktów - dlaczego warto?
• Opis synonimizowany, czym jest i jak go stworzyć?
• Jak uniknąć duplikacji treści?
• O czym pamiętać

Duplicate content dzielimy na zewnętrzny i wewnętrzny. Duplikacja zewnętrzna to powielanie treści na różnych stronach internetowych, natomiast wewnętrzna odnosi się do duplikacji w obrębie jednej domeny. W tym przypadku problem często tkwi w tym, że ta sama treść jest dostępna pod kilkoma adresami URL, np. z www i bez www, z http i https, z parametrami lub bez nich. Kwestia przekierowań może zostać rozwiązana na poziomie serwera, w pliku .htaccess, konfiguracji CMS-a lub przy pomocy reguł przekierowań.

Czym jest duplicate content?

Głównym celem efektywnie działającego content marketingu jest tworzenie i dystrybucja unikalnej, dobrze zoptymalizowanej i wartościowej treści. Z duplicate content (DC), czyli duplikacją treści, mamy do czynienia wtedy, gdy ta sama lub bardzo podobna zawartość danej podstrony występuje pod kilkoma adresami URL, w obrębie jednej witryny albo na różnych stronach internetowych. Powielanie treści często jest wynikiem nieświadomych działań, wynikających z braku odpowiedniej wiedzy na ten temat. Mówiąc o duplicate content należy wspomnieć o dwóch jego rodzajach:

Treść powielona w obrębie jednej witryny

Jak sam nagłówek wskazuje, mowa tutaj o duplicate content wewnętrznym, czyli powielaniu treści w ramach jednej domeny. Powodem wystąpienia problemu jest najczęściej popełnienie kilku podstawowych błędów tj.:

👉 brak przekierowań 301, kilka adresów prowadzi do jednej podstrony, tworząc duplikat np.

• http://domena.pl,
• http://www.domena.pl,
• https://domena.pl,
• https://www.domena.pl,
• https://domena.pl/index.html,
• https://domena.pl/index.php,
• https://domena.pl/index.html?utm_source=rss itp.

Wszystkie powyższe adresy mogą wyświetlać tę samą treść strony głównej. Jeśli właściciel witryny nie wskaże preferowanej wersji strony, Google spróbuje wybrać ją samodzielnie. Nie zawsze będzie to adres URL, który z punktu widzenia SEO uznalibyśmy za najlepszy, dlatego warto zadbać o przekierowania 301, spójne linkowanie wewnętrzne i linki kanoniczne.

👉 Powielanie opisów produktów w sklepie internetowym - każda indeksowana podstrona produktu powinna wnosić unikalną wartość. Przy wariantach różniących się tylko kolorem/rozmiarem często lepsze będą warianty w ramach jednej karty produktu, canonical lub kontrola indeksowania.

👉 Powielanie opisu kategorii - zdarza się, że główny opis kategorii zostaje celowo powielony na stronicowaniu, filtrowaniu lub sortowaniu danej kategorii. Cel ⇛ Pomoc przy wyborze produktów. Efekt ⇛ Duplicate content.

👉 Duplikacja pierwszej strony paginacji kategorii - błędem, który często pojawia się w tym przypadku jest powielanie pierwszej strony kategorii, która dostępna jest pod adresem domena.pl/kategoria i np. domena.pl/kategoria?page=1. W efekcie otrzymujemy zduplikowaną stronę, na której treść nie różni się niczym w odniesieniu do strony bez paginacji tj. domena.pl/kategoria.

👉 Wdrożenie wersji językowej - kilkukrotnie spotkałam się z błędem iż, nie wszystkie podstrony danej witryny zostają przetłumaczone na wskazany język. Często, owszem podstrona istnieje ale na niej znajduje się nieprzetłumaczony tekst w języku polskim, co tworzy duplikat.

👉 Parametry GET, brak standaryzacji - Często zdarza się tak, że jeżeli mamy kilka parametrów GET w linku, strona będzie uruchamiać się prawidłowo, niezależnie od tego w jakiej kolejności zostaną wpisane.

Przykład:
domena.pl?sort=up&typ=new&page=1,
domena.pl?sort=up&page=1&typ=new,
domena.pl?page=1&sort=up&typ=new,
domena.pl?typ=new&page=1&sort=up,
domena.pl?page=1&typ=new&sort=up,
domena.pl?typ=new&sort=up&page=1,

Podobny problem często pojawia się przy filtrowaniu i sortowaniu produktów w sklepach internetowych. Jeden zestaw produktów może być dostępny pod wieloma adresami URL, np. z parametrami koloru, rozmiaru, ceny lub kolejności sortowania. Jeżeli takie podstrony nie mają własnej wartości dla użytkownika i nie powinny pojawiać się w wynikach wyszukiwania, trzeba rozważyć ich ograniczenie przez odpowiednie reguły indeksowania, linki kanoniczne, strukturę adresów URL lub blokowanie crawlowania wybranych parametrów.

Treść powielona w obrębie wielu domen

O zewnętrznym duplicate content mówimy, kiedy ta sama treść opublikowana została na przynajmniej dwóch stronach internetowych. Przyczyny takiego zjawiska mogą być różne, najczęściej są to:

• Kopiowanie treści z innych źródeł (kradzież).
• W przypadku produktów, dość powszechnym zjawiskiem jest kopiowanie opisów ze strony producenta.
• Kopiowanie fragmentów treści bez jasnego wskazania źródła, linku do oryginału lub odpowiednio ustawionego linku kanonicznego , jeżeli mówimy o świadomej dystrybucji tej samej treści

Gdzie najczęściej mamy do czynienia z zewnętrznym duplicate content?

• Opisy produktów - Powielany opis producenta.
• Duplikowanie opisów produktów na platformach takich jak Ceneo, Allegro, OLX.
• Powielanie treści w social media, na stronach informacyjnych, katalogach i innych.
• Powielanie treści w artykułach prasowych i sponsorowanych.
• Przepisy prawne, regulaminy, polityki prywatności i inne treści formalne - publikując je na swojej stronie, warto zachować czujność. Jeżeli dana podstrona nie ma znaczenia dla ruchu organicznego i nie chcemy, aby pojawiała się w wynikach wyszukiwania, można rozważyć zastosowanie tagu noindex.

Jak sprawdzić czy treść jest zduplikowana?

Zewnętrzny duplicate content możemy zweryfikować na kilka sposobów. Na jeden z nich pozwala nam już samo Google. Możemy sprawdzić czy dany fragment tekstu, występuje w zduplikowanej formie na innych serwisach. Jak to zrobić?

1. Skopiuj fragment treści, która Cię interesuje (około 30 słów) i wklej ją w wyszukiwarkę Google. Ważna wskazówka, treść należy umieścić w cudzysłowie, jeżeli tego nie zrobimy Google wyszuka dla nas różnych dopasowań.
2. Google może wyświetlić zaindeksowane adresy URL zawierające wskazany fragment treści. Trzeba jednak pamiętać, że wyniki nie zawsze będą pełną listą wszystkich duplikatów. To dobry sposób na szybkie rozpoznanie problemu, ale nie zastępuje audytu w narzędziach SEO.
3. W sytuacji kiedy okaże się, że zduplikowanych wyników jest bardzo dużo, wyszukiwarka Google ukryje je pod przyciskiem. Rozwijając tą listę, będziesz mógł sprawdzić podobne wyniki.

Wskazówka: Jak pewnie zauważyłeś 30 słów w przypadku rozbudowanego artykułu to trochę mało, zweryfikowanie całości będzie więc trudniejsze. Jeżeli Google znalazł wiele podobnych wyników, sugeruję kliknąć kilka wybranych i porównać dane treści. Jeżeli będą one niemal identyczne, najprawdopodobniej takich wyników jest więcej.

Jak poradzić sobie z zewnętrzną duplikacją?

1. Jeżeli na Twojej stronie znajduje się treść, która została powielona na innych stronach internetowych (jesteś autorem) - postaraj się wzmocnić sygnały oryginału i zadbać o linkowanie, datę publikacji, autora, canonical, a przy plagiacie zgłosić naruszenie. Google usuwa z wyników linki do treści naruszających prawa autorskie po skutecznym zgłoszeniu, ale nie usuwa samej treści z cudzego serwera.
2. Jeżeli z jakichś powodów nie jesteś w stanie przeredagować lub rozbudować treści, która w tej chwili występuje na stronie, napisz ją całkowicie od nowa.
3. W przypadku podstron technicznych, prawnych lub małowartościowych z punktu widzenia SEO rozważ zastosowanie tagu noindex, ale tylko wtedy, gdy rzeczywiście nie zależy Ci na ich obecności w wynikach wyszukiwania.

Co jeszcze możesz zrobić?

Techniczne blokowanie kopiowania treści, np. wyłączenie prawego przycisku myszy, zwykle nie rozwiązuje problemu i może utrudnić korzystanie ze strony zwykłym użytkownikom. Lepszym rozwiązaniem jest monitorowanie zewnętrznych duplikatów, szybkie reagowanie na plagiaty, budowanie silnego linkowania do oryginalnej treści oraz publikowanie materiałów, które mają realną wartość i są jednoznacznie powiązane z Twoją marką.

Zduplikowane opisy produktów w sklepie internetowym

Kwestia unikalnych opisów produktów w sklepach internetowych bardzo często jest bagatelizowana. Najczęściej, dzieje się tak w przypadkach, kiedy na jeden model produktu przypada jego kilka wersji np. kolorystycznych. Ile razy spotkałeś się z niemal identycznym opisem, który różnił się jedynie szczegółami takimi jak kolor, rozmiar czy rodzaj zastosowanych komponentów? Coś Ci powiem... to nie jest dobre i zdecydowanie warto takich praktyk unikać.

W przypadku sklepów internetowych nie zawsze trzeba tworzyć osobną, całkowicie nową treść dla każdego wariantu produktu. Jeżeli różnice są kosmetyczne, np. dotyczą tylko koloru lub rozmiaru, warto przemyśleć strukturę adresów URL, warianty produktu, linki kanoniczne i sposób indeksowania. Najważniejsze jest to, aby Google nie musiał wybierać między wieloma niemal identycznymi podstronami, które nie wnoszą nic nowego dla użytkownika.

Zdarza się również, że publikowane opisy zaczerpnięte są od producenta. Wówczas problem może okazać się powszechniejszy. Dlaczego? A no dlatego, że na podobny pomysł mogło wpaść kilku sprzedawców oferujących w swoim sklepie te same produkty.

Wszystkie strony mogą mieć wspólne elementy

Na prawie każdej stronie internetowej zdarzają się powielone elementy np. słowa czy frazy ale nie jest to odbierane przez Google jako duplicate content. Problem z powieloną treścią pojawia się wtedy, kiedy kopiujemy pełne fragmenty treści lub całą treść określonej podstrony witryny.

Powtarzalne menu, stopka, fragmenty regulaminowe, elementy nawigacji czy krótkie komunikaty nie są same w sobie problemem. Duplikacja treści staje się istotna wtedy, gdy główna zawartość kilku podstron jest taka sama lub tak podobna, że algorytm Google ma problem z wyborem najlepszej wersji.

Unikalne opisy produktów - dlaczego warto?

Długofalowo najbezpieczniejsze są działania zgodne z wytycznymi Google (White Hat SEO) i nastawione na wartość dla użytkownika.. Unikalne i dobrze zoptymalizowane opisy produktów w sklepie internetowym, to jeden z nieodzownych elementów etycznego SEO.

Google stawia na wysoką wartość treści, dlatego też unikalność opisów jest niezwykle istotna. Unikalne treści są ważne, ale sama unikalność nie wystarczy. Opis powinien być pomocny, konkretny i odpowiadać na pytania użytkownika. Dopiero połączenie unikalności, wartości merytorycznej, dobrej struktury i właściwej optymalizacji może wspierać widoczność strony w wynikach wyszukiwania. (SERP-ach).

Tworząc własny opis w sklepie internetowym masz szansę uwidocznić dokładnie to na czym Ci zależy. Możesz skupić się na konkretnych zaletach wynikających z zakupu produktu właśnie u Ciebie. Własna treść, działa również pozytywnie na odczucia Klienta względem prowadzonego biznesu. Czytając unikalny opis, wzbogacony o wartościowe informacje, klient znajduje informacje, które są pomocne w dokonaniu zakupu, dzięki czemu czuje się doceniony, a jego potrzeby zostają należycie spełnione. W ten sposób budujesz wizerunek eksperta w danej branży.

Kolejną zaletą tworzenia własnych opisów jest fakt, iż masz wpływ na formatowanie treści. Ciekawostką dla niektórych może być fakt, że na zachowania klientów wpływa również aspekt wizualny treści, czyli to jak zostanie ona rozmieszczona, obecność nagłówków, wypunktowań, uwidocznienie ważnych informacji w ciekawy i przejrzysty sposób. Kopiując opis i publikując go na stronie w niezmienionej formie, oferujesz użytkownikowi dokładnie to, co Twój konkurent. Nie masz również większego wpływu na optymalizację i prawidłowe umieszczenie słów kluczowych. Zadbaj o unikalną wartość treści, aby jak najlepiej spełnić oczekiwania odbiorców.

Opis synonimizowany

Stworzenie treści synonimizowanej, jak sama nazwa wskazuje, polega na przeredagowaniu istniejącego tekstu tak, by zawierał on jak najwięcej synonimów zastosowanych wcześniej słów. Ważne, aby dużą wagę przyłożyć do jakości treści publikowanej na stronie. Zadbaj o wysoką jakość słownictwa i poprawność językową, a także zgodność merytoryczną i umieszczenie w treści istotnych informacji.

Sama synonimizacja nie powinna być traktowana jako sposób na tworzenie unikalnego contentu. Jeżeli tekst różni się tylko pojedynczymi wyrazami, ale nie wnosi nowej informacji, nadal może być dla użytkownika małowartościowy. Lepiej rozbudować opis o konkretne cechy produktu, zastosowanie, porównania, FAQ, dane techniczne, zdjęcia, opinie i informacje, których nie ma na stronie producenta.

Treści generowane przez AI a duplicate content

Narzędzia AI mogą pomagać w tworzeniu treści, ale nie powinny służyć do masowego generowania podobnych opisów bez dodatkowej wartości. Jeżeli na stronie pojawia się wiele tekstów tworzonych według tego samego schematu, różniących się tylko nazwą produktu, kolorem lub miastem, może to prowadzić do problemów z jakością contentu. Z punktu widzenia SEO najważniejsze jest to, aby treść była pomocna, zgodna z faktami, dopasowana do intencji użytkownika i realnie różniła się od tego, co znajduje się na innych stronach.

Czy duplicate content jest karany przez Google?

Istotnym momentem była aktualizacja w 2011 roku algorytmu Panda, którego celem było między innymi uwidocznienie serwisów, posiadających wartościowy, unikalny i merytoryczny content. Obecnie zmiana ta uważana jest za jedną z najistotniejszych aktualizacji.

Google zaczęło silniej ograniczać widoczność serwisów z niską jakością treści (Thin Content) i zaczeło coraz większą uwagę przywiązywać do wartościowego contentu. Rozbudowane, unikalne i merytoryczne treści zaczęły być coraz bardziej doceniane przez Google, natomiast nieetyczne praktyki skutkowały obniżeniem pozycji w wynikach wyszukiwania.

Choć Google bardzo rzadko decyduje się na ręczne działania (kary) za duplicate content na stronie, duplikowane treści wpływają na ranking wyszukiwarek. W momencie kiedy roboty natrafią na kilka stron zawierających taki sam tekst, będą mieć problem ze zdefiniowaniem tego, która z nich "była pierwsza" i która wersja najtrafniej odpowiada na dane zapytanie. Z pewnością ma to niekorzystny wpływ na pozycjonowanie stron internetowych.

Takie treści analogicznie wydają się mniej wartościowe, a wyszukiwarki mają problem z ich prawidłowym indeksowaniem i uwzględnieniem bądź wykluczeniem z wyników wyszukiwania. Pojawia się również problem z kierowaniem metryki linków tj. zaufanie, autorytet, wartość linków itd, wyszukiwarka internetowa nie wie, z którą stroną je powiązać. Jeżeli jednak powielanie treści jest celowe, masowe i służy manipulowaniu wynikami wyszukiwania, może zostać potraktowane jako naruszenie zasad Google.

Google informuje, że naruszenia zasad spamu mogą skutkować niższą pozycją lub brakiem widoczności w wynikach.

Ręczne działania jednak się zdarzają...

Choć sama duplikacja treści najczęściej nie kończy się karą, ręczne działania mogą pojawić się wtedy, gdy witryna narusza zasady dotyczące spamu, np. przez masowe kopiowanie treści, publikowanie treści bez wartości lub działania mające manipulować rankingiem. W skrajnych przypadkach może to oznaczać niższą pozycję strony albo usunięcie wybranych adresów z wyników wyszukiwania.

Jak znaleźć duplikaty treści?

W przypadku duplicate content w obrębie jednej domeny, znalezienie powielonych treści nie jest zbyt skomplikowane. Nieocenioną rolę odgrywają tutaj narzędzia, dzięki którym jesteśmy w stanie wychwycić duplicate content i podjąć odpowiednie działania w celu wyeliminowania problemu, oto kilka z nich:

Google - Operatory wyszukiwania

Duplikaty treści, możemy wyszukać za pomocą operatorów wyszukiwania.

Site:domena.pl

Wpisując w wyszukiwarkę Google komendę "site:domena.pl" otrzymasz listę wybranych adresów URL z danej domeny, które Google może pokazać dla takiego zapytania. To szybka metoda diagnostyczna, ale nie należy traktować jej jako pełnej listy wszystkich zaindeksowanych podstron. Do dokładniejszej analizy indeksowania lepiej wykorzystać Google Search Console.

"fraza" site:domena.pl

Jeżeli chcemy ograniczyć zakres wyszukiwania jedynie do konkretnej frazy, możemy to zrobić za pomocą komendy "fraza" site:domena.pl. Wówczas Google wyświetli nam wszystkie podstrony witryny, gdzie konkretne <a href="https://ks.pl/slownik/co-to-jest-slowo-kluczowe">słowo kluczowe</a> zostało zastosowane. Na tej podstawie możemy wychwycić zduplikowane treści.

site:domena.pl intext "treść"

Dzięki temu operatorowi, jesteśmy w stanie sprawdzić czy na danej stronie internetowej, konkretny fragment treści opublikowany został więcej niż jeden raz. Co to konkretnie znaczy? W miejsce treść, wklejamy fragment tekstu, który chcemy znaleźć w obrębie wskazanej domeny i zatwierdzamy klawiszem enter. W tym momencie, Google wskaże nam wszystkie zaindeksowane podstrony witryny, na których występuje dany fragment.

Screaming Frog

W kontekście poszukiwania zduplikowanych treści w obrębie jednej domeny, Screaming Frog jest dla nas nieocenioną pomocą. Pełna analiza contentu jest dostępna od wersji 13.0, jednak aby dokładnie przeanalizować domenę pod kątem duplicate content potrzebna będzie wersja płatna programu.

Funkcjonalność SEO Spider przeprowadza szczegółową analizę strony internetowej umożliwiając następujące czynności:

Znalezienie duplicate content - zduplikowanych zawartości.

• Znalezienie uszkodzonych linków.
• Analiza metadanych.
• Stworzenie audytu przekierowań.
• Wyodrębnienie danych za pomocą XPath.
• Renderowanie strony internetowej za pomocą zintegrowanego Chromium WRS do indeksowania stron internetowych Java Script oraz struktur takich jak. Angular, React i Vue.js.
• Generowanie map witryn XML.
• Integrację z GSC, GA oraz PSI.
• Meta tagów (title i description).
• Nagłówków H1-H6.
• Contentu (dostępne w pełnej wersji).
• Tekstów alternatywnych i title do grafik.

Jak to zrobić?

Narzędzia antyplagiatowe

Podczas tworzenia lub sprawdzania unikalności treści warto korzystać z dostępnych narzędzi antyplagiatowych. Oto kilka z nich:

Copyscape Plagiarism Checker

program antyplagiatowy online - Copyscape

Plagiarism Checker

program do plagiatu Plagiarism

Copywritely

Copywritely, program do wykrywania plagiatu

Jak uniknąć duplikacji treści

Przekierowanie 301

Pamiętaj, że: https://www.twoja-super-strona.pl oraz https://twoja-super-strona.pl to dla Google dwa różne warianty adresu URL tej samej domeny. Należy przekierować w ten sposób: www.twoja-super-strona.pl -301-> twoja-super-strona.pl lub odwrotnie. Przekierowanie 301 strony z www na bez www i odwrotnie. Warto jednocześnie wyeliminować dodatkowe kopie jak np.: twoja-super-strona.pl/index.html lub twoja-super-strona.pl/index.php?abc=

Wykorzystanie Search Console

Pomocnym narzędziem jest Google Search Console. Dzięki niemu możesz sprawdzić, czy dany adres URL znajduje się w indeksie, poprosić o ponowne zindeksowanie strony oraz przeanalizować raport Indeksowanie stron. W kontekście duplicate content szczególnie ważne są komunikaty dotyczące duplikatów, np. sytuacje, w których Google wybrał inną stronę kanoniczną niż użytkownik albo nie znalazł oznaczonej strony kanonicznej. W narzędziu Sprawdzanie adresu URL możesz zobaczyć, jaki adres został wskazany przez właściciela strony i jaki adres Google uznał za kanoniczny.

Szczegółową instrukcję dotyczącą raportu o stanie w indeksie znajdziesz tutaj.

Jak wysłać prośbę o zaindeksowanie?

1. Sprawdź adres URL za pomocą narzędzia - Wklej wybrany URL i zatwierdź
   

   
   Google Search Console - Sprawdź dowolny URL

2. Kliknij “Poproś o zaindeksowanie”
   

   
   Google Search Console - sprawdź URL wersji aktywnej

Ważne: Proces weryfikacji adresu URL przez Google trwa zazwyczaj od kilku dni do kilku tygodni. Wielokrotne powielanie prośby o indeksację nie przyspieszy tego procesu.

Linki kanoniczne

W sklepach internetowych i nie tylko należy ustawić linki kanoniczne (rel="canonical"). Przykład: < link rel="canonical" href="https://domena.pl/kategoria"/ >

W przypadku sklepów online linki kanoniczne trzeba ustawiać świadomie. Dla duplikatów technicznych, np. adresów z parametrami sortowania, canonical może wskazywać podstawową wersję kategorii. Dla kolejnych stron paginacji decyzja zależy od struktury sklepu i tego, czy dana podstrona zawiera unikalny zestaw produktów. Celem nie jest ukrycie ważnych produktów przed Google, lecz uporządkowanie wersji strony i ograniczenie indeksowania adresów, które nie wnoszą wartości. W przypadku kolejnych stron paginacji należy jednak zachować ostrożność. Jeśli znajdują się na nich inne produkty lub inne elementy listy, nie zawsze warto kierować wszystkie linki kanoniczne do pierwszej strony kategorii. Roboty wyszukiwarki powinny mieć możliwość dotarcia do produktów i treści dostępnych dalej w paginacji.

Trzeba jednak pamiętać, że link kanoniczny jest dla Google silną wskazówką, ale nie bezwzględną dyrektywą. Jeżeli sygnały w witrynie są sprzeczne, np. mapa strony, linki wewnętrzne i przekierowania wskazują inne adresy, Google może wybrać inną stronę kanoniczną.

Meta Robots Noindex

Dzięki Meta Robots Noindex możemy zapobiec wyświetlaniu zduplikowanych treści w wyszukiwarce Google. Podczas indeksowania strony internetowej, roboty Google napotykając ten tag w przypadku danej podstrony, nie powinny pokazywać takiej strony w wynikach wyszukiwania o ile robot mógł ja przeskanować i odczytać dyrektywę noindex.

Ważne: aby dyrektywa noindex zadziałała, Googlebot musi mieć dostęp do danej podstrony. Jeżeli adres URL zostanie jednocześnie zablokowany w pliku robots.txt, robot może nie zobaczyć tagu noindex, a strona nadal może pojawiać się w wynikach wyszukiwania, np. gdy prowadzą do niej linki zewnętrzne.

Dyrektywę "noindex" możemy zastosować na dwa sposoby - w postaci nagłówka odpowiedzi HTTP oraz w postaci metatagu. Czym różnią się te dwie metody?

< meta name="robots" content="noindex" / > - precyzyjna kontrola nad indeksowaniem i wyświetlaniem strony w wynikach wyszukiwania Google.

Nagłówek HTTP X-Robots-Tag

X-Robots-Tag może być elementem zamieszonym w nagłówku HTTP odpowiedzi na żądanie konkretnego URL. Postępując w ten sposób poinformujesz roboty Google, aby nie indeksowały danego adresu URL. Oto przykład:

Szczegóły znajdziesz w instrukcji dotyczącej specyfikacji metatagu robots, atrybutu data-nosnippet i nagłówka HTTP X-Robots-Tag udostępnianej przez Google.

O czym pamiętać?

⇛ Spójność podczas tworzenia linków wewnętrznych w całej witrynie. Jeżeli ustalona kanoniczna wersja domeny to https://www.domena.pl/, to wszystkie wewnętrzne linki powinny prowadzić do https://www.domena.pl/ ... zamiast https://domena.pl/ …

⇛ Podczas dystrybucji treści sprawdź czy witryna dystrybuująca dodaje odnośnik z powrotem do treści oryginalnej a nie innego adresu URL.

⇛ Warto dodać odwołujący link rel=canonical, który informuje roboty Google o tym, która treść jest wersją oryginalną czyli kanoniczną

Nie stosuj wszystkich metod naraz bez planu. Przekierowanie 301 sprawdzi się, gdy duplikat nie ma być dostępny. Link kanoniczny będzie dobrym rozwiązaniem, gdy kilka wersji strony musi pozostać dostępnych dla użytkownika. Noindex zastosuj wtedy, gdy dana podstrona nie powinna pojawiać się w wynikach wyszukiwania.

Odpowiadamy na pytania!

Czy Google traktuje tłumaczone treści jako powielone?

Nie. Wartościowa, odpowiednio przetłumaczona treść nie będzie tworzyć duplikatu. Warto jednak zadbać o poprawność językową tłumaczenia, tak aby jak najlepiej dostosować tekst do oczekiwań internautów. Warto pamiętać, że jeśli tylko menu/stopka są przetłumaczone, a body pozostaje takie samo, Google może traktować wersje jako duplikaty.

Jak Google wybiera kanoniczny adres domeny

Jeżeli daną stronę internetową można otworzyć pod wieloma adresami URL, Google analizuje sygnały kanonikalizacji, m.in. przekierowania, linki kanoniczne, mapę witryny, linki wewnętrzne i jakość treści. W Google Search Console, w narzędziu Sprawdzanie adresu URL, możesz porównać adres kanoniczny wskazany przez właściciela witryny z adresem wybranym przez Google.

Czy witryna mobilna jest liczona jako zduplikowana treść?

Najbezpieczniejszym i najczęściej rekomendowanym rozwiązaniem jest dziś responsywna strona internetowa, która dostosowuje się do każdego urządzenia. Taka wersja strony nie jest traktowana jako duplikat. Jeśli jednak witryna ma osobną wersję mobilną pod adresem m.domena.pl lub mobile.domena.pl, trzeba poprawnie wskazać relacje między wersją mobilną i desktopową.

Zdarza się jednak, że niektóre witryny posiadają zupełnie oddzielną stronę w wersji mobilnej, która dostępna jest pod innym adresem. Najczęściej w takich sytuacjach w adresie spotkamy się z przedrostkiem m. lub mobile - m.domena.pl, mobile.domena.pl. Warto zwrócić uwagę na taką sytuację, gdyż zaniedbanie jej prowadzić może do wystąpienia duplikacji. Jakie jest rozwiązanie?

Musisz dokładnie wskazać robotom Google istniejące wersje witryny. Aby to zrobić musisz zaimplementować w desktopowej oraz mobilnej wersji strony następujące zapisy:

1. link <link rel=”alternate” href=”https://m.domena.pl/”> - zamieszczamy w sekcji head, desktopowej wersji strony. Zapis informuje o alternatywnej wersji mobilnej strony. Na stronie wersji mobilnej ustawiamy również adres kanoniczny wskazujący na wersje desktopową.
2. link <link rel="alternate" media="only screen and (max-width: 640px)" href="https://m.domena.pl/"> - zamieszczamy w sekcji head desktopowejwersji strony oraz ustawiamy adres kanoniczny wskazujący na siebie (self-referencing canonical).

Szczegółowa instrukcja od Google

Czy syndykowanie treści to duplikat?

Syndykowanie to nic innego jak świadome i dobrowolne udostępnianie opublikowanej już treści innym serwisom. Serwisy takie umożliwiają dodanie treści na innej stronie i przedrukowanie jej przez innych użytkowników. Jeżeli podejmujesz się takiego działania, zadbaj aby w przypadku opublikowanego już artykułu podać jego źródło, czyli miejsce gdzie znajduje się jego oryginalna wersja (link do strony). W ten sposób robot natrafi co prawda na powieloną treść ale powiąże ją z odpowiednim źródłem.

Trzeba jednak pamiętać, że link do źródła nie zawsze wystarczy, aby Google wybrał oryginalną wersję jako kanoniczną. Przy świadomej dystrybucji tej samej treści warto rozważyć dodatkowo link kanoniczny do oryginału albo noindex na wersji publikowanej w serwisie zewnętrznym, jeśli jest to możliwe.

Czy podobna treść to również duplicate content?

To zależy od stopnia podobieństwa i wartości danej podstrony. Sama podmiana kilku wyrazów na synonimy nie wystarczy, jeśli tekst nadal przekazuje dokładnie to samo. Warto rozbudować treść o unikalne informacje, przykłady, dane, zastosowania, porównania, opinie lub elementy, które pomagają użytkownikowi podjąć decyzję.

Czy AI może powodować duplicate content?

Tak, AI może zwiększać ryzyko duplicate content, jeśli jest używana do masowego tworzenia podobnych tekstów bez kontroli jakości. Problemem nie jest samo narzędzie, lecz efekt: wiele stron o tej samej strukturze, podobnych zdaniach i niskiej wartości. Tworzenie treści z pomocą AI powinno obejmować redakcję, sprawdzanie faktów, dodawanie własnej wiedzy i dopasowanie tekstu do potrzeb użytkownika.