Zablokowanie konkretnych podstron przed robotami wyszukiwarki jest nierzadko bardzo istotnym krokiem wpływającym na pozycję danej strony. Ogólnie znane są dwie podstawowe metody, które służą właśnie do zablokowania takiej indeksacji. Pierwsza polega na wpisaniu specjalnej komendy, która przekazuje tag meta name=”robots”. Druga natomiast opiera się o zastosowanie pliku, a mianowicie chodzi tu o plik robots.txt, który to blokuje dostęp dla określonych robotów indeksujących. Mogą to być zarówno wszystkie roboty jak też tylko konkretne. Należy jednak uważać by używając pliku nie zablokować indeksowania całej strony.
Które podstrony warto blokować w plikach robots?
Istnieje kilka typów podstron, których lepiej jest nie indeksować. Otóż są to przede wszystkim:
-
formularze logowania, rejestracji
-
zmiana układu strony
-
regulaminy, polityka cookies
-
kopie strony
-
koszyk, zamówione produkty
-
podstrony dla grafik
-
stronicowanie nieprawidłowo zoptymalizowane pod SEO
-
wyniki wyszukiwania z wewnętrznej wyszukiwarki
-
nieprawidłowo zoptymalizowane tagi itp.
Powyższe przykłady ukazują podstrony, które najlepiej jest poddać blokadzie indeksu. Taka blokada stron w pliku robots pozwala przede wszystkim na zapewnienie prawidłowego funkcjonowania danej podstrony jak też jej wysokiej pozycji w rankingu. Doskonałym przykładem takich podstron przeznaczonych do wyindeksowania są różnego rodzaju formularze, odzyskiwanie hasła czy rejestracja. Tak naprawdę ich obecność w wyszukiwarce Google nie ma żadnego znaczenia ani korzyści, dlatego też należy zadbać jedynie o ich widoczność na stronie. To samo dotyczy także regulaminów czy też polityki strony i polityki cookies.
Treści, które ukazują obowiązki prawne właściciela powielają się na różnego typu stronach, dlatego też bez blokady indeksowania mogłoby dojść do podejrzenia o kopiowanie. To samo dotyczy właśnie stron, na których znajdują się świadome kopie treści. W przypadku podstron, na których umieszczone są opcje filtrowania, sortowania również dobrze jest zastosować blokadę w pliku robots. Na stronach, gdzie dokonuje się różnego rodzaju zamówień pojawia się podstrona koszyk, zamówienie czy też zwroty itp. Takie podstrony powinny być udostępnione jedynie klientom zamawiającym, dlatego trzeba zadbać o ich blokadę indeksacji. Tagowanie treści, a także prowadzenie archiwum dat i kategorii wpływa korzystnie na poruszanie się po stronie jednak niekoniecznie na jej pozycję. By uniknąć kopiowania treści czy też innych czynników warto, więc takie strony wyindeksować.
O czym trzeba pamiętać?
Skąd wiedzieć jak zablokować podstrony w Google? Przede wszystkim należy zawsze kierować się wskazówkami ze sprawdzonych źródeł. Dodatkowo by zrobić to prawidłowo należy przede wszystkim zadbać o to by zablokować jedynie konkretne podstrony, a nie cały serwis. Już z poziomy panelu administracyjnego można szybko zablokować stronę przed robotami wyszukiwarki. Należy jednak uważnie przyjrzeć się treści usługi i opcji by zawsze upewnić się, że to nie cała witryna zostanie wyindeksowana.