blokada stron w pliku robots

Zablokowanie konkretnych podstron przed robotami wyszukiwarki jest nierzadko bardzo istotnym krokiem wpływającym na pozycję danej strony. Ogólnie znane są dwie podstawowe metody, które służą właśnie do zablokowania takiej indeksacji. Pierwsza polega na wpisaniu specjalnej komendy, która przekazuje tag meta name=”robots”. Druga natomiast opiera się o zastosowanie pliku, a mianowicie chodzi tu o plik robots.txt, który to blokuje dostęp dla określonych robotów indeksujących. Mogą to być zarówno wszystkie roboty jak też tylko konkretne. Należy jednak uważać by używając pliku nie zablokować indeksowania całej strony. Czytaj więcej »Jakie podstrony blokować w plikach robots?