SEO blog

Wydawałoby się, że nie ma nic prostszego. Prawda jednak taka, że jest tutaj pewna pułapka.Posłużę się tu wyimaginowanym przykładem. Mam stronę www.stronawww.pl. Do dzisiaj z bliżej nieokreślonego powodu blokowałem całą stronę za pomocą pliku robots.txt przez parametr Disallow. Teraz jednak zmieniam zdanie i chcę żeby robot zaczął indeksować moją stronę, jakie są mozliwości przejścia z parametru Allow na Disallow:

• Mogę po prostu usunąć plik robots.txt (brak tego plikustandardowo jest uznawany przez robota wyszukiwarki za brak ograniczeń jeśli chodzi o indeksowania i przemierzanie witryny)
• Mogę wykonać powyższą operację i dodatkowo umieścić meta tag Robots z parametrami index, follo o ile do tej pory go nie było.
• I w końcu mogę zmienić zawartość pliku robots.txt z Disallow na Allow

Które rozwiązanie wybrać? Ostatnie! Dlaczego?

Po usunięciu pliku robots.txt przy kolejnej wizycie robota zauważy on jego brak, ale nie zmieni stanowiska co do blokowania przemierzania witryny. Przy takiej zmianie możemy czekać czasami znacznie dłużej na prawidłową reakcję robota na brak pliku robots.txt.