Nie chce żeby moja strona pojawiła się w indeksie Google. Co zrobić?
1. Zabezpieczenie hasłem treści strony. Oznacza to jednoczesne zablokowanie treści dla zwykłych użytkowników, którzy nie znają hasła. Stosowane często w przypadku treści, które mają być udostępniane zamkniętej grupie użytkowników (fora internetowe).
2. Meta tag robot. Pozwala on na zablokowanie strony dla robota Google. Umieszczenie parametru noindex w tagu robot pozwala na uniknięcie indeksowania jej przez wyszukiwarkę. Trudnością blokowania treści tej metody jest konieczność umieszczania tego tagu na każdej podstronie.
3. Plik robot.txt to najbardziej elastyczny sposób blokowania treści dla robotów wyszukiwarek. Pozwala on m.in. na blokowanie pewnych działów serwisu (katalogów) przy jednoczesnym odblokowaniu ich fragmentów (podkatalogów). Ponadto dzięki plikowi robots.txt mamy możliwość prowadzenia różnej polityki dostępności witryny dla różnych robotów wyszukiwarek internetowych.
4. Istnieje jeszcze jedna metoda umożliwiająca ukrywanie pewnych treści przed robotami wyszukiwarek oparta na cloakingu (wyświetlaniu robotowi wyszukiwarki innej treści niż zwykłemu użytkownikowi), jednakże nie polecamy tej metody.