Co to jest robots.txt?
Robots.txt to plik tekstowy umieszczony w katalogu głównym witryny (example.com/robots.txt), który informuje boty wyszukiwarek, które sekcje strony mogą crawlować, a których powinny unikać. Jest to jedna z pierwszych rzeczy, które sprawdza Googlebot po wejściu na domenę.
Robots.txt działa na zasadzie „protokołu wykluczania robotów” (Robots Exclusion Protocol). Ważne: robots.txt to sugestia, a nie twarda dyrektywa – zaufane boty (np. Googlebot, Bingbot) respektują jego zapisy, ale złośliwe boty mogą je ignorować. Dlatego robots.txt nie jest mechanizmem bezpieczeństwa i nie chroni wrażliwych danych.
Podstawowa składnia:
- User-agent – określa, do jakiego bota odnoszą się reguły
- Disallow – blokuje dostęp do wskazanej ścieżki
- Allow – zezwala na dostęp do konkretnej ścieżki w obrębie zablokowanego katalogu
- Sitemap – wskazuje lokalizację mapy strony
Przykład blokujący folder admin dla wszystkich botów:
User-agent: *
Disallow: /admin/
Typowe zastosowania robots.txt w SEO:
- blokowanie stron zduplikowanych (np. wyników wyszukiwania wewnętrznego, filtrowanych stron w e-commerce)
- optymalizacja crawl budgetu na dużych witrynach
- blokowanie zasobów nieistotnych dla indeksacji (pliki CSS i JS potrzebne do renderowania powinny być dostępne)
- wskazywanie lokalizacji pliku sitemap.xml
Krytyczny błąd:
- blokowanie strony w robots.txt nie usuwa jej z indeksu Google
- jeśli inne strony linkują do zablokowanego adresu, Google może go zaindeksować i wyświetlić komunikat „Opis tej strony jest niedostępny z powodu pliku robots.txt”
- do usuwania stron z indeksu należy używać meta tagu noindex
Testowanie robots.txt:
- Google Search Console oferuje narzędzie do testowania pliku robots.txt
- przed wprowadzeniem zmian warto sprawdzić, czy nie blokujesz ważnych podstron
Częste błędy:
- sprzeczne reguły powodujące nieprzewidywalne działanie pliku
- blokowanie całej witryny (Disallow: /)
- blokowanie plików CSS i JS, co uniemożliwia poprawne renderowanie strony
- blokowanie stron, które powinny być indeksowane
Szukasz konsultanta SEO dla firm SaaS i B2B? Zobacz, jak mogę pomóc Twojej firmie rosnąć dzięki SEO.
Ekspert SEO, który od blisko dekady buduje strategie pozycjonowania dla firm SaaS i nie tylko - takie, które działają mimo ciągłych zmian algorytmów i rosnącej roli AI w wyszukiwaniu.