Co to jest X-Robots-Tag?

X-Robots-Tag to nagłówek HTTP służący do kierowania zachowaniem crawlerów i indeksowaniem zawartości – alternatywa dla meta tagu robots, szczególnie przydatna dla zasobów, w których nie można edytować HTML (np. PDF, obrazy, odpowiedzi API).

Składnia:

• X-Robots-Tag: noindex, nofollow – blokuje indeksowanie i śledzenie linków
• X-Robots-Tag: noindex – blokuje tylko indeksowanie
• X-Robots-Tag: unavailable_after: [data] – strona zostanie usunięta z indeksu po wskazanej dacie
• X-Robots-Tag: max-snippet:-1 – pozwala Google wyświetlić pełny opis w wynikach wyszukiwania
• X-Robots-Tag: Googlebot: noindex – dyrektywa tylko dla konkretnego robota

Praktyczne zastosowania:

• blokowanie plików PDF w indeksie (np. przy treściach chronionych prawami autorskimi)
• wykluczanie wersji do druku (zwykle mają niższą wartość SEO)
• blokowanie duplikatów (np. wersji mobilnych lub alternatywnych)
• kontrola indeksowania dużych plików (wideo, archiwa)
• wykluczanie reklam i trackerów, aby nie marnować crawl budget

Priorytet:

• X-Robots-Tag ma wyższy priorytet niż robots.txt
• ma niższy priorytet niż meta tag robots w HTML
• jeśli występują sprzeczne sygnały (np. meta robots=”index” i X-Robots-Tag: noindex), decydujący jest meta tag

Implementacja:

• Apache (.htaccess):
  <FilesMatch „\.pdf$”>
  Header set X-Robots-Tag „noindex, nofollow”
  </FilesMatch>
• Nginx:
  add_header X-Robots-Tag „noindex”;
• WordPress:
  • można użyć wtyczek takich jak Yoast SEO lub Rank Math do zarządzania nagłówkami

---

← Powrót do słownika SEO

---

Szukasz konsultanta SEO dla firm SaaS i B2B? Zobacz, jak mogę pomóc Twojej firmie rosnąć dzięki SEO.