Plik robots.txt to prosty plik tekstowy w głównym katalogu strony, który mówi robotom wyszukiwarek, których adresów mają nie odwiedzać. Steruje crawlowaniem (skanowaniem), a błędy w nim potrafią poważnie zaszkodzić widoczności w Google. Oto, jak działa i o czym pamiętać.
Do czego służy robots.txt?
Robot Google przed skanowaniem sprawdza plik twojadomena.pl/robots.txt. Znajdują się w nim reguły Disallow (nie skanuj tego) i Allow (możesz skanować). Dzięki temu możesz np. wykluczyć panel administracyjny, koszyk czy strony techniczne, żeby robot nie marnował na nie czasu.
Przykład prostego robots.txt
Typowy plik dla WordPressa blokuje panel, ale pozwala na resztę i wskazuje mapę witryny:
User-agent: *— reguły dla wszystkich robotów.Disallow: /wp-admin/— nie skanuj panelu.Sitemap: https://twojadomena.pl/sitemap.xml— wskazanie mapy witryny.
Jak robots.txt wpływa na SEO?
Dobrze ustawiony plik pomaga robotowi skupić się na wartościowych stronach (oszczędza tzw. crawl budget). Źle ustawiony — potrafi zablokować całą stronę przed Google. Najgroźniejszy błąd to przypadkowy wpis Disallow: /, który mówi „nie skanuj niczego”.
Robots.txt a noindex — ważna różnica
To dwie różne rzeczy, które łatwo pomylić:
- robots.txt (Disallow) — blokuje skanowanie. Strona może i tak trafić do indeksu (bez treści), jeśli prowadzą do niej linki.
- meta noindex — mówi „nie pokazuj tej strony w wynikach”. Aby zadziałał, robot musi móc stronę zeskanować — więc nie blokuj jej jednocześnie w robots.txt.
Najczęstsze błędy
- Przypadkowa blokada całej strony (
Disallow: /). - Blokowanie plików CSS/JS, przez co Google nie renderuje strony poprawnie.
- Używanie robots.txt zamiast noindex do ukrywania stron z wyników.
FAQ
Gdzie znajdę plik robots.txt?
Pod adresem twojadomena.pl/robots.txt. W WordPressie generują go wtyczki SEO; można go też edytować ręcznie.
Czy każda strona musi mieć robots.txt?
Nie jest obowiązkowy, ale warto go mieć — choćby po to, by wskazać mapę witryny i wykluczyć zbędne adresy.
Zablokowałem stronę w robots.txt i zniknęła z Google — co robić?
Usuń błędną regułę Disallow i poproś o ponowne zaindeksowanie w Search Console. Widoczność powinna wrócić.
Masz problem z widocznością strony?
Sprawdzę robots.txt, indeksację i całe techniczne SEO. Napisz do mnie.
Powiązane artykuły:
- Co to jest schema.org i jak wpływa na SEO?
- Co to jest sztuczna inteligencja i jak wpływa na Twoje życie?
- Jak zoptymalizować stronę HTML pod SEO?
- Kiedy warto zainwestować w SEO, a kiedy w Ads?
