Plik robots.txt to jeden z podstawowych elementów technicznego SEO, który pozwala kontrolować, które części Twojej strony internetowej mogą być indeksowane przez roboty wyszukiwarek (np. Googlebot). Choć to tylko zwykły plik tekstowy, jego rola w pozycjonowaniu strony jest nie do przecenienia. W tym artykule wyjaśniam, do czego służy robots.txt, jak go prawidłowo skonfigurować i jakie błędy mogą zaszkodzić Twojej widoczności w Google.


1. Czym jest plik robots.txt?
To plik tekstowy umieszczony w głównym katalogu strony (np. twojastrona.pl/robots.txt), który zawiera instrukcje dla robotów indeksujących. Dzięki niemu możesz określić, które katalogi lub pliki mają być ignorowane przez wyszukiwarki.
Nie służy do blokowania dostępu dla użytkowników – tylko dla robotów (botów).
Jest częścią tzw. „protokółu robots exclusion standard”.

2. Jak wygląda przykładowy plik robots.txt?
Oto prosty przykład pliku:
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://twojastrona.pl/sitemap.xml
Ten plik:
Dotyczy wszystkich robotów (User-agent: *).
Blokuje dostęp do katalogu administracyjnego WordPressa (/wp-admin/).
Zezwala na dostęp do AJAX-a, który może być potrzebny do działania strony.
Podaje lokalizację mapy witryny, co pomaga robotom szybciej zaindeksować stronę.

3. Jak robots.txt wpływa na SEO?
Plik robots.txt pomaga zoptymalizować budżet indeksowania (crawl budget) – czyli czas i zasoby, które Googlebot poświęca na Twoją stronę. Dzięki niemu można wykluczyć z indeksowania nieistotne lub powtarzające się treści, co pozwala skupić się robotom na najważniejszych podstronach.
Blokując duplikaty lub zaplecze techniczne strony, unikasz problemów z indeksacją zbędnych adresów URL.
Zbyt agresywne blokowanie (np. całej strony) może jednak całkowicie uniemożliwić pojawienie się strony w wynikach wyszukiwania.

4. Najczęstsze błędy w robots.txt
Źle skonfigurowany plik może wyrządzić więcej szkody niż pożytku. Oto błędy, których należy unikać:
Disallow: / – całkowicie blokuje indeksowanie całej strony.
Brak wpisu Sitemap: – roboty mogą nie wiedzieć, gdzie szukać mapy witryny.
Blokowanie zasobów potrzebnych do renderowania strony (np. /wp-includes/, /js/, /css/).

5. Jak sprawdzić, czy robots.txt działa prawidłowo?
Google Search Console oferuje narzędzie do testowania pliku robots.txt. Możesz też wpisać w przeglądarce adres twojastrona.pl/robots.txt i sprawdzić jego zawartość ręcznie.
Upewnij się, że najważniejsze podstrony nie są przypadkowo zablokowane.

Podsumowanie
Plik robots.txt to kluczowe narzędzie w zarządzaniu widocznością strony w wyszukiwarkach. Dzięki niemu można poprawić indeksację, oszczędzić zasoby robotów i zabezpieczyć niektóre obszary witryny przed niepożądanym dostępem. Pamiętaj jednak, że niewłaściwa konfiguracja może spowodować problemy z widocznością w Google. Dlatego warto regularnie analizować ten plik i upewniać się, że wspiera on Twoją strategię SEO, a nie ją blokuje.