Test, który zajmuje minutę

Wpisz w przeglądarkę adres swojej strony i dopisz na końcu /robots.txt — czyli na przykład https://twojsalon.pl/robots.txt. Otworzy się zwykły, brzydki plik tekstowy i to jest dokładnie to, co miało się otworzyć. Szukasz w nim nazw robotów AI: GPTBot to OpenAI, ClaudeBot to Anthropic, PerplexityBot to Perplexity, Google-Extended odpowiada za Gemini, a poza nimi pojawiają się jeszcze CCBot, Bytespider czy Applebot-Extended. Jeżeli przy którejkolwiek z tych nazw widzisz linię Disallow: /, to znaczy, że ten konkretny robot ma zakaz wejścia na całą stronę i żadna treść, którą tam umieścisz, nie zostanie przez niego przeczytana. Ukośnik po dwukropku jest tu kluczowy, bo samo Disallow: bez niczego dalej oznacza coś dokładnie odwrotnego — że nic nie jest zablokowane. Jeśli plik w ogóle się nie otwiera i widzisz komunikat o błędzie, to zazwyczaj dobra wiadomość, bo brak pliku oznacza brak zakazów. Zrób zrzut ekranu tego, co zobaczyłaś, niezależnie od wyniku — przyda się w rozmowie z osobą, która zajmuje się stroną.
‍

Skąd się w ogóle bierze taka blokada

Prawie nigdy nie stoi za nią świadoma decyzja właścicielki, i to jest w tym najbardziej frustrujące. Wtyczki bezpieczeństwa do WordPressa, przede wszystkim Wordfence i iThemes Security, potrafią blokować roboty AI w ramach domyślnej konfiguracji albo w pakiecie z opcją ograniczania „niepożądanego ruchu", która brzmi rozsądnie i którą ktoś kiedyś włączył. Popularne wtyczki SEO, w tym Yoast i Rank Math, w kolejnych aktualizacjach dodały przełącznik odpowiadający za dostęp botów AI, a część instalacji dostała go domyślnie włączony. Bywa też, że blokada siedzi zupełnie gdzie indziej niż w WordPressie — na poziomie Cloudflare'a, który od jakiegoś czasu oferuje blokowanie botów AI jednym kliknięciem, albo w panelu hostingu, gdzie ktoś z pomocy technicznej włączył to przy okazji rozwiązywania innego problemu. Najczęstszy scenariusz z życia wygląda tak, że dwa lata temu, gdy prasa pisała o tym, że sztuczna inteligencja „kradnie treści", agencja albo znajomy informatyk zaznaczył tę opcję w dobrej wierze i nikt nigdy do tej decyzji nie wrócił. Wtedy miała sens. Dziś oznacza po prostu nieobecność w miejscu, w którym coraz więcej klientek szuka salonu.
‍

Jak to naprawić i co powiedzieć osobie od strony

Poprawny plik dla salonu, któremu zależy na widoczności, jest krótki i wygląda mniej więcej tak: linia User-Agent: *, pod nią Disallow: bez niczego po dwukropku, a na końcu adres mapy strony, czyli Sitemap: https://twojadomena.pl/sitemap_index.xml. To wszystko — takie trzy linijki oznaczają, że wszystkie roboty mogą wejść wszędzie i wiedzą, gdzie znajdą spis podstron. Samodzielna edycja tego pliku bywa możliwa z poziomu wtyczki SEO, ale jeśli nie czujesz się z tym pewnie, nie kombinuj, bo źle zapisany robots.txt potrafi wyłączyć stronę z Google, a to znacznie gorszy problem niż ten, który rozwiązujesz. Napisz zamiast tego do osoby obsługującej stronę jedno zdanie: „proszę o odblokowanie w robots.txt robotów GPTBot, ClaudeBot, PerplexityBot i Google-Extended oraz o sprawdzenie, czy blokada nie jest ustawiona po stronie Cloudflare albo wtyczki bezpieczeństwa". Konkretne nazwy w tej wiadomości mają znaczenie, bo zamieniają rozmowę z ogólnej na techniczną i skracają ją do kilku minut. Jeśli usłyszysz w odpowiedzi, że blokowanie botów AI chroni Waszą stronę przed kradzieżą treści, warto dopytać, przed czym konkretnie chroni salon, którego cały cel polega na tym, żeby jak najwięcej osób dowiedziało się, że istnieje i ile bierze za koloryzację.
‍

Co jeszcze sprawdzić, skoro już tam jesteś

Skoro masz otwarty ten plik, sprawdź przy okazji dwie rzeczy, które zajmą kolejne dwie minuty. Pierwsza to linia z mapą strony na końcu pliku — otwórz podany tam adres i zobacz, czy faktycznie ładuje się lista Twoich podstron, bo zdarza się, że wskazuje na sitemapę sprzed przebudowy strony i prowadzi donikąd. Druga to prosty test tego, czy Twoje treści w ogóle istnieją jako tekst: wejdź na podstronę z cennikiem albo opisem zabiegów, kliknij prawym przyciskiem i wybierz „pokaż źródło strony", a potem poszukaj w tym gąszczu kodu dowolnego zdania ze swojej oferty. Jeśli je znajdziesz, jest dobrze. Jeśli nie ma go nigdzie, treść prawdopodobnie doczytuje się skryptem już po załadowaniu strony, a to oznacza, że część robotów jej nie zobaczy — i to jest już rozmowa dla osoby technicznej, ale warto ją odbyć uzbrojoną w konkret. Na koniec wpisz nazwę swojego salonu razem z miastem w ChatGPT i zapytaj wprost, co model o Was wie: odpowiedź powie Ci w kilkanaście sekund, czy problem był tylko w blokadzie, czy raczej w tym, że na stronie nie ma czego czytać. Jeśli ten tekst pomógł Ci znaleźć u siebie Disallow: /, prześlij go dalej znajomej właścicielce — statystycznie u co którejś z nich siedzi dokładnie to samo.

‍