Crawl rate to tempo, w jakim Googlebot odwiedza Twoją stronę – ile żądań na sekundę/minutę jest w stanie wysłać do hosta, nie przeciążając serwera. Od tego, jak Google ustali tę częstotliwość, zależy szybkość indeksowania nowych i aktualizowanych treści, a przy większych serwisach także realne wykorzystanie crawl budgetu.
Crawl rate a crawl budget – podstawy
Crawl rate to techniczne ograniczenie: maksymalna liczba równoległych połączeń i żądań, które Googlebot może wykonać do Twojego hosta, zanim zauważy spadek wydajności (wzrost czasów odpowiedzi lub błędy 5xx). Jest to parametr dynamiczny – Google stale go koryguje w górę lub w dół, testując jak serwer reaguje na obciążenie.
Crawl budget to z kolei liczba URL-i w Twojej domenie, które Google może i chce przeskanować w określonym czasie, wynik połączenia crawl rate (ile serwer „udźwignie”) oraz crawl demand (jak bardzo opłaca się Google wracać do Twoich treści). W praktyce problem budżetu pojawia się przy witrynach z setkami tysięcy i milionami podstron, gdzie łatwo „przepalić” zasoby na duplikaty, filtry i mało istotne strony.
Najważniejsze różnice – w skrócie
| Element | Crawl rate – tempo crawlowania | Crawl budget – budżet URL |
|---|---|---|
| Definicja | Maksymalna liczba żądań Googlebota do hosta w jednostce czasu. | Liczba stron, które Google może i chce przeskanować w danym okresie. |
| Ograniczenie | Wydajność serwera, błędy, czas odpowiedzi. | Ważność i jakość URL-i, struktura, duplikaty. |
| Kogo dotyczy najmocniej | Serwery z ograniczonymi zasobami (łatwe przeciążenie). | Duże, rozbudowane serwisy (e‑commerce, portale). |
Jak Google ustala crawl rate krok po kroku
Google opiera się na dwóch mechanizmach: crawl rate limit (co serwer wytrzyma) i crawl demand (zapotrzebowanie na skanowanie). Crawl rate limit rośnie, gdy serwer szybko odpowiada i generuje mało błędów 5xx, a spada, gdy rosną czasy odpowiedzi lub pojawiają się przeciążenia.
Crawl demand zależy od popularności i ważności treści (linki, autorytet domeny, sygnały użytkowników) oraz częstotliwości zmian na stronie. Sekcje serwisu, które często się aktualizują (np. newsy, blog, zmieniające się oferty w e‑commerce), otrzymują priorytet i są odwiedzane częściej niż statyczne podstrony informacyjne.
Czynniki wpływające na częstotliwość indeksowania
Najsilniejszym hamulcem dla crawl rate jest wydajność serwera: wolne odpowiedzi, nagłe skoki czasów ładowania i błędy 5xx powodują natychmiastowe ograniczenie tempa crawlowania, aby nie „dołożyć” obciążenia. Z drugiej strony szybki hosting, sensowne cache, CDN i lekki kod powodują, że Googlebot może bezpiecznie zwiększać liczbę żądań i częściej odświeżać ważne URL-e.
Bardzo istotne są też: popularność strony (linki zewnętrzne, autorytet domeny), dobra architektura informacji oraz mocne linkowanie wewnętrzne, dzięki którym Googlebot łatwo dociera do nowych i kluczowych podstron. Nadmierna liczba parametrów, duplikatów, filtrów czy słabej jakości thin contentu marnuje crawl budget, bo bot „kręci się” po mało wartościowych adresach kosztem stron, które faktycznie chcesz wypchnąć w SERP-ach.
Co możesz zrobić w praktyce
Od 2024 roku nie ma już w Search Console ręcznego suwaka do ustawiania crawl rate, więc realny wpływ masz przede wszystkim pośrednio, przez optymalizację techniczną i strukturalną. Podstawą jest szybki, stabilny serwer (TTFB i średni czas odpowiedzi możliwie niskie), ograniczenie błędów 5xx i kontrola zasobów szczególnie ciężkich (np. duże grafiki, skrypty) – w razie potrzeby możesz je zablokować w robots.txt, jeśli nie są krytyczne dla zrozumienia treści.
W raportach „Statystyki indeksowania” (Crawl Stats) w Search Console sprawdzisz m.in. dzienną liczbę żądań, średni czas odpowiedzi i typy pobieranych zasobów, co pomaga wychwycić spadki crawl rate oraz strony, które Google odwiedza zbyt rzadko. Następnie warto: porządkować „śmieciowe” URL-e (parametry, duplikaty, testowe podstrony), ulepszać sitemapę XML i utrzymywać logiczną, możliwie płaską strukturę nawigacji, by najważniejsze adresy były 1–2 kliknięcia od strony głównej i regularnie dostawały swoją „porcję” crawl budgetu.
