Google rezygnuje z narzędzia do ograniczania szybkości crawlingu w Google Search Console
Narzędzie do ograniczania szybkości crawlingu w Google Search Console zostanie wycofane 8 stycznia 2024 r. Google stwierdziło, że funkcja ta nie jest już przydatna, ponieważ firma udoskonaliła swoją „logikę crawlingu i inne narzędzia dostępne dla wydawców”.
Czym jest ogranicznik szybkości crawlingu?
Ogranicznik szybkości crawlingu to narzędzie znajdujące się w starszej wersji Google Search Console, które pozwala poinformować Google, aby pobierało Twoją witrynę mniej intensywnie niż obecnie i jest ono dostępne tutaj. Google od dawna zalecało nieograniczanie szybkości crawlingu, chyba że występują problemy z obciążeniem serwera, które na pewno są spowodowane nadmiernym obciążeniem przez Googlebota.
Dlaczego Google je usuwa?
Gary Illyes z Google powiedział: „Wraz z udoskonaleniami, które wprowadziliśmy do naszej logiki crawlingu i innych narzędzi dostępnych dla wydawców, jego użyteczność zmniejszyła się”.
„Googlebot reaguje na to, jak witryna – lub raczej serwer obsługujący witrynę – reaguje na żądania HTTP Googlebota. Na przykład, jeśli serwer stale zwraca kody stanu HTTP 500 dla zakresu adresów URL, Googlebot automatycznie i niemal natychmiast spowalnia crawling. Podobnie, Googlebot automatycznie spowalnia się, jeśli czas odpowiedzi na żądania znacznie się wydłuża. Jeśli doświadczasz niezwykle intensywnego crawlingu, którego Twoja witryna nie może sama obsłużyć, zapoznaj się z tym artykułem pomocy” – dodał Gary Illyes.
Illyes wyjaśnił, że narzędzie ograniczające prędkość w Google Search Console „miało znacznie wolniejszy wpływ”. Powiedział, że narzędzie często „potrzebowało ponad dnia, aby nowe limity zostały zastosowane do crawlingu”.
Dodał, że narzędzie było „rzadko” używane przez właścicieli witryn, a ci, którzy je używali, „w wielu przypadkach ustawiali prędkość crawlingu na najniższy możliwy poziom”.
Zmiana szybkości crawlingu
Google stwierdziło, że wraz z wycofaniem narzędzia do ograniczania szybkości crawlingu, ustawia minimalną szybkość crawlingu na niższą, porównywalną do starych limitów szybkości crawlingu. Oznacza to, że Google „w rzeczywistości będzie nadal respektowało ustawienia, które niektórzy właściciele witryn wprowadzili w przeszłości, jeśli zainteresowanie wyszukiwaniem jest niskie, a nasze roboty indeksujące nie marnują przepustowości witryny” – dodał Illyes.
Co zrobić, jeśli masz problemy
Jeśli masz problemy z crawlingiem, Google zaleca zapoznanie się z tym dokumentem pomocy i skorzystanie z formularza zgłoszeniowego, aby poinformować Google o problemie.