Musí malý e-shop řešit crawl budget?
Většinou ne. Pokud Google nachází a pravidelně prochází důležité produkty a kategorie, stačí udržovat čistou strukturu odkazů, aktuální XML sitemapu a zdravý server. Crawl budget řešte až tehdy, když velké množství důležitých URL zůstává ve stavu „Nalezena – momentálně neindexováno“, nové stránky se dlouho neprocházejí nebo statistiky a log serveru ukazují, že Googlebot spotřebovává požadavky na duplicitní filtry, parametry a chybové URL.
Crawl budget není skóre SEO ani tlačítko, kterým si objednáte častější návštěvy Googlebotu. Je to praktický limit toho, kolik URL vašeho webu Google může a chce projít. U menšího e-shopu bývá větší problém kvalita, interní odkazy nebo indexace než samotný rozpočet procházení. U rozsáhlého katalogu však mohou nekonečné filtry a technické duplicity schovat nové produkty v hromadě zbytečných adres.
Google uvádí orientační signály pro weby s přibližně milionem a více pravidelně se měnících stránek nebo s více než deseti tisíci velmi rychle se měnících URL. Nejde o ostré hranice. Rozhodující je, zda Google nestíhá procházet právě vaše důležité stránky.
Kdy crawl budget neřešit a kdy zbystřit
| Co na e-shopu vidíte | Co udělat |
|---|---|
| Důležité produkty a kategorie jsou procházené a indexované | Udržujte sitemapu, odkazy a server; samostatný projekt není potřeba. |
| Nová URL se neobjeví v Googlu tentýž den | Nepropadejte panice. Běžné procházení může trvat několik dnů. |
| Mnoho důležitých URL je dlouho „Nalezeno – momentálně neindexováno“ | Ověřte procházení, interní odkazy, sitemapu, kvalitu a kapacitu serveru. |
| Filtry a parametry vytvářejí statisíce či miliony kombinací | Změřte, které adresy Googlebot skutečně navštěvuje, a omezte zbytečný prostor. |
| Statistiky ukazují chyby 5xx, 429 nebo potíže s dostupností hostitele | Nejdřív opravte server a špičky; Google může procházení sám zpomalit. |
Samotný počet nezaindexovaných URL nestačí. Stav „Procházeno – momentálně neindexováno“ znamená, že Google stránku načetl, ale zatím ji nezařadil do indexu. To je jiný problém než nedostatek procházení. Postup podle důvodu najdete v návodustránka není indexovaná v Search Console.
Co crawl budget ve skutečnosti omezuje
Google ho popisuje jako spojení dvou veličin. Kapacita procházení vyjadřuje, kolik souběžných spojení server bezpečně zvládne a jak dlouho odpovídá. Když server zpomaluje, vrací chyby nebo žádá omezení požadavků, Googlebot může ubrat. Poptávka po procházení vyjadřuje, jak moc Google dané URL potřebuje znovu navštívit podle jejich významu, změn a dalších signálů.
Majitel e-shopu má největší vliv na třetí praktickou část: kolik adres web Googlu vůbec nabízí. Jediný produkt může vzniknout v čisté URL, několika filtrovacích kombinacích, výsledku interního hledání, variantě s řazením i s měřicím parametrem. Pro člověka jde pořád o stejnou nabídku, pro robota to mohou být různé adresy k posouzení.
Diagnostika ve čtyřech krocích
1. Oddělte nalezení, procházení a indexaci
V přehledu Indexování stránek v Search Console zjistěte, zda problémové URL Google vůbec zná, zda je už prošel a jaký uvádí důvod nezařazení. Vyberte vzorky obchodně důležitých produktů a kategorií, ne náhodný součet všech technických adres. U každého typu zkontrolujte několik URL nástrojem Kontrola adresy.
2. Otevřete Statistiky procházení
V nastavení služby Search Console hledejte vývoj počtu požadavků, objem stažených dat, průměrnou dobu odezvy, účel procházení a odpovědi serveru. Jeden výkyv není automaticky chyba. Důležitý je opakovaný vzorec: růst chybových stavů, zhoršení dostupnosti hostitele nebo vysoký podíl nepotřebných typů URL.
3. Zkontrolujte, zda se Google dostane k produktům
Googlebot nevyplňuje interní vyhledávání a nemusí stisknout tlačítko „Načíst další“. Důležité produkty propojte běžnými odkazy <a href> přes kategorie, podkategorie a stránkování. Pokud používáte odlišný mobilní HTML obsah, musí stejné cesty zůstat dostupné i na mobilu. Pomoci může také čistáXML sitemapa e-shopu, ale není náhradou za procházenou strukturu webu.
4. Teprve potom otevřete log serveru
Search Console ukazuje souhrny. Pokud potřebujete vědět, zda Googlebot navštěvuje hlavně parametry řazení, košík, interní hledání nebo chybové adresy, použijte přístupový log serveru. Pro každou navštívenou URL si poznamenejte typ stránky, stavovou odpověď a datum. Identitu skutečného Googlebotu ověřujte podle doporučeného postupu Googlu, ne jen podle snadno napodobitelného názvu uživatelského agenta.
Opravy dělejte v tomto pořadí
1. Zmenšete zbytečný prostor URL
Začněte adresami, které se násobí bez nové hodnoty: pořadí parametrů, řazení, prázdné filtry, výsledky interního hledání, relace, košík nebo měřicí parametry. Sjednoťte interní odkazy a canonical na preferované podoby. U trvale nepotřebných cest může procházení omezit robots.txt, ale jeho použití nejdřív otestujte. Pravidlo v robots.txt samo o sobě nezaručuje odstranění známé URL z indexu.
Nástroje nekombinujte mechanicky. noindex je pokyn k neindexování, ale Google musí URL načíst, aby ho přečetl. Proto plošný noindex nešetří procházení okamžitě. Canonical je signál pro výběr hlavní verze, ne spolehlivá brzda nekonečného prostoru. Bezpečné rozhodování pro konkrétní typ adres popisuje článek ofiltrech a stránkování e-shopu.
2. Odstraňte slepé a chybové cesty
Zrušené stránky bez náhrady mají vracet 404 nebo 410, ne měkkou chybu 404 s úspěšným stavem 200. Přesměrování veďte přímo na smysluplný cíl a zkraťte řetězce. Interní odkazy, sitemapu a produktový feed přepište na konečnou URL, aby Google nemusel pokaždé procházet mezikroky. Pokud se adresy měnily, projděte postup prozměnu URL bez ztráty SEO.
3. Zpřesněte signály o změnách
Do sitemapy uvádějte jen kanonické URL, které chcete indexovat. Hodnotu lastmod měňte při významné úpravě hlavního obsahu, ne při každém přepočtu patičky nebo skladového počítadla. Nemá smysl odesílat stejnou nezměněnou sitemapu několikrát denně. Pro produkty můžete vedle sitemapy používat také Merchant Center, ale ani jeden zdroj nezaručuje indexaci.
4. Stabilizujte server
Opravte opakované odpovědi 5xx a 429, dlouhé odezvy a výpadky hostitele. Cachování a odpověď 304 u nezměněného obsahu mohou šetřit přenesená data i výkon. Rychlejší server pomůže Googlu načíst web spolehlivěji, ale nepřesvědčí ho indexovat slabou nebo duplicitní stránku jen proto, že se načetla rychle.
5. Zvyšte hodnotu důležitých stránek
Produkty a kategorie, které mají získávat návštěvy, musí být jedinečné, užitečné a dobře propojené. Přidejte je do logické hierarchie a odkazujte na ně z relevantních míst. Při rozhodování pomůže návod nainterní odkazy v e-shopu. Častější procházení samo o sobě nezlepší pozice, pokud stránka neodpovídá hledanému záměru.
Čtyři zkratky, které problém neřeší
- Crawl-delay v robots.txt: Googlebot tento nestandardní pokyn nepodporuje. Problémy s kapacitou řešte přes server a příslušné nástroje Googlu.
- Hromadný noindex: URL se musí nejdřív projít, aby Google pokyn objevil; špatně zvolený rozsah navíc může skrýt hodnotné stránky.
- Falešné změny data: přepis lastmod nebo drobné úpravy mezer nevytvářejí užitečnou aktualizaci stránky.
- Opakované žádosti o indexaci: žádost ani sitemapu není potřeba posílat znovu jen proto, že se výsledek neukázal ihned.
Kontrolní seznam pro hodinový audit
- Vyberte 20 důležitých nových a aktualizovaných URL z posledního měsíce.
- V Search Console rozdělte „nalezené“ a „procházené“ nezaindexované URL.
- Zkontrolujte stav a poslední procházení reprezentativních vzorků.
- Ve Statistikách procházení porovnejte požadavky, odezvu a chyby serveru.
- Ověřte cestu z menu a kategorií k produktům pomocí běžných odkazů.
- Projděte sitemapu: jen kanonické URL, poctivý lastmod, žádné filtry.
- Sepište generátory parametrů, duplicit, soft 404 a řetězců přesměrování.
- Máte-li log, rozdělte požadavky Googlebotu podle typu stránky a odpovědi.
- Opravte jeden typ problému a uložte si výchozí stav pro porovnání.
- Počkejte na nový vzorek dat; neposuzujte výsledek podle jediného dne.
Nejčastější otázky
Je deset tisíc URL přesná hranice?
Ne. Google ji uvádí jen jako hrubý orientační signál pro weby s velmi rychle se měnícím obsahem. E-shop s menším počtem produktů může mít technický problém s nekonečnými parametry, zatímco čistý větší katalog může fungovat bez zvláštního zásahu.
Zlepší větší crawl budget pozice ve vyhledávání?
Ne přímo. Důležitá stránka se nejdřív musí najít a projít, aby mohla být posouzena. Častější procházení ale není samostatný hodnoticí signál a nevyřeší slabý obsah, duplicitu ani chybějící poptávku.
Mám filtry zablokovat v robots.txt, nebo použít noindex?
Záleží na současné indexaci, způsobu generování URL a cíli. Robots.txt omezuje procházení, noindex indexaci a canonical slučování podobných verzí. Nejdřív sjednoťte odkazy a URL, změnu otestujte na jednom typu filtru a ověřte, že Google stále najde všechny důležité produkty.
Ukáže Search Console přesně všechny URL navštívené Googlebotem?
Ne. Statistiky procházení jsou souhrnný diagnostický přehled. Pro přesný seznam cest, časů a odpovědí potřebujete přístupový log serveru a ověřenou identitu robota.
