Představte si velký e-shop, který má velmi mnoho – několik set tisíc nebo i více než milion URL; můžete si představit, že v tomto případě nebude rychlost zaindexování Googlu zrovna nejrychlejší. Navíc v případě e-shopů je fluktuace průběžná, tj. průběžně se doplňují a odstraňují produkty. Otázkou je, zda Google najde všechny nové URL, které odkazují na nové produkty? A co je také velmi důležité: pokud i najde, tak dříve, než URL konkurenčních stránek se stejnými produkty? Co je vlastně rozpočet na prohlížení webu (anglicky: crawl budget)?
Společnost Google v samostatném článku vysvětlila, o co se přesně jedná pod pojmem rozpočet na prohlížení webu potom, jak zjistila velký zájem o tento výraz mezi specialisty na SEO optimalizaci pro vyhledávače. Google v uvedeném článku hned na úvod zdůraznil, že kvůli „crawl budget“ se většina majitelů webů nemusí obávat. Google dokáže snadno prohlížet web i pokud má webová stránka „pouze“ několik tisíc URL. Není třeba se obávat ani tehdy, pokud nové stránky Google zmapuje za několik dnů. Pokud ale správce webu provozuje velkou webovou stránku, potom je velmi důležité určit, co má Google upřednostnit a co zaindexovat během prohlížení webu.
Googlebot (vyhledávací robot prohlížeče Google) během prohlížení prochází URL daných webových stránek takovým způsobem, aby nezatížil server web stránky. Dělá to proto, aby se web nezpomalil a aby se následně nezhoršil uživatelský zážitek daného webu, atd. V případě Google tzn. Crawl Rate Limit (počet robotů, které zvládne web) určí, jak často roboti prohlížejí danou webovou stránku, tj. upravuje počet prohlížení a také časový interval prohlížení. Samozřejmě se tato hodnota může měnit v závislosti od kvality webu. Hodnotu Crawl Rate Limit je možné nastavit v Search Consol.
Potřebu prohlížení webu tj. Crawl Demand určuje popularita a celková aktualizace daného webu. Google se snaží indexovat co nejčastěji kvůli tomu, aby uživatelům poskytl co nejčerstvější aktualizace. Googlebot upřednostňuje prohlížení dávněji indexovaných URL, proto je důležitý i věk jednotlivých URL.
A nyní se vraťme k rozpočtu na prohlížení webu. Rozpočet na prohlížení webu – tj. číslo, kolik URL chce a dokáže Google zmapovat za daný čas – určují společně už výše zmíněný Crawl Rate Limit a Crawl Demand.
Je třeba myslet na to, že nekvalitní URL negativně ovlivňují indexování i prohlížení webu. Google během prohlížení nekvalitních URL zbytečně plýtvá svými silami na obsah který je například duplicitní, URL s chybovým hlášením 404 nebo spamový obsah.
Nezaškodí ani to, pokud se web stránka rychle načítá, tj. nachází se na nesprávném serveru, protože potom i zmapování proběhne rychleji. (Alternativní URL berou také z rozpočtu na prohlížení.)
Zmapování/prohlížení webu je důležité kvůli tomu, aby se web objevil ve výsledcích vyhledávání, z hlediska SEO optimalizace pro vyhledávače na určení pořadí nemá žádný vliv. Nekvalitní zmapování webu je jednoznačně znakem slabé kvality webové stránky, proto se nedá úplně ignorovat.