Im Verlauf des Crawlings werden auch die Unterseiten einer Website gecrawlt.
Hierfür hat der Crawler jedoch nur eine begrenzte Zeit zur Verfügung. Diese wird als Crawl Budget bezeichnet. Je nach Struktur, Größe oder Qualität der Website ist es möglich, dass nur eine begrenzte Anzahl von Unterseiten gecrawlt wird.