Ein Crawler (bzw. Web-Crawler) ist ein Programm, das automatisiert Websites durchsucht und ihre Inhalte analysiert.
Dies klingt zunächst vielleicht unspektakulär, bildet einen elementaren Bestandteil jeder Suchmaschine. Denn erst durch den Einsatz von Crawlern können Websites für Suchmaschinen „sichtbar“ werden.