Een crawler is een software programma dat automatisch websites bezoekt om informatie te verzamelen. Het wordt vaak gebruikt door zoekmachines om webpagina’s te indexeren, wat betekent dat ze doorzoeken en categoriseren om later in resultaten te worden weergegeven wanneer iemand een zoekopdracht uitvoert. Crawlers volgen links op een pagina en verzamelen gegevens over de inhoud en structuur van de site. Het resultaat is een database die snel en gemakkelijk door zoekmachines kan worden gebruikt om resultaten te geven aan gebruikers.