Wat is een crawler

• 
• 0

Een crawler is een software programma dat automatisch websites bezoekt om informatie te verzamelen. Het wordt vaak gebruikt door zoekmachines om webpagina’s te indexeren, wat betekent dat ze doorzoeken en categoriseren om later in resultaten te worden weergegeven wanneer iemand een zoekopdracht uitvoert. Crawlers volgen links op een pagina en verzamelen gegevens over de inhoud…