De robots.txt-bestand is een instructiebestand dat webmasters kunnen gebruiken om zoekmachines te informeren over welke pagina’s van een website wel of nietLees verderhoe kan je het beste Robots.txt gebruken