SEO training-, kennis- en adviescentrum › SEO forum › SEO vragen en discussies › Robotst.txt & Linkbuilding › Reageer op: Robotst.txt & Linkbuilding
De robots.txt ziet er wel wat vreemd uit, maar toch lijkt het allemaal wel goed te gaan. De volgende regel maakt dat Googlebot toestemming krijgt de gehele site te crawlen:
User-agent: Googlebot
Disallow:
Op het eind staat echter de volgende code:
User-agent: *
Disallow: /
Dat betekent dat alle user-agents, waaronder Googlebot, geen toestemming krijgen de site te crawlen.
Nu is het zo dat Google in dat geval de meest specifieke instructie volgt, dus de eerste. De site wordt daarmee netjes gecrawld. Dit blijkt ook uit het feit dat als we naar de cache van de ditters.nl-pagina’s kijken, de pagina’s inderdaad geïndexeerd zijn.
Meer info Google: https://support.google.com/webmasters/answer/1061943?hl=nl
- Deze reactie is gewijzigd 8 jaren, 1 maand geleden door Alain Sadon.