SEO training-, kennis- en adviescentrum › SEO forum › SEO vragen en discussies › Redenen om webpagina uit te sluiten met robots.txt? › Reply To: Redenen om webpagina uit te sluiten met robots.txt?
Over het algemeen kun je het wel aan Google overlaten of een pagina relevant is voor de zoekmachine. Pagina’s die je zou kunnen uitsluiten zijn bijvoorbeeld loginpagina’s, waar de informatie pas zichtbaar wordt nadat men is ingelogd of pagina’s met foutmeldingen.
Een andere categorie pagina’s, die ik zeker zou uitsluiten via een robots.txt zijn de pagina’s, die de zoekresultaten tonen van de interne zoekmachine op je site. Dergelijke pagina’s komen soms in de index terecht. Dat is niet echt de bedoeling, omdat het dan de zoekopdracht van een individuele bezoeker van je site zichtbaar maakt aan anderen.