[Gebruiker2500]

Wat zijn goede redenen om een pagina uit te sluiten met robots.txt?

- Een pagina waarmee je niet gevonden wilt worden in de zoekresultaten?
- Een pagina die niet waardevol is voor zoekmachines, maar wel voor bezoekers?

Wat is een goede richtlijn om te bepalen of je een site moet uitsluiten voor crawling?

[Roland]

Over het algemeen kun je het wel aan Google overlaten of een pagina relevant is voor de zoekmachine. Pagina's die je zou kunnen uitsluiten zijn bijvoorbeeld loginpagina's, waar de informatie pas zichtbaar wordt nadat men is ingelogd of pagina's met foutmeldingen.

Een andere categorie pagina's, die ik zeker zou uitsluiten via een robots.txt zijn de pagina's, die de zoekresultaten tonen van de interne zoekmachine op je site. Dergelijke pagina's komen soms in de index terecht. Dat is niet echt de bedoeling, omdat het dan de zoekopdracht van een individuele bezoeker van je site zichtbaar maakt aan anderen.

[PaulG]

Pagina's die duidelijk dubbele content bevatten. Bijvoorbeeld de print versie van een pagina.

[Gebruiker2500]

Bedankt voor jullie reacties.

Wat zou je doen met een pagina die geen tekstuele content bevat en waar de zoekmachines het thema dus niet goed van kunnen vaststellen? Een pagina waarmee je niet gevonden wilt worden in de zoekresultaten. Zou je die ook uitsluiten met robots.txt?