SEO training-, kennis- en adviescentrum › SEO forum › SEO vragen en discussies › Redenen om webpagina uit te sluiten met robots.txt?
Tags: robots.txt
- Dit onderwerp is leeg.
-
AuteurBerichten
-
-
1 augustus 2011 om 4:20 pm #22567
Wat zijn goede redenen om een pagina uit te sluiten met robots.txt?
– Een pagina waarmee je niet gevonden wilt worden in de zoekresultaten?
– Een pagina die niet waardevol is voor zoekmachines, maar wel voor bezoekers?Wat is een goede richtlijn om te bepalen of je een site moet uitsluiten voor crawling?
-
1 augustus 2011 om 7:58 pm #26647
Over het algemeen kun je het wel aan Google overlaten of een pagina relevant is voor de zoekmachine. Pagina’s die je zou kunnen uitsluiten zijn bijvoorbeeld loginpagina’s, waar de informatie pas zichtbaar wordt nadat men is ingelogd of pagina’s met foutmeldingen.
Een andere categorie pagina’s, die ik zeker zou uitsluiten via een robots.txt zijn de pagina’s, die de zoekresultaten tonen van de interne zoekmachine op je site. Dergelijke pagina’s komen soms in de index terecht. Dat is niet echt de bedoeling, omdat het dan de zoekopdracht van een individuele bezoeker van je site zichtbaar maakt aan anderen.
-
2 augustus 2011 om 8:09 am #26649
Pagina’s die duidelijk dubbele content bevatten. Bijvoorbeeld de print versie van een pagina.
-
5 augustus 2011 om 10:29 am #22568
Bedankt voor jullie reacties.
Wat zou je doen met een pagina die geen tekstuele content bevat en waar de zoekmachines het thema dus niet goed van kunnen vaststellen? Een pagina waarmee je niet gevonden wilt worden in de zoekresultaten. Zou je die ook uitsluiten met robots.txt?
-
-
AuteurBerichten
Gerelateerde berichten:
- Robots.txt 1 november 2021 Mijn site heeft urls: https://mijnsite/food-events/eventnaam/#locatie-op-kaart https://mijnsite/restaurants/restaurantnaam/#locatie-op-kaart https://mijnsite/restaurant-event/restauranteventnaam/#locatie-op-kaart Kortom duizenden urls die eindigen op /#locatie-op-kaart Google bots (en andere bots) crawlen deze pagina's waardoor ik veel…
Je moet ingelogd zijn om een antwoord op dit onderwerp te kunnen geven.