SEO training-, kennis- en adviescentrum › SEO forum › SEO vragen en discussies › Gebruik robots.txt en sitemap › Reply To: Gebruik robots.txt en sitemap
MOET ik een robots.txt bestand in de root van de server plaatsen? Ik heb inderdaad een aantal mappen die niet hoeven te worden geindexeerd zoals o.a. een /distribution , /lib , /testserver en zo nog een aantal.
Ik heb in de bron van mijn pagina dit staan :
Moet dit blijven staan in de bron en MOET ik idd een robots.txt betand maken?
En hoe zit het met het gebruik van een sitemap.xml? Heeft dat zin of is het volledig onzinnig.
Je moet niets… robots.txt en de meta tag hebben hetzelfde effect. Met een robots.txt is het vaak makkelijker te beheren.
meta index,follow is niet nodig om te gebruiken, dit is namelijk standaard en weglaten van deze tag heeft dus hetzelfde effect als deze plaatsen.
Als je in de robots een pagina disallowed en op dezelfde pagina zelf staat index,follow zal google de voorkeur geven aan de meest beperkende regel. Andersom ook.
Een sitemap.xml is nooit verkeerd. Het is alleen niet zo dat ook alle links gegarandeerd in de index komen. Het is een hulpmiddel.