[luvene]

Hallo,

MOET ik een robots.txt bestand in de root van de server plaatsen? Ik heb inderdaad een aantal mappen die niet hoeven te worden geindexeerd zoals o.a. een /distribution , /lib , /testserver en zo nog een aantal.

Ik heb in de bron van mijn pagina dit staan :

<meta name="robots" content="index, follow" />

Moet dit blijven staan in de bron en MOET ik idd een robots.txt betand maken?

En hoe zit het met het gebruik van een sitemap.xml? Heeft dat zin of is het volledig onzinnig.

Er is idd genoeg te vinden op Internet hierover maar de meningen zijn nogal verdeeld Ik vraag het liever aan specialisten hier op het forum, jullie hebben mij al eerder fantastisch geholpen

Heel graag uw reactie. Alvast bedankt!

[wschwarte]

Oorspronkelijk geplaatst door luvene

MOET ik een robots.txt bestand in de root van de server plaatsen? Ik heb inderdaad een aantal mappen die niet hoeven te worden geindexeerd zoals o.a. een /distribution , /lib , /testserver en zo nog een aantal.

Ik heb in de bron van mijn pagina dit staan :

<meta name="robots" content="index, follow" />

Moet dit blijven staan in de bron en MOET ik idd een robots.txt betand maken?

En hoe zit het met het gebruik van een sitemap.xml? Heeft dat zin of is het volledig onzinnig.

Je moet niets... robots.txt en de meta tag hebben hetzelfde effect. Met een robots.txt is het vaak makkelijker te beheren.

meta index,follow is niet nodig om te gebruiken, dit is namelijk standaard en weglaten van deze tag heeft dus hetzelfde effect als deze plaatsen.

Als je in de robots een pagina disallowed en op dezelfde pagina zelf staat index,follow zal google de voorkeur geven aan de meest beperkende regel. Andersom ook.

Een sitemap.xml is nooit verkeerd. Het is alleen niet zo dat ook alle links gegarandeerd in de index komen. Het is een hulpmiddel.

[luvene]

Oorspronkelijk geplaatst door wschwarte

Je moet niets... robots.txt en de meta tag hebben hetzelfde effect. Met een robots.txt is het vaak makkelijker te beheren.

meta index,follow is niet nodig om te gebruiken, dit is namelijk standaard en weglaten van deze tag heeft dus hetzelfde effect als deze plaatsen.

Als je in de robots een pagina disallowed en op dezelfde pagina zelf staat index,follow zal google de voorkeur geven aan de meest beperkende regel. Andersom ook.

Een sitemap.xml is nooit verkeerd. Het is alleen niet zo dat ook alle links gegarandeerd in de index komen. Het is een hulpmiddel.

Dank! Nog een dingetje wat betreft die sitemap. Moet ik ergens op mijn site nog een verwijzing plaatsen naar die sitemap.xml of hoeft dat niet. M.a.w. is het plaatsen van een sitemap.xml in de root van je website al voldoende?

[wschwarte]

Daarvoor kun je ook onderstaande regel in je robots.txt opnemen.

# Sitemap
sitemap: http://www.domein.nl/sitemap.xml

[wschwarte]

Zet dit in je robots.txt:

# Sitemap
sitemap: http://www. domein.nl/sitemap.xml

[luvene]

Oorspronkelijk geplaatst door wschwarte

Zet dit in je robots.txt:

# Sitemap
sitemap: http://www. domein.nl/sitemap.xml

Hoi, ik heb nog een vraagje

In het webmaster hulpprogramma zie ik dat ik daar ook eens sitemap kan versturen. Moet ik dat daar dan ook doen of is dit overdone en dus totaal niet nodig? het staat immers nu al in mijn robots.txt bestand..........

[glompie]

Je hoeft Google maar 1x te vertellen waar je sitemap staat.
Ik doe het altijd via webmastertools maar ik denk niet dat het uitmaakt.