Robots.txt

[Janneke99]

Mijn site heeft urls:

https://mijnsite/food-events/eventnaam/#locatie-op-kaart
https://mijnsite/restaurants/restaurantnaam/#locatie-op-kaart
https://mijnsite/restaurant-event/restauranteventnaam/#locatie-op-kaart

Kortom duizenden urls die eindigen op /#locatie-op-kaart

Google bots (en andere bots) crawlen deze pagina’s waardoor ik veel moet betalen aan Google Maps Api. Kan ik in robots.txt zetten

User-agent: *
Disallow: */#locatie-op-kaart

om te voorkomen dat ik veel geld kwijt ben aan bots die deze pagina waarop de google map staat bezoeken. Het lijkt erop, als ik dit doe dat ik heel google weiger, dus wellicht iets verkeerd. Alvast enorm bedankt voor uw reactie!

 

[Alain Sadon]

Googlebot haalt alles vanaf de hashtag (#) weg uit de URL. Feitelijk is er dus maar één URL, namelijk https://mijnsite/food-events/eventnaam/. Daarmee is er -vanuit Googlebot bezien-, ondanks de vele verschillende links, maar één pagina. Googlebot zal die pagina daarmee ook maar één keer uitlezen. Het gaat dus niet ten kosten van het crawlbudget die iedere site krijgt.

Jouw robots.txt-regel zet de gehele site inderdaad dicht, omdat in de robots.txt een hashtag wordt beschouwd als een comment. Feitelijks staat er nu dus:

Disallow: */

En hiermee staat de hele site op disallow. Je kan dat hier testen: https://technicalseo.com/tools/robots-txt/

Hier meer info over het gebruik van de hashtag in de robots.txt:
https://developers.google.com/search/docs/advanced/robots/robots_txt#syntax

De relatie met de Google maps API ken ik verder niet.

[Auteur]

Berichten