- Dit onderwerp bevat 1 reactie, 2 deelnemers, en is laatst geüpdatet op 1 jaar, 3 maanden geleden door .
Je moet ingelogd zijn om een antwoord op dit onderwerp te kunnen geven.
SEO expertise-, training-, en adviescentrum Amsterdam › SEO forum › SEO vragen en discussies › Robots.txt
Tags: google maps api, hashtag seo, robots.txt
Mijn site heeft urls:
https://mijnsite/food-events/eventnaam/#locatie-op-kaart
https://mijnsite/restaurants/restaurantnaam/#locatie-op-kaart
https://mijnsite/restaurant-event/restauranteventnaam/#locatie-op-kaart
Kortom duizenden urls die eindigen op /#locatie-op-kaart
Google bots (en andere bots) crawlen deze pagina’s waardoor ik veel moet betalen aan Google Maps Api. Kan ik in robots.txt zetten
User-agent: *
Disallow: */#locatie-op-kaart
om te voorkomen dat ik veel geld kwijt ben aan bots die deze pagina waarop de google map staat bezoeken. Het lijkt erop, als ik dit doe dat ik heel google weiger, dus wellicht iets verkeerd. Alvast enorm bedankt voor uw reactie!
Googlebot haalt alles vanaf de hashtag (#) weg uit de URL. Feitelijk is er dus maar één URL, namelijk https://mijnsite/food-events/eventnaam/. Daarmee is er -vanuit Googlebot bezien-, ondanks de vele verschillende links, maar één pagina. Googlebot zal die pagina daarmee ook maar één keer uitlezen. Het gaat dus niet ten kosten van het crawlbudget die iedere site krijgt.
Jouw robots.txt-regel zet de gehele site inderdaad dicht, omdat in de robots.txt een hashtag wordt beschouwd als een comment. Feitelijks staat er nu dus:
Disallow: */
En hiermee staat de hele site op disallow. Je kan dat hier testen: https://technicalseo.com/tools/robots-txt/
Hier meer info over het gebruik van de hashtag in de robots.txt:
https://developers.google.com/search/docs/advanced/robots/robots_txt#syntax
De relatie met de Google maps API ken ik verder niet.
Je moet ingelogd zijn om een antwoord op dit onderwerp te kunnen geven.
Wegens ziekte kan ik je het komend half jaar (nov. 22 - zomer '23) helaas maar beperkt van dienst zijn. |
Door de site te te blijven gebruiken, gaat u akkoord met het gebruik van cookies. meer informatie
De cookie-instellingen op deze website zijn ingesteld op 'toestaan cookies" om u de beste surfervaring te geven. Als u doorgaat met het gebruik van deze website zonder het wijzigen van uw cookie-instellingen, of u klikt hieronder op "Accepteren" dan bent u akkoord met deze instellingen. Privacy verklaring.