2. Werking zoekmachines

2.1 Zoekspiders

Zoekmachines bestaan uit twee delen. Aan de ene kant de zoekmachine zelf, die u gewend bent te raadplegen als u op het Internet iets wilt zoeken. Voorbeelden hiervan zijn Google, Altavista, Yahoo!, Live Search, Ilse, etc. U gaat naar de betreffende zoekmachine-site, typt uw zoekwoord of combinatie van zoekwoorden in, en vervolgens verschijnt een waslijst van sites die volgens de betreffende zoekmachine voldoen aan uw zoekopdracht. Omdat zoekmachines natuurlijk niet op het moment dat u de zoekopdracht intypt het hele Internet kunnen afstruinen zijn er zoekspiders, ook wel zoekrobots of kortweg bots (of in het geval van Google: Googlebot) genaamd, die 24 uur per dag het Internet afspeuren op zoek naar Internetsites. 

De inhoud van alle door de zoekspiders bezochte sites wordt opgeslagen op een groot netwerk van computers dat iedere grote zoekmachine tot zijn beschikking heeft. Ze maken dus een soort kopie van de gevonden pagina en slaan dit op in, wat genoemd wordt de cache van, hun eigen computers. Deze kopie bevat echter niet alle elementen van de oorspronkelijke pagina, maar alleen die zaken die de spiders interessant vinden en überhaupt kunnen lezen (bij een afbeelding met tekst, kunnen ze de tekst bijvoorbeeld niet lezen). Alle gecachte gegevens van alle websites worden in een handige structuur opgeslagen opdat op het moment dat iemand een zoekopdracht opgeeft razendsnel de zoekresultaten kunnen worden gegenereerd. De ranking van de zoekresultaten (welke website scoort hoog en welke lager) wordt via allerlei voorschriften, anders gezegd zoekalgoritmes, bepaald. 

De vraag is nu natuurlijk hoe die zoekalgoritmes er precies uitzien! Als we dat namelijk weten, dan kunnen we daar tijdens de ontwikkeling van onze site meteen zo goed mogelijk rekening mee houden.

2.2 Zoekalgoritmes

Om maar met het slechte nieuws te beginnen: de algoritmes die de werking van een zoekmachine voorschrijven, zijn geheim. Google en al die andere zoekmachines geven in principe dus geen of weinig informatie over de wijze waarop we onze site kunnen optimaliseren. Google bijvoorbeeld geeft (vanuit wat ze noemen ‘integriteits oogpunt’) alleen wat algemene Google adviezen. Ik kan u aanraden deze even door te lezen. 

Zijn we daarmee klaar? Nee, want gelukkig is er toch veel bekend. Zo worden er bijvoorbeeld regelmatig conferenties georganiseerd waar vooraanstaande zoekmachine experts, ook uit de gelederen van de zoekmachinebedrijven zelf, toch vrij veel laten weten over de zoekalgoritmes. Daarnaast zijn er verschillende onderzoekers, ook aan universiteiten, naarstig op zoek naar de werking van de verschillende zoekmachines door te kijken welke zaken nu wel en welke zaken minder of geen effect hebben op de ranking van sites. Deze resultaten worden her en der gepubliceerd. 

Tot slot zijn er een aantal forums waar SEO’s (Search Engine Optimizers) met elkaar in contact staan om hun bevindingen met elkaar te delen. Wat dit alles extra gecompliceerd maakt is het feit dat de zoekmachinebedrijven als Google, etc. continu bezig zijn de algoritmes verder te verbeteren en te verfijnen. I.h.b. Google is zeer fanatiek in het bestrijden van misbruik van kennis over de optimalisatie strategieën. Het wordt gelukkig steeds meer zaak om de site op een integere wijze te optimaliseren. En dat kan. Veel SEO’s maken er helaas nog een potje van.