Je website optimaliseren voor bots: een gids voor betere responstijden

Waarom optimaliseren voor bots? #

Bots hebben geen interesse in realtime trackingtools of prestatie-optimalisaties die je voor menselijke gebruikers bouwt. Ze hebben een ander doel. Door botverkeer te herkennen en een gestroomlijnde versie van je site aan te bieden, benut je je crawlbudget efficiënter en verbeter je de prestaties. Daarbij hoort ook het bijhouden van de gemiddelde responstijd, zodat je problemen die de site kunnen vertragen tijdig opmerkt.

Gemiddelde responstijd bijhouden: Search Console #

Voordat je de responstijd verbetert, moet je weten hoe die er nu voor staat. Een belangrijk signaal is de gemiddelde tijd die bots nodig hebben om een reactie van je server te ontvangen. Google Search Console biedt hiervoor de metric "gemiddelde responstijd".

Google Search Console is een gratis dienst van Google waarmee je de aanwezigheid van je site in de zoekresultaten monitort en beheert. Zo vind je de gemiddelde responstijd:

1. Log in op je Google Search Console-account.
2. Selecteer de relevante property (website) via het dropdownmenu bovenaan.
3. Ga in het linkermenu naar 'Instellingen' en vervolgens naar 'Crawlstatistieken'.
4. Onder de sectie 'Crawlstatistieken' vind je de metric 'Gemiddelde responstijd'. Die geeft aan hoe lang Googlebot na een verzoek wacht op een reactie van je site.

Een lage gemiddelde responstijd duidt op een goed geoptimaliseerde site. Een hoge responstijd wijst op mogelijke server- of snelheidsproblemen.

Google Search Console is een prima startpunt voor basismetrics. Wil je dieper gaan, dan zijn er commerciële tools die gedetailleerder inzicht geven in je botverkeer.

Botify is een gespecialiseerd SEO-platform met uitgebreide rapporten over botverkeer, inclusief responstijden en optimalisatieaanbevelingen. Zo krijg je een beter beeld van hoe bots met je site omgaan en hoe dat de prestaties beïnvloedt.

Een andere effectieve aanpak is het analyseren van je serverlogbestanden met tools zoals de Screaming Frog Log File Analyser. Logbestanden laten zien hoe bots je site crawlen, waar ze te vaak terugkomen en welke delen ze missen.

Combineer logbestandanalyse met data van SEO-platforms zoals Botify en je kunt je botverkeer effectief beheren. Je site is dan geoptimaliseerd voor alle typen verkeer — wat zowel de gebruikerservaring als je zichtbaarheid in zoekmachines ten goede komt.

Wat schakel je uit voor bots? #

Er zijn een paar functies die je voor bots kunt uitschakelen om de prestaties te verbeteren:

• Prefetching: Zoekmachinecrawlers downloaden afbeeldingen doorgaans niet direct — Google gebruikt hiervoor een aparte crawler. Prefetching uitschakelen voor bots vermindert de serverbelasting.
• 103 Early Hints: Volgens Gary Illyes kan Googlebot niet goed omgaan met 103 Early Hints. Bij een "slechte" reactie crawlt Google de pagina opnieuw op een inefficiënte manier, of verwijdert de URL uit de index. Zet deze functie voor bots dus uit.
• Real User Monitoring (RUM): Bots versturen geen beacons. RUM uitschakelen voor botverkeer houdt je data schoon. De sleutel is nauwkeurige botidentificatie — als die klopt, schaden deze aanpassingen je SEO niet. Zoekmachinebots indexeren je content prima zonder deze extra functies.

Websiteprestaties in het grote geheel #

Een snellere website is meer dan gecomprimeerde afbeeldingen of geoptimaliseerde code. Het gaat om inzicht in de verschillende soorten verkeer die je site bezoeken en hoe je daar slim mee omgaat. Botverkeer werkt anders dan menselijk verkeer. Door je site daarop af te stemmen, maak je hem soepeler voor je bezoekers én vriendelijker voor crawlers — wat leidt tot betere indexering en schonere data.