Website crawler

Een website crawler bezoekt periodiek alle pagina’s van je website en verzamelt de inhoud. De crawler leest de broncode van je pagina’s uit. Gegevens zoals titels, prijzen of afbeeldings-URL’s die beschikbaar zijn in meta-tags of in gestructureerde data (via ld+json) worden opgehaald en beschikbaar gemaakt in Copernica.

De kracht zit in de combinatie met de website tracker:

• De tracker ziet dat een bezoeker een pagina heeft bezocht.
• De crawler levert de actuele inhoud van die pagina.

Hiermee kan een opvolgmail niet alleen melden dat een pagina is bekeken, maar ook de informatie tonen die daar stond, bijvoorbeeld productdetails of prijzen. Ook kun je bij het personaliseren van je mailings verwijzen naar de gegevens die door de crawler zijn verzameld.

Instellen

In de integratie-module kun je een nieuwe website crawler aanmaken. Je voert hierbij in:

• een unieke naam
• de URL van je sitemap (bijvoorbeeld https://www.jedomein.nl/sitemap.xml)

De crawler leest alle pagina's uit die in de sitemap staan.

Hoe kun je de verzamelde data gebruiken?

De verzamelde data is onder meer beschikbaar in opvolgacties naar aanleiding van gebeurtenissen op de website, zoals pagina-weergaves. In het paginaweergave-event van de website tracker kun je met {$event.page} de gegevens ophalen die de crawler heeft verzameld. Dit geldt overigens voor alle events die vanuit een webtracker zijn ontstaan.

Voorbeeld:

{$event.page.title}
{$event.page.metatags.sku}

Welke data is beschikbaar?

In het tabblad Pagina's binnen je website crawler zie je precies welke gegevens van elke pagina zijn opgehaald. Deze data kun je vervolgens zelf opslaan en verwerken via opvolgacties.

Namespaces in metatags uitlezen

Sommige metatags bevatten een dubbele punt in de naam, bijvoorbeeld bij Open Graph of Twitter Cards. Omdat dubbele punten niet direct gebruikt kunnen worden in Smarty, gebruik je vierkante haken met quotes om de waarde op te halen.

Voorbeeld in de broncode:

<meta property="og:description" content="Beschrijving van je product" />

In Smarty kun je deze waarde zo ophalen:

{$event.page.metatags['og:description']}