Bepaal wat je bot crawlt
Als je een website crawlt, wil je zelden elke pagina. Je winkelwagen-, afreken- en tagpagina's leveren ruis op, geen antwoorden. Met de crawl-instellingen, net onder je lijst met sites, sla je die over en stel je precies af wat de bot leert.
Sla pagina's over die je niet wilt
Vul bij URL's negeren bij indexeren de pagina's in die je wilt weglaten, één patroon per regel. Gebruik ** als jokerteken. Deze pagina's worden bij elke crawl overgeslagen, zodat winkelwagen en afrekenen voorgoed uit de antwoorden van je bot blijven.
Lees de tekst in je afbeeldingen
Zet Afbeeldingen meenemen in crawl aan en de bot leest de alt-tekst en bijschriften op je pagina's, zodat hij vragen over een foto of diagram kan beantwoorden.
Opslaan en opnieuw crawlen
Klik op Crawl-instellingen opslaan en de regels gelden vanaf de volgende crawl. Sites worden eens per week automatisch opnieuw gecrawld, dus alles wat je op je pagina's wijzigt komt vanzelf bij de bot terecht.
De gebruikelijke kandidaten zijn /cart, /checkout/** en tag- of filterpagina's. Door die over te slaan blijft je bot gericht op de pagina's die vragen echt beantwoorden.
Alleen een site toevoegen?
Wil je alleen een website toevoegen of verwijderen? Begin dan bij Een website toevoegen of verwijderen. Kom hier terug als je de crawl wilt bijstellen.