---
title: "Onze crawler: user-agent, tempo en hoe je ons blokkeert"
brand: "Subsidieupdate"
url: "https://www.subsidieupdate.nl/bot"
markdown_url: "https://www.subsidieupdate.nl/md/bot"
language: "nl-NL"
---

# Onze crawler: user-agent, tempo en hoe je ons blokkeert

De SubsidieUpdate-crawler haalt gemeentelijke subsidiepagina's op. Bekijk de user-agent, het robots.txt-token, hoe vaak we langskomen en hoe je ons afremt of blokkeert.

## Identiteit

Onze crawler identificeert zich als `SubsidieUpdate/1.0 (+https://www.subsidieupdate.nl/bot)`. Het robots.txt-token is `SubsidieUpdate`. Match op het token, niet op de hele string: het versienummer wijzigt.

## Wat we ophalen

- De subsidiepagina's die 342 Nederlandse gemeenten zelf publiceren, plus de bijbehorende sitemap.
- 5 rondes per werkdag, 1 per weekenddag, met minimaal 2 seconden tussen twee verzoeken aan dezelfde host.
- Geen logins, geen formulieren, geen persoonsgegevens, niets achter een betaalmuur.

## Ons afremmen of blokkeren

- Volledig blokkeren: `User-agent: SubsidieUpdate / Disallow: /` in de robots.txt van je host.
- Afremmen: `User-agent: SubsidieUpdate / Crawl-delay: 10`. We honoreren Crawl-delay tot 30 seconden.
- We hergebruiken een opgehaalde robots.txt 24 uur, dus een wijziging is binnen een dag actief.
- Direct effect nodig? Geef een HTTP 429 of 503 met Retry-After; dan laten we die host met rust.
- Blokkeer ons niet op IP-adres: we publiceren geen IP-lijst en onze uitgaande adressen kunnen wijzigen.

## Contact

Vragen of klachten over de crawler: bot@subsidieupdate.nl. Stuur het domein en een paar logregels mee.

## Belangrijke links

- [Home](https://www.subsidieupdate.nl/)
- [Product](https://www.subsidieupdate.nl/hoe-het-werkt)
- [Voor wie](https://www.subsidieupdate.nl/voor-wie)
- [Prijzen](https://www.subsidieupdate.nl/pricing)
- [Contact](https://www.subsidieupdate.nl/contact)