Onze crawler,
en hoe je hem stuurt.

Subsidieupdate is een Nederlands softwarebedrijf, ingeschreven als Subsidieupdate V.O.F. onder KvK-nummer 42139941. We volgen subsidieregelingen van gemeenten, provincies, het Rijk en de Europese Unie, en waarschuwen onze klanten zodra er een regeling bij komt of een bestaande wijzigt.

Voor het rijksdeel en het Europese deel bestaan officiële feeds en API's, en die gebruiken we. Voor gemeenten bestaat zoiets niet: elke gemeente publiceert haar subsidies op haar eigen website, in haar eigen vorm. Daarom halen we die pagina's zelf op. Sta je hier omdat onze crawler in je logbestanden opdook, dan is dat de reden.

Dat gebruikt jouw bandbreedte, en dat realiseren we ons. Deze pagina staat er zodat je niet hoeft te gokken wie er langskomt en wat je eraan kunt doen.

User-agent

SubsidieUpdate/1.0 (+https://www.subsidieupdate.nl/bot)

robots.txt-token

SubsidieUpdate

Informatiepagina

https://www.subsidieupdate.nl/bot

Zie je een user-agent die zich SubsidieUpdate noemt maar afwijkt van de vorm hierboven, of die zich anders gedraagt dan hier beschreven? Dan zijn wij dat waarschijnlijk niet. Stuur ons de logregels, dan zoeken we uit wat er speelt.

• De subsidie- en regelingpagina's die gemeenten zelf publiceren, plus de sitemap waarin die pagina's staan. In totaal gaat het om 342 gemeenten.
• 5 rondes per werkdag en 1 ronde per weekenddag. Per ronde raken we hooguit een handvol pagina's per gemeente.
• Minimaal 2 seconden tussen twee verzoeken aan dezelfde host, ongeacht hoeveel pagina's er in de wachtrij staan.
• We vergelijken elke pagina met de vorige versie. Is er niets veranderd, dan stopt de verwerking daar: een herhaalbezoek kost je één GET en verder niets.

Wat we niet doen: inloggen, formulieren versturen, zoekfuncties afstruinen, bestanden downloaden die niet bij een regeling horen, of iets ophalen achter een betaalmuur. We verzamelen geen persoonsgegevens van je site en volgen geen links buiten het onderwerp subsidies.

Zet een van deze blokken in de robots.txt in de root van je host. We halen dat bestand per host op en hergebruiken het 24 uur, dus een wijziging is binnen een dag actief.

User-agent: SubsidieUpdate
Disallow: /

User-agent: SubsidieUpdate
Disallow: /pad-dat-je-afschermt/

User-agent: SubsidieUpdate
Crawl-delay: 10

Crawl-delay staat in seconden. We honoreren waarden tot 30 seconden; alles daarboven behandelen we als 30.

• Disallow en Allow uit robots.txt, waarbij de langste matchende regel wint.
• Crawl-delay, tot het maximum van 30 seconden.
• noindex en nofollow, in een robots-meta-tag of in een X-Robots-Tag header. We bewaren de pagina dan niet en volgen de links niet.
• Alles geldt per host. Elk subdomein heeft een eigen robots.txt nodig: een regel op example.nl dekt subsidies.example.nl niet.
• Geen robots.txt, of een HTTP 4xx daarop, lezen we als geen beperkingen. Een HTTP 5xx lezen we als nu even niet, en dan slaan we de host die ronde over.

• We bewaren de tekst van een subsidiepagina om te kunnen zien wanneer er iets wijzigt. Klanten krijgen een korte samenvatting met een link naar jouw pagina als bron.
• We publiceren je pagina niet opnieuw en bieden geen kopie aan als alternatief voor het origineel.
• We trainen geen AI-modellen op wat we ophalen. We gebruiken wel een taalmodel om een regeling te classificeren en samen te vatten, maar die verwerking traint niets.
• Persoonsgegevens zijn niet het doel en niet wat we zoeken. Komt er toch iets voorbij, dan hoort dat niet in onze index thuis.

Wil je dat we verwijderen wat we al van jouw domein hebben, los van een regel in robots.txt voor de toekomst? Mail bot@subsidieupdate.nl en dan doen we dat. Hoe we verder met gegevens omgaan staat op de privacyverklaring en de vertrouwenspagina.

Vragen, klachten of het vermoeden dat onze crawler zich misdraagt: bot@subsidieupdate.nl. Help ons met drie dingen, dan is het meestal dezelfde dag opgelost.

• Noem het domein of de hostnaam waar het om gaat.
• Plak een paar logregels mee, met tijdstip, pad en user-agent.
• Zeg wat je wilt: afremmen, een deel afschermen, of helemaal geen bezoek meer.

Een verzoek om te stoppen voeren we uit, ook als je robots.txt ongemoeid laat. Daar hoeft geen discussie aan vooraf te gaan.