Gemeenten en waterschappen beschikken over grote hoeveelheden gegevens, verspreid over tientallen systemen. De vraag is niet óf die gegevens waarde hebben, maar hoe je ze op een verantwoorde manier samenvoegt en analyseert. Dit artikel gaat in op de architectuurkeuzes die daarbij horen, met bijzondere aandacht voor het Microsoft Azure-ecosysteem.
Zaaksystemen, GIS en sensoren: drie werelden
Gemeentelijke informatiehuishouding bestaat grofweg uit drie typen bronnen die zelden op elkaar zijn afgestemd. Ten eerste zijn er de zaaksystemen, zoals systemen die vergunningaanvragen, meldingen openbare ruimte of uitkeringstrajecten bijhouden. Die systemen produceren gestructureerde transactionele data, maar zijn ontworpen voor procesafhandeling, niet voor analyse.
Ten tweede zijn er geografische informatiesystemen, kortweg GIS. Denk aan basisregistraties als de BGT (Basisregistratie Grootschalige Topografie) of de BRK (Basisregistratie Kadaster). Die bevatten ruimtelijke geometrieën, gekoppeld aan objectidentificatoren. Ze worden beheerd door afzonderlijke teams en kennen hun eigen updatecycli.
Ten derde zijn er sensornetwerken. Waterschappen plaatsen peilbuizen, meetstations en camera’s langs dijken en waterwegen. Gemeenten meten luchtkwaliteit, verkeersintensiteit of vuilnisbakbezetting. Die data stroomt continu binnen, in formaten die sterk afwijken van de gestructureerde tabellen in een zaaksysteem.
De rol van een lakehouse-architectuur op Azure
Wanneer je deze drie databronnen wilt combineren, stuit je al snel op het klassieke probleem van gegevensintegratie: elk systeem heeft een eigen datamodel, een eigen eigenaar en een eigen kwaliteitsniveau. Een traditioneel datawarehouse lost dat niet op, omdat het een vaste structuur veronderstelt die er bij ruimtelijke of sensordata eenvoudigweg niet is.
Een lakehouse-architectuur combineert de flexibiliteit van een data lake met de queryeigenschappen van een relationeel datawarehouse. Op het Azure-platform van Microsoft wordt die architectuur doorgaans gebouwd met Azure Data Lake Storage Gen2 als opslaglaag, Azure Data Factory voor data-ingestie en een verwerkingslaag die open tabelformaten zoals Delta Lake ondersteunt. Databricks implementeert dit Delta Lake-formaat als kern van zijn verwerkingsomgeving, wat het mogelijk maakt om zowel batchverwerking als near-realtime sensorstromen in één platform te behandelen.
De keuze voor open formaten is voor overheidsorganisaties niet triviaal. Leveranciersonafhankelijkheid is een expliciet criterium in aanbestedingstrajecten, en open standaarden verlagen de overstapkosten op de lange termijn. Delta Lake is een Apache-project en daarmee niet exclusief gebonden aan één leverancier, ook al wordt het in de praktijk sterk geassocieerd met één platform.
Gegevensgovernance in een gedistribueerde omgeving
Het samenvoegen van gegevens uit zaaksystemen, GIS en sensoren roept onmiddellijk vragen op over gegevensgovernance. Wie is eigenaar van welk gegeven? Welke transformaties zijn toegestaan? Hoe wordt bijgehouden wie welke data heeft ingezien of gewijzigd?
In een gedistribueerde omgeving met meerdere bronhouders, zoals bij een waterschap dat samenwerkt met een gemeente en een provinciale omgevingsdienst, is een centrale catalogus onmisbaar. Microsoft Purview biedt binnen het Azure-ecosysteem functionaliteit voor datadiscovery, lineage en classificatie. Het systeem kan automatisch detecteren welke kolommen persoonsgegevens bevatten, wat relevant is voor de naleving van de AVG.
Governance is echter meer dan tooling. Het vereist heldere afspraken over datadomeinen: welk team is verantwoordelijk voor de kwaliteit van welk gegevensdomein? In de praktijk zien wij dat technische platforms sneller worden ingericht dan de bijbehorende organisatorische structuren. Een catalogus die niemand bijhoudt, verliest snel zijn waarde.
Datasoevereiniteit en de positie van overheidsdata
Voor overheidsorganisaties geldt een bijzondere verantwoordelijkheid ten aanzien van datasoevereiniteit. Dat begrip omvat twee dimensies. De eerste is juridisch: overheidsdata valt onder de Wet open overheid, de AVG en in sommige gevallen specifieke sectorale wetgeving zoals de Waterwet of de Omgevingswet. De tweede dimensie is technisch: waar worden de gegevens fysiek opgeslagen, en wie heeft er toegang toe?
Microsoft heeft zijn Azure-regio’s in Nederland en Duitsland gecertificeerd voor opslag van gevoelige overheidsdata, en biedt contractuele garanties via de Microsoft Products and Services Agreement (MPSA) en aanvullende verwerkersovereenkomsten. Toch blijft de vraag actueel of cloudopslag bij een Amerikaanse hyperscaler verenigbaar is met de eisen van de Rijksdienst voor Identiteitsgegevens en de Common Ground-architectuurprincipes die gemeenten hanteren.
Common Ground streeft naar gegevens bij de bron, niet naar centrale kopieopslag. Een lakehouse-architectuur waarbij gegevens worden gekopieerd naar een centrale opslaglaag staat daarmee op gespannen voet. Organisaties lossen dit op door onderscheid te maken tussen operationele data, die bij de bron blijft, en analytische kopieën, die tijdelijk worden opgeslagen voor specifieke analyses met strikte retentieregels.
Praktische inrichtingskeuzes voor IT-beslissers
Voor IT-beslissers die een dergelijk platform willen inrichten, zijn er een aantal afwegingen die vroeg in het traject moeten worden gemaakt.
Inrichtingskeuzes op een rij:
- Opslagstructuur: kies voor een medaillonarchitectuur (bronze, silver, gold) waarbij ruwe data, gecureerde data en geaggregeerde rapportagedata in afzonderlijke lagen worden opgeslagen. Dit maakt het eenvoudiger om dataherkomst te traceren en transformaties terug te draaien.
- Toegangsbeheer: gebruik Azure Active Directory (nu Entra ID) voor identiteitsbeheer en koppel dit aan rolgebaseerde toegangscontrole op opslagcontainerniveau. Vermijd brede leesrechten op rauwe sensordata die persoonsgegevens kan bevatten.
- Ingestiepatronen: onderscheid tussen batchingestie (nachtelijke exports uit zaaksystemen), microbatch (GIS-updates bij mutaties) en streaming (sensordata via Azure Event Hubs of IoT Hub). Elk patroon heeft andere latentie- en kosteneigenschappen.
- Kwaliteitscontroles: implementeer datakwaliteitsregels als onderdeel van de transformatiepijplijn, niet als nabewerking. Great Expectations of vergelijkbare frameworks kunnen worden geïntegreerd in de verwerkingslaag.
- Retentiebeleid: stel per gegevensdomein een retentieperiode vast die aansluit op de Archiefwet en sectorale bewaartermijnen. Automatiseer verwijdering via lifecycle management-policies in Azure Data Lake.
- Auditlogging: zorg dat elke querytransactie wordt gelogd, inclusief de identiteit van de gebruiker en het tijdstip. Dit is een vereiste voor AVG-verwerkingsregisters en voor interne auditdoeleinden.
Deze keuzes zijn niet eenmalig. Een dataplatform evolueert mee met de organisatie, en governance-afspraken die bij de start zijn gemaakt, moeten periodiek worden herzien.
Veelgestelde vragen over dataplatforms bij gemeenten
Wat is het verschil tussen een data lake en een lakehouse?
Een data lake is een opslagomgeving voor grote hoeveelheden ongestructureerde of semigestructureerde data, zonder vooraf gedefinieerd schema. Het nadeel is dat data lakes snel onoverzichtelijk worden en moeilijk te bevragen zijn met standaard SQL-tools. Een lakehouse voegt daar een transactionele laag aan toe, doorgaans via een open tabelformaat zoals Delta Lake of Apache Iceberg. Dat maakt het mogelijk om ACID-transacties uit te voeren, schema-evolutie te beheren en data te bevragen alsof het een relationeel datawarehouse is, terwijl de flexibiliteit van een data lake behouden blijft.
Hoe verhoudt een lakehouse-architectuur zich tot Common Ground?
Common Ground is een architectuurvisie voor gemeenten die stelt dat gegevens bij de bron moeten blijven en via gestandaardiseerde API’s worden ontsloten. Een lakehouse-architectuur waarbij gegevens worden gekopieerd naar een centrale opslaglaag lijkt daarmee in tegenspraak. In de praktijk maken organisaties onderscheid tussen de operationele laag, waar Common Ground-principes leidend zijn, en de analytische laag, waar tijdelijke kopieën worden gebruikt voor rapportage en beleidsanalyse. Die kopieën vereisen strikte governance, inclusief duidelijke retentieregels en een register van verwerkingen.
Welke rol speelt Microsoft Purview bij gegevensgovernance?
Microsoft Purview is een catalogus- en governancetool binnen het Azure-ecosysteem. Het scant automatisch gegevensarchieven op metadata, classificeert kolommen op basis van gevoeligheid (zoals BSN-nummers of e-mailadressen) en biedt functionaliteit voor data lineage: het bijhouden van de herkomst en transformatiegeschiedenis van een gegeven. Voor overheidsorganisaties is dat relevant voor AVG-verwerkingsregisters en voor interne verantwoording. Purview is geen vervanging voor organisatorische governance-afspraken, maar ondersteunt de uitvoering ervan door metadata centraal toegankelijk te maken voor databeheerders en auditors.