De casus Aerius: (model)precisie zonder (meet)nauwkeurigheid?

Als ingenieur en zelfstandig stikstof-onderzoeker stelde ik onlangs in mijn eerste rapport:

“Wat betreft thermometer Aerius, het computermodel waarmee de overheid de gezondheid van de natuur monitort, kunnen we er van uitgaan dat de totale depositie die het model berekent, een vergelijkbare mate van nauwkeurigheid heeft als de metingen waarop het model is gebaseerd. Dit betekent dat Aerius, ondanks zijn schijnbare vermogen om met vele decimalen te rekenen, waarschijnlijk een nauwkeurigheid heeft van +/- 50 tot 250 mol per hectare per jaar.”

Deze uitspraak leidde tot een boeiende wetenschappelijke discussie op de achtergrond. Een hoogleraar in het vakgebied reageerde:

“Deze mening kom ik wel vaker tegen en hij klopt niet. Je kan namelijk in een model heel veel meettheorie kwijt die je uit ander onderzoek destilleert, waardoor in principe een model nauwkeuriger kan zijn dan de metingen. Echter, het ontbreekt dan aan de (nauwkeurige)metingen om de nauwkeurigheid aan te tonen.”

Hierin ligt een opmerkelijke paradox besloten: het model kan nauwkeuriger zijn dan de metingen, maar dat valt niet aan te tonen zonder betrouwbare metingen aldus de professor. Dit is een klassiek epistemologisch probleem dat raakt aan de fundamenten van de wetenschap.

Een tweede professional met een groot trackrecord in ecologie reageerde:

“Eens, mits de metingen nauwkeurig zijn, ook de droge depositie, op voldoende plekken en voldoende lang volgehouden. Dan kun je modellen kalibreren en pas dan heeft de hoogleraar gelijk. Dat geldt ook voor de vaststelling van KDW’s (kritische depositiewaarden).”

Hier wordt door deze expert impliciet een fundamenteel wetenschapsprincipe verdedigd: modellen kunnen alleen worden gevalideerd wanneer ze geijkt worden aan systematische, nauwkeurige en langdurige waarnemingen.

Wetenschapsfilosofie: de rol van waarneming

Het verschil tussen nauwkeurigheid en precisie is hier van belang. Aerius rekent met decimalen, dus is precies, maar dat zegt nog niets over de nauwkeurigheid—de mate waarin die decimalen ook echt corresponderen met de werkelijkheid. Het gaat bij modellen om de vraag ‘welke betekenis hebben de getallen’.

Ik stelde dan ook:

“Dit is voor mij een heel fundamenteel punt. Ook Gerard Cats heeft ooit gezegd ‘ik geef niet om waarnemingen’ maar deze professor zegt dus nu ook ‘modellen kunnen nauwkeuriger zijn’, maar dat kan je in mijn ogen nooit beweren als er geen nauwkeurige waarnemingen zijn. Vrij fundamenteel standpunt.”

De implicatie is helder: als je geen betrouwbare waarnemingen hebt, dan ontbreekt het fundament waarop je een model kunt bouwen, toetsen of vertrouwen. Dat is niet slechts een technisch probleem, maar een wetenschapsfilosofischprobleem.

Theorie zonder observatie is metafysic

De tweede professional bracht een treffend voorbeeld aan:

“Een fysicus vertelde me dat Stephen Hawking geen Nobelprijs kreeg voor zijn geniale theorie over zwarte gaten omdat die toen nog niet was bevestigd door waarnemingen.”

Het voorbeeld illustreert dat zelfs de meest briljante theorie — in dit geval die van singulariteiten en Hawking-radiatie — pas als wetenschappelijk geldig wordt erkend wanneer er observaties zijn die het bevestigen. Tot die tijd blijft het een hypothese. Dat is de kern van het falsificatieprincipe van Karl Popper: een wetenschappelijke theorie moet weerlegbaarzijn op basis van empirische data.

Zonder waarnemingen kunnen modellen hooguit plausibel zijn, maar niet bewezen.

De verleiding van het model als waarheid.

In een wereld waarin data en modellen domineren, ligt het gevaar op de loer dat we modellen als waarheid gaan beschouwen. Bruno Latour noemde dit fenomeen het blackboxing van technologie: we zien de uitkomst van het model als autoritair, maar vergeten de aannames, beperkingen en onzekerheden die eraan ten grondslag liggen.

De uitspraak van George Box blijft dan ook cruciaal:

“All models are wrong, but some are useful.”

Wat Box bedoelt, is dat elk model een versimpeling is van de werkelijkheid. Modellen abstraheren, idealiseren en reduceren complexiteit. Ze zijn nuttige gereedschappen — maar geen waarheidsmachines.

Wanneer modellen beleidsinstrumenten worden zonder robuuste toetsing aan metingen, ontstaat een vorm van epistemische arrogantie. Dan zijn we vergeten dat modellen slechts hulpmiddelen zijn, geen vervangers van de werkelijkheid.

Waarheid als proces, niet als product

Het verschil tussen metingen en modellen raakt aan een diepere wetenschapsopvatting. Waar een meting altijd een relatie heeft tot een fysieke realiteit (temperatuur, concentratie, massa), is een model een theoretische constructie die probeert datzelfde gedrag te simuleren of voorspellen.

Een goed model moet voldoen aan drie criteria:

1. Het is gebaseerd op valide fysische of chemische theorieën.
2. Het is gekalibreerd met betrouwbare data.
3. Het is gevalideerd via onafhankelijke waarnemingen.

Zonder deze drie stappen blijft een model speculatief. Zeker in omgevingen waar meetonzekerheid groot is (zoals bij droge depositie), kan de uitkomst van een model hooguit indicatief zijn — nooit exact.

Het Aerius-model heroverwogen

Aerius berekent stikstofdepositie met een resolutie van 250 meter en geeft resultaten tot drie decimalen nauwkeurig. Maar als de onderliggende meetdata schommelingen kent van tientallen mol per hectare per jaar, dan ontstaat schijnnauwkeurigheid.

De vraag die dan rijst is: kan en mag een overheid juridisch bindende besluiten nemen op basis van uitkomsten die in hun kern onzeker zijn?

Zolang er geen systematisch meetnetwerk is dat langdurig en op representatieve schaal droge en natte depositie meet, blijft elk model een hypothese. Zelfs al is het model intern consistent en goed gestructureerd, dan nog mist het de empirische bevestiging die de hoeksteen van wetenschap vormt.

Slotbeschouwing: het primaat van de waarneming

De verhouding tussen model en meting is geen technisch detail, maar een fundamentele wetenschapsfilosofische kwestie. In een democratische rechtsstaat waar beleid wordt onderbouwd met wetenschap, is het essentieel dat we weten hoe die wetenschap werkt — en waar haar grenzen liggen.

Modellen zijn nuttige hulpmiddelen. Maar alleen als ze stevig geankerd zijn in waarnemingen kunnen ze bijdragen aan verstandige besluitvorming. Anders worden ze wat Stephen Jay Gould ooit noemde: “elegant castles built on shifting sands.”

Mijn pleidooi is daarom eenvoudig: versterk het nationale meetnet, investeer in langdurige monitoring, wees transparant over modelonzekerheden en koester de waarneming als het fundament van empirische wetenschap. Want alleen dan kunnen modellen bijdragen aan het vinden van waarheid, in plaats van die waarheid te vervangen.