“Significant”: één woord, vele werelden — over ingenieurs, juristen en modelonzekerheid

Dit artikel is een vervolg op het artikel:  De onwetenschappelijke precisie van AERIUS – het gaat ook mis bij het aantal significante cijfers dat wordt gebruikt

Inleiding

Er bestaan woorden die zo vanzelfsprekend lijken, dat niemand zich afvraagt wat ze eigenlijk betekenen. Eén van die woorden is significant. Voor juristen, wetenschappers en beleidsmakers is het een sleutelbegrip. Maar wat ze ermee bedoelen, verschilt enorm.

Naar aanleiding van mijn eerdere artikel over significante cijfers in het AERIUS-model, vroeg ik een jurist hoe hij naar dit woord keek. Zijn antwoord was ontwapenend:

“Nee, dat weten ze ook zelf niet. Meestal bedoelen ze er mee: niet heel weinig. Maar soms bedoelen ze ook een beetje, of niet niets. Maar dat verandert altijd. En bovendien vinden ze: tien keer niet significant is wél significant. Ook als het over significante cijfers gaat.”

Die uitspraak zette me aan het denken. Want waar een ingenieur of natuurkundige een scherp gedefinieerde afspraak hanteert over wat een significant cijfer is, gebruikt de jurist het woord eerder als gevoelswaarde. Wat betekent dat voor de manier waarop we beleid maken? Hoe beoordelen rechters en ambtenaren meetgegevens? En waarom leidt deze verwarring tot foute beslissingen — zoals in het stikstofbeleid?

In dit artikel laat ik zien hoe één woord uiteenvalt in minstens drie werelden: die van de ingenieur, die van de statisticus, en die van de jurist. Aan het eind stel ik de vraag: moeten we het woord significant niet verbannen uit onze beleidstaal?

1. Voor de ingenieur: precisie is geen illusie

In de wereld van techniek is significant een kwestie van precisie. De regel is simpel: je mag alleen rekenen met zoveel cijfers als je meting toelaat.

Een voorbeeld:

• Een sensor die tot op 1 ppm (deeltjes per miljoen) meet, geeft een waarde van 12,3.
• Dan zijn er drie significante cijfers.
• Een uitkomst als 12,318742 suggereert een onnauwkeurigheid van een miljoenste, en dat is onwetenschappelijk als je brongegevens dat niet ondersteunen.

In het AERIUS-model echter, worden uitkomsten zoals 0,00143 mol/ha/j gebruikt om beleid te onderbouwen. Alsof we met zes cijfers achter de komma weten hoeveel stikstof er daadwerkelijk op een grasspriet in een Natura 2000-gebied neerslaat. Dat is een vorm van schijnzekerheid.

2. Voor de statisticus: een kansbegrip, geen waardeoordeel

In de statistiek betekent “significant” iets heel anders. Het is een drempelwaarde voor onzekerheid, vaak gedefinieerd als p < 0,05.

Een statistisch significant verschil is een verschil dat met meer dan 95% zekerheid niet door toeval ontstaat.

Let wel: dat betekent niet dat het verschil groot is — enkel dat het waarschijnlijk bestaat.

Een mooi citaat van statisticus Nassim Taleb is hier op zijn plaats:

“Statistical significance is not the same as practical significance. And conflating the two is the root of many bad decisions.”

In stikstofbeleid worden kleine modelmatige verschillen vaak als “significant” gepresenteerd. Maar is een verschil van 0,001 mol ook praktisch relevant?

3. Voor de jurist: een elastisch begrip

En dan de jurist. De juridische wereld heeft de neiging om het woord significant te gebruiken als grenswaarde in een normatief kader: boven deze waarde is iets relevant, onder deze waarde niet. Maar hoe die grens ontstaat, blijft vaak onduidelijk.

De eerdergenoemde jurist zei:

“Significant betekent: er moet iets gebeuren. Maar waar de grens ligt, verschuift met de tijd, met de jurisprudentie, en met de druk op de minister.”

Dat leidt tot situaties waarin een berekende emissie van 0,001 mol/ha/j leidt tot een vergunning die niet wordt verleend — terwijl het model onzekerheden kent die tien tot honderd keer groter zijn.

In feite is dit een juridisch eufemisme voor: wij durven geen enkel risico te nemen, ook al is het risico statistisch of technisch verwaarloosbaar. De ironie is dat dit beleid uiteindelijk niemand beschermt, maar juist verlamt.

4. Tien keer niets is wél iets?

De jurist grapte: “Tien keer niet significant is wél significant.” En zo werkt het beleid inmiddels ook.

Als tien veehouders allemaal een minieme emissie hebben, elk lager dan 0,001 mol/ha/j, dan zou het juridisch gezien kunnen worden opgevat als: “het geheel is significant”. Maar het ingenieursdenken zou zeggen: de onzekerheidsmarges zijn groter dan de som.

Hier treedt een fundamenteel misverstand op. Cumulatieve effecten mogen pas worden opgeteld als de individuele bijdragen boven de detectie- en modelnauwkeurigheidsgrens liggen. Anders rekenen we met luchtkastelen.

5. Schijnzekerheid als fundament van beleid

Door modeluitkomsten met zes significante cijfers juridisch te verheffen tot waarheid, zijn we bezig een technologische illusie te verabsoluteren.

Het is alsof een arts zegt:

“Uw cholesterolwaarde is 5,731245 mmol/l, dus u moet per direct aan de statines.”

Terwijl de laboratoriumnauwkeurigheid slechts één decimaal toelaat. De patiënt zou terecht twijfelen aan de medische logica. Waarom accepteren we diezelfde onnauwkeurigheid wél bij stikstofbeleid?

6. Een pleidooi voor taaldiscipline

De oplossing? We moeten het woord significant herdefiniëren — of helemaal niet meer gebruiken in beleidsteksten, vergunningen en rechtszittingen, tenzij het ondubbelzinnig wordt gekaderd.

Mijn voorstel:

• Technici en modelleurs hanteren het begrip significante cijfers conform de NEN-norm of ISO-standaard.
• Statistici gebruiken “statistisch significant” uitsluitend met vermelding van p-waarden en betrouwbaarheidsintervallen.
• Juristen gebruiken liever woorden als relevant effect, maatgevend verschil of juridische drempelwaarde, maar niet meer significant als containerbegrip.

Tot slot

Het stikstofdossier heeft niet alleen behoefte aan betere modellen of eerlijker verdelingen, maar ook aan scherpere taal. Alleen dan kunnen wetenschap, recht en beleid weer met elkaar spreken zonder langs elkaar heen te praten.

Want zoals George Orwell ooit zei:

“But if thought corrupts language, language can also corrupt thought.”

Voetnoot: Deze longread is een vervolg op het artikel:  De onwetenschappelijke precisie van AERIUS – het gaat ook mis bij het aantal significante cijfers dat wordt gebruikt