Hoe nauwkeurig is de KringloopWijzer bij het berekenen van ammoniakemissies? Precieze doelsturing per bedrijf? Vergeet het maar.

De KringloopWijzer speelt een steeds belangrijkere rol bij bedrijfsspecifieke doelsturing in de melkveehouderij. Maar hoe nauwkeurig kan de ammoniakemissie van één individueel melkveebedrijf ermee worden bepaald? Een nieuw WUR-onderzoek laat zien dat het antwoord genuanceerder is dan één onzekerheidspercentage. Gemiddeld onderschat de KLW de gemeten stalemissie met 21 procent, maar achter dat gemiddelde gaat een veel grotere spreiding tussen bedrijven en jaren schuil.

De discussie over stikstof verschuift langzaam van generieke voorschriften naar bedrijfsspecifieke doelsturing. Daarbij ontstaat behoefte aan instrumenten waarmee emissies op bedrijfsniveau kunnen worden gevolgd. De KringloopWijzer (KLW) ligt daarbij voor de hand: het instrument wordt breed gebruikt in de melkveehouderij en berekent op basis van bedrijfsgegevens onder andere stikstofstromen en ammoniakemissies.

Maar een berekening is nog geen meting. De relevante vraag is daarom hoe goed een berekende KLW-emissie overeenkomt met emissies die daadwerkelijk op praktijkbedrijven worden bepaald.

Wageningen Livestock Research onderzocht dit in het rapport Metingen en Modellen – Monitoring van ammoniakemissies uit de melkveehouderij. Daarvoor werden praktijkmetingen uit onder meer Koeien & Kansen en Netwerk Praktijkbedrijven vergeleken met berekeningen van de KLW. Het onderzoek kijkt afzonderlijk naar stalemissies, veldemissies en de stikstofketen binnen het bedrijf.

21 procent is geen onzekerheidsmarge

Voor de stalemissies beschikten de onderzoekers uiteindelijk over 61 bedrijfsjaren van 21 melkveebedrijven. Daarbij werd de door de KLW berekende emissie uit stal en mestopslag vergeleken met emissiebepalingen op basis van metingen in de stal.

De meest in het oog springende uitkomst is dat de gemeten ammoniakemissie gemiddeld 21 procent hoger was dan de door de KLW berekende emissie. De KLW onderschatte de emissie in deze dataset dus gemiddeld.  Het is verleidelijk hieruit te concluderen dat de KLW een onzekerheid van 21 procent heeft. Dat zou echter statistisch onjuist zijn.

Die 21 procent beschrijft een gemiddelde systematische afwijking, of bias. Wanneer een model bij het ene bedrijf 50 procent te laag en bij het andere 50 procent te hoog zit, kan de gemiddelde afwijking immers klein zijn, terwijl de bedrijfsspecifieke voorspellingsfout groot is. Precies dat onderscheid blijkt belangrijk bij de KLW.

Op bedrijfsniveau is de spreiding veel groter

In tabel 2.4 van het WUR-rapport wordt voor de oorspronkelijke KLW een gemiddelde relatieve afwijking van 21 procent gerapporteerd, maar de individuele relatieve afwijkingen lopen van −60 tot +127 procent. 

Ook figuur 2.1 maakt duidelijk hoe groot de spreiding is. De correlatie tussen berekende en gemeten totale ammoniakemissie bedraagt 0,83, maar die relatief hoge correlatie wordt volgens de onderzoekers voor een belangrijk deel veroorzaakt doordat het aantal dieren zowel in de KLW als in de emissiebepaling een belangrijke variabele is. Rond de regressielijn is de spreiding zo groot dat de werkelijke emissie volgens WUR een factor twee kan verschillen van de voorspelde emissie. 

Dat is een wezenlijk andere boodschap dan “de KLW zit er gemiddeld 21 procent naast”.

De onderzoekers hebben daarom verschillende verbeteringen getest. Wanneer alleen de gemiddelde systematische afwijking van de KLW via een regressie wordt gecorrigeerd — model 1 in het onderzoek — daalt de gemiddelde afwijking van 21 naar slechts 1 procent.

Maar daarmee is het model op individuele bedrijven nog niet nauwkeurig. De relatieve voorspellingsfout (RPE) bedraagt bij dit gecorrigeerde model namelijk 29 procent en de individuele relatieve afwijkingen lopen nog altijd van −66 tot +81 procent. WUR definieert de RPE op basis van het gemiddelde kwadratische verschil tussen voorspelling en meting, afgezet tegen de gemiddelde gemeten emissie.

Dat illustreert mooi het verschil tussen bias en precisie: een model kan gemiddeld vrijwel precies goed uitkomen en tegelijkertijd voor een afzonderlijk bedrijf behoorlijk verkeerd zitten.

Met extra metingen wordt het beter

WUR onderzocht vervolgens of aanvullende informatie de voorspelling kan verbeteren. Onder andere buitentemperatuur, windsnelheid, staltemperatuur, CO₂-concentratie en de verhouding tussen NH₃- en CO₂-concentraties in de stal werden toegevoegd. Het beste resultaat werd verkregen met model 4a, waarin de KLW wordt gecombineerd met windsnelheid en de gemeten NH₃/CO₂-verhouding in de stal.

De relatieve voorspellingsfout daalt daarmee naar 21 procent en de verklaarde variantie stijgt naar 60 procent. Dat is een duidelijke verbetering.

Maar ook dit verbeterde model is nog geen nauwkeurig meetinstrument voor ieder afzonderlijk bedrijf. De afwijking kan volgens het onderzoek nog uiteenlopen van een onderschatting van 32 procent tot een overschatting van 82 procent. Van de 61 onderzochte bedrijfsjaren werd de voorspelling in 36 gevallen beter, maar in 25 gevallen juist slechter.

Bovendien is een belangrijke benodigde parameter — de NH₃/CO₂-verhouding — momenteel niet standaard beschikbaar op melkveebedrijven. WUR noemt dat de belangrijkste praktische beperking voor toepassing van dit verbeterde model.

Aan het begin van de stikstofketen gaat het beter

Opvallend is dat de KLW niet overal dezelfde afwijkingen laat zien.

In de ketenanalyse vergeleken de onderzoekers onder andere voeropname, stikstofexcretie, TAN, stalemissie en mesttoediening. Voor voeropname en stikstofexcretie zijn de verschillen relatief klein. Bij acht onderzochte bedrijfsjaren varieert de afwijking in N-voeropname van ongeveer 6 procent onderschatting tot 9 procent overschatting. Voor N-excretie bedraagt de range ongeveer −9 tot +8 procent.

Verderop in de keten worden de verschillen groter. Bij mesttoediening speelt bovendien een ander probleem. KLW en NEMA werken met vaste emissiefactoren, terwijl de werkelijke emissie mede afhankelijk is van grondsoort, weersomstandigheden, mestdosering en mestsamenstelling. Het meer gedetailleerde procesmodel dat WUR toepaste, berekende bijvoorbeeld voor zodenbemesting op zandgrond doorgaans lagere emissies dan op kleigrond.

Een vaste emissiefactor maakt een model reproduceerbaar, maar betekent tegelijkertijd dat bedrijfsspecifieke omstandigheden maar beperkt worden meegenomen.

Ook een meting is niet de werkelijkheid zelf

Daarmee is overigens niet gezegd dat de stalmetingen waarmee de KLW wordt vergeleken foutloos zijn.

WUR benadrukt dit zelf nadrukkelijk. De “gemeten emissie” wordt bepaald uit onder andere gemeten concentraties en een berekend ventilatiedebiet. De onderzoekers beschouwen de metingen in deze studie als gouden standaard, maar erkennen tegelijkertijd dat ook deze een meetonzekerheid hebben. Die onzekerheid is in het rapport niet vertaald naar één algemeen percentage.

In de algemene discussie formuleren de onderzoekers het nog scherper: ook een meting is uiteindelijk een kwantitatieve en herhaalbare schatting van de werkelijkheid. Bij emissiemetingen in natuurlijk geventileerde stallen spelen onzekerheden rond bemonstering, ventilatiedebiet en concentratiemeting. Langduriger meten en meer bedrijven bemeten helpt om die variatie te verkleinen.

Van monitoring naar afrekenen is een (te) grote stap

Het WUR-onderzoek maakt daarmee vooral duidelijk dat bij de toepassing van de KringloopWijzer onderscheid moet worden gemaakt tussen drie begrippen: gemiddelde bias, spreiding en voorspellingsonzekerheid op individueel bedrijfsniveau.

De uitspraak dat de KLW de stalemissie gemiddeld met 21 procent onderschat, betekent niet dat iedere KLW-berekening eenvoudig met 21 procent kan worden gecorrigeerd. Na zo’n gemiddelde correctie resteert immers nog een relatieve voorspellingsfout van 29 procent en een aanzienlijke spreiding tussen individuele bedrijfsjaren.

Zelfs wanneer aanvullende lokale meetgegevens worden toegevoegd, blijft volgens WUR op bedrijfsniveau aanzienlijke onverklaarde variatie bestaan. Het verbeterde model is bovendien nog niet onafhankelijk gevalideerd; WUR beveelt expliciet aan dat met nieuwe gegevens alsnog te doen.

Dat onderscheid is relevant nu steeds vaker wordt gesproken over bedrijfsspecifieke emissiedoelen. Een model kan heel bruikbaar zijn om gemiddelden, ontwikkelingen en verschillen tussen groepen bedrijven te volgen, zonder automatisch voldoende nauwkeurig te zijn om een individuele emissie als exact getal te behandelen.

Daar ligt misschien wel de belangrijkste les van dit onderzoek. Niet dat de KringloopWijzer “niet klopt”, maar dat een modeluitkomst moet worden gebruikt met een nauwkeurigheid die past bij wat het model aantoonbaar kan leveren.

Voor ammoniakemissies op een individueel melkveebedrijf blijkt die bandbreedte voorlopig aanzienlijk.