¶ Validation von NIRS Kalibrationen
Indirekte Messungen wie das NIRS Verfahren zur Inhaltsstoffbestimmungen werden immer häufiger in landwirtschaftlichen Verfahren wie Ernte, Gülleausbringung, Fütterung und Melken eingesetzt, da sie schnell und berührungslos ein Ergebnis liefern. Werden diese Messergebnisse z.B. in Form von Referenzproben überprüft, spricht man von einer Validation. Im Folgenden wird beschrieben, wie dieses statistische Verfahren zu einer Bewertung der Genauigkeit des Sensors führt.
¶ Beschreibung
Ein Nahinfrarot (NIR) Messystem besteht aus der Hardware, die u.a. die NIR Spektren misst und einer Software, welche u.a. das eigentliche Modell enthält – also die Verknüpfung der Spektren zu dem Inhaltsstoff. Soll nun bestimmt werden, wie genau das Modell ist, werden die errechneten Inhaltsstoffkonzentration mit den „wahren“ Inhaltstoffkonzentrationen verglichen, welche mit (genaueren) Referenzmethoden bestimmt werden.
Zeigt der Sensor z.B. einen Messwert „N-Gesamt: 4,0 kg N/m³“ an und soll nun überprüft werden, ist es wichtig die Probe für die Referenzanalyse so zu entnehmen, dass sie dem zuvor mit dem Sensor gemessenen Substrat entspricht, wie in Abbildung 1 angedeutet. Dies kann an einfachsten durch eine Homogenisierung des Materials während Messung und Probenahme des homogenen Materials erfolgen. Ist dies nicht möglich z.B. beim Häckseln, so ist der Probenahmeprozess zeitlich und vom Ort her mit der Sensormessung zu synchronisieren oder es werden Sensormittelwerte einer größeren Menge z.B. einer Wagenladung und mehrere Stichproben für die Referenzanalyse herangezogen [1].
Wird so eine Abweichung zwischen Sensor und Referenz festgestellt, ist es erstmal ausschlaggebend:
- Wie viele (unterschiedliche) Proben verglichen werden und
- wie groß diese Abweichungen sind.
Es ist jedem klar, dass bei einem Wurf mit zwei Würfeln die Zahl „7“ als Summe am wahrscheinlichsten ist; keiner würde aber ableiten, dass wenn einmal eine „12“ fällt, die Würfel nicht funktionieren.
So ist es im gewissen Maße auch mit Sensoren, welche eine Abweichung vom Messwert (Sensor) zum Referenzwert (Labor) aufweisen: erst aus einer Vielzahl von Messungen kann auf deren Fehlergröße geschlossen werden. Bei einer NIR-Kalibration – also die Verknüpfung des direkt gemessenen Spektrums zu einem Inhaltsstoff z.B. N-Gesamt in kg/m³ - kommt noch hinzu, dass einer Wiederholungsmessung eines identischen Substrates keine wirklich neue Messung ist, sondern nur die technische Reproduzierbarkeit des Sensors überprüft.
Nehmen wir mal an, dass mehrere verschiedene Arten von Substraten mit dem Sensor vermessen wurden und deren „wahre“ Inhaltsstoffkonzentrationen bekannt sind, in dem bestenfalls der Probenteil, den der Sensor „gesehen“ hat, im akkreditierten Labor chemisch analysiert wird.
Es ergibt sich vereinfacht folgendes Bild 2, indem der Sensorwert als Schätzwert gegen den Laborwert als Referenz aufgetragen ist. Die Abweichungen sind dort durch die vertikalen Striche dargestellt. Üblicherweise variieren die Abweichungen mal nach unten mal nach oben, sodass ihr Mittelwert auch durchaus „0“ sein kann, obwohl sie betragsmäßig sehr groß sind. Deswegen sollten hier andere Parameter als die direkten Abweichungen verwendet werden, obwohl diese für eine Probendifferenzierte Betrachtung sinnvoll sind, um z.B. Proben mit besonders auffälligen Abweichungen zu identifizieren. Als ein wichtiges Maß ist in Abbildung 2 die mittlere Abweichung als RMSE (root mean square error) eingezeichnet, welche nicht von der Abweichungsrichtung – ob Sensor über oder unter dem Labor liegt – abhängt, da die Abweichung vor der Mittelung quadriert werden.
Abweichung = Referenzwert – Sensorwert
RMSE = Wurzel (Summe aller Abweichungsquadrate / Anzahl der Proben)
Dies hat auch den Vorteil, dass über den RMSE Parameter der Fehler abgeschätzt werden kann, welcher durchschnittlich mit einer gewissen Wahrscheinlichkeit auftreten kann:
- Der Referenzwert Y liegt in ca. 68 % aller Fälle innerhalb des Intervalls RMSE um den gemessenen Schätzwert X, siehe Abbildung 3:
- Y = X+- RMSE
Weitere sogenannte Güteparameter einer Validation sind [5]:
- Steigung (slope): Sie gibt das Verhältnis aus geschätztem Wert zu Referenzwert an und sollte idealerweise 1 sein. Starke Abweichungen davon deuten auf eine systematische Unter- bzw. Überschätzung je nach Wertebereich hin.
- Achsenabschnitt (offset): Er sollte idealerweise 0 sein; Achsenabschnitte betragsmäßig im Bereich der Referenzwerte deuten ebenfalls auf eine systematische Abweichung des Modells hin.
- Korrelation (coefficients of determination of prediction) R²: Sie sollte nahe bei 1 sein und beschreibt den statistischen Zusammenhang zwischen Referenzwerten und Sensorwerten in der Form „Je höher der Referenzwert, desto höher der Sensorwert“.
- Bias: gemittelte Abweichungen der Schätzwerte zu Referenzwerten. Wenn er über unterschiedliche Messsituationen konstant ist, kann er korrigiert werden und führt zum
- Standardfehler Bias korrigiert: Dieser Wert steht für die Streuung der Abweichungen und kann trotz (gleich großer) Abweichungen sehr klein sein. Im Gegensatz dazu geht der Bias beim nachfolgendem Standardfehler mit ein.
- Standardfehler (standard error of prediction, SEP): Dieser beschreibt auch die Vorhersagegenauigkeit in der Zukunft, wenn das Modell ordentlich validiert ist. Er trägt die Einheit (Dimension) der Referenzwerte und ist wie oben als RMSE beschrieben als Fehlerabweichung einer Messung mit dem Sensor zu betrachten. Hieraus werden auch dimensionslose Kennzahlen abgeleitet, um Modell zu bewerten. So z.B. das
- Variation-zu-Fehler Verhältnis (ratio of prediction to deviation) RPD: Es wir gebildet aus dem Verhältnis von Standardabweichung der Referenzwerte zu dem Standardfehler des Modells und sollte möglichst groß sein. Bei Werten über 3 spricht man von einer erfolgreichen Kalibration (bei gleichzeitiger Korrelation von über 0,9) [4].
In Bild 4 sind diese Parameter für ein fiktives Beispiel aufgetragen.
Es werden teilweise auch systematischen Vorgaben zur Überprüfung mit konkreten Abweichungsintervallen angegeben, welche dann zu einer Einstufung der Sensorgüte führt [1], [2]. Des Weiteren ist es auch möglich, für bestimmte Referenzwertbereiche individuelle Fehler anzugeben [3].
¶ Anwendungsbereich
Hier folgen passende Praxisbeispiele von FARMPRAXIS.
¶ Quellen
- CLAAS NIR Sensor - Feuchtemessung in Gras: DLG Prüfbericht 7020
- Nährstoffgehalte in Gülle online mit Sensoren bestimmen: DLG kompakt 8/2019
- Stenon FarmLab: DLG-Prüfbericht 7197
- Williams, P.C.: Implementation of Near-Infrared Technology. In: Near-Infred Technology in the Agricultural and Food Industrie, 2nd Edition 2001, Edited by Phil Wiliam and Karl Norris, ISBN 1-891127-24-1
- Tormod Naes, Tomas Isaksson, Tom Fearn, Tony Davies: A User-Friendly Guide to Multivariate Calibration and Classification. NIR Publications, Chichester, UK, Reprinted with corrections 2004, ISBN 0 9528666 2 5
¶ Autoren*innen
Dr. Eiko Thiessen, Christian-Albrechts-Universität Kiel, Institut für Landwirtschaftliche Verfahrenstechnik.