Anomalien in Sensordaten aus Wassersystemen erkennen: was gut eingestellte Verfahren leisten — und wo der Betrieb sie einholt

Wasseraufbereitungs- und Wasserverteilsysteme werden heute durchgängig mit Sensoren überwacht. Leitfähigkeit, pH-Wert, Trübung, Temperatur, Druck und Durchfluss werden im Minuten- oder Sekundentakt aufgezeichnet. Die Frage, die sich daraus ergibt, ist, ob sich aus diesen Datenströmen automatisch und verlässlich erkennen lässt, wann ein System vom Normalbetrieb abweicht — durch eine Störung, einen Sensorfehler oder eine Veränderung der Wasserqualität.

Die Verfahren dafür reichen von einfachen statistischen Grenzwerten, wie sie in vielen Leitsystemen bereits vorhanden sind, bis zu neuronalen Netzen. Welche davon in der Praxis den Unterschied machen, ist aus veröffentlichten Vergleichen oft nicht ablesbar: Aufwendige Verfahren werden dort meist sorgfältiger eingestellt als die einfachen, und die Bewertung erfolgt nicht selten auf denselben Daten, mit denen auch eingestellt wurde.

Die Studie sollte zwei Fragen beantworten:

• Wie viel Verbesserung bringen aufwendigere Verfahren gegenüber einfachen Standardmethoden, wenn beide gleich sorgfältig eingestellt und auf getrennten Daten bewertet werden?
• Welche praktischen Hürden treten beim Übergang von historischen Daten in den laufenden Betrieb auf — und was ist dagegen wirksam?

Verwendet wurden zwei öffentlich verfügbare Datensätze, die unterschiedliche Anwendungssituationen abbilden.

Datensatz A — Prüfstand für Wasserzirkulation (SKAB). Ein Laborsystem mit Pumpe, Ventilen und acht Sensoren für Vibration, Strom, Druck, Temperatur und Durchfluss. In 34 Versuchen wurden gezielt Störungen herbeigeführt, etwa teilweise geschlossene Ventile oder reduzierte Pumpenleistung. Die Störzeiträume sind exakt dokumentiert. Dieser Datensatz steht für maschinennahe Überwachung mit wenigen Trainingsdaten je Versuch.

Datensatz B — Trinkwasserqualität eines Fernwasserversorgers (GECCO 2019). Fünf Monate Messdaten im Minutentakt aus dem realen Netzbetrieb: Temperatur, pH, Leitfähigkeit, Trübung, spektraler Absorptionskoeffizient und Durchfluss. Ereignisse mit auffälliger Wasserqualität wurden vom Betreiber markiert. Sie sind selten — weniger als ein Prozent der Zeit — und dauern typischerweise 15 bis 20 Minuten. Dieser Datensatz steht für die Langzeitüberwachung von Wasserchemie im laufenden Betrieb.

Verglichen wurden neun Verfahren, die ohne Kenntnis der Störereignisse arbeiten und lediglich aus Daten des Normalbetriebs lernen. Für den Trinkwasserdatensatz kamen zwei Verfahren hinzu, die die markierten Ereignisse der Vergangenheit zum Lernen nutzen dürfen. Damit lässt sich beziffern, welchen Wert dokumentierte Störfälle für die Erkennungsleistung haben.

Drei Regeln für einen fairen Vergleich

• Strikte Trennung von Einstellung und Bewertung. Jedes Verfahren wurde auf einem Teil der Daten eingestellt und auf einem davon getrennten, zeitlich späteren Teil bewertet. Die Bewertungsdaten wurden zu keinem Zeitpunkt zur Einstellung verwendet.
• Gleicher Aufwand für alle Verfahren. Jedes Verfahren, auch das einfachste, erhielt denselben Umfang an automatischer Parameteroptimierung — 40 Durchläufe. Ohne diese Regel schneiden aufwendige Verfahren oft nur deshalb besser ab, weil sie sorgfältiger eingestellt wurden.
• Mehrere Kennzahlen statt einer. Neben der üblichen Gesamtkennzahl (F1-Wert, der Treffergenauigkeit und Vollständigkeit kombiniert; 1,0 wäre perfekt) wurden Fehlalarmrate, Rate verpasster Störungen, Anteil erkannter Ereignisse und Zahl der Fehlalarmphasen ausgewiesen. Jedes Ergebnis wurde dreimal mit unterschiedlichen Zufallsstartwerten wiederholt.

Alle Verfahren erkennen die herbeigeführten Störungen grundsätzlich. Die einfachen Grenzwertverfahren erreichen einen F1-Wert von rund 0,75 bis 0,77. Das beste Verfahren — eine lineare Methode, die statt einzelner Messwerte kurze Zeitfenster von wenigen Sekunden betrachtet — erreicht 0,81 und liegt damit über dem bislang besten veröffentlichten Ergebnis für diesen Datensatz, einem neuronalen Netz mit 0,78. Ein ebenfalls getestetes neuronales Netz auf denselben Zeitfenstern erreichte 0,77.

Zwei Einschränkungen des Datensatzes selbst: Der hohe Störanteil macht den F1-Wert wenig trennscharf; Fehlalarmrate und Rate verpasster Störungen unterscheiden die Verfahren deutlicher. Und eine der 34 Versuchsdateien enthält bereits im als „normal“ definierten Trainingsabschnitt Störungen — auf ihr versagen erwartungsgemäß alle Verfahren.

Dieser Datensatz ist deutlich anspruchsvoller, weil die Ereignisse selten und kurz sind und die Messwerte über Monate driften. Ohne Nutzung markierter Ereignisse erkannte das beste Verfahren im Bewertungsmonat 7 der 12 Ereignisse. Die einfachen Grenzwertverfahren erkannten nur 2 bis 4 Ereignisse, allerdings nahezu ohne Fehlalarme. Mit Nutzung der markierten Ereignisse aus der Vergangenheit erkannte das beste Verfahren 11 der 12 Ereignisse. Die Erkennung stützt sich dabei vor allem auf kurzfristige Abweichungen der Trübung und des Absorptionskoeffizienten vom jeweiligen lokalen Niveau.

Einstellungen veralten

Alle Verfahren schnitten im Bewertungsmonat schlechter ab als im Einstellmonat davor, teilweise deutlich. Zwei Verfahren, die auf absoluten Messwerten statt auf Abweichungen vom lokalen Niveau arbeiteten, fielen im Bewertungsmonat vollständig aus, weil eine Niveauverschiebung zu Daueralarm führte. Ein einzelner Kalibrierungszeitraum reicht für die Auswahl und Einstellung eines Verfahrens nicht aus.

Mitlaufende Schwellen helfen nur bedingt

Als Gegenmaßnahme wurde eine Alarmschwelle getestet, die sich fortlaufend aus den Daten der vergangenen ein bis zwei Wochen ableitet — ohne Kenntnis von Ereignissen und ohne Blick in die Zukunft. Sie verhinderte den Totalausfall der betroffenen Verfahren zuverlässig, verschlechterte aber bei anderen Verfahren die Erkennungsleistung. Es handelt sich um eine Maßnahme für Robustheit, nicht für bessere Erkennung.

Die Ergebnisse sind methodisch belastbar in dem Sinn, dass keine Bewertungsdaten in die Einstellung eingeflossen sind, alle Verfahren gleich behandelt wurden und die Rangfolge über drei Wiederholungen stabil ist. Sie sind in ihrer Aussagekraft dennoch begrenzt.

• Der Trinkwasserdatensatz enthält im Bewertungszeitraum nur 12 Ereignisse. Unterschiede von wenigen Hundertstel im F1-Wert können nicht als gesichert gelten.
• Am Prüfstand stehen je Versuch nur wenige Minuten Normalbetrieb zum Lernen zur Verfügung; die Schwellenregel kompensiert das nur näherungsweise.
• Die Verfahren wurden mit begrenzter Rechenkapazität umgesetzt. Aufwendigere neuronale Architekturen mit Faltung oder Rekurrenz wurden nicht getestet.
• Beide Datensätze sind öffentliche Benchmarks. Die Übertragung auf eine konkrete Anlage erfordert eigene Daten und eigene Ereignisdokumentation.

• Einfache Verfahren sind ein solider Ausgangspunkt, aber kein Endpunkt. Bei sorgfältiger Einstellung erreichen sie eine brauchbare Grundleistung mit wenigen Fehlalarmen. Sie verpassen jedoch einen erheblichen Teil kurzer Ereignisse in driftenden Messreihen.
• Zeitlicher Kontext ist der wirksamste Hebel. Die Auswertung kurzer Zeitfenster und die Betrachtung von Abweichungen vom lokalen Niveau bringen mehr als komplexere Modellklassen. Beide Maßnahmen sind mit geringem Aufwand umsetzbar und erklärbar.
• Dokumentierte Störfälle haben einen messbaren Wert. Die Zahl der erkannten Ereignisse stieg von 7 auf 11 von 12, sobald markierte Ereignisse der Vergangenheit zum Lernen genutzt wurden. Die systematische Erfassung von Störungen im Betrieb ist damit eine direkte Investition in die spätere Erkennungsleistung.
• Der Betrieb erfordert laufende Nachkalibrierung. Einmalig eingestellte Schwellen und Modelle verlieren innerhalb weniger Wochen an Wirkung. Ein Erkennungssystem muss von Anfang an mit einem Prozess für regelmäßige Überprüfung und Anpassung geplant werden.