Filtering noise from real-time automatic precipitation measurements in Norway :a description and evaluation of the Meteorological Institute’s new correction algorithm | Støyfiltrering av sanntidsmålinger fra norske automatiske nedbørstasjoner : en beskrivelse og vurdering av Meteorologisk Institutt sin nye korrigeringsalgoritme

English. There are several different ways to measure precipitation, both manual and automatic methods, and they are both in use at different precipitation stations. In Norway, Norwegian and Swedish gauges, are used at manual precipitation stations, while the Geonor T-200B is most widely used at automatic measuring stations. Different measurement methods are affected by different types of measurement errors. The sensors used at automatic precipitation stations can also be exposed to both low-frequency and high-frequency noise. This can result in inaccurate measurements and can make the comparison of measurements difficult. Many studies examine the effect of noise and noise reduction measures. However, for automatic precipitation stations, there is still a need for an algorithm that filters out noise from the recorded measurements and thus provides more accurate results. The Norwegian Meteorological Institute has developed a new noise filtering algorithm with the aim of having reliable measurements with a time resolution as small as ten minutes. The use of this was initiated at the end of 2019/beginning of 2020, at a couple of selected automatic weather stations. The intention is that this new algorithm eventually shall replace the old filtering algorithm (AlgGML). To evaluate the new algorithm, it has been tested for discrepancies between implementation in different programming languages. In addition, the two algorithms (new and old) has been compared with each other. The filtering ability of the new algorithm was tested on a set of synthetic data to which ten different noise characteristics was added. The synthetic data set is based on measurements made by a Geonor T-200B weather station at Haukeliseter in 2019. The noise that was added had different standard deviations ranging from0.001 mm to 1.00 mm. The algorithm was tested in three different configurations. The results from the comparison between the new (AlgPYTN) and old (AlgGML) algorithms show no particular improvement through use if the new algorithm, but it is recommended to compare the new and old algorithm on a data set covering a longer time period and with more noise. Further, no significant difference was observed between implementation of the new algorithm in different programming languages in this study. The noise analysis indicates that there is no difference between the tested configurations of the algorithm. As could be expected, the highest deviation and RMSE values were found for the noise type with the largest standard deviation. Compared with the analysis of the four different algorithms tested by Environment Canada, the new algorithm from the Norwegian Meteorological Institute is better at filtering noise from data sets with added non-normalized noise.

M-MF

Det er flere ulike måter å måle nedbør på, både manuelle og automatiske metoder, og de ulike metodene benyttes på ulike målestasjoner. I Norge benyttes norske- og svenske målere på manuelle målestasjoner, mens Geonor T-200B er den mest brukte måleren på automatiske målestasjoner. Ulike målemetoder påvirkes av ulike former for målefeil. Sensorene som benyttes på automatiske målestasjoner kan i tillegg være utsatt for både lavfrekvent og høyfrekvent støy. Dette kan resultere i unøyaktige målinger og kan gjøre sammenligningen av målinger utført med forskjellige metoder vanskelig. Det finnes mange studier som ser på effekten av støy og støyreduserende tiltak, men for automatiske målestasjoner er det fortsatt behov for en algoritme som filtrerer vekk støy fra målingene i etterkant og dermed gir mer nøyaktige resultater. Meteorologisk Institutt har utviklet en ny støyfiltrerende algoritme med mål om å ha pålitelige målinger med en tidsoppløsning helt ned til ti minutter. Ved årsskiftet 2019/2020 ble denne tatt i bruk på et par utvalgte automatiske værstasjoner og planen er at den etter hvert skal erstatte den gamle filtreringsalgoritmen (AlgGML). For å evaluere den nye algoritmen er den blitt testet for avvik mellom implementering i ulike programmeringsspråk, i tillegg til at de to algoritmene (ny og gammel) ble sammenlignet med hverandre. Filtreringsevnen til den nye algoritmen ble testet på et syntetisk datasett tilsatt ti ulike støykarakteristikker. Det syntetiske datasettet er basert på målinger gjort av en Geonor T-200B værstasjon på Haukeliseter i 2019. Støyen som ble lagt til hadde ulikt standardavvik på mellom 0,001 mm og 1,00 mm. Algoritmen ble testet i tre ulike forsøkskonfigurasjoner. Resultatene fra sammenligningen mellom AlgPYTN og AlgGML viser ingen tydelig forbedring ved bruk av den nye algoritmen, men det anbefales å sammenligne ny og gammel algoritme på et lengre datasett med mer støy. I denne studien ble det ikke observert en signifikant forskjell mellom implementering av den nye algoritmen i ulike programmeringsspråk. Støyanalysen indikerer at det ikke er en forskjell mellom de testede konfigurasjonene av algoritmen. Ikke uventet ble det høyest avvik og RMSE-verdier for støytypen med størst standardavvik. Sammenlignet med analysen av de fire ulike algoritmene som ble testet av Environment Canada, er den nye algoritmen fra Meteorologisk Institutt bedre på støyfiltrering av datasett med tilsatt ikke-normalisert støy.