Mapping forest key habitats using machine learning and remote sensing data

The Norwegian forest habitat inventory (Miljøregistrering i skog, MiS), is a system used to classify different forest key habitats for use in forestry planning. The purpose of the system is to localize and map habitats in managed forests that are of particular importance for biodiversity. The purpose is to take better care of the biodiversity in the forest of landowners, something that is important for sustainable forest management. Today the work with identifying MiS habitats is largely based on fieldwork and does only to a small degree use information from remote sensing data.Creating a probability map of the location of MiS habitats can be a method of utilizing remote sensing data. One reason to make this map is giving field workers aid when determining what area of the forest to survey. Work can then be done more efficiently and targeted. This is because field workers spend their time searching the forest for the many different habitats. Therefore, a probability map of the different habitats can reduce the search time, by excluding certain areas where the possibility of finding MiS habitats is low. Remote sensing data, like aerial photographs, can be a useful tool when creating a probability map of MiS locations. Aerial imagery is in studies shown to be a useful tool for finding objects in the forest. For example, aerial photographs have been used to classify different tree species. Utilising more of the information in remote sensing data can be a smart way to improve MiS mapping. Convolutional neural networks, a form of machine learning, have been successfully applied to a wide array of tasks including image recognition. Making a model learn how to recognize features and find patterns in data on their own, is the idea behind machine learning. A model can differentiate, for example, a dog image from a cat image, by using features it has learned by looking at many other cat and dog images. The idea behind this thesis was that if machine learning can be used successfully on many different image recognition tasks, could it also be used to find MiS habitats in aerial images? Could a useful probability map of MiS locations be created? In an attempt to find MiS habitats in the study area, a convolutional neural network was created. This network used small sections of aerial images, image tiles, as input and output a prediction on what habitats it thinks is in the tile. Data from the fieldwork was used to label each image tile. The model was trained and validated on a training dataset before being tested on an independent test dataset. Several different models were tested, both multilabel and binary. In the end, it proved difficult to create a model that gave good and meaningful results. The best model managed to classify 61\% of the test images correctly. This is a score too low to make this a method useful for field workers. It created a probability map of the different MiS habitats. This map was not useful because large parts were classified incorrectly, i.e. as MiS habitats when being something else, compared to the survey done in the field work. How could the results of this work been improved? Model performance could have improved with more knowledge about input data. Knowing what features characterises the different MiS habitats may have helped tailor the model to be more suitable for this specific problem. Another advantage is knowing what parts of the data is valuable, and how to separate it from noise. Trying different approaches would also change the performance of the model; instead of using the image tiles, using bigger or smaller part of the aerial photographs would effect how the model behaves. The conclusion is that this thesis used a method that did not work with the procedure that was used. It is belived that more domain knowledge and a different approach may have given different and better results.

MiS (miljøregistrering i skog) er eit system som blir brukt til å klassifisera ulike nøkkelbiotopar til bruk i skogbruksplanar. Formålet med systemet er å lokalisera og kartlegga habitat i skog som er særleg viktige for biologisk mangfald. Målet er å ta betre vare på mangfaldet i skogen til kvar grunneigar, noko som er viktig for berekraftig skogforvaltning. I dag er arbeidet med å identifisera MiS-habitat i stor grad basert på feltarbeid, og brukar i liten grad informasjon frå fjernmåling. Å laga eit sannynligheitskart over plasseringa til MiS-habitata kan vera ein måte å bruka slike fjernmålingsdata på. Ein grunn til å laga dette kartet er å gi feltarbeidarar hjelp til å avgjerda kva område av skogen som skal saumfarast. Arbeidet kan då gjerast meir effektivt og målretta. Dette er fordi ein feltarbeidar elles brukar mykje tid på å leita i skogen etter dei mange MiS-habitata. Difor kan eit sannynligheitskart som viser MiS-habitata redusera tida ein brukar på leita ved å utelukka visse område der det er lite sannsynleg å finna MiS-habitat. Fjernmålingsdata, som flyfoto, kan vera eit nyttig verktøy for å laga eit sannsynligheitskart over MiS-habitat. Ulike studiar har vist at flyfoto kan vera eit godt reiskap for å finna ulike objekt i skog. For eksempel har flyfoto blitt brukt til å klassifisera ulike treslag. Å utnytta meir av informasjonen frå fjernmålingsdata kan vera ein smart måte å forbetra MiS-kartlegginga på. Konvolusjonelle nevrale nettverk, ei form for maskinlæring, har blitt brukt i ei rekke oppgåver, inkludert bildegjenkjenning. Å laga ein modell som på eiga hand lærer å gjenkjenna eigenskapar og å finna mønster i data, er ideen bak maskinlæring. Ein slik modell kan skilja for eksempel eit hundebilde frå eit kattebilde ved å bruka mønster han har lært seg ved å sjå mange bilde av kattar og hundar. Tanken bak denne oppgåva er at viss maskinlæring kan brukast med suksess på mange ulike bildegjenkjenningsoppgåver, kan det då brukast til å finna MiS-habitat i flyfoto? Kan det lagast brukande sannsynligheitskart for MiS-habitat? I eit forsøk på å finna MiS-habitat i eit vald studieområde blei det laga ein maskinlæringsmodell. Dette nettverket brukte små utsnitt av flyfoto, bildefliser, som input og gav ut eit mål på kva habitat det trudde var i bildeflisa. Data frå feltarbeid vart brukt til å kategorisera bildefliser. Modellen vart trena og validert på eit treningsdatasett før han blei testa på eit separat testdatasett. Fleire ulike modellar blei testa, både multilabel og binære. Til slutt viste det seg vanskeleg å laga ein modell som ga gode og meiningsfulle resultat. Den beste modellen klarte berre å klassifisera 61\% av testbilda rett. Dette er eit for dårleg resultat til å bli ein nyttig metode for ein feltarbeidar. Når ein brukte dette til å laga sannsynligheitskart for Mis-habitata vart det ikkje brukande fordi store deler av bildeflisene vart klassifisert feil, dvs som MiS-habitat utan å vera det, i forhold til registreringane frå feltarbeidet. Korleis kunne resultata av dette arbeidet ha blitt betre? Modellytinga kunne blitt betre med meir kunnskap om inndata. Å forstå kva eigenskapar som karakteriserer dei ulike MiS-habitata kunne ha blitt brukt til å skreddarsy modellen slik at han er meir eigna for å løysa dette spesifikke problemet. Ein annan fordel er å vita kva delar av datamaterialet som er verdifulle og korleis skilje dette frå støy. Andre tilnærmingar ville også ha endra resultatet til modellen; i staden for å bruka bildefliser, vil større eller mindre utsnitt av flyfotoa påverke korleis modellen presterer. Konklusjonen er at denne oppgåva brukte ein metode som ikkje virka med den framgangsmåten som blei brukt. Likevel er det truleg at meir fagkunnskap og ei endra tilnærming kan gi eit anna og betre resultat.