Deep neural networks for object detection in agricultural robotics

Abstract

Robotization of tasks in the agricultural domain has the potential to transform food production through continuous surveillance of crops which can facilitate precise admin- istration of nutrients, fertilizers and treatments for weeds and diseases. Such a transfor- mation will increase the sustainability of agricultural practices and improve food security in the future. This thesis applies deep neural network to the task of strawberry detection in video with a view to facilitate surveillance of plant health, crop estimation and logging positions of strawberries. The availability of such data can provide value for growers by enabling op- timization of operations based on observed data, and facilitate progress towards robotic strawberry harvesting. Based on videos sampled from a strawberry growing facility and strawberry images downloaded from the internet, a dataset of strawberries annotated with a state label and coordinates is developed. A set of classi cation models based on deep neural networks are trained on samples from the dataset and applied in a sliding window detection algorithm. Finally uni ed deep neural networks for strawberry detection are trained for the strawberry detection task. Deep neural networks are shown to perform well on the strawberry detection task and real-time processing speeds are demonstrated on an embedded system.

Robotisering av arbeidsoppgaver i landbruket har potensial til å transformere matproduksjonen gjennom kontinuerlig overvåking av avlinger som muliggjør presis gjødsling, vanning og bekjempelse av ugress og sykdom m.m. En slik forandring vil føre til et mer bærekraftig landbruk og økt matsikkerhet i fremtiden. Denne masteroppgaven tar for seg bruk av dype nevrale nettverk til å detektere jordbær i videobilder med henblikk på å muliggjøre overvåking av plantehelse, estimering av avling og posisjon. Produksjon av disse dataene kan muliggjøre effektivisering av driften basert på innsamlet data og ha stor verdi for jordbærbønder, og også på sikt kunne bidra til robotisert plukking av jordbær. Basert på innhentet video fra en jordbærgård og bilder av jordbær lastet ned fra internett utarbeides det et datasett av jordbær merket med koordinater og tilstand. Et sett med klassifiseringsalgoritmer basert på dype nevralte nettverk trenes på enkeltbær fra datasettet og anvendes i en deteksjonsalgoritme. Til slutt anvendes dype nevrale nettverk for integrert objektdeteksjon på jordbærdatasettet. Det utvikles dype nevrale nettverk som fungerer godt på jordbærdetekterings-oppgaven, og prosesserer video i sanntid p a en datamaskin som kan integreres i mobile landbruksroboter.