An end-to-end learning-based framework for anticipatory scheduling of logistic support robots in fruit harvesting scenarios
Abstract
The main aim of this thesis is to explore methods for anticipatory planning of robots that assist manual fruit picking with field transport during harvest. The research covers several types of fruit crops and field applications to develop algorithms that enable a robot to understand its surroundings through various sensors, such as camera and LiDAR. This should facilitate safe Human-Robot Collaboration (HRC) or Human-Robot Interaction (HRI) in dynamically changing environments. A significant contribution of this thesis is the development of an anticipatory planning methodology. This approach allows a robot to anticipate human activities both globally and locally. Globally, the robot can stochastically predict the state and location of fruit pickers. Locally, it uses visual sensors to accurately identify activities and locations near the pickers. The research is being developed to use advanced machine learning and deep learning techniques to recognize activities and predict locations. The thesis concludes that commercially available hardware can be integrated using advanced algorithms to Detect, Track, Classify (DTC) the fruit pickers and their activities, to make rapid estimations of the current state and unfavorably changed situations. An RGB-D Camera and a 2D laser scanner as well as the Thorvald platform, a mobile robot on wheels, and the Unitree A1, a quadruple
robot were used to carry out the experiments in the field.
This ongoing research can further be used for the development of a baseline DTC model for future harvesting operations. The study emphasizes that this architecture can significantly contribute to reducing human work effort and thus address the global shortage of labor in agriculture. The approach also considers cost considerations and proposes a collaborative framework where robots and humans can work together, not only in fruit harvesting but also in pruning and other manual tasks. Further research and evaluation are needed to assess the feasibility and effectiveness of this innovative proposal in logistics operations in agricultural production. Hovedmålet med denne avhandlingen er å utforske metoder for foregripende planlegging av roboter som bistår manuell fruktplukking med felttransport under innhøsting. Forskningen dekker flere typer fruktavlinger og feltapplikasjoner for å utvikle algoritmer som gjør det mulig for en robot å forstå omgivelsene gjennom ulike sensorer, som kamera og LiDAR. Dette skal legge til rette for trygt menneske-robot-samarbeid (HRC) eller -interaksjon (HRC) i dynamisk skiftende miljøer. Et betydelig bidrag fra denne avhandlingen er utviklingen av en foregripende planleggingsmetodikk. Denne tilnærmingen lar en robot forutse menneskelige aktiviteter både globalt og lokalt. Globalt kan roboten stokastisk forutsi tilstanden og plasseringen til fruktplukkere. Lokalt bruker den visuelle sensorer for nøyaktig å identifisere aktiviteter og steder i nærheten av plukkerne. Forskningen utvikles til å bruke avansert maskinlæring og dyplæringsteknikker for å gjenkjenne aktiviteter og forutsi lokasjoner. Avhandlingen konkluderer med at kommersielt tilgjengelig maskinvare kan integreres ved hjelp av avanserte algoritmer for å Oppdage, Spore og Klassifisere (DTC) fruktplukkerne og deres aktiviteter, for å gjøre raske estimeringer av nåværende tilstand og ugunstig endrede situasjoner. Et (RGB-D) Kamera og en 2D-laserskanner samt Thorvaldplatfrormen, en mobilrobot på hjul, og Unitree A1, en firedoblet robot ble brukt til å utføre eksperimentene i felt.
Denne pågående forskningen kan videre brukes til utvikling av en baseline Oppdage, Spore og Klassifisere modell for fremtidige høstingsoperasjoner. Studien understreker at denne arkitekturen i betydelig grad kan bidra til å redusere menneskelig arbeidsinnsats og dermed adressere den globale mangelen på arbeidskraft i landbruket. Tilnærmingen vurderer også kostnadshensyn og foreslår et samarbeidsrammeverk der roboter og mennesker kan jobbe sammen, ikke bare i frukthøsting, men også i beskjæring og andre manuelle oppgaver. Ytterligere forskning og evaluering er nødvendig for å vurdere gjennomførbarhet og effektiviteten til dette innovative forslaget i logistikkoperasjoner i landbruksproduksjon.