Potential Field-Based Path Planning for Enhanced Sensor Coverage in Robotic Salmon Inspection
Master thesis
Permanent lenke
https://hdl.handle.net/11250/3147968Utgivelsesdato
2024Metadata
Vis full innførselSamlinger
- Master's theses (RealTek) [1826]
Sammendrag
Laks utgjør en stor andel av fiskeindustrien, og den økende forekomsten av laksefilleter med melaninflekker forårsaker store økonomiske tap grunnet nedsatt kvalitetsoppfatning hos kundene. Studier viser at Omega-3 fettsyreinnhold er korrelert med en fillet som ser sunnere ut, og det har blitt bevist at det er mulig å bruke Raman spektroskopi for å estimere dette innholdet. Videre studier viser at en robot-løsning ser veldig lovende ut for å løse utfordringen med det langtekkelige og feiltilbøyelige arbeidet med denne manuelle skanningen ved en produksjonslinje. Hvis disse melaninflekkene ikke blir unngått under spektroskopien, kan de resulterende spektrene være villedende og av mindre verdi.
Dette motiverer utviklingen av en forbedret sensor-dekkende løsning, som ledet til det følgende forskningsspørsmålet: "Hvordan kan maskinsyn, KI-drevne modeller, bildebehandling, og veiplanlegging bli brukt til å generere en skanneprofil og instruere en robotarm til å utføre effektiv skanning av laksefileter, og sørge for at melaninflekker unngås?"
For å nå dette målet ble det bygd en robotstruktur som bruker Mask R-CNN til å segmentere magen og pseudo-melaninflekker på laksefilleten, etterfulgt av bildebehandling og en trinnvis planleggingsmetode inspirert av kunstige potensialfelts (KPFs) metode. Den KPF-baserte planleggeren blir brukt til å kommandere en 6-DoF robotarm i et Gazebo-simulert miljø ved å bruke rammeverket for bevegelsesplanlegging, "Moveit".
Resultatene demonstrerer en planleggingsalgoritme som er i stand til å generere komplekse planer, og tilpasse seg til flere melaninflekker og orienteringer av fileten. Den KI-drevne segmenteringen trenger noe forbedring, og bruken av pseudo-melaninflekker grunnet det utilgjengelige datasettet gjør det vanskelig å vurdere ytelsen. Den robotiserte skanningen er i stand til å nøyaktig følge den planlagte banen med en gjennomsnittlig utførelsestid på 3.365 sekunder, tilsvarende en gjennomsnittlig TCP-fart på 116.3 mm/s. Dette er innenfor den nødvendige eksponeringstiden for en akseptabel Raman skanning.
Fremtidig arbeid innenfor dette forskningsområdet inkluderer å bruke et relevant datasett for bedre trening, testing og validering av den KI-drevne modellen og KPF-baserte planleggeren. Videre, ved å teste i et laboratoriemiljø med en Raman spektroskopisensor og et bevegende samlebånd, vil robotsystemet kunne bli videre justert og optimert, som gjør det mulig å implementere løsningen i en relevant miljø. Salmon constitutes a large part of the fish industry, and the increasing number of salmon fillets with melanin spots leads to significant economic losses due to reduced quality perception by the customers. Studies show that Omega-3 Fatty acid content is correlated with a more healthy-looking fillet, and it has been proven that Raman spectroscopy is feasible for estimating this content. Further research shows that a robotic solution is very promising to overcome the tedious and error-prone labor of manual scanning in a production line. If these melanin spots are not avoided during the spectroscopic measurements, the resulting spectra can be misleading and imprecise.
This motivates the development of an enhanced sensor coverage solution, which led to the research question: "How can machine vision, AI-driven models, image processing, and path planning be used to generate a scan profile and instruct a robot arm to perform an effective scanning of salmon fillets, ensuring the avoidance of melanin spots?"
To reach this goal, a robotic pipeline was built, which utilizes Mask R-CNN to segment the belly and pseudo-melanin spots on the salmon fillet, followed by image processing and a step-wise path planning method inspired by artificial potential fields (APFs) method. The APF-like path planner is used to command a 6-DoF robot arm in a Gazebo-simulated environment using the motion planning framework "Moveit".
The results demonstrate a planning algorithm that is able to generate complex paths and adapt to multiple melanin spots and orientations of the fillet. The AI-driven image segmentation needs some improvements, and the use of pseudo-melanin spots due to the unavailable dataset makes it difficult to assess its full performance. The robotic scanning is able to accurately follow the planned path with an average execution time of 3.365 seconds, corresponding to an average TCP speed of 116.3 mm/s, which is within the required exposure time for a satisfactory Raman scanning.
Future work in this field of research includes using a relevant dataset for more precise training, testing and validation of the AI-driven models and the APF-like path planner. Furthermore, when testing in a laboratory environment with a Raman spectroscopy sensor and a moving conveyor belt, the robotic system can be further tuned and optimized, making it possible to implement the solution in a relevant environment.