Detecting ideas in online communities : utilizing machine learning and text mining for finding ideas in online communities

Abstract

Online communities serve as a gathering point for dedicated product users and consumers who discuss all imaginable topics. Scholars have argued that this discussion can lead to new ideas useful for firms. That is, if the ideas can be detected amongst the vast amount of information contained in online communities. The nature of online community data makes idea detection labour intensive and a systematic way of dealing with the data is needed if firms are to fully exploit online community ideas for innovation. This is the starting point for the research carried out in this doctoral project. The present doctoral thesis introduces an automatic method for idea detection aimed at screening large amounts of online community texts. The method is based on machine learning and text mining techniques and it is developed on two product cases related to brewing and Lego. The method relies on a large set of pre detected idea texts and non-idea texts for learning the lexical pattern embedded in idea texts. It is described how to pre-process the text data and how to adjust the machine learning techniques for optimal idea detection performance. Support Vector Machines and Partial Least Squares are used as machine learning techniques. The presented results show that when the method is trained for Lego idea detection and tested on an independent Lego hold-out set, the method obtains moderate to substantial agreement with human idea raters. When the method is trained for beer brewing idea detection on an independent hold-out set, the method obtains fair to substantial agreement with two brewing experts. Moreover the results indicate that people use specific idea words and expressions when they talk about ideas. This is why automatic idea detection is possible.

Nettsamfunn er et samlingspunkt for dedikerte produktbrukere og forbrukere som diskuterer ethvert tenkelig emne. Forskere har hevdet at denne diskusjonen kan føre til nye ideer som er nyttige for bedrifter. Det er hvis, ideer kan bli identifisert blant de store mengder data nettsamfunn genererer. Naturen av data i nettsamfunn gjør ideidentifikasjon arbeidskrevende og dette må håndteres systematisk dersom bedrifter ønsker å dra nytte av ideer fra nettsamfunn for innovasjon. Dette er utgangspunktet for forskningen som er gjennomført i dette doktorgradsprosjektet. Denne avhandlingen presenterer en automatisert metode for idéidentifikation for å muliggjøre en filtrering av tusenvis av tekster fra nettsamfunn. Metoden er basert på maskinlæring og tekstmining. Metoden er utviklet på to produktgrupper knyttet til brygging av øl og Lego. Den er basert på trening av algoritmer med hensyn til et stort sett med preidentifiserte idétekster og ikke-ideetekster. Algoritmene brukes for å lære en teknikk å identifiserer de syntaktiske mønstre i ideetekster. Det beskrives hvordan teksten preprosesseres, og hvordan en justerer maskinlærings teknikker for optimal idé identifikasjon og ytelse. Support Vector Machines og Partial Least Squares ble brukt som maskinlærings teknikker. De presenterte resultatene viser at når algoritmene er trent til Lego ideidentifikasjon og testet på et uavhengig Lego idesæt, oppnås en moderat til betydelig overensstemmelse med dommerne brukt i studiet. Når metoden er trent til øl-ideidentifikasjon på et uavhengig øldatasett oppnås er det betydelig samsvar med to bryggeri-eksperters bedømmelse. Videre viser resultatene at folk bruker bestemte idéord og uttrykk når de snakker ideer. Dette er årsaken til automatisk ideidentifisering er mulig.