Uncovering lost potential : the shortcomings of DNBs chatbot

Abstract

In 2018 DNB Bank ASA (DNB) launched their chatbot, Aino, an advanced virtual banking agent. Aino handles 55% of all the incoming chat traffic for DNBs Customer Center and is continuously being trained by AI trainers to increase the percentage of messages it can respond to. The former CEO of DNB, Rune Bjerke, stated in 2017 that by 2020, 80% of all incoming chat traffic would be handled by chatbots. However, to get closer to this target, DNBs AI trainers will have to make some priorities in the development process. The purpose of this study is to contribute to the decision-making process of which types of problems, and intents the AI trainers should prioritize to reduce DNBs costs. The data basis is conversational logs from conversations between customers of DNB and Aino, in addition to structural interviews with four DNB employees with significant knowledge of Aino. This thesis is a mixed-methods study that consists of both statistical analyses to determine group effect, structured interviews, quantitative content analysis, statistical analyses of chatlogs, as well as analysis of economical impact.

I 2018 lanserte DNB Bank ASA (DNB) sin chatbot, Aino, en avansert virtuell bankagent. Aino håndterer 55% av all innkommende chat-trafikk for DNBs kundesenter og blir kontinuerlig opplært av AI-trenere for å øke prosentandelen av meldinger den kan svare på. Den tidligere konsernsjefen i DNB, Rune Bjerke, uttalte i 2017 at innen 2020 ville 80% av all innkommende chat-trafikk bli håndtert av chatbots. For å komme nærmere dette målet, vil DNBs AI-trenere imidlertid måtte gjøre noen prioriteringer i utviklingsprosessen. Hensikten med denne studien er å bidra til beslutningsprosessen for hvilke typer problemer, og intensjoner AI-trenerne bør prioritere for å redusere DNBs kostnader. Datagrunnlaget er samtalelogger fra samtaler mellom kunder av DNB og Aino, i tillegg til strukturerte intervjuer med fire DNB-ansatte med betydelig kunnskap om Aino. Denne oppgaven er et kombinasjonsstudie som består av både statistiske analyser for å bestemme gruppeeffekt, strukturerte intervjuer, kvantitativ innholdsanalyse, statistisk analyse av chatlogger, i tillegg til analyse av finansiell påvirkning.