Predictive validity of NLP-based ESG controversy scores

Abstract

ESG-kontroversvurderinger basert på naturlig språkbehandling (NLP) av medieomtale, ticker-meldinger og selskapsopplysninger anses ofte som et enkelt, billig og bredt anvendelig alternativ til de klassiske ESG-vurderingssystemene som selges av leverandører av finansiell informasjon. Det finnes imidlertid ikke tilstrekkelig forskning på deres prediktive validitet. Målet med forskningen som presenteres i denne avhandlingen, var å undersøke (1) hvor godt klassiske ratingbaserte ESG-poengsummer kan predikeres ut fra NLP-baserte ESG-kontrovers-poengsummer, (2) om det prediktive forholdet varierer etter bransje, og (3) hvor konsistente effektene er når man sammenligner ulike tilnærminger for å konstruere ESG-kontrovers-poengsummer og ratingbaserte ESG-poengsummer. To studier ble gjennomført for å svare på disse spørsmålene. Studie 1 brukte data for OSX-noterte selskaper, hentet fra LSEG/Refinitiv Datastream. Studie 2 fokuserte på unoterte selskaper og reanalyserte et datasett utviklet av Kazinic og Valheim (2020). Resultatene fra studie 1 tyder på at LSEG/Refinitiv ESG-kontroverser ikke har noen vesentlig sammenheng med den faktiske LSEG/Refinitiv ESG-scoren; all forklarbar variasjon skyldtes globale forskjeller mellom bransjer. I finansiell analyse og porteføljeforvaltning ville en så lav prediktiv validitet helt klart være uakseptabel. Det kan derfor ikke anbefales å bruke LSEG/Refinitiv ESG-kontroversscoren som erstatning for klassiske, ratingbaserte ESG-scorer. Resultatene fra studie 2 tyder på at Kazinic og Valheims (2020) kontroversscore er vesentlig bedre enn LSEG/Refinitiv ESG-kontroversscoren, og at den er mye mindre påvirket av bransjeskjevhet, men at den fortsatt er utsatt for betydelig støy. Hvis Kazinic og Valheims kontroverspoeng skulle brukes som erstatning for faktiske ESG-poeng i porteføljeforvaltningen, ville den prediktive validiteten til kontroverspoengene likevel ikke være fullt ut tilstrekkelig. Tilnærmingen kan anbefales som et screeningverktøy i finansiell analyse, men kan ikke erstatte en dypere analyse av et selskaps faktiske ESG-profil før en investeringsbeslutning tas.

ESG controversy scores based on natural language processing (NLP) of media coverage, ticker messages and corporate disclosures are often considered a simple, cheap and broadly applicable alternative to the classical ESG rating systems sold by financial information providers. However, there is insufficient research on their predictive validity. The aim of the research presented in this thesis was to investigate (1) how well classical rating-based ESG scores can be predicted from NLP-based ESG controversy scores, (2) if the predictive relationship differs by industry, and (3) how consistent the effects are when compared across different approaches for constructing ESG controversy scores and rating-based ESG scores. Two studies were conducted to address these questions. Study 1 used data for OSX-listed companies, extracted from LSEG/Refinitiv Datastream. Study 2 focused on unlisted companies, re-analysing a data set developed by Kazinic and Valheim (2020). The results of Study 1 suggest that the LSEG/Refinitiv ESG controversies score has no substantial relationship with the actual LSEG/Refinitiv ESG score; all explainable variation was due to global differences between industries. In financial analysis and portfolio management, such a low level of predictive validity would clearly be unacceptable. Using the LSEG/Refinitiv ESG controversies score as a replacement for classical, rating-based ESG scores cannot be recommended. The results of Study 2 indicate that the controversies scoring method developed by Kazinic and Valheim(2020) is substantially better than the LSEG/Refinitiv ESG controversies score and suffers much less from industry bias but is still subject to considerable noise. If Kazinic and Valheim’s controversies scores were to be used as a replacement of actual ESG scores in portfolio management, the predictive validity of the controversies scores would still not be fully sufficient. The approach can be recommended as a screening tool in financial analysis but cannot replace deeper analysis of a company’s actual ESG profile before an investment decision is made.