A statistical analysis of the treatment effects of Traditional Chinese Medicine (TCM) in various health problems

Abstract

We have in a pilot study retrospectively and prospectively investigated the treatment effects of Traditional Chinese Medicine in a general medical care practice. The health condition of the retrospective group (n=41 patients) was investigated one year after the last treatment. The health condition for the prospective group (n=7 patients) was followed from before start of treatment and until 9 months after the start of the treatment. The response rate was 16% in the retrospective and 23% in the prospective group (which is low, but not uncommon in Norwegian questionnaire surveys). The patients were treated for a broad range of health problems, from everyday ailments to long lasting and very serious degenerating and malignant diseases. The mean duration of the health problems before start of treatment was 6 years for the retrospective group and 12 years for the prospective group. The burden of the health problems was measured on a 10 point Visual Analogue Scale, and Health Related Quality of Life was measured by the RAND SF-36 questionnaire (Version 1.0). The measurements by the VAS Scale and SF-36 differ. For VAS, only the variables of interest are measured, while with SF-36, also the features that are not affected by the therapy are measured. Therefore, the VAS is more sensitive to changes in individuals, while the SF-36 is more often used for monitoring of changes in groups over time, and also for comparing outcomes from different studies. The effect of the treatment was measured as the change in VAS and HRQoL scores between baseline and first follow up 3 months later for the prospective group. The effect was measured as change in scores and effect size. According to a conventional definition, an effect size above 0.8 was regarded as a large effect size, between 0.79 and 0.5 as a moderate effect size, between 0.49 and 0.2 as small effect size, and below 0.19 as no difference. We found an improvement of the health situation, both with VAS and with SF-36. The improvement measured on a 10 point VAS scale was a change by 1.9 points from baseline to the first follow up. The effect size was 1.0 (large). The improvement of the SF-36 summary scores were 4.6 for the Mental Component Summary (MCS) and 3.7 for the Physical Component Summary (PCS) in the same time period. The effect size was 0.7 (moderate) for MCS, and 0.3 (small) for PCS. The number of treatments that would be necessary to improve health measured by SF-36 under similar circumstances, was predicted to be 2 treatments to reach a small improvement (effect size 0.2), 4 treatments to reach a moderate improvement (effect size 0.5) and 7 treatments to reach a large improvement (effect size 0.8). A change in 3 to 5 SF-36 scores, which is equal to a small effect size (0.2), is regarded as the Minimum Clinically Meaningful Difference for SF-36. We found in the prospective group an average improvement of 4.1 for the SF-36 features, which is a good improvement. This again indicates that the patients have experienced a meaningful improvement of health. As this was a pilot study with a small study group, the study should be repeated with a larger study group, and preferably with a control group, to confirm or reject the findings.

Vi har i en pilotstudie retrospektivt og prospektivt undersøkt behandlingseffekten av Tradisjonell Kinesisk Medisin i en medisinsk allmennpraksis. Helsetilstanden til den retrospektive gruppen (n = 41 pasienter) ble undersøkt ett år etter siste behandling. Helsetilstanden for den prospektive gruppen (n = 7 pasienter) ble fulgt fra før behandlingsstart og inntil 9 måneder etter starten av behandlingen. Svarprosenten var 16% i retrospektiv og 23% i den prospektive gruppen (som er lavt, men ikke uvanlig i norske spørreundersøkelser). Pasientene ble behandlet for et bredt spekter av helseproblemer, fra hverdagslige plager til langvarige og svært alvorlige degenererende og ondartede sykdommer. Den gjennomsnittlige varigheten av helseproblemene før behandlingsstart var 6 år for den retrospektive gruppen og 12 år for den prospektive gruppen. Byrden av helseproblemene ble målt på en 10 punkts Visual Analogue Scale, og Helserelatert livskvalitet ble målt ved RAND SF-36 spørreskjema (versjon 1.0). Målingene ved VAS og SF-36 er forskjellige. For VAS er det bare de variablene som er av interesse som blir målt, mens med SF-36 blir også de funksjonene som ikke er berørt av behandlingen målt. Derfor er VAS mer følsom for endringer i individer, mens SF-36 blir oftere anvendt for overvåkning av endringer i grupper over tid, og også for å sammenligne resultatene fra forskjellige undersøkelser. Effekten av behandlingen ble målt som endring i VAS og HRQoL score mellom baseline og første oppfølging tre måneder senere for den prospektive gruppen. Effekten ble målt som endring i score og effektstørrelse. I henhold til en konvensjonell definisjon, ble en effekt størrelse over 0.8 ansett som en stor effektstørrelse, mellom 0.79 og 0.5 som en moderat effekt størrelse, mellom 0.49 og 0.2 som en liten effekt størrelse, og under 0.19 som ingen forskjell. Vi fant en bedring av helsesituasjonen, både med VAS og med SF-36. Forbedringen målt på en 10 poeng VAS skala var en endring på 1.9 poeng fra baseline til første oppfølging. Effektstørrelsen var 1.0 (stor). Forbedring av SF-36 summerte score var 4.6 for Mental Component Summary (MCS) og 3.7 for Physical Component Summary (PCS) i samme periode. Effektstørrelsen var 0.7 (moderat) for MCS, og 0.3 (liten) for PCS. Antall behandlinger som ville være nødvendig for å forbedre helse målt ved SF-36 under lignende omstendigheter, ble predikert å være to behandlinger for å nå en liten forbedring (effekt størrelse 0.2), 4 behandlinger for å oppnå en moderat forbedring (effektstørrelse 0.5) og 7 behandlinger for å nå en stor forbedring (effektstørrelse 0.8). En endring i 3 til 5 score, noe som tilsvarer en liten effektstørrelse (0.2), regnes som Minimum klinisk relevant forskjell for SF-36. Vi fant i den prospektive gruppen en gjennomsnittlig forbedring på 4.1 for SF-36 funksjoner, som er en god forbedring. Dette indikerer igjen at pasientene har opplevd en meningsfull forbedring av helse. Ettersom dette var en pilotstudie med et lite antall deltakere i studien, bør studien gjentas med en større studie gruppe, og helst med en kontrollgruppe, for å bekrefte eller forkaste funnene.