침술 메타분석

제목 : 침술 메타분석

부제목 : 많은 문제점을 갖고 있었던 침술 관련 한 논문

• 황의원 과학중심의학연구원장 webmaster@i-sbm.org
• 등록 2013.05.04 23:08:10

▲ 미국의 대표적인 사이비의료 비판사이트인 사이언스베이스드메디슨 블로그(http://www.sciencebasedmedicine.org)

※ 본 콘텐츠는 '과학중심의학연구원(http://www.i-sbm.org)'이 제공하는 공익콘텐츠입니다. 이번에 소개할 글은 예일대학교의 신경과 임상교수인 스티븐 노벨라의 “An Acupuncture Meta-analysis"를 번역한 글입니다. 황의원 과학중심의학연구원 원장과 김주년 주간 '미래한국' 기자가 같이 번역했습니다.

본 글을 소개하기 전에 먼저 이 글을 소개하는 배경을 좀 설명드리겠습니다. 최근 '한의신문'은 ”만성통증에 대한 침치료 세계적 검증“이라는 기사로서 만성통증에 대한 침술의 효과가 '아카이브오브인터널메디슨(Archives of Internal Medicine)'이라는 한 권위있는 의학 학술지의 논문을 통해 확실히 증명된 것처럼 대대적으로 보도한 바 있습니다. 관련 연구논문은 한의대생들의 온라인 사이트인 제마나인을 통해 한의학 홍보 재료로서도 널리 활용되었고, 이는 '데일리메디'와 같은 의료전문지의 주목을 받기도 했습니다.
 

▲ 데일리메디의 관련 보도

하지만, 통증에 대한 침술 효과 관련 해당 학술지 논문에 대한 평가는 현지에서도 결코 호의적이지만은 않습니다. 이는 국내언론인 '노컷뉴스'의 보도로도 간접적으로 확인되고 있으며, 알고보면 논문 그 자체에도 침술 효과에 대한 회의적인 내용이 많이 포함되어 있습니다. 스티븐 노벨라의 아래 글은 바로 이 점을 상세히 잘 설명해주고 있습니다. 기회가 닿으면 노벨라 외 다른 의학계 권위자들의 해당 논문에 대한 비판 글도 계속 번역해 소개해보려 합니다

아래 글은 학술논문에 대한 전문적인 비판적 분석이므로 내용이 다소 어렵습니다. 하지만 근거중심의학과 의학연구방법론에 대한 약간의 교양만 갖추고서 꼼꼼히 읽어보시면 많은 것을 얻으실 수 있는 글입니다. 부드럽게 읽히기 위해 의역을 많이 취했고 역자가 덧붙인 문장도 있습니다. 원문과 비교해 혹시 어색한 번역이 있으면 얼마든지 지적 부탁드립니다.

여기서 거론되고 있는 '아카이브오브인터널메디슨(Archives of Internal Medicine)'의 침술 연구 논문(Acupuncture for chronic pain: individual patient data meta-analysis, Arch Intern Med. 2012 Oct 22;172(19):1444-53. doi: 10.1001/archinternmed.2012.3654.) 이전의 다른 침술 연구 논문들에 대한 비평은 다음 글을 참고하십시오.

침술은 과연 통증에 효과가 있는가?

※ '아카이브오브인터널메디슨(Archive of Internal Medicine)'은 최근 '자마인터널메디슨(JAMA Internal Medicine)'으로 개칭하였습니다.



빅커스(Vickers) 등 연구진이 만성통증에 대한 침술의 효과와 관련 최근 실시한 메타분석(meta-analysis) 논문이 언론의 주목을 받고 있다. 메타분석은 근거중심의학의 고급연구기법이며, 이 논문은 저명한 학술지인 '아카이브오브인터널메디슨(Archives of Internal Medicine)'에 실렸다. 논문 저자들의 결론은 다음과 같다.

“침술은 만성통증 치료에 효과가 있으며, 따라서 이 치료법은 고려해볼만한(reasonable referral) 선택사항이다. 연구결과로서 나타난 진짜 침술과 플라시보(가짜) 침술 사이의 의미 있는 차이는 침술이 플라시보 이상의 무엇이라고 말하고 있다. 허나, 이번 연구를 통해 진짜 침술과 플라시보 침술의 차이가 상대적으로 크지 않다는 것도 확인되었다. 또한 바늘로 찌르는 일(needling) 자체의 고유한 효과 이외의 요인들도 침술의 치료 효과에 중요한 영향을 미친다는 것도 확인되었다.”

언론 보도들은 대부분 다음과 같이 저 연구의 결론을 전하고 있다.

“침술은 효과가 있지만, 그 효과는 대부분(비록 전적으로는 아니더라도) 플라시보 효과로서 나타나고 있다.”

뭐 여기까지는 나무랄데가 없다. 

저 연구논문을 깊이 검토해본 결과, 나는 논문 저자들의 분석과 논의에서 간과할 수 없는 '친-침술편향(pro-acupuncture bias)'이 있다는 것을 발견했다. 아무래도 저자들은 침술이 효과가 있기를 바라는 것이 분명하다. 이런 문제는 차치하더라도, 저 연구에서 나온 데이타는 결정적인 것도 아니다. 그리고, 저자들은 연구 결과를 총체적으로 과대평가하고있기까지 한데, 이러한 나의 비판적 견해는 침술이 플라시보 이상의 고유한 효과는 없다는 여러 침술 연구자들의 입장과 같이 하는 것이다.
 

▲ Acupuncture for chronic pain: individual patient data meta-analysis, Arch Intern Med. 2012 Oct 22;172(19):1444-53. doi: 10.1001/archinternmed.2012.3654.

이 메타분석은 허리통증, 목 통증, 두통 및 골관절의 침술 효과와 관련된 29개의 무작위배정 임상시험들을 살펴봤다. 여기엔 플라시보(가짜) 침을 놓은 대조군과 아예 침을 놓지 않는 대조군이 포함됐다. 일단 진짜건 가짜건 침을 놓은 군과 아예 침을 놓지않은 군의 차이는 컸다. 통증의 절대적 감소에서 30% 차이가 있었다(상대적 감소에서는 50%). 그러나, 저자들은 다음과 같은 점을 시인한다.

“진짜건 가짜건 침을 놓은 군과, 아예 침을 놓지 맞지 않은 군 간의 비교는 맹검처리(blinded)가 될 수 없기 때문에 '성과편향(performance bias)' 및 '응답편향(response bias)'이 모두 발생할 수 있다."

달리 말하면 빅커스 등 연구진이 했던 비교는 어떤 식으로건 침을 놓은 군과 아예 침을 놓지 않은 군간에 맹검처리(blinded)가 되지 않은 비교로서 연구편향(bias)에 의해 총체적으로 좌우된, 완전히 쓸모 없는 비교였었다는 얘기다. 침을 전혀 맞지 않은 대조군에 속한 피험자들은 평소에 받아오던 치료(이들이 받아왔던 치료는 어떤 치료였건간에 효과가 없었던 치료였었고 피험자는 침은 놓지 말라는 지시를 받기도 했다)를 계속해서 받기도 했다. 이것은 어떤 의학적 중재(medical intervention)에 대해서도 올바른 비교가 될 수 없다. 즉, 이는 침을 전혀 맞지 않은 대조군 피험자들이 자신들이 아무 치료도 받고 있지 않다는 걸 알고 있었다는 얘기다. (번역자주 : 이 경우 진짜건 가짜건 침을 놓은 군의 피험자들에게는 플라시보 효과가 생길 수 있지만, 침을 전혀 놓지 않은 군의 피험자들에게는 플라시보 효과가 생길 수 없기 때문에 각 군 간의 공정한 비교가 가능하지 않다.)

과연 저자들이 이와 같은 분석을 논문에 포함시키려고 했는지조차 의심스럽지만, 논문에서의 ‘논의(discussion)’을 보면 그들의 목적이 드러난다.

“침술의 효과들이 평균적으로 미미하기는 했다. 하지만 의사들 및 환자들에 의해 내려진 임상적 결정은 진짜 침술과 플라시보(가짜) 침술 사이의 선택 문제가 아니라 (진짜 침술이건 가짜 침술이건) 침술 시술을 받아볼 것인지, 아니면 아예 침술 시술을 받지 않을 것인지 사이의 선택 문제였다.”

이것이 바로 침술 신봉자들의 아젠다이다. 침술이건 뭐건 어떤 치료를 단지 받는 것만으로도 생기는 고유하지 않은 효과(바로 플라시보 효과와 같은 것)를 침술 홍보에 사용하는 것이다. 만약 어떤 연구에서 진짜 침술과 플라시보(가짜) 침술 사이에 딱히 유의미한 차이가 나타나지 않는다면, 그들은 침술이 그 자체의 고유한 효과가 없더라도 플라시보 효과와 같은 것만으로도 정당화될 수 있는 치료법이라고 주장한다. 만약 어떤 연구(이번의 빅커스 등 연구진의 메타분석과 같은)에서 진짜 침술과 플라시보 침술 사이에 작기는 하더라도 유의미한 차이가 나타나면, 그들은 그 작은 차이를 부각시켜 침술이 진짜 고유한 효과가 있다는 결론을 정당화시키려고 한다. 물론 고유한 효과가 무시할 수준인만큼 이 경우에도 고유한 효과보다 더 큰 효과가 나타나는 플라시보 효과 등이 해당 치료법의 정당화에 동원된다.

어느 쪽이든지, 침술 신봉자들은 효과가 아주 작은 이 치료법을 홍보하기 위해 플라시보 효과(대부분은 실험편향들(biases)에 의해 형성된)를 부적절하게 이용하고 있는 것이다. 내 생각으로는, 이는 두쪽 다 침술이 아무 효과가 없는 것임을 자인하는 것이다.

빅커스 등 연구진은 메타분석에서 진짜 침술과 플라시보 침술 사이의 작은 효과 차이를 크게 포장한다. 그들은 다음과 같이 그 결과들을 요약한다. 만약 아무 치료도 받지 않은 그룹이 60% 수준의 통증을 느낀다면, 진짜 침술은 그 통증을 30% 수준까지 감소시키고 플라시보(가짜) 침술은 35% 수준까지 감소시킬 수 있다는 것이다. 30% 와 35% ! 이 차이가 이 메타분석(meta-analysis)에서 통계적으로 유의미한지는 몰라도, 5% 의 차이가 임상적으로도 유의미하거나 심지어 지각 가능한 정도(perceptible)인지는 상당히 의심스럽다. 내 입장을 말하자면 그건 아무 차이가 없다고도 할 수 있다. 

그러나 저 데이타와 관련해 나와 빅커스 등 논문 저자들의 원초적인 의견 차이는 이것이다. 저자들은 그들의 데이타가 보여준 차이가 통계적으로 유의미하기 때문에 침술에는 실제의 고유한 생리학적 효과가 있다고 빠르게 결론을 내린다. 하지만 이런 결론은 ‘개연성 편향(probable bias)’을 나타내며 임상시험들의 신뢰성에 대한 뚜렷한 순진함(naivete)을 드러낸다. 그정도의 통계적 차이는 실험노이즈 수준으로, 우리의 임상시험 수준은 그런 작은 차이의 정확한 성격을 포착할 정도로 정밀하지 못하다.

저자들은 다음과 같이 인정한다.

“이와 유사하게, 우리는 진짜 침술과 플라시보 침술을 비교하는 대부분의 연구들에서 맹검처리를 하지 않았을 경우에 생기는 편향의 위험이 낮다고 봤던데 반해서, 보건의료종사자들은 자신들이 시술하는 치료법에 대해 분명히 인식을 하고 있었으며 침술의 고유한 효과를 추정하려 할 때 발생하는 편향의 정도가 총체적으로 완전히 배제될 수는 없다는 점도 알고 있었다.”

이것이 저 논문의 절제된 표현이다. 모든 편향을 완전히 다 배제할 수는 없다는 얘기다. 사실 지난 세기 동안의 연구가 명백히 보여준 것은, 임상시험에 있어 어느 정도의 편향은 있을 수밖에 없다는 것이다. 이 지점에서 요구되는 것은 여하간 최소한으로 편향을 줄이는 것과 연구자 자유도(researcher degrees of freedom)를 악용하지 않는 것이다. 5% 범위의 차이는 그래도 생긴다.

저자들은 이상값(outlier) 연구들이 2개 있다는 것을 시인한다. 이것은 바스(Vas) 등의 연구진에 의해 실시된 연구들로, 효과 범위가 평균에 비해 5배 컸던 것들이다. 저자들은 이들 연구들을 제거해도 효과는 여전히 유의미하다고 한다. 그리고 연구 규모가 클수록 효과가 적다는 점에서 연구자 편향(researcher bias) 또한 존재하지만 소규모 연구들의 결과를 제거해도 역시 효과는 여전히 유의미하다고 한다. 또 저자들은 출판되지 않은 연구들(출판편향)의 경우는 이런 결과가 나왔을 가능성이 적다고 주장한다.

하지만 이상값 연구들로부터의 효과와 소규모 연구들의 결과를 더하고 또 출판편향과도 모두 함께 묶어서 보면, 그 데이타의 총체적 효과가 무엇일지에 대해 의문이 생긴다(연구자 자유도(researcher degrees of freedom)에 의해 데이타가 잘못된 긍정적 방향으로 오염됐다는 사실은 포함시키지도 않았다). 메타분석의 실시는 메타분석 자체가 갖고 있는 잠재적인 편향성 또는 방법론적 왜곡으로 당신을 유도할 수 있다. 예를 들자면 어떤 연구들을 선택해 포함시킬 것인지 말 것인지의 문제가 있으며, 또 메타분석만이 아닌 모든 연구에서 고려해야하는 연구자 자유도의 문제도 있다. 

결론

빅커스 등 연구진의 침술에 대한 메타분석은 그 저자들의 주장에도 불구하고 기존 침술 문헌을 통해 어떤 새로운 사실도 밝혀내지 못하고 있다. 그리고 적법한 의학적 중재(intervention)로서의 침술 사용을 지지하지도 못한다. 빅커스가 제시한 데이타는 치료(treatment)와 무치료(no treatment) 간의 맹검처리가 되지 않은 비교가 실시됐을 경우에는 결과에 큰 차이가 나타난다는 것을 보여주고 있다. 이것은 임상적 적설성이 없는, 사실은 놀랍지도 않은 결과로서 침술 자체에 대해서는 아무것도 말해주지 않는다. (플라시보 효과가 제대로 통제되지 않았으므로 결과에 큰 차이가 나는 것은 너무 당연하기에)

이어지는 진짜 침술과 플라시보(가짜) 침술 사이의 비교 결과도, 지각하기도 어렵고 임상적으로 유의미하지 않은 작은 차이만을 보여줄 뿐이다. 보다 중요한 것은, 이 작은 차이가 임상시험을 할 때 으레 발생하기 마련인 실험 노이즈로서의 편향(bias)의 결과 범위 내에 있다는 사실이다. 연구자 편향(researcher bias), 출판 편향(publication bias), 이상값 효과(outlying effect) 및 연구자 자유도(researcher degrees of freedom)만 따져봐도 그런 작은 차이는 충분히 설명 가능하다. 다른 말로 하자면 빅커스 등 연구진의 데이타는 귀무가설(null hypothesis)을 부정하기에는 충분치 않다. 우리가 그간 지적해온 침술의 높은 과학적 비개연성(implausibility) 문제는 일단 차치하더라도 말이다.

추가로, 메타분석은 그 자체로 완벽하지 못한 도구라는 점도 지적하고자 한다. 메타분석은 규모가 크고 엄격하며 명확한 임상 시험의 결과도 제대로 예측하지 못하는 경우가 종종 있었다. 맹검처리가 잘 되고 플라시보 침술 대조군을 포함시킨 우수한 침술 임상시험들을 살폈을때엔 침술이 어떤 고유한 효과도 보여주지 못한다는 것은 분명히 확인할 수 있다.