J Rhinol > Volume 27(2); 2020
메타분석의 이론과 실제

Abstract

Decisions about the utility of an intervention or the validity of a hypothesis should not be based on results of a single study, because different studies provide different results. Hence, a data synthesizing mechanism is required. Meta-analysis is the statistical procedure for combining data from multiple studies. When the treatment effect is consistent across different studies, metaanalysis can identify the common effect. When the treatment effect varies in studies, meta-analysis may identify reasons for variations. Meta-analysis is a powerful tool, though awareness of its limitations and possible errors for correct application are essential.

서 론

메타분석은 특정 주제에 대해 지금까지 발표된 모든 연구들을 검토하고 체계적으로 결과를 수집한 후 일정한 방식으로 통합하여 결론을 얻는 통계적 방법으로, 개별 연구에서 기대할 수 없는 높은 정밀도의 결과를 제공한다는 것이 최대 장점이다[1,2]. 따라서 연구 결과들이 서로 상반된 경우나 개개의 연구 결과들이 경향성은 있지만 통계적 유의성은 없는 경우에 메타분석을 시행해 보면 명확한 결론을 얻을 수 있다. 또한 현대 의학의 핵심인 근거중심 의학에서도 가장 높은 수준의 근거가 무작위 대조군 연구들을 모아서 시행한 메타분석인 것을 보면 메타분석의 중요성을 절감하게 된다[3]. 이비인후과 영역의 주제에 대해서도 다수의 메타분석이 시행되었으며, 이 중 상당수는 국내 연구자들의 업적이다.
메타분석은 일반적인 통계 분석과는 다른 독특한 방식으로 진행되기 때문에 직접 시행하기 위해서는 메타분석에 대한 별도의 학습과 특별한 통계 프로그램이 필요하다. 또한 주제 선정에서 문헌 고찰, 자료 수집 및 정리에 이르기까지 상당한 시간도 걸린다. 반면 메타분석은 장점도 많은데, 인용이 잘 되기 때문에 높은 수준의 잡지에 채택되는 경우도 많고, 주제도 무궁무진하며, 큰 비용이 들지 않는다.
본 종설에서는 메타분석의 개념에 대해 간략히 소개하고 저자의 경험을 조금 첨가하여 새로이 메타분석을 시행하고자 하는 연구자들에게 도움을 주고자 하였다.

메타분석의 5단계

일반적으로 메타분석은 다음과 같은 5단계로 진행된다[1].
•연구주제 선정 및 연구 질문 제기
•관련 문헌의 체계적 검색
•연구의 질 검증 및 데이터 코딩
•데이터 분석
•결과 보고
각 단계에 대해 좀 더 자세히 살펴보기로 하자.

연구주제 선정 및 연구질문 제기

메타분석의 연구주제로는 임상적으로 의미가 크면서 상반된 결과가 발표되어 아직 명확한 결론이 이르지 못한 약물이나 치료법 등이 이상적이지만, 특별한 기준이 있는 것은 아니다. 연구주제가 선정되면 일단 대략적인 검색을 해 보는 것이 좋다. 가장 먼저 그 연구주제로 이미 발표된 메타분석이 있는지 찾아보아야 한다. 이미 같은 연구주제의 메타분석이 있다면 그 연구주제를 포기하던지 바꾸어야 한다. 다만, 같은 연구주제의 메타분석이 오래전에 발표된 것이라면, 그 사이에 새로 출간된 논문들을 추가해서 다시 메타분석을 해볼 수 있다. 그 다음으로는 메타분석을 시행할 논문이 충분히 있는지 확인해 보아야 한다. 이론적으로는 2개의 논문만 있어도 메타분석이 가능하지만, 아무래도 분석할 자료가 많아야 결과의 정밀도도 높일 수 있고 다양한 분석도 가능하기 때문에 많을수록 좋다.
연구주제 선정 단계에서 메타분석이 가능하겠다고 판단되면 연구질문 제기 단계로 넘어간다. 연구질문은 가능한 구체적으로 설정하는 것이 좋은데, 일반적으로 다음 네가지 특성, 즉, 대상(population), 치료 혹은 중재(intervention), 비교군(comparator), 결과(outcomes)를 포함하기 때문에 영문 머리글자를 따서 PICO 형식이라고 부른다[1]. 예를 들어 연구 주제를 “설근부 수술은 폐쇄성수면무호흡증 치료에 효과적인가?”라 정해졌으면, PICO는 “성인 중증 폐쇄성수면무호흡증 환자(P)에서 설근부 수술은(I)은 sham 수술(C)에 비해 서 무호흡-저호흡 지수를 경감(O)시킬 수 있는가?” 정도가 될 것이다. PICO를 기준으로 논문의 선정기준이 정해지게되므로 신중하게 만들어야 한다.

관련 문헌의 체계적 검색

이제 본격적으로 필요한 논문을 찾는 검색단계이다. PubMed를 기본으로 사용하지만, Embase 등의 유료 데이터베이스나 Google scholar도 유용하다. 연구자가 의도하는 정확한 검색을 위해서는 medical subject headings(MeSH) term을 사용하는 것이 유리한데, MeSH란 미국 국립의학도서관에서 생의학 및 건강관련 정보와 문헌들을 분류하고 검색하기 위해 사용하는 계층화된 통제 의학용어 분류집이다. 또한 입력창에 원하는 검색어를 입력할 때, 아래와 같이 몇가지 기호를 사용하면 다양한 검색이 가능하다[4].
•“ “: 두개의 검색어를 하나로 묶어서 검색 (예: “allergic rhinitis”)
•AND: 앞과 뒤의 검색어를 모두 포함한 경우만 검색(예: lung AND cancer)
•OR: 앞과 뒤의 검색어 중 하나라도 포함한 경우 검색(예: lung OR cancer)
•NOT: 앞의 검색어는 포함하고 뒤의 검색어는 포함하지 않는 경우 검색(예: lung NOT cancer)
•( ): 괄호안의 내용을 먼저 처리 *: * 앞에 위치한 어두를 포함한 모든 단어 검색(예: allerg*로 검색하면 allergic, allergen, allergy 등을 모두 검색)
•[ ]: 검색어에 속성을 부여(예: Smith A [au] 저자 검색, “allergic rhinitis” [ti] 제목 검색)
또한 꼭 출간된 논문만 아니라 출처가 분명한 자료가 있다면 이 또한 사용 가능하다. 또한 잊지 말아야 할 검색과정이 관련 논문의 참고문헌 목록 검색이다. 연구주제의 review 논문이나 주요 논문의 참고문헌을 검색하다 보면 미처 발견하지 못한 논문을 찾을 수 있는 경우가 많기 때문이다. Preferred reporting items for systematic reviews and metaanalyses(PRISMA)는 논문의 검색단계에서 최종적인 선정 과정까지 기술하는 다이어그램으로 대부분의 메타분석에 필수적으로 요구하는 사항이므로, 연구자들도 이 절차에 따라 시행하고 그 결과를 제출해야 한다(Fig. 1) [1,2].

연구의 질 검증 및 데이터 코딩

그 다음은 최종 선발된 논문들의 질 평가이다. 이는 각 논문의 risk of bias를 평가하기 위해 시행되는데 연구의 형식에 따라 적합한 평가도구를 사용해 시행하게 된다. 데이터 코딩 과정에는 일반적으로 제1저자 이름, 출간 연도, 표본의 특성, 치료의 특성, 연구의 유형, 연구집단의 배정 방법, 측정도구, 효과 크기에 대한 정보를 입력하게 된다[1].

데이터 분석

Forest plot의 이해

메타분석의 결과는 모두 Forest plot으로 만들어지기 때문에 이를 잘 이해하는 것이 필수적인데, 각 개별 연구의 효과 크기(effect size), 통계적 유의성, 가중치와 함께 개별 연구를 종합한 전체 효과 크기와 통계적 유의성을 즉시 파악할 수 있기 때문이다.
효과 크기는 치료의 효과 크기 또는 변수 간 관계의 크기를 표현한 값으로 메타분석에서 분석 단위에 해당한다. 메타분석에서 흔히 사용되는 효과 크기의 유형은 1) 표준화된 평균 차이, 2) 두 집단의 비율, 3) 두 변수 간의 상관 관계이다. 메타분석에서는 우선 개별 연구의 효과 크기를 계산하고, 개별 연구 사이의 효과 크기 일관성을 검토하며, 마지막으로 평균 효과 크기(개별 연구의 효과 크기와 가중치 곱의 합을 가중치 합으로 나눈 값)를 산출하여 유의성을 검토한다. 개별 연구의 효과 크기와 평균 효과 크기를 구하는 자세한 공식은 본 종설의 범위를 벗어나 생략하였다[1,2].
Forest plot에서 사각형의 위치는 개별 연구의 효과 크기와 방향(+ 혹은 -)을 나타내고, 사각형의 크기는 가중치(사각형의 크기가 클수록 가중치가 커지는 것을 의미하여 일반적으로 분산의 역수), 다이아몬드는 평균 효과 크기를 나타낸다. 각 연구의 통계적 유의성은 가로막대의 길이로 표시되는데 주로 95% 신뢰구간을 의미하며, 이 구간이 넒을 수록 그 연구의 가중치는 작아진다.
예시로 든 Forest plot (Fig. 2)에서 보면 Study 1 경우 사각형의 위치가 0보다 작은 곳에 위치하고 있으며, 가로막대의 범위도 0을 포함하지 않기 때문에, drug A가 위약에 비해 의미있게 몸무게를 줄이는 효과가 있었다고 할 수 있다. 반면 Study 4의 경우 사각형의 위치가 0보다 작은 곳에 위치하고 있지만, 가로막대의 범위가 0을 포함하고 있어 drug A가 위약에 비해 의미있게 몸무게를 줄였다고 할 수는 없겠다. 두 연구를 비교해 보면 Study 1의 결과는 통계적 의미가 있었고, Study 4의 결과는 의미가 없었지만, 가중치는 Study 4가 크기 때문에 평균 효과 크기에는 더 큰 영향을 준다. 모든 연구들의 평균 효과 크기를 의미하는 다이아몬드의 꼭지점이 0보다 작은 것으로 보아 drug A가 위약에 비해 몸무게를 줄이기는 하지만 0을 포함하기 때문에 통계적 의미는 없다.

Fixed-effect model과 Random-effect model

메타분석에서 평균 효과 크기를 계산하는 방법은 Fixed-effect model과 Random-effect model이 있다. 두 방법의 가장 핵심적인 차이는 Fixed-effect model의 경우 각 연구들이 동일한 모집단을 공유하고 있다고 가정하는 것이고 Random-effect model은 각 연구들의 모집단이 서로 다르다고 가정하는 것이다[1,2]. 전자의 경우 연구들의 효과 크기가 동일하고 연구들 사이의 분산을 0으로 계산하므로 정밀성이 높아지고 평균 효과 크기의 범위가 좁다. 반면 후자의 경우 연구들의 효과 크기가 다르고 연구들 사이에 분산도 인정하므로 평균 효과 크기의 범위가 훨씬 커지게 된다[1,2]. 더 자세한 두 방법의 차이는 아래 표와 그림을 참조하기 바란다(Fig. 3, Table 1).
메타분석에서는 흔히 연구들의 동질성에 근거해서 동질성이 높으면 Fixed-effect-model을, 낮으면 Random-effect model을 사용하는데, 이는 잘못된 것이다. 왜냐하면 모형의 선택은 연구자가 연구의 특성, 즉 연구 대상, 치료 방법, 연구 환경 등을 파악한 후 개념적 이해에 기초해서 이루어지는 것이지 동질성에 따라 결정되는 사항이 아니기 때문이다[1].

다중결과 분석

메타분석에서는 결과가 다른 값인 경우에도 평균 효과 크기를 분석할 수 있다. 예를 들어 새로운 부비동 내시경 수술법에 대한 연구들을 메타분석 하는데 일부 연구들은 결과값으로 Visual Analogue Scale을 사용하였고, 나머지는 SinoNasal Outcome Test-22를 사용한 경우라도 합쳐서 평균 효과 크기를 계산할 수 있다는 의미로 이를 다중결과 분석이라고 한다. 이러한 결합이 가능한 이유는 메타분석에서는 각 연구의 결과값이 표준화된 평균 차이로 변환되어 계산되기 때문이다. 다중결과 분석을 위해서는 두개의 다른 결과값 사이에 상관관계를 임의로 가정해서 상관계수를 지정해야 하는데(예: Visual Analogue Scale과 Sino-Nasal Outcome Test-22의 상관관계). 이때 상관계수를 0이라고 가정하면 평균 효과 크기의 분산이 작게 계산되어 1종 오류의 확률이 커지게 된다[1].

효과 크기의 이질성

메타분석에 사용된 연구들의 효과 크기 간 차이를 이질성(heterogeneity)이라고 한다. 이질성의 정도는 Forest plot을 통해 시각적으로 확인이 가능 하지만, 다양한 통계치를 통해 객관적으로도 확인이 가능하다. 메타분석의 이질성 검증에 자주 사용되는 통계치는 다음과 같다[1,2].
• Q값: 관찰된 전체 분산값으로 실제 분산과 표집 오차를 더한 값이다. 이 값을 근거로 동질성 검증을 시행하는데, p값이 0.10보다 작은 경우 연구간의 이질성이 있다고 판단한다.
• T2(tau squared): 실제 서로 다른 모집단 효과 크기에 의한 분산으로 연구 간 분산(실제 분산)을 의미한다. 평균 효과 크기의 범위를 구하기 위해 사용된다.
• I2(I squared): 총분산에 대한 실제 연구 간 분산의 비율이다. 25% 이하이면 이질성이 작은 것으로, 50%이면 중간, 75% 이상이면 매우 큰 것으로 해석한다.
주로 동질성 검증 p값이 0.1 이하이고 I2가 50% 이상이면 이질성이 상당하다고 판단하다. 현실적으로 이질성이 큰 경우 Random-effect model을, 그렇지 않은 경우 Fixed-effect model을 사용하게 되는 경우가 많은데 위에서 설명하였듯이 올바른 방법은 아니다. 이질성이 적은 경우는 평균 효과 크기를 제시하는 것에 초점을 두게 되고, 이질성이 큰 경우는 평균 효과 크기보다는 효과 크기의 분산에 초점을 두고 분산의 원인을 찾는 노력을 하게 되는데 이를 조절 효과 분석이라고 한다[1].

조절 효과 분석

메타분석에서 조절 효과 분석의 의미는 하위 집단간의 효과 크기 차이를 규명하거나(하위그룹 분석, subgroup analysis), 평균 효과 크기에 영향을 주는 변수를 검증하는 것이다(meta-ANOVA 혹은 meta-regression) [1].
하위그룹 분석은 연구들 간의 이질성이 임상적인 원인(성, 연령, 연구대상의 특성, 약물의 양이나 투여 기간, 질병의 중증도, 진단기준, 결과변수의 정의, 추적 기간 등)이나 방법론적인 다양성(연구 디자인과 질, 무작위 선정 여부, 결과 분석 차이 등) 등에 기인한 것인지를 파악하고자 특성이 비슷한 연구들을 소그룹으로 만들어 분석하는 방법을 말한다[5]. 하위그룹 분석은 포함되는 연구수가 작아 검증력이 낮아지므로 해석에 신중해야 하며, 분석결과는 연구주제에 대한 결론을 내리기 위한 것이 아니라 이질성의 원인을 찾고 후속 연구를 위한 새로운 가설을 제시하기 위해 사용해야 한다[5].
조절변수는 독립변수와 종속변수 사이에 영향을 주는 변수로 메타분석에서는 연구 수준에서의 변수를 의미한다. 예를 들어 어떤 약물의 용량을 50 mg 사용한 연구들과 100 mg 사용한 연구들을 나누어 분석했더니 두 군의 평균 효과 크기에 차이가 있었다면 약물의 용량이 치료 효과에 영향을 미칠 가능성이 있다가 의심해 볼 수 있고, 이때 약물의 용량은 메타분석의 조절변수가 되는 것이다. 조절변수가 범주형인 경우 meta-ANOVA를 사용하고 연속형인 경우 meta-regression을 사용한다(Fig. 4). 이 두 방법은 일반적으로 통계에서 사용하는 ANOVA나 회귀분석과는 다르며, 조절변수당 최소 10개 이상의 연구가 필요하다[1].

출간 오류 분석

메타분석에는 여러 가지 오류(bias)의 가능성이 있지만, 가장 문제가 되는 것인 출간 오류(publication bias)이다[1,2]. 출간 오류란 연구의 질과 관계 없이 통계적으로 유의미한 결과를 도출한 연구가 잘 출간되고 그렇지 못한 경우 출간이 어려운 현실이 메타분석의 결과에 영향을 미칠 수 있다는 뜻이다. 출간 오류로 인해 왜곡된 표본에서 연구들을 모아 분석할 경우 일반적으로 과대추정이 일어나게 되는데, smallstudy effect라 한다. 이는 1) 통계적 유의성에 관계없이 표본이 큰 연구는 출간될 가능성이 높고, 2) 표본이 중간 크기인 경우 출간되지 않을 가능성이 있고, 3) 표본이 작은 경우 효과 크기가 큰 경우만 출간될 가능성이 높기 때문에 메타분석에 포한된 연구 중 표본 크기가 작은 연구는 상대적으로 효과 크기는 클 가능성이 많기 때문이다[1]. 이에 대한 가설을 검증하는 것이 출간 오류 분석이다. 가장 직관적으로 조사해 볼 수 있는 방법은 Forest plot에서 연구들을 가중치별로 나열하고 가중치가 작은 연구들이 대체적으로 효과 크기가 큰지 확인하는 것이다(Fig. 5). 더 많이 사용되는 방법은 Funnel plot이다(Fig. 6). 깔때기 모양이라고 해서 붙여진 이름인데, 수평축은 효과 크기를 수직축은 표준오차를 의미하며, 대각선의 각 효과 크기의 95% 신뢰구간이다[1]. 일반적으로 표본이 큰 연구들이 그래프 상단 중앙부에 몰려있고, 표본 크기가 작은 연구들이 하단에 넓게 분포되어 있다. 출간 오류가 없는 경우 연구들이 좌우 대칭으로 분포되는데 비대칭이라면 출간 오류가 의심된다. 비대칭에 대한 통계적 분석도 가능한데, 대표적으로 Egger test가 있다[1]. 이는 각 연구의 효과 크기와 표준오차와의 관계를 회귀식을 설명하는 방법이다. Begg & Mazumdar test도 있는데, 이는 효과 크기와 그 분산 간의 서열상관관계를 보는 것으로 Egger 방법보다 검증력이 약한다[1]. 이들 검사에서 p값이 0.05 이하인 경우 출간오류가 의심된다 할 수 있다. 이 외에도 출간 오류를 평가하는 방법으로 fail-safe N 방법이 있는데, 이는 전체 효과가 유의하지 않게 되려면 추가적으로 필요한 연구의 갯수를 의미하는데 방법과 판정의 문제로 인해 최근에는 많이 사용되지 않는다. 출간 오류가 발견된 경우 출간 오류로 보정하여 새로운 평균값을 구하는 trim-and-fill 방법도 있다[1].

누적 메타분석과 민감성 분석

누적 메타분석은 시간의 흐름에 따라 연구 결과가 어떻게 변하는지 추적하는 방법으로 주로 연구들을 출판 연도별로 정렬해보면 효과 크기의 변화 추이를 파악할 수 있다[1,2]. 또다른 방법으로는 표본이 큰 연구부터 차례로 투입하여 효과 크기가 어떻게 변하는지 관찰하는 방법도 있다. 이때 표본 크기가 작은 연구들이 투입되어도 효과 크기가 거의 변하지 않는다면 small-study efffect가 거의 없는 것으로 해석할 수 있다. 민감성 분석이란 분석의 기준이나 내용에 따라 효과 크기 어떻게 변하는지 검토하는 방법으로 분석된 결과가 얼마나 일관성이 있는지 확인하기 위해 시행한다[1].

결과 보고

일반적으로 메타분석은 다음과 같은 보고 형식을 취한다[1].
1) 서론
2) 연구 방법
•포함된 연구데 대한 기준
•문헌 검색
•선정된 연구의 질 검증
•변수의 코딩
•데이터 분석 방법
3) 분석 결과
•메타분석에 포함된 개별 연구의 질 검증
•효과 크기 및 Forest plot
•평균 효과 크기의 산출 모형
•조절 효과 분석
데이터 오류 검증
4) 논의 및 결론
5) 참고문헌
6) 부록

메타분석을 위한 프로그램

가장 널리 사용되는 프로그램으로는 미국의 Biostat사에서 만든 Comprehensive Meta-Analysis가 있다. 기능도 다양하고 매우 사용하기 쉽게 만들어져 있고 그래픽도 훌륭하다. 자세한 tutorial도 강점이다. 다만 매해 비용을 지불하는 방식이라 연구자에게 다소 부담위 될 수 있다. STATA는 명령문을 사용해야 하는 어려움이 있지만, 다변량 메타분석이나 네트워크 메타분석 등 고급기능을 제공한다. 무료 통계 프로그램인 R을 이용해서도 메타분석이 가능한데, “meta”이나 “metafor” 페키지를 설치하면 된다. 또한 국내 연구진에 의해 운영되는 “웹에서 하는 R 통계” 사이트에 가입하면 R에서 명령문을 입력할 필요 없이 graphical user inferface(GUI) 방식으로 쉽게 메타분석을 진행할 수 있다[1].

결 론

메타분석은 다양한 의학적 질문에 현재까지 가장 증거력 높은 답변을 제공하는 방법이다. 하지만 정확한 메타분석을 수행하기 위해서는 메타분석의 근간을 이루는 가정들과 메타분석의 한계 및 오류 가능성에 대해서 충분히 숙지하는 것이 필수적이다.

Fig. 1.
PRISMA flowchart example.
jr-2020-00320f1.jpg
Fig. 2.
Forest plot example. In Study 1, since the position of the square is located below 0 and the range of the horizontal bar does not include 0, drug A has a significant effect in reducing weight compared to the placebo. Conversely, in Study 4, although the position of the square is located below 0, the range of the horizontal bar includes 0; therefore, drug A has significantly decreased weight compared to the placebo. Since the vertices of the diamond—the mean effect size of all studies—are less than 0, the appetite suppressant reduces weight compared to the placebo. However, it does not have statistical significance, because it contains 0.
jr-2020-00320f2.jpg
Fig. 3.
Comparison of fixed-effect model and random-effect model. The fixed-effect model assumes that each study shares the same population, while the random-effect model assumes that each study has different populations. In the former, since the effect sizes of the studies are the same and the variance between the studies is 0, the precision increases, and the confidence interval of the mean effect size narrows. In the latter, the confidence interval of the mean effect size is larger, because the effect sizes of the studies are different and the variances are recognized.
jr-2020-00320f3.jpg
Fig. 4.
Meta-regression example. For each study, the circle illustrates the estimate, and the size indicates the precision. The dotted line is the regression result. The graph illustrates that greater decrease in blood cholesterol results in fewer cardiovascular complication occurrences.
jr-2020-00320f4.jpg
Fig. 5.
Forest plot sorted by weight size. Since studies with small weight tend to have large effect sizes, there is a high possibility that small-study effects exist.
jr-2020-00320f5.jpg
Fig. 6.
Funnel plot example. The horizontal axis represents the effect size, the vertical axis represents the standard error, and there is a 95% confidence interval for each effect size on the diagonal. Generally, studies with large samples are concentrated at the top center of the graph, and studies with small sample sizes are widely distributed at the bottom. If there are no publication errors, the studies are distributed symmetrically, and if it is asymmetric, like this graph, publication errors are suspected.
jr-2020-00320f6.jpg
Table 1.
Comparison between fixed-effect model and random-effect model
Fixed-effect model Random-effect model
Assumption • The population of all studies is the same. • All study populations are different, as each study has a different subject, treatment method, and duration
• The difference between the studies is due to sampling error
Mean effect size • This is an estimate of the effect size for the same population in each study • This is the estimate of the effect size for different populations in each study
Statistical characteristics • Only the variance within each study is considered when calculating the mean effect size. Therefore, the confidence interval of the mean effect size is narrow • When calculating the mean effect size, both the variance within each study and the variance between studies are considered. Therefore, the confidence interval of the mean effect size is wide
• Studies with small variances are largely reflected in the mean effect size • The mean effect size reflects all studies evenly

REFERENCES

1) 황성동. 알기 쉬운 메타분석의 이해. 학지사;2014. all pages.

2) Borenstein M, Hedges LV, Higgins JPT, Rpthstein HR. Introduction to meta-analysis. Wiley;2009.

3) The Centre for Evidence-Based Medicine develops, promotes and disseminates better evidence for healthcare (https://www.cebm.net/category/ebm-resources/).

5) 신우종. 체계적 고찰과 메타분석의 개요. Hanyang Med Rev 2015;35:9-17. .

TOOLS
METRICS Graph View
  • 10 Crossref
  •  0 Scopus
  • 6,162 View
  • 228 Download
Related articles


Editorial Office
101 Hyundai ESA Apt., 20, Hyoryeong-ro 77-gil, Seocho-gu, Seoul 06628, Republic of Korea
Tel: +82-2-3461-9945    Fax: +82-2-3461-9947    E-mail: office@j-rhinology.org                

Copyright © 2024 by Korean Rhinologic Society.

Developed in M2PI

Close layer
prev next