연구논문 리뷰 방법 (feat. 리뷰에 들어가야할 내용)

반응형

대학원, 특히 박사과정중에 논문을 한 두편 쓰다보면 이제는 슬슬 제출자가 아닌 평가자, 즉 리뷰어로써 초대를 자주 받게 된다. 처음 리뷰를 하면 굉장히 많은 물음표와 함께 내가하는 리뷰가 맞는 리뷰인지도 확신이 가지 않은 채 리뷰를 작성하고 제출하는 경우가 많긴 하다 (그렇게 하다보며 배우는 것이 맞긴 하다). 지도교수는 가끔 자신들의 학생들에게 리뷰를 해달라고 요청은 하나, 그 방법과 내용에 대해서는 전혀 지도를 해주지 않는 경우도 많다.

 

이번 글에서는 연구논문을 리뷰할때 어떤 내용이 들어가야하며 어떤 기준으로써 논문을 평가해야하는지에 대해 생각과 노트를 남겨놓고자 한다. 박사과정 초반에 있는 분들께 도움이 되었으면 한다.

 

리뷰는 크게 여섯가지 항목에 대해 그 내용이 채워진다: 1) 논문의 요약 (Summary of the paper), 2) 논문의 강점 (Strength), 3) 논문의 약점 (Weakness), 4) 점수 (Rating), 5) 그 점수에 대한 정당성, 6) 그밖의 코멘트. 학회나 저널마다 저마다의 형식은 다르지만, 일단 위의 6개의 항목에 대해서 평가를 적어놓는다면 어떤 형식의 평가항목이던 맞춰 넣을 수가 있다.

 

각 항목에서, 어떤 내용들이 어떻게 채워져야 하는지 알아보도록 한다.

 

1) 논문의 요약 (Summary of the paper)

논문에 대한 5줄정도의 요약을 말한다. 사실 리뷰에서 그리 중요한 부분은 아니다. 리뷰어가 논문을 알맞게 이해했는지 점검하는 정도의 목적성을 갖는다. 따라서 이부분은 너무 오버스럽게 자신의 이해를 뽐내듯이 말할 필요는 전혀 없다. 그냥 담백하게 다섯 줄 정도로 써주고 아낀 시간을 강점과 약점 항목에 더 투자한다. 

 

- 이 논문에서는 어떤 웍 (work) 에 관련되어 방법을 제시했는지에 대한 한 문장,

- 어떤 문제를 풀고자 노력했는지에 대한 한 문장,

- 그 문제를 어떤식으로 풀었는지에 대한 한 문장,

- 그 밖에 제시한 아이디어는 무엇인지에 대한 한 문장,

- 실험은 어떤식으로 행했고 결과가 어떻게 나왔는지에 대한 한 문장으로 끝낸다.

 

2) 강점 (Strength)

논문에서의 강점이 무엇인지에 대해서 작성한다. 해당 논문에 대한 자신의 평가가 합격 (accept)쪽에 가깝다면, 리뷰의 가장 중요한 부분이 될 수 있다. 여기서 중요한건, 논문의 저자들이 말하는 자신들의 contribution을 요약하는 것이 아닌, 리뷰어가 생각했을 때의 논문의 장점을 쓰는것이다. 즉, 저자 자신들이 방법론의 강점들을 아무리 강조한다 한들, 그것들이 리뷰어 입장에서 전혀 강점으로 와닿지 않는다면 강점을 하나도 쓰지 않아도 괜찮다.

 

논문의 강점을 특정하기 위해서는 리뷰어만의 기준이 보통 필요한데, 나무는 보통 다음의 항목에 대해서 강점인지 아닌지 판별을 한다 (물론 논문의 특성상 그 기준은 달라질 수는 있다):

 

- 기존에 제시 되지 않았던 ‘문제’를 풀었는지 확인한다. 방법론이 약해도, 논문에서 풀고자 하는 ‘문제’ 자체가 기존에 없던 문제이고 중요한 문제라면 그것만으로도 충분히 가치가 있는 경우가 많다 (당연히 그 '문제' 자체의 중요성도 확인을 해야한다).

- 기존 방법과 정말로 ‘차이’가 있는지 (즉, novel한지) 확인한다. 기존의 방법과 비슷한점이 꽤나 많다면 강점이 아니다.

- 저자가 제시한 방법이 아닌 더 쉽고 간단하게 풀릴 수 있는지 확인한다. 저자들이 제시한 방법보다, 리뷰어 본인이 생각했을 때 더쉬운 방법을 떠올릴 수 있다면 해당 논문은 강점이 없다는 뜻이다.

- 해당 논문이 기존 방법보다 ‘실제로’ 더 잘되는지 확인한다. 

- Writing이 잘되었는지 (물론, 좋은 논문에서 writing이 강점을 정하는 주 요인은 아니긴 하다).

 

강점을 쓸 때, 이 논문이 어떤부분에 대해서 강점을 보이는지 한줄만 쓰기 보다는, 그 이유에 대해서 좀더 구체적으로 적어주는 것이 좋다. 약점 보다는 덜 구체적으로 적어도 괜찮으나, 그래도 각항목에 대해서 세 문장이상으로 자세히 써주는게 좋지 않을 까 생각한다. 예를들면, “이 논문은 Novel한 방법을 제시했다” 라고 했다면, 어떤부분이 참신한지, 어떤부분이 이전 논문들과 다른지, 이게 왜 효과적인지, 자신이 생각했을 때 강점을 좀더 자세히 적어주는 것이 좋다.

 

 3) 약점 (Weakness) 

논문에서의 약점이 무엇인지에 대해서 쓴다. 해당 논문에 대한 자신의 평가 (rating) 가 불합격 (reject)쪽에 가깝다면, 리뷰에서 가장 중요한 부분이 된다. 생각해보라, 자신이 제출한 논문이 불합격되었으나, 그것에 대한 이유를 전혀모르거나 이상한 이유로 불합격되면 기분이 좋지 않을 것이다. 따라서 논문의 약점을 써줄 때는 최대한 합리적인 부분에서 약점을 써야한다. 그렇다고 너무 오버스럽게 자세히 약점을 기술할 필요는 없고, 굉장히 작은부분까지 들춰내며 논문의 불합격 요소라고 주장하는것 또한 억지 스러울 수 있다. 약점에 들어가야 하는 내용은 다음과 같다 (많은 경우에 아래의 핵심 범위를 벗어나지 않는 듯하다).

이 웍의 모티베이션은 확실한가?

• 이 웍 (work) 이 어디에 쓰일수 있을지 불분명하거나,
• 어떤 문제 (challenge)를 풀었는지 불분명하거나,
• 제시한 방법론은 Challenge를 정확히 풀어냈는가 (많은경우에, 저자가 말하는 challenge와 method의 관계가 따로노는 경우가 있다).

실험은 정확하고 충분히 행해졌는가?

• 실험이 불충분하거나 (데이터가 적던, 비교방법이 적거나 너무 오래됬거나..),
• 실험이 불공평하거나 (비교방법이 너무 불리하거나, 혹은 방법들마다 다른 데이터를 사용했다거나),
• 실험이 잘못되었거나 (측정이 잘못되거나, 학습데이터가 비교실험으로 사용됬거나, 특정데이터에 오버피팅 되었거나),
• 저자가 말하는 전제, 가정, 혹은 주장에 대해 충분한 증거를 제시하는가?

등등이 있을 수 있다.

 

글쓰기는 정확하고 명확히 쓰여져 있는가?

• 글쓰기 (writing) 의 질이 굉장히 떨어져서 이해하기 어렵거나,
• 글과 그림이 혼동을 주거나,
• Overclaim, 즉, 자신들이 한것에 비해 더 많이 혹은 더 오버스럽게 주장하거나 (예를들면 처음으로 제시한것도 아닌데, 처음으로 제시했거나),

등등이 있을 수 있다.

 

논문에서 참신 (novel) 한 아이디어를 제시 했는가?

• 너무 쉬운 문제를 풀었거나,
• 기존 방법과 굉장히 흡사하거나, 
• 저자들이 제시한 방법보다 더 쉬운 방법으로 풀릴 수 있거나,
• 기존의 모듈들을 단지 조합만해서 풀거나,

등등이 있을 수 있다.

 

방법론은 정확하게 구현, 그리고 설명되어있는가?

• 특히, Introduction 에서 말한 기존의 문제 (challenge)를 제대로 해결하는가?
• 기존의 방법과 똑같은 방법인데 마치 자신들의 것 마냥 주장하진 않았는가?
• 리뷰어가 읽었을때 구현할 정도로 논문이 명확하게 쓰였는가?

등등이 있을 수 있다.

 

Related work에서는 충분히 많은 논문들, 혹은 중요한 논문들을 빼먹지는 않았는가?

 

특히 weakness는 저자들이 굉장히 민감해 하는 부분들이므로 최대한 자세히 적어주는 것이 좋기는 하다. 여기서 착각해서는 안될 부분이 있기는 하다. 최대한 자세히 적어주라고 했더니, 불필요하거나 굉장히 마이너한 부분 (예를들면 스펠링한개를 빼먹은 단어) 을 최대한 많이 쓰는 분들이 있다. 그것이 아니라, 위의 ‘핵심 약점’, 즉 중요한 부분에 대해서 최대한 자세히 써 주는 것이 좋다 (당연히 일부러 양을 늘릴필요는 없다!). 

 

예를들면, 해당 논문이 참신하지 않다면, - 왜 참신하지 않은가?, - 비슷한 방법이 이미 제시되었다면, 해당 논문을 언급해줄 수 도 있고, - 보다 쉬운 방법이 생각난다면, 리뷰어가 해당 방법을 제시하고 왜 이 방법이 저자들이 제시한 방법보다 나은가? 라고 되려 반박을 해볼수도있다. 논문의 성능이나 낮거나, 퀄리티가 별로거나, 의심이 가능 부분이 있다면, 정확히 어느 부분에 대해서 그러한 생각이 드는지, 몇번째 그림에서 어느부분에서 그렇게 생각하는지 자세히 언급해 주는것이 좋다.

 

4) 평가 (rating)

강점과 약점을 종합했을 때 리뷰어의 스코어를 정하면된다. 여기서 한가지 고려해야 할 사항은, 많은경우에 리버틀 (저자가 리뷰를 보고 반박을 하는기간) 이 끝난뒤 평가점수가 달라질수 있다. 혹시 장점과 단점이 비슷하다고 생각되어 지는 경우, 일단은 borderline 혹은 weak reject으로 평을 달아놓은후 저자의 반응 혹은 다른 리뷰어들과의 토론을 한 뒤 평가를 수정할 것을  고려할 수 있다.

 

5) 평가에 대한 정당성

리뷰어가 내린 평가에 대해서, 왜그런 평가가 나왔는지 간략히 써주는 것이다. 논문의 요약과 마찬가지로 5줄정도로 간략히 써주면 되는데, 강점과 약점을 간략히 요약해준다고 생각하면 된다. 요약의 끝은 '~~한 이유 때문에, 나의 중간평가는 xx 이다' 라고 마무리 지으면 된다.

6) 그 밖의 코멘트들 (More comments)

핵심 강점과 약점을 언급하고 그밖에 덜중요한 부분들 (즉, 평가에는 반영될 만큼 중요한 요소는 아니나 논문의 완벽성을 위해서는 바뀌어야하는 부분들, 예를들면 문법의 틀림이 있을 수 있다) 은 이부분에서 언급해주면된다. 없으면 없는대로 약점 (weakness) 부분에 남겨놓은 코멘트를 봐달라고 써놓으면 된다.

 

*리버틀 (Rebuttal, 저자의 반박) 기간뒤에 리뷰어간의 토론중에 해야할 일들

리버틀기간이 끝난뒤, 리뷰어간의 점수를 확인할 수 있고, 리뷰어간 토론도 가능하다. 리뷰어의 점수가 만장일치로 합격 혹은 불합격쪽으로 치우치면 토론은 하지않아도 괜찮은 경우가 많지만 리뷰어의 스코가 굉장히 다르면 토론을해서 의견을 수렴시켜야 한다. 이 때, 한 리뷰어가 자신의 생각을 강하게 그리고 정확하게 밀고나가고 다른 리뷰어가 동의한다면 대부분 그 강한 리뷰어의 의견에 따라가게 된다. 

 

물론, 두 리뷰어가 자신의 의견이 맞다는 의견충돌이 일어나는 경우가 있는데, 이 때는 AC (area chair, 즉, 리뷰어들을 관리하는 상위 리뷰어) 가 최종적으로 결정하여 논문의 합불을 정한다. 

 

 

지금까지 연구 논문의 리류 방법과 각 항목에 대해 어떤 내용이 들어갔는지 알아보았다. 혹시 질문이 있을시, 댓글을 달아놓으면 답변하도록 하겠다.

 

관련글

 

대학원에서 살아남기 (4)-논문을 잘 쓰는사람들의 11 가지 특징과 생각

댓글을 통한 진로/인생 고민 상담소 (feat. 청춘들을 위한 무엇이든 물어보살)

대학원에서 살아남기 (3)--첫 번째 연구주제 선정 방법

잘나가는 대학원생들의 7가지 특징