논문 합격률을 높혀주는 이기는 리버틀 (Rebuttal) 작성하는 방법

반응형

이번 포스팅에서는 대학원에서 살아남기 시리즈로 투고한 논문의 리뷰를 받은뒤에 이기는 리버틀을 하는 방법에 대해서  노트를 남겨놓고자 한다. 많은 대학원생들이 좋은 리뷰를 받고도 지는 리버틀을 작성하여 리젝을 당하는 일이 흔한데, 많은 경우에 그들은 어떤식으로 답을 해야 이기는 답변인지 모르거나, 적당히 답변하면 되겠지.. 라는 마음으로 리버틀을 작성하고 리젝을 받은 경우가 많다.

 

여기서 이기는 리버틀이란 리뷰어들이 스코어를 높혀주거나 적어도 낮추지 않도록 잘 방어 함으로써 논문이 억셉될 확률을 높혀주는 리버틀을 말을 한다. 누구는 리부탈, 누구는 리버탈, 누구는 리버틀이라고도 하는데, 무튼 영어로는 Rebuttal이라고 한다.

 

우선 가장 먼저 집고 넘어가야 할 부분은, 

'리뷰 점수가 좋지 않은데 리버틀을 작성해야할까?'  이다.

나무의 답변은 '아니오' 다. 논문 투고를 취하함으로써 우리는 적어도 리버틀에서 지지는 말아야 한다. 리버틀을 하게 되면 논문의 합불 결과까지 시간을 기다려야하고, 그 기간동안에는 다른 학회에 제출을 하지 못하느 시간을 버리는 셈이 된다. 물론, 지도교수가 자신의 오기로 학생들에게 리버틀을 하자고 한다면, 학생들은 못이기는 첫 리버틀을 하겠으나, 많은걸 바라지는 말자.

위의 '아니오' 라는 답변은 많은 경험에서 우러나온 확신이다. 나무 또한 오기가 생겨 좋지못한 리뷰 스코어를 받았음에도 아득바득 리버틀을 한 경우가 많다. 당연히 모든 경우에 리젝을 받았다. 

 

여기서, 리뷰 점수가 좋지 않다는 건 어느정도로 좋지 않다는 말일까? 보통 평균이하는 좋지 않다고 생각하면 된다. 즉, Boderline, Borderline, Weak Reject 부터 좋지 않는 리뷰점수이다. 하지만 마지노선으로, [Borderline, Borderline, Weak Reject] 을 받은 경우에, 리뷰어의 억양과 톤이 나쁘지 않다면 부딪혀 볼 수 있다. [Borderline, Weak Reject, Weak Reject] 부터는 그냥 아묻따 투고를 취하시키는걸 추천한다. 

 

자, 계속 이제 논문을 취하 하지 않고, 리버틀을 하기로 결정했다면 이기는 리버틀을 작성해 보자. 사실 이기는 리버틀에는 수많은 원칙이 있는 것은 아니다. 다음의 한가지 원칙을 따른다면 이미 80%로는 이기는 리버틀을 작성한 셈이다.

"모든 답변과 주장에는 그것에 해당하는 뒷받침 근거와 자료가 있어야한다"

굉장히 단순한 원칙처럼 들리나 굉장히 어려운 원칙이기도 하고, 굉장히 귀찮은 원칙이기도 하다. 많은 경우에, 연구자들은 귀찮아서 근거없는 주장이나 답변을 하는 실수를 한다. 예를들면, 리뷰스코어가 굉장히 높아 방심 한 나머지, 근거없는 말들만 좌르르- 나열했다가 일제히 리뷰어들이 스코어를 낮춤으로 리젝되는 경우가 많다. 

근거를 제시한다는 것은 굉장히 많은 시간과 실험을 필요로 하는 경우가 많다. 그리고 근거에는 다양한 포맷이 존재한다: 테이블, 이미지, 비디오, 수치, 이전 논문의 인용 등이 될 수 있다. 대부분 '글' 아닌 것들이고, 추가적인 실험과 비교 그리고 시각화가 필요한 경우가 많다. 많은 연구자들이 추가적인 실험을 하기 굉장히 귀찮고 부담스러워 하여 대충 말로 얼버무리는 경우가 많은데, 지는 리버틀로 가는 지름길이다. 다음의 예시를 보자,

----------------------------------------------------------------

----------------------------------------------------------------

Q: 리뷰어: '당신의 방법은 이전 방법 A에 비해 성능이 잘 안나오는 것같으나, 논문에는 포함이 되어있지 않군요.'

A: 저자: '이전 방법에 대해 추천해줘서 고맙습니다. 당신 말대로 방법 A와 비교를 해봤고, 이러이러한 testing데이터에서 실험을 해보았을때, 우리 방법이 x.00 만큼 더 좋게 나옵니다. 이에 대한 Qualitative '

----------------------------------------------------------------

Q: 리뷰어: 'A라는 metric 으로 측정할수 있는데왜, B 라는 metric만 사용했나요?.'

A: 저자: 'A라는 metric이 ~~해서 사용했다. B metric도 좋다고 생각하고, 리뷰어의 의견대로 다시 측정해보았더니 ~~이정도 성능이 나온다.' 여기서 중요한건 리뷰어의 의견대로 B metric으로 다시 실험을 해보고 해당 결과를 공유해주는 것이다.

----------------------------------------------------------------

Q: 리뷰어: '~~한 상황에서도 저자의 방법을 적용할 수 있나요?'

A: 저자: '네 ~~하기 때문에 적용할 수 있습니다. Figure~에서는 그 적용 결과를 보여줍니다.' 많은 연구자들이 ~~하기 때문에 적용할수 있다고만 말하고 끝내는 경우가 많은데, 실제로 어떻게든 적용을 한뒤 그 결과를 보여주는 것이 중요하다. 리버틀을 작성할수있는 기간은 많아야 1주이지만 그 1주내에 정말 최선을 다해서 실험과 수치로 보여줄수있는 부분들은 전부 보여주어야 한다.

----------------------------------------------------------------

----------------------------------------------------------------

다시 말하지만 뒷받침 근거와 자료로 답변한다는 하나의 룰만 지킨다면 이미 80프로 이기는 리버틀을 작성한 셈이다. 그 밖에 이기는 리버틀에 도움이 될만한 코멘트는 다음과 같다.

 

-   리뷰어를 절대 바보라고 생각해서는 안된다. 당연하게도 굉장히 어리석거은 질문이 나올수도 있는데, 그러한 어리석은 질문조차 좋은 코멘트라는 전제하에 답변을 해야한다. 저자의 글쓰기 말투에서 리뷰어를 어떻게 대하는지 드러나기 때문에 항상 상호간의 Respect은 한다는 전제하에 글을 작성해야할 것이다. 마치 리뷰어를 자신의 지도교수라고 생각하고 대하는 편이 좋을 것이다.

-   실제로 리뷰어가 잘못된 지적을 했다고 하면, 공손히 지적과 수정을 해주자. 명심하라, 한명의 리뷰어가 오기를 갖고 논문을 깎아내고자 하면 밑도 끝도없이 깎아내릴수 있다. 웬만하면 리뷰어의 심기를 건드리지는 말자 :)

-   간혹, 저자가 제시한 연구주제 범위에 맞지 않는 질문들을 하는 경우가 있는데, 그러한 경우는 해당 논문의 Problem 영역을 다시한번 환기 시켜주고, 말해준 부분은 "Beyond the scope of the paper"라고 명확히 말해주는 것은 좋다. 특히, Application부분을 걸고 넘어지는 리뷰어들이 많은데, Application에 대한 코멘트는 대부분 beyond the scope인 경우가 많다. 

-   리버틀에서 모든 질문에 답변을 할 필요는 없다. 자리가 모자라면 뒷받침 근거를 필요로하는 질문들 위주로 (즉, 그러한 질문들이 더 중요하다는 의미이다) 답변을 해야한다. 중요한 질문에 더 자세한 답변을 해야지 이기는 리버틀이 된다.

공대생의 과거와 현재와 미래

대학원에서 살아남기 (4)-논문을 잘 쓰는사람들의 11 가지 특징과 생각