행복한 대학원생 되기 7편: 학회와 저널

행복한 대학원생 되기 연재

1편: 왜 대학원생이 되었는가? (동기) (2015/05/03)

2편: PhD가 되어가는 단계 (2015/05/10)

3편: 수업 듣기 (Coursework) (2015/06/07)

4편: 문제 찾기 (2015/11/07)

5편: Literature Survey (문헌조사)

6편: 박사 자격 시험

7편: 학회와 저널 (2017/07/07)

8편: 논문 리뷰 (2016/05/13)

9편: 논문 쓰기 (2017/01/23)

10편: 지도 교수

11편: 학위 논문과 디펜스

12편: 졸업 후 진로 (2017/01/10)

연구 논문이 공식적으로 세상에 빛을 보는 통로가 학회와 저널이다. 학회와 저널을 통해 연구 논문이 공식화 된다. 그래서 논문이 학회 논문집이나 저널에 실리는 것을 Publish한다고 이야기 한다. 사실 학회는 중의적인 표현이어서, 한국정보처리학회 처럼 연구 Society 같은 기관을 이야기 하기도 하지만, 대학원생들 사이에 학회라고 하면 주로 학술대회의 약자로 사용된다.

대학원이 연구하고 논문을 쓰는 곳이라는 건 누구나 알테지만, 어디에 어떻게 어떤 과정을 거쳐 논문이 출간되는 지는 누가 잘 알려주지 않는다. 보통 대학원 생활을 오래 하면서 자연적으로 알게 되기 때문이다. 그래서, 굳이 학회가 어떻고 저널이 어떻고 구구절절 설명할 필요는 없겠지만, 대학원 초년생들이나 대학원에 진학하고 싶은 학부생들에게 조금이라도 귀뜸을 해주면 도움이 될까 싶어 연재에 추가했다.

학회는 규모와 목적에 따라 Conference, Symposium, Annual meeting, Workshop 등으로 불린다. 하지만 Workshop을 제외하곤, 얼마의 규모 또 어떤 목적으로 학회들이 구분이 되는지는 뚜렷한 기준 없이 번갈아 가면서 쓰이는 것 같다. 공통점은 2-5개월 동안 3명 이상의 논문 심사자들의 평가를 통해 논문이 Accept 되면, 최소 하루에서 보통은 3일 동안, 학회가 열리는 장소(주로 호텔이나 학교)에서 논문을 발표하고 질의응답을 받는 시간들로 학회가 진행 된다. Workshop의 경우, 아직 진행 연구의 Preliminary한 결과나 부정적인 결과를 보여주는 4-8쪽의 짧은 논문들로 구성된다. 보통 하루만 한다.

3월 도쿄에서 열린 Workshop에서...왼쪽 끝이 필자...부끄러워서 프로젝터 그림자에 숨었다...

학회 논문들은 모두 Proceedings이라 불리는 발표 논문을 하나로 묶은 책(논문집)으로 출간된다. 본래 학회는 연구 중간 결과를 전문가들에게 발표하고 의견을 듣고 토의하는 것이 주 목적이라, 화두를 던지는 4-8쪽의 짧은 논문들이 주로 출간된다. Proceedings란 단어도 본래 회의록의 의미를 갖고 있다. 그래서 한국 같은 경우 학회 논문은 연구실적으로 인정을 잘 안해준다. 하지만, 컴퓨터 관련 학회들은 새로운 연구 발표와 토의 등의 학회 본래 목적을 넘어, 이미 완성된 10 page가 넘는 Full paper를 발표 한다. 기술의 발전 속도가 너무 빠르기에, 컴퓨터 관련 학회들은 이미 완성되고 평가된 기술들을 소개하고 발표하는 자리로서의 역할을 한다. 그래서, 컴퓨터 관련 유명 학회 논문들은 저널 논문보다 더 인정해주기도 하고, 연구의 큰 흐름과 주도권이 학회에서 나오는 경우가 많다. 인용수 중심으로 논문의 영향력을 평가하는 Google Scholar 최신 인용지수(https://goo.gl/bBPUEL)에 따르면,  Software System 분야에서 International Conference of Software Engineering (ICSE)란 학회가  IEEE Transactions on Software Engineering (TSE) 저널보다 더 순위가 높게 나온다. (ICSE의 인용지수 숫자 링크를 누르면 인용수 기준으로 논문 랭킹이 나오는데, 2017년 7월 6일 기준, 2저자로 참여했던 논문이 4위에 랭크 된 것 보고 깜짝 놀랐었다. 5년내 인용수 기준인 것 같은데, 2013년 ICSE논문 중에는 인용수 1위인 것을 보니, 내년에 2012년 논문들이 빠지면 랭킹 1도 가능하지 않을까 싶다! 1저자 ICSE 논문은 21위에 랭크되어 있다. 고생해서 한 연구들이 후속 연구에 꾸준히 영향을 준다는 것은 연구하는 사람으로서 가장 보람된 일이 아닐까 싶다.)

오래전부터 심사없이 아무나 논문을 공개할 수 있는 arXiv라는 저장소가 있다. 논문이 학회에 Accept 되는 몇 개월도 기다릴 수 없을 정도로, 기술의 진보가 빠르고 경쟁이 심한 게 이유가 아닐까 싶다. 재밌는 것은 arXiv 저장소의 인용지수가 꽤 높다. 앞에 Google Scholar에 나온 arXiv Software Engineering 저장소가 소프트웨어 공학 (SE) Top 3 학회로 간주되는 ASE보다 순위가 높게 나와 있다. 어떤식으로 순위가 계산이 됐는지는 따져보아야 겠지만, arXiv가 순위에 올라온 것은 주목할 만한 부분인 것 같다. 1초 1분 차이로 다른 연구 그룹에 밀릴 수도 있는 중요한 연구라면, 2-4개월 동안 학회논문 심사를 기다리는 건 위험한 일일 수 있다. 그래서 논문 심사는 받지 않지만, 공식적으로 논문을 바로 출간 할 수 있는 arXiv에 많이 내는 것 같다. 또, 학회 논문 심사자가 자신이 하는 연구나 경쟁해야 하는 연구 논문을 발견할 경우, 일부러 떨어뜨리는 비윤리적인 상황들도 벌어질 수 있다는 불안감도 부분적인 이유일 것이다. arXiv에 올라온 양질의 논문은 추후에 학회나 저널에서 심사를 받아 공식적으로 출판 되기도 한다. 아마 이런 양질의 논문들 때문에 arXiv의 인용지수가 높은게 아닐까 싶다.

어떤 Top 학회들은 폐쇄적이기도 하다. 연구 커뮤니티도 일종의 인맥이라, 연구 커뮤니티에 발을 깊숙히 담근 연구 그룹이 Top학회에 꾸준히 논문을 낼 가능성이 높다. 기존에 Top학회에 논문을 많이 내는 연구실 논문을 읽으면, 의례히 좋은 논문이라 생각하고 좋은 심사를 하는 일들이 자주 일어난다. 이런 부작용을 막고자 최근에 대부분의 SE Top 학회에서는 Double-Blind review를 도입해, 심사자와 논문 저자 모두 익명으로 심사를 진행했다. (보통은 심사자만 익명으로 하는 Single-Blind Review를 한다.) 그런데 Double-Blind라고 해도, 연구 커뮤티니가 다 연결이 되어 있어서 논문을 읽으면 이 논문은 어디 논문인지 추측이 가능하기도 하다. 이런 폐단을 막기 위해 올해 ICSE에서는 한 저자당 3편 초과해서 논문을 제출할 수 없다는 제한까지 내걸었었다. 한 연구자가 여러편의 ICSE논문을 내는 것을 방지하고 다른 연구 그룹이 들어올 수 있도록 진입 장벽을 낮추기 위함인 것 같은데, 연구의 자율성을 제한하는 기준이라며 의견이 분분했었다. Top 학회 논문도 경험이 있는 연구실이 낼 확률이 높기 때문에, 영향력 있는 논문을 내고 싶으면, Top 학회에 꾸준히 논문을 내는 연구실에 입학 하는게 중요하다. 그렇지 않은 연구실에서도 Top학회 논문을 못 내는 것은 아닐텐데, 논문을 제출하고 떨어지고 하는 과정을 반복하다 보면, 포기하고 싶고 좀 낮은 학회에 내고 싶은 마음이 굴뚝같이 생긴다. Top학회에 꾸준히 논문을 내는 교수님들은, 대게 학생들 마음이 약해져도 Top에 내기만을 요구하신다. 그게 차이인 것 같다. 보통 그런 연구실은 학생들이 많아 10명의 대학원생이 있고 그 중에 2명만 Accept되도 전체적으로 봤을 때 좋은 성과이다. 대신 논문 안나오는 대학원생들 개인이 고생이겠지만...

학회는 논문을 제출해야 하는 Deadline이 있다. Deadline까지 Abstract을 먼저 받고 1주 후에 전체 논문 받는 학회가 있는가 하면, 전체 논문을 한 번에 다 받는 학회가 있다. Abstract을 먼저 받는 학회는 대충 논문 제출 수를 미리 파악하거나 리뷰어들에게 미리 리뷰할 논문들을 할당하기 위한 목적으로 그렇게 하는 것 같다. 별로 유명하지 않은 학회의 경우는 Abstract의 개수가 너무 적으면 Deadline을 연장하기도 한다. 논문이 제출이 되면 Committee라고 불리는 위원회에 소속된 논문 심사자를 통해 2개월 정도의 심사과정을 거친다. 3명의 심사자가 논문을 세밀히 읽고 논문을 리뷰하고 점수를 매긴다. (심사자들의 논문리뷰가 어떤지 알고 싶은 분은 8편 참고) 간혹 심사자의 중간 평가 및 질문 내용을 미리 알려줘 Rebuttal이라는 답변서를 제출하는 과정이 있기도 하다. 3명의 심사자가 논문 당락의 의견이 다르면 온라인 또는 오프라인에서 최종 토론을 한다. 이 때 내 논문을 적극적으로 붙이고자하는 심사자가 한명이라도 있으면 논문이 Accept될 가능성이 높다. 적극적인 심사자가 내 논문을 Champion 해준다는 표현을 한다. 논문심사가 끝나면 당락을 알리는 Notification email이 온다. We regret....으로 시작하면 떨어진 논문이고, We are pleased로 시작하면 붙은 논문이다. 대학원생이 되면, Notification email에 있는 첫 몇 단어로, 인생의 명운이 갈리는 경험을 자주 할 수 있다;;;

학회 논문이 Accept되면, 최종 출판을 위한 논문을 제출 해야 한다. Camera-ready version (최종본)이라고 한다. 2008년에 내 인생 처음으로 논문이 accept 되고, Camera-ready를 보내라는 메일을 받고, 저게 도대체 뭔가라고 답답해 했던 기억이 난다. 논문을 보내면 한쪽씩 사진 찍어서 책을 만드나 이런 생각까지 했었다. 아마 인쇄 용어가 아닐까 싶다. 대게 1-2개월의 시간이 주어지고, 심사자의 리뷰를 바탕으로 논문을 최종 수정 후 제출하면 된다. 최종본 제출시 Author kit이라고 어디에 어떤식으로 어떤 형식에 맞추어 최종본을 제출하는 내용이 적힌 Email을 보내주거나 웹사이트 링크를 알려준다. 최종 인쇄에 적합한 최종본 작성을 위해 도와주는 웹 도구라 생각하면 된다.

저널은 학회와 많이 다르다. 학회는 보통 1년에 한 번 열리지만, 저널은 정기간행물이라 매달 혹은 격주로 발간된다. 잡지에 권/호가 있듯이 Volume번호와 Issue번호가 부여된다. 1년에 한 번 열리는 학회 논문집에서는 그 규모에 따라 10편에서 80편의 논문이 실리지만, 저널은 한달에 5편 내외로 소규모로 실린다. 가장 큰 차이는 논문을 심사하는 기간이다. 길어야 5개월이면 당락을 알 수 있는 학회논문과 다르게, 저널의 심사 기간은 보통 몇년이 걸린다. 학회 논문의 심사는 당/락으로 한 번에 결정이 된다. 하지만 저널은, 주제가 흥미로우면 심사자의 기준을 충족할 때 까지 심사를 여러번 반복할 수 있다. Accept, Reject, 간혹 Conditional accept이 나오는 학회와는 다르게, 저널은 Accept with no change, Accept with minor revision, minor revision, major revision, reject, resubmit as new 등등 다양한 심사결과가 있다. Minor revision이 나오면, 이변이 없는 한 최종 accept 가능성이 99.9%이다. 그래서 Minor revision 나오면 다들 축하 해준다. Major revision이 나오면 3-5개월 동안 심사자의 평가를 반영하여 논문을 대폭 수정한 후 다시 3-4개월 동안 심사를 받아야 한다. Major revision이 또 나오면, 이 과정을 또 반복해야 하고, 여러번 반복해야 할 수도 있다. 2015년 9월에 IEEE TSE에 학회논문을 확장한 논문을 제출 했었는데, Major Revision을 계속 받아서 2017년 6월에야 최종 Accept됐다. Major revision이 여러번 반복되다 보니 저널 편집인(Editor)이 다음에 또 Major revision나오면 Reject할거라고 해서, 인고의 시간을 보내야 했다. 그 놈의 저널 논문이 뭐라고, 1저자 저널이 한편도 없어서 한국 학교에 지원조차 못하는 현실에 많이 지치기도 했고, 한편 가지고는 또 명함도 못내미는 상황이긴 하지만, 어쨋든 하나라도 돼서 감사하게 생각하고 있다. 저널도 최종 Accept 되면, 최종본과 함께 원본 편집 파일도 제출해야 한다. 저널은 정기 간행물이기 때문에, 전문 편집인이 따로 있어서, 논문을 전체적으로 편집해준다. 인쇄용 Camera-ready 버전을 전문 편집인이 만들어 준다. 테이블 모양을 표준화 해준다든지 오탈자를 수정해주는 작업을 모두 해준다. 그래서 docx나 tex같은 원본 편집파일을 pdf와 함께 제출해야 한다. 한 번에 수십 편의 논문을 편집해야 하는 Proceedings과 편집 서비스가 질적으로 좀 다른 것 같다.

요즘 저널은 온라인 버전이 먼저 출간되고, 차례가 되면 Volume과 Issue번호가 찍힌 정식본이 출간된다. 온라인 문서는 DoI라는 국제적인 문서 관리 번호를 부여 받는다. 온라인 버전이 출간이 되어 DoI를 받게 되면 대게는 정식 출간으로 인정 된다. 종이 잡지로 나오던 게 인터넷 시대가 되면서 출판 시스템이 업데이트 되어 가능해진 일이다. 논문들을 빨리 빨리 출판 해달라는 학계의 요구가 반영된 것으로 생각된다. 한 Issue별로 게재할 수 있는 편수가 제한이 되어 있어서, Accept된 논문이 밀려 있으면 Volume번호와 Issue번호를 온라인 게재 후 1년 뒤에 할당 받는 상황이 발생 될 수도 있다. 이게 왜 문제가 되냐하면, 어떤 한국 대학교들은 Volume과 Issue번호가 없으면 실적으로 인정을 안해주는 비정보화 시대를 살아가고 있기 때문이다.

TSE의 경우, 저널 논문을 두 가지로 구분한다. Journal First와 그렇지 않은 논문으로... 대게 저널 논문은 학회에서 발표한 논문에 실험을 더 확장하거나 개선해서 제출하는 경우가 많다. 그렇지 않고 처음부터 새 논문을 제출하는 것을 Journal First 논문이라고 한다. 연구자 중에는 학회에 참석하는 것을 별로 안 좋아하는 사람들도 있다. 시간도 들고 많은 비용도 들고 (10-80만원 하는 학회비 + 비행기 + 호텔 = 대학원생 한두달 월급), 내성적인 연구자는 논문을 발표하거나 다른 연구자들 만나는 게 괴롭고 힘든 일이기 때문이다. (내가 그렇다;;;) 저명한 저널들은 게재비용이 따로 들지 않는다. 이런 장점 때문에 학회 논문에서는 보기 힘든 연구자의 이름을 저널 논문에서 꾸준히 발견하는 경우도 있다. 그런데 올해 ICSE에 TSE의 Journal First 논문을 발표 세션에 초청하는 일이 벌어졌다. 후에, 학회 참석을 꺼리는 연구자가 학회 안가려고 저널에 논문을 냈는데 발표하러 오라고 해서 황당했다는 우스개 소리를 들은 적이 있다.

저명한 저널에 Accept 되면, 논문의 특성에 따라 인용수가 굉장히 많아질 수 있다. TSE논문의 최근 5년 논문 인용수 (https://goo.gl/YWVb7c)를 보면 Top 3논문의 인용수가 모두 250을 넘는다. 첫번째 논문은 인용수 400의 버그 예측 Survey논문이다. 내 논문은 아니지만, 내 연구분야가 여전히 많은 연구자들의 관심을 받는 다는 것은 무척 뿌듯한 일이다.

연구자에게 있어서 연구의 성과를 어디에 제출하느냐는 굉장히 중요한 결정이다. 앞으로의 진로와 연구 명성에 큰 영향을 끼치기 때문이다. 컴퓨터가 아닌 다른 분야는 저널이 최고 겠지만, 컴퓨터 관련 분야는 학회가 저널보다 중요한 경우가 많다. 컴퓨터 전공자이고 해외에서 연구생활을 계속 하고 싶다면, 탑 학회를 목표로 논문을 꾸준히 내는 게 유리하고, 한국에서 연구생활을 계속하고 싶다면, 탑 학회를 목표로 하는 것과 동시에 탑 학회에 출간된 논문을 확장해서 탑 저널에 내는 것도 중요하다. 물론, 이것은 노골적인 현실 이야기이니 오해하지 않았으면 한다. 중요한 문제를 해결하는 가치있고 의미있는 연구를 목표로 삼으면, 좋은 학회와 저널에 논문을 출간 할 기회가 많이 있을 것이다. 지치지 않는 끈기와 노력이 제일 중요하다.

이 글이 도움이 되셨다면, 공감을 눌러 주세요!