스펙 달성도에 매몰된 연구과제 평가
시행착오·실패 떳떳이 말할 수 있어야
어느덧 12월이다. 달력 1장을 남겨 놓으면 누구나 한 번쯤 지난 1년을 되돌아보기 마련이다. 연초에 세웠던 목표를 달성했는지, 무엇이 부족했는지, 앞으로 1년을 어떻게 준비해야 할지, 12월은 평가의 달이라고 할 수 있다.
연구자에게도 12월은 평가의 계절이다. 1년 동안의 연구 결과에 대해 평가를 받는데, 이를 '연구과제 평가(줄여서 과제평가)'라고 한다.
과제평가는 일반적으로 연구 결과를 발표하고 여타의 전문가들로부터 질문과 코멘트를 받는다.
그리고 학생들의 기말고사 성적처럼 연구자들도 평가점수를 어김없이 받는다. 평가점수는 연구자의 연구역량과 노력을 가름짓기 때문에, 연구자들은 학생들의 시험만큼이나 과제평가를 부담스러워한다.
학생은 교사가 내어 준 문제를 풀지만, 연구자들은 자신이 만든 문제를 제시하고 푸는 것이 다르다. 연구자들은 연구 시작 전 '스펙(Specification의 준말)'이라는 연구개발 목표치, 이른바 문제를 먼저 제시한다. 스펙은 연구개발 대상의 특성·성능치를 일컫는다. 자동차 연구개발을 예로 들면 소재의 강도, 부품의 부식성, 엔진의 출력 등을 말한다.
제시한 스펙은 과제평가의 중요한 근거가 된다. 과제를 평가하는 전문가(평가자)도 스펙과 그 달성도를 중요시한다. 그렇다 보니, 연구자들은 제시한 스펙을 달성하기 위해 최우선적 비중을 두고 연구를 수행한다. 하지만, 스펙 달성도 중심의 과제평가는 연구 왜곡과 평가 부작용을 초래할 가능성이 있다.
연구자들이 비용의 경제성, 시스템과 연계성, 실험방법의 객관성 등을 심도 있게 고려하기보다는 스펙 달성에만 매몰될 가능성이 있다.
과다한 비용이 소요되더라도, 다른 부품과 결합했을 때 성능 담보를 보장하지 못하더라도, 공인된 특성 평가 방법이 아니더라도, 스펙 달성을 위한 연구에만 집중하는 것이다. 심지어 달성하기 쉬운 낮은 스펙을 제시할 우려도 있다.
또한 스펙 위주의 평가는 연구자들에게 오직 성공적인 연구 스토리만 발표하게끔 만든다. 실험과정의 실패, 실수 등 시행착오 발표를 주저하게 만든다.
필자의 지인도 수년 전 스펙을 달성하지 못한 이유와 그로부터 배운 실패 경험담을 발표했다가 과제가 중간에 중단되는 큰 낭패를 본 적이 있다.
상황이 이렇다 보니 연구자들 사이에는 실패나 실수 등 부정적인 요소를 발표하는 것을 금기시한다. 과정의 실패를 말하는 정직함이 오히려 연구 미흡이라는 결과평가로 되돌아올 수 있기 때문이다.
결과적으로 연구 과정·방법의 타당성은 뒷전으로 밀리고, 오직 스펙 달성에만 갈수록 매몰되는 연구풍토가 만들어지는 것이다. 그동안 우리나라 대부분의 연구과제가 '성공'이라고 평가를 받았지만, 국민에게 감동을 줄 산업적인 성공사례가 많지 않은 것도 스펙에만 매달린 과제평가가 일조했다고 본다.
스펙의 우수성을 연구의 우수성으로 단정 지을 수 없지만, 우리의 평가시스템이 지나치게 스펙의 달성도에 매몰된 결과물이다.
제시한 스펙을 달성하지 못하더라도, 그럴 수밖에 없었던 이유나 시행착오 과정을 떳떳하게 이야기할 수 있는 풍토가 되어야 한다. 또한 시행착오 과정을 가치 있게 평가해 주는 평가체계가 만들어져야 한다.
그래야 실패에서 배우는 경험과 노하우를 축적할 수 있고, 연구자들이 더욱 더 도전적인 연구를 수행할 수 있다.
과학기술 평가에서도 만연되어 있는 스펙 지상주의를 경계할 때, 제대로 된 기술개발의 성공 신화를 만들 수 있을 것이다.