KSME_19-4_382.pdf408.2KB

1. 서 론

 미국, 영국, 일본 등 다른 선진국을 포함하여 세계 각국에서는 해상교통안전성을 확보하기 위한 해상교통 및 선박통항의 안전성 평가 연구가 다각도로 검토 발전되어 왔다. 우리나라의 경우, 법적 구속력 없이 실시해오던 항행안전성평가를 보다 구체화하여 ‘09년 5월 27일 해사안전법(구. 해상교통안전법)에 해상교통안전진단제도를 명시함으로써 해상교통안전성 평가의 법적 근거를 마련하고 제도적 기반을 구축하였다.

 본 제도시행으로 인해 항만 및 부두설계, 해상교량 건설 등의 사업들이 해상교통안전진단을 통해 선박통항안전성측면을 반드시 고려하여 실시하게 된 것은 큰 성과로 판단되나, 최근에는 진단사업에 대해 ‘해상교통안전진단제도’가 소기의 목적을 달성하고 있는지, 안전진단이 제대로 수행되고 있는지, 진단방법이나 수행이 적절한지, 이에 의해 도출된 진단결과가 의미가 있는지, 진단결과가 유용한지 등 제도의 가치문제에 대한 논란이 이해당사자들을 중심으로 제기되고 있어 해상교통안전진단제도가 정착단계를 거쳐 고도화 단계로 나아가기 위해서는 진단활동 전반에 대한 종합적이고 체계적인 검토가 필요하다. 즉, 해상교통안전진단제도에 대해 종합적으로 분석 평가할 수 있는 분석틀 마련이 절실한 시점이다.

 따라서 본 연구에서는 진단수행의 질적 향상을 위한 수단으로 파악되는 평가에 대한 평가, 즉 메타평가에 관한 이론을 적용하여 해상교통안전진단에 대해 종합적으로 분석·평가하기 위한 메타평가 모형을 설계하는데 목적을 두었다.

 연구방법으로는 해상교통안전진단제도와 메타평가에 대한 이론적 고찰을 통한 해상교통안전진단에 적합한 메타평가 기본모형을 설정하고, 설문조사 및 면접을 실시하여 메타평가 모형의 구성요소를 선정하였다. 또한, 모형설계에 따른 평가영역 · 항목 · 지표를 전문가 조사 방법을 활용하여 검증한 후 해상교통안전진단 메타평가 모형을 설계하였다.

2. 해상교통안전진단제도와 메타평가

2.1 해상교통안전진단제도의 특성

 해사안전법 제2조 제16항에서는 해상교통안전진단을 ‘안전진단 대상사업으로 발생할 수 있는 항행안전 위험 요인을 전문적으로 조사 · 측정하고 평가하는 것’이라 정의하고 있다.

 보다 구체적으로는 ‘해상교통안전 진단대상사업 시행에 따라 발생할 수 있는 해상교통량·흐름의 변화 및 해상교통안전에 미치는 영향을 자격을 갖춘 전문기관에 의해 사전에 조사·측정 및 평가하여 설계에 반영토록 함으로써, 선박통항안전을 확보하고 해양사고 저감방안을 위한 유무형의 대책을 마련하는 행위로 일종의 협의과정’으로 일반화하여 정의할 수 있으며, 각종 사업계획 수립단계에서부터 해상안전적인 측면을 고려하도록 하는 사전 예방적 해상안전관리 정책수단의 하나라고 할 수 있다(Cho et al., 2010; Cho, 2011)

 평가에 대한 개념은 문헌마다 차이는 있으나, Ryu(2007)는 양적 및 질적인 특성을 파악한 후 가치판단을 통하여 미래방향을 설정해 주는 특징으로 설명하고, 그 범위는 프로젝트, 프로그램, 조직, 개인, 성과, 정책, 전략, 생산품, 서비스, 과정, 시스템, 제안, 계약, 취업 등을 포함하며 평가 가능한 모든 분야를 적용대상으로 삼을 수 있다고 하였다.

 즉, 평가란 모든 것을 그 대상으로 할 수 있는 것으로 해상교통안전진단은 해상교통안전에 영향을 미치는 안전진단 대상사업으로 발생할 수 있는 항행안전 위험 요인을 전문적으로 조사·측정하고 평가하는 것으로서 모든 분야를 적용대상으로 할 수 있는 평가의 속성을 지닌다.

 따라서 메타평가의 대상으로서 해상교통안전진단제도가 지니는 평가의 속성 측면에서 해상교통안전진단이란 Fig. 1과 같이 해상교통안전성 측면의 문제(Maritime traffic safety problem)에 대한 인식 및 도출(Problem recognition/deduction)에서 진단범위 설정(Fixing the scope of assessment)을 통한 평가범위를 설정(Fixing the scope of evaluation)하고, 진단항목별 진단기술을 적용(Application of evaluation technique as per assessment item)하여 평가(Evaluation)하고, 해상교통안전성 확보방안(Maritime traffic safety assurance method)의 대안을 제시(Making an alternative plan)하고, 관련자들과의 인식 공유(Sharing the perception with persons concerned)를 통해 평가결과를 사업에 반영·확산(Reflection of result and spreading)하는 절차로 해석할 수 있다.

Fig. 1. Properties of MTSA.

2.2 해상교통안전진단제도와 메타평가 관계

 메타평가를 해상교통안전진단에 적용하기에 앞서, 메타평가를 어떠한 시각에서 바라볼 것인가를 검토할 필요가 있다.

 메타평가는 정책평가의 유용성에 대한 의문에서 출발한 것으로 메타평가에 관해 연구자들은 메타평가는 평가(Evaluation)나 환류(Feedback)와 같은 메타과정 또한 평가의 대상이 될 수 있는 평가에 대한 평가로서, 체계상 정책평가 보다 우위에 있는 개념으로 분류하고 있고, 그 내용상 정책평가의 한 유형으로서 설명되고 있는 것이 일반적이다. 즉, 메타평가를 정책평가의 방법 중 하나로 인식하거나, 정책평가의 과정중 하나로 파악하기도 하는 것이다(Kim, 1993).

 정책평가는 분류기준에 따라 다양하게 유형화할 수 있는데 여기서는 평가대상, 평가주체, 평가기능, 평가시기, 평가범위 등에 따라 분류하면 해상교통안전진단은 내용적으로는 정책평가의 속성 일부를 포함하는 정책평가의 영역 내에 있으며, 체계적으로는 메타평가의 하위평가에 속한다.

해상교통안전진단을 정책평가와 메타평가의 관계 속에서 파악해보면, 현행 해상교통안전진단은 정책평가 유형 중 개별평가 형식으로 수행되는 사전평가로 해상교통안전의 사업수용 강화를 위한 제도적 평가에 해당된다. 그 결과 본 연구에서의 메타평가는 정책평가의 일반적 속성을 지니면서 동시에 해상교통안전진단만의 고유한 특성도 지니게 된다. 

2.3 메타평가의 이론적 고찰

1) 메타평가의 개념

 메타평가(Metaevaluation)에 관해 가장 보편적인 개념 정의는 ‘평가에 대한 평가(Evaluation of Evaluation)' 즉, 어떤 평가를 다시 평가하는 것으로 평가의 정의에 따라 메타평가의 개념도 달라질 수 있다.

 국외 연구자들의 메타평가 정의에 따른 평가 범위와 대상은 학자마다 다양하게 제시하고 있지만, 개념 정의에 근거하여 메타평가 범주를 최협의, 협의, 광의로 구분할 수 있다. ① 최협의는 평가결과의 종합으로 평가결과에 대한 재분석으로 평가결과를 메타평가 대상으로 한다. 대표적인 학자로는 Chelimsky가 있다. ② 협의는 경험적 총괄평가에 대한 평가로 평가의 오류, 조작, 타당성 점검으로 경험적 총괄평가를 메타평가 대상으로 한다. 대표적인 학자로는 Cook & Gruder등이 있다. ③ 광의로는 평가시스템에 대한 평가는 평가시스템에 대한 포괄적 평가로 평가시스템 전반을 메타평가 대상으로 한다. 대표적인 학자로는 Stufflebeam, Larson & Berliner 등이 있다(Kim, 2009).

한편, Oh(1986) 등 국내 연구자들 대부분은 메타평가를 평가 전반에 대한 평가로 정의하고 있다. 

 이러한 국내외 연구자들의 견해를 종합하여 본 연구에서의 메타평가는 평가시스템 전반을 대상으로 한 광의의 개념으로 분류하고, 평가의 질 제고를 위하여 평가시스템 전반에 걸쳐 수행하는 평가로 정의하였다.

2) 메타평가의 접근방법

 메타평가에 적용할 수 있는 접근 방법은 다양하며, 이는 평가적 성취, 프로그램에 대한 감사, 평가 준거 설정, 개념지도, 메타분석방법과 제2차적 분석, 실험설계방안, 평가전반 비평 등 일곱 가지로 분류할 수 있다(Im, 2007).

 특히, ‘평가준거 설정’ 방법은 객관적인 준거 설정을 통해 평가활동의 유용성, 실행가능성, 정당성, 정확성 등을 평가하는 것으로서 해상교통안전진단제도를 체계적 접근으로 메타평가 구성요소를 설정하여 평점법(Scoring method)으로 메타평가를 수행할 수 있다. 따라서 본 연구에서는 메타평가를 위한 준거를 설정하여 체제론적(System theory)으로 접근하였다.

3) 메타평가의 방법

 Brinkerhoff et al.(1983) 등 학자들의 사례연구를 살펴보면, 메타평가 방법은 크게 평가모형설계와 메타평가 분석 등 두영역으로 연구체제를 구분할 수 있는데, 이들이 채택한 메타평가의 방법은 각 영역별로 조금씩 차이가 나고 있으나, 이들 평가방법은 각기 하나에만 독립적으로 의존하는 것이아니라 상호 혼합하여 사용되고 있다. 메타평가의 모형설계는 문헌연구에 기초한 평가지표를 개발하는 것을 핵심으로 하는 중요한 연구영역 중 하나이므로 메타평가의 모형에 대한 타당성과 신뢰성을 높이기 위해 문헌연구에 기초한 평가지표에 대한 검증이 필요하다.

 본 연구는 해상교통안전진단의 메타평가 모형설계를 위한 것으로 이전 연구들과 마찬가지로 Fig. 2와 같이 문헌연구(Literature research)를 통해 일반적인 평가지표를 구성하여 메타평가 기본모형을 마련(Draw basic model for Metaevaluation)하고, 2회에 걸친 전문가검토(Expert interview and surveys)와 면접(Interview)을 실시하여 메타평가 구성요소를 개발(Development of Metaevaluation After modify draft, arrange components)하고, 아이디어를 공유하여 해상교통안전진단제도의 특성이 잘 반영될 수 있도록 하였다. 아울러 조사 대상을 확대하여 1회의 설문조사(Question investigation)를 추가 실시하여 평가모형 및 평가지표, 즉 사전적 구성요소의 적합성 검증(the verification of Metaevaluation components)으로 타당성과 신뢰성을 확보하였다.

Fig. 2. Methods of metaevaluation model design.

4) 메타평가의 구성요소

 메타평가의 구성요소를 바라보는 학자들의 관점은 평가대상별로 조금씩 차이가 있으나 체계론적 접근방법에 따라 국내외 주요 선행연구메타평가 사례의 주요 학자들이 제시하는 구성요소를 Table 1과 같이 상위구성요소인 평가영역(Evaluation Domain)의 유사성을 고려하여 정리하면 Domain A~E까지 5개 영역으로 분류할 수 있다.

Table 1. Classification of Advanced Research for Metaevaluation

 메타평가 모형의 구성요소 중 상위요소인 평가영역(Domain)은 공통점을 묶어낼 부분이 많아 Fig. 3과 같이 메타평가 영역의 유형을 계획 · 기조 · 환경(Plan Basis Environment) · 투입 · 자원(Input Resources) · 수행 · 과정(Process) · 결과(Output) · 활용(Utilization)으로 간략하게 나타낼 수 있다.

Fig. 3. Classification of metaevaluation domain based on advanced esearch.

 그러나 각 평가대상에 따른 고유한 특성이 반영되어 있기때문에 평가항목(Evaluation Item)이나 평가지표(Evaluation Index)인 하위구성요소로 갈수록 차이점이 커짐을 알 수 있다. 따라서 메타평가 모형의 설계는 메타평가 구성요소에 대한 공통적 사항에 대한 이해를 바탕으로 평가대상의 고유한 특성을 반영할 수 있는 하위구성요소를 선정하는 것이 무엇보다 중요하다. 즉, 메타평가 목적 및 대상에 적합한 상위구성요소인 평가영역을 결정한 후, 그 하위요소인 평가항목이나 평가지표의 설정 시에는 평가대상의 특성이 반드시 반영될 수 있도록 해야 한다.

3. 해상교통안전진단 메타평가 모형 설계

3.1 해상교통안전진단 메타평가 모형 설정

 선행 연구결과를 토대로 정책 및 프로그램을 대상으로 사례연구를 실시한 Ryu(2007)가 제시한 메타평가의 기본모형에서 착안하여 해상교통안전진단제도를 진단계획(Assessment Plan), 진단투입(Assessment Input), 진단수행(Assessment Process), 진단결과(Assessment Output), 진단활용(Assessment Utilization) 등 5단계의 순환과정으로 파악하고 Fig. 4와 같이 메타평가 모형을 설정하였다.

Fig. 4. Basic metaevaluation model of MTSA.

메타평가의 기본모형과 해상교통안전진단의 특성을 반영하여 설정한 이 기본모형은 메타평가의 기본모형의 접근방식, 즉 평가체제 및 관리에 중점을 두고 평가요소들을 구별한 것으로 5개 평가영역인 Plan, Input, Process, Output, Utilization의 앞 글자를 따서 ‘PIP’OU 메타평가 모형’이라고 하였다(Cho, 2013). 

3.2 메타평가 구성요소의 개발

1) 메타평가 구성요소 초안

 해상교통안전진단 평가에 대한 메타평가 구성요소 초안은 국내외 문헌연구를 통해 도출된 평가항목을 기초로 선행연구의 메타평가의 주요 공통적 구성요소가 누락되지 않도록 하였으며, 유사한 구성요소는 통합하고 해상교통안전진단에 대한 관찰과 진단사례 등을 통해 확인된 제도의 특성을 반영하여 PIP'OU 메타평가 논리모형의 주요 구성요소로 작성하였다.

 그 결과, Table 2와 같이 5개의 평가영역(Evaluation Domain), 19개의 평가항목(Evaluation Item) 및 52개의 평가지표(Evaluation Index)로 구성된 해상교통안전진단 메타평가 모형의 구성요소 초안이 도출되었다.

Table 2. Draft of MTSA metaevaluation components

 즉, 평가영역별로는 첫째, 진단계획(P) 영역은 진단근거(P1), 진단목표(P2), 진단대상(P3), 진단설계(P4)의 4개 항목과 진단의 법적 제도적 근거의 명확성(P1-①), 진단 관련 법규내용의 합리성(P1-②), 진단목표의 명료성(P2-①), 진단목표의 해상교통안전적 가치 고려 부합성(P2-②), 진단목표의 지속 가능성 고려의 적절성(P2-③), 진단목표의 인근 예정사업간 연관성 고려의 적절성(P2-④), 진단대상의 진단서 제출면제대상여부 검토의 적절성(P3-①), 진단대상의 진단시기 적절성(P3-②), 진단대상의 진단범위 설정 적절성(P3-③), 진단절차 및 운영계획 설정의 적절성(P4-①), 진단 주체들간 역할분담과 권한의 명확성(P4-②), 진단 관련 이해관계자 및 수요파악의 적절성(P4-③)의 12개 지표이다.

 둘째, 진단투입(I) 영역은 진단역량(I1), 진단예산(I2), 진단자료(I3), 진단기간(I4)의 4개 항목과 진단(대행)기관의 진단기능 부합 여부(I1-①), 진단(대행)기관의 중립성과 독립성(I1-②), 진단인력 구성의 질적 양적 충분성(I1-③), 진단예산 규모의 적정성(I2-①), 진단예산의 안정적 지원 여부(I2-②), 진단예산이 대상사업 전체예산에서 차지하는 비율(I2-③), 진단자료의 질적 양적 충분성(I3-①), 진단자료의 핵심내용 포함 여부(I3--②), 진단자료의 접근 용이성(자료의 DB 구축 충실성)(I3-③), 진단서 작성기간의 적절성(I4-①), 진단 협의기간의 충분성(I4-②), 서면진단 및 현장진단 시간의 충분성(I4-③)의 12개 지표이다.

셋째, 진단수행(P') 영역은 진단수행방법(P'1), 진단수행내용(P'2), 진단수행항목(P'3), 진단수행절차(P'4)의 4개 항목과 진단규정의 형태 및 내용적 적합성(P'1-①), 진단규정의 세부진단기술기준 명확성(P'1-②), 진단대상 특성에 따른 평가방법 활용의 적절성(P'1-③), 진단항목 설정의 타당성(중점진단항목/제외항목)(P'2-①), 진단항목의 일관성 유지 정도(P'2-②), 현황조사의 적정성(P'3-①), 현황측정의 적정성(P'3-②), 해상교통시스템(통항 접이안 계류 해상교통류) 평가의 정확성(P'3-③), 진단절차(서면/현장)의 합리성((P'4-①), 진단자와 이해당사자간 의사소통의 충분성 절차(검토 보완 협의) 충실성((P'4-②), 진단과정에서 진단인력들의 균형적 시각 유지 정도((P'4-③)의 11개 지표이다. 

넷째, 진단결과(O) 영역은 진단보고서 신뢰성(O1), 진단보고서 유용성(O2), 진단결과 보고(O3), 진단결과 심사 및 사후관리(O4)의 4개 항목과 진단보고서 구성 및 내용의 합리성(O1-①), 진단보고서 결과 도출 및 해상교통안전대책의 타당성(O1-②), 진단보고서 상 대안 및 안전대책의 실현가능성(O1-③), 진단보고서 이해관계자 요구 반영 정도(O2-①), 진단보고서 내용에 대한 이해의 용이성(O2-②), 진단결과 보고(배포) 시기 및 공개 범위의 적절성(O3-①), 진단결과에 대한 이의제기 기회의 충분성(O3-②), 진단결과 분석 및 비판적 검토 절차의 적절성(O4-①), 진단심사결과에 대한 처분기관의 반영 여부(O4-②), 진단심사결과에 대한 대상사업자의 수용정도(O4-③), 진단심사결과의 이행 정도 및 이행모니터링 체계의 적정성(O4-④)의 11개 지표이다. 

마지막으로, 진단활용(U) 영역은 진단결과 활용(U1), 진단결과 확산(U2), 진단시스템 개선(U3)의 4개 항목과 진단(대행)자 측면의 진단결과 활용 정도(U1-①), 검토(심사)자 측면의 진단결과 활용 정도(U1-②), 진단결과가 차기 진단대상사업에 미치는 영향성(U1-③), 진단결과가 관련자의 사고에 미치는 영향성(U1-④), 일반인들에게 진단결과의 공개 정도(U2-①), 진단시스템에 대한 진단 및 개선활동의 적절성(U3-①)의 6개 지표이다. 

 주요 구성요소별 분류 기준은 진단계획은 진단시스템의 규정 속에서 진단대상에 대한 진단설계 활동의 방향과 내용을 규정하는 단계로 진단을 수행하기에 앞서 취해지는 모든 활동으로 하고, 진단투입은 진단에 투입되는 유 · 무형의 자원으로 인적 · 물적 자원은 물론 시간· 자료 자원 등을 포함하였다. 진단수행은 실제로 진단이 수행되는 과정상의 활동 그 자체를 의미하는 것으로, 실제 진단과정에서 무슨 내용을 어떻게 진단하고 있는지를 파악하고, 진단결과는 진단을 통해 획득된 정보, 즉 진단의 결과가 적절한지를 파악하고자하는 것으로 이를 보고하고 사후 관리하는 개념까지 포함하고, 진단활용은 진단을 통해 취득한 정보를 활용하는 활동을 의미하는 것으로 환류를 포괄하는 개념을 포함하였다.

2) 메타평가 구성요소 수정안

 해상교통안전진단의 메타평가 구성요소 초안에 대한 수정 · 보완을 위해 해상교통안전진단 관련 전문가 20인을 구성하여 두 차례에 걸친 전문가조사를 실시하였다. 1차 조사는 면접조사 방식으로 전문가 20인 중 절반에 해당하는 전문가 10인을 대상으로 2012년 5월 7일부터 18일까지 면대면 심층 면접을 실시하여 메타평가의 세부구성요소 선정 등 수정안 작성에 관한 자문을 받았고, 2차 조사는 설문조사 방식으로 2012년 6월 11일부터 22일까지 전문가 20인을 대상으로 e-mail을 통해 메타평가 구성요소 선정에 관한 설문지를 발송하여 회신을 받은 후 이를 바탕으로 전화 또는 면대면 면접과정을 거쳐 수정 보완 작업을 수행하였다.

 설문지는 Likert 5점 척도법에 따라 작성하게 하고, ‘보통(3점)’과 ‘적합(4점)’의 중간점수인 3.5이상의 평점을 받은 경우는 구성요소로서 적합한 것으로 판정하였다.

 그 결과, 첫째, 평가영역(Evaluation Domain)의 구성요소에 대한 평점평균은 진단계획(P) 4.40, 진단투입(I) 4.40, 진단수행(P) 4.47, 진단결과(O) 4.67, 진단활용(U) 4.00으로 모두 3.5이상으로 모든 구성요소가 적절하여 총 5개 영역은 변경 없이 활용 가능하였다.

둘째, 평가항목(Evaluation Item)의 구성요소에 대한 평점평균이 2.93인 ‘U2’항목을 제외한 모든 항목은 3.5 이상이었다. 따라서 ‘U2’ 평가항목은 삭제하고, 나머지 평가항목은 전문가조사 의견을 반영하여 평가항목 ‘P1’ 및 ‘P2’는 ‘P1’으로 합병하여 총 19개 영역에서 17개 영역으로 축소되었다. 아울러, 평가항목의 의미를 보다 명확히 하기 위해 ‘I2’, ‘P1’, ‘P3’, ‘O4’는 각각 명칭을 변경하였다. 

셋째, 평가지표(Evaluation Index)의 구성요소에 대한 평점 평균은 지표 U2-①, I3-③, I2-③가 3.5 미만으로 삭제되고, 지표 P'1-①, P'1-②가 P’영역에서 P영역으로, 지표 O1-②가 O영역에서 P’영역으로, 지표 O4-②, O4-③, O4-④가 O영역에서 U영역으로, 지표 O4-①이 O4항목에서 O3항목으로 이동 수정되었다. 또한, 지표 P2-③와 P2-④, 지표 O1-②와 O1-③, 지표 O1-①와 P1-②, 지표 U1-①과 U1-②, 지표 I4-①과 I4-③는 각 1개 지표로 합병되어 ① P1항목의 지표가 2개에서 3개로, ② P2항목의 지표가 4개에서 3개로, ③ I2항목의 지표가 3개에서 2개로, ④ I3항목의 지표가 3개에서 2개로, ⑤ I4항목의 지표가 3개에서 2개로, ⑥ P’1항목의 지표가 5개에서 3개로, ⑦ P’2항목의 지표가 3개에서 4개로, ⑧ O1항목의 지표가 3개에서 2개로, ⑨ O3항목의 지표가 2개에서 3개로, ⑩ O4항목의 지표가 4개에서 3개로,  ⑪ U1항목의 지표가 4개에서 2개로 변경되었다. 따라서 평가지표는 8개 평가지표가 축소되어 총 44개 지표로 수정되었다.

 이로써 메타평가 구성요소 수정안은 Table 3과 같이 5개의 평가영역, 17개의 평가항목 및 44개의 평가지표로 수정되었다.

Table 3. The Amendment of MTSA Metaevaluation Components

4. 해상교통안전진단 메타평가 모형 검증 및 확정

도출된 Table 3의 ‘해상교통안전진단에 대한 메타평가 구성요소 수정안’이 분석틀로서 활용되기 위해서는 구성요소의 타당성과 신뢰성에 대한 검증이 필요하다. 

 본 연구에서는 메타평가 모형 검증에 대한 설문조사는 해상교통안전진단제도의 장 · 단점에 대한 조사가 아니라, 해상교통안전진단제도에 적용할 분석틀이 연구목적에 적합한지를 파악하기 위해 설계된 모형의 타당성과 신뢰성을 조사하기 위한 것이므로 진단 관련 전체를 대표할 대상보다는 해상교통안전진단제도에 대한 이해와 관심, 그리고 전문성을 갖춘 대상자 선정이 요구된다. 따라서 균형 잡힌 시각과 전문성 및 객관성을 유지하기 위해 검증대상으로 해상교통안전진단제도 시행 이후 해상교통안전진단에 참여한 전문기관(Specialized institution), 검토기관(Reviewers), 대행기관(Agencies), 처분기관(Authorities), 사업자(Business), 전문가(Expert) 등 모든 관련 집단 중 30명을 Table 4와 같이 선정하여 적합성(타당성 및 신뢰성) 검증을 실시하였다.

Table 4. Questionnaire survey target for suitability verification

이 설문조사는 2012년 7월 9일부터 20일까지 실시되었으며 설문지는 메타평가 구성요소 수정안을 도출하기 위해 실시하였던 전문가 조사 때와 유사한 방식으로 Likert 5점 척도법에 따라 작성하였다. 아울러, 배포된 설문조사지는 30부 전체가 회수되어 메타평가 모형 검증에 활용하였다. 

4.1 메타평가 구성요소(지표)의 타당성 검증

 타당성이란 조사 내용이 측정하고자 하는 요소를 얼마나 정확하게 측정하였는지를 나타내는 정도로 메타평가 구성요소에서 제시된 모든 평가지표의 내용타당성(Content validity) 검증을 파악하는 방법을 사용한다(Chae, 2005).

 본 연구에서의 타당성 검증은 Likert 5점 척도의 평균 산정 결과의 평균과 표준편차를 산출하여 각 평가지표별 내용타당성에 대한 조사대상자별 공통 인식 정도와 차이를 확인하여 타당성 검증을 실시하고, 검증 결과 3.5 이상의 평점을 받은 평가지표는 내용타당성이 적합한 것으로 판정하고, 표준편차가 지나치게 큰 평가지표에 대해서는 이를 함께 고려하기로 한다.

메타평가 구성요소 수정안에 대한 타당성 검증 결과, Table 5와 같이 평점이 가장 낮게(3.43) 나타난 지표 P4-②를 제외한 모든 지표가 3.5 이상으로 평가되어 타당하였으며, 지표 P4-②의 경우도 중앙값(3.0) 이상은 되고, 표준편차도 0.8825 이므로 평가지표로서 타당하다고 볼 수 있는 것으로 판정하였다. 즉, 해상교통안전진단 관련 관계자들은 해상교통안전진단 시스템을 분석하기 위해 실시한 메타평가 구성요소 수정안에 대해 전반적으로 타당성이 높은 것으로 판단하였다. 따라서 이러한 지표들은 메타평가 지표로서의 중요도가 있음을 의미하는 것으로 분석되었다.

Table 5. Validity verification of vetaevaluation components (grade order)

4.2 메타평가 구성요소의 신뢰성 검증

 신뢰성이란 동일한 개념에 대해 측정을 반복했을 때 동일한 측정값을 얻을 가능성을 말하는 것으로 안정성, 일관성, 예측가능성, 정확성 등으로 표현될 수 있는 개념이다.

 신뢰성 측정방법으로는 내적일관성(Internal consistency) 측정법이 많이 사용되는데, 이는 동일한 개념을 측정하기 위해 여러 개의 항목을 이용할 경우 Cronbach's α 계수를 이용하여 신뢰성을 저해하는 항목을 측정도구에서 제외시킴으로써 각 항목들의 내적 일관성을 높이는 방법이다. 일반적으로 Cronbach's α 계수가 0.6 이상이면 비교적 신뢰성이 높다고 보고 있다(Chae, 2005).

 본 연구에서는 신뢰성 검증은 각 구성요소의 영역별 내적 일관성 정도를 파악하기 위해 SPSS 20.0 통계 프로그램을 사용하여 설문조사 결과를 분석하고 각 항목의 영역별 내적 일관성 정도를 측정하였다.

 Cronbach's α 계수 추정 방법을 이용하여 산출한 평가항목별, 평가영역별, 그리고 전체에 대한 Cronbach's α 계수는 Table 6과 같이 모든 평가항목(Evaluation Item), 평가영역(Evaluation Domain) 및 전체(Evaluation Total)에 대한 신뢰성이 0.6 이상으로 확인되어 본 메타평가 모형의 구성요소에 대한 신뢰성은 높은 것으로 검증되었다. 다만 ‘U3’항목은 영역 내지표가 하나뿐이기 때문에 Cronbach's α계수가 산출되지 않은 관계로 그대로 사용하기로 한다.

Table 6. Reliability verification of metaevaluation components

4.3 해상교통안전진단 메타평가 모형 확정

앞서 Table 3에서 도출된 메타평가 구성요소 수정안은 타당성과 신뢰성 검증을 통해 ‘해상교통안전진단에 대한 메타평가 구성요소’로 적합한 것으로 판정되어 총 5개의 평가영역, 17개 평가항목 및 44개 평가지표로 구성된 ‘해상교통안전진단 메타평가 모형’으로 최종 확정하였다. 

5. 결 론

 본 연구는 ‘해상교통안전진단제도’를 보다 종합적이고 체계적인 관점에서 살펴보기 위한 분석틀 개발을 위하여 사회적 평가제도에서 활용되고 있는 메타평가 이론을 적용하여 해상교통안전진단제도의 메타평가 모형을 설계하고, 검증을 통해 해상교통안전진단 메타평가 모형을 확정하였다. 도출된 연구의 주요성과는 다음과 같다.

(1) 메타평가의 대상으로서 해상교통안전진단에 대한 특성을 규명하였다. 

(2) 메타평가의 이론적 논의를 통해 해상교통안전진단에 대한 메타평가 모형과 세부 평가요소들을 설계하여 메타평가에 관한 평가 영역을 확장하였다.

(3) 설계된 메타평가 구성요소에 대한 타당성과 신뢰성 검증을 통해 해상교통안전진단제도에 대한 메타평가 모형, 즉 ‘PIP'OU 메타평가 모형’을 최초로 개발하였다. 

향후에는 본 연구에서 제안한 PIP'OU 메타평가 모형을 적용하여 해상교통안전진단제도에 대한 종합적인 메타평가를 실시하고 그 결과 도출된 제도의 문제점과 개선방안 마련을 위한 메타평가 분석틀로 활용될 수 있을 것으로 기대된다.