본 연구의 목표는 최근 논란이 되는 지각된 효과성의 진단능력을 검증하는 것이다. 지금까지 지각된 효과성의 진단능력 검증을 위해 지각된 효과성과 실제 효과 간의 상관관계를 이용하는 방법과 두 메시지 간 지각된 효과성과 실제 효과의 우월성 일치 여부를 이용하는 방법이 주로 사용되었다. 본 연구는 기존에 사용된 두 가지 방법들을 수정 보완하는 한편 새로운 방법을 또한 제안하였다. 첫째, 메시지 별 상관관계와 전체 메시지 상관관계의 방향이 일치할 경우, 지각된 효과성과 실제 효과 간의 상관관계는 지각된 효과성의 진단능력을 보여주는 지표 중의 하나로 기능할 수 있다고 보았다. 둘째, 오키프(2018)가 제안한 두 메시지 간 지각된 효과성 순위와 실제 효과 순위를 비교하는 방법은 메시지 간 차이를 확인할 때 통계적 유의미성을 고려하지 않았다는 한계를 지닌다. 통계적 유의미성을 살펴 순위를 판정하는 기준을 마련하여 적용하면 이 방법 또한 지각된 메시지 효과성의 진단능력을 보여주는 지표 중의 하나가 될 수 있다고 보았다. 셋째, 본 연구는 상관관계나 순위 비교를 넘어 지각된 메시지의 효과성과 실제 메시지 효과를 직접 비교할 것을 제안하였다. 메시지 노출 전후 태도의 차이로 실제 효과를 측정하고 응답자가 지각한 태도 변화 정도로 지각된 효과성을 측정하면 두 변수를 직접 비교할 수 있다. 직접 비교 검증을 통해 지각된 메시지 효과성이 실제 메시지 효과를 어느 정도 반영하는지와 어느 정도로 편향되어 있는지에 관한 구체적인 정보를 확인할 수 있다. 본 연구는 위 세 가지 방법을 서로 보완적으로 사용하여 지각된 효과성의 진단능력을 종합적으로 검증할 수 있다고 보았다. 연구 문제와 가설을 검증하기 위해, 공공기관이 유튜브에서 동일 주제로 실제로 사용한 네 개의 캠페인 메시지를 사용하여 두 차례에 걸친 패널연구(N = 475)를 진행하였다. 일차 조사에서 해당 사안에 대한 조사 참가자들의 기존 태도를 측정하였다. 일주일 후, 조사 참가자들을 네 개의 집단으로 무선할당하여 서로 다른 네 개의 캠페인 메시지를 보여주었다. 이후 사안에 대한 참가자들의 태도를 다시 측정하였다. 실제 메시지 효과는 설득캠페인 메시지 노출 전과 후의 태도 변화 정도로 측정하였으며 지각된 메시지 효과성은 참가자들이 보고한 메시지 노출로 인한 자신의 태도 변화 정도로 측정하였다. 연구 결과는 다음과 같다. 첫째, 메시지 별 상관관계와 전체 메시지 상관관계는 서로 같은 방향을 나타냈다. 그리고 지각된 논증 품질, 지각된 정보원 공신력, 지각된 메시지 효과성, 그리고 지각된 태도 변화 정도가 실제 메시지 효과와 통계적으로 유의미한 상관관계를 가지는 것을 확인하였다. 둘째, 메시지 간 비교 결과, 오키프의 기준을 사용하였을 경우 진단능력 인정률은 33.0%(8/24)로 나타났다. 새로운 기준을 사용하였을 때는 상대적으로 높은 진단능력 인정률인 70.8%(17/24)로 나타났다(최대 83.3%, 최소 50.0%). 셋째, 실제 태도 변화 정도와 지각된 태도 변화 정도를 직접 비교한 결과, 메시지와 자신의 기존 태도가 일치하지 않는 집단(즉, 중립, 반대)의 경우, 실제 태도 변화 정도와 지각된 태도 변화 정도 모두 정(+)적으로 나타났지만, 응답자들은 메시지 노출로 인한 태도 변화 정도를 실제보다 축소하여 보고하였다. 이는 지각된 효과성이 실제 효과를 반영하기는 하지만 일부만을 반영한다는 것을 보여준다. 제안된 세 가지 방법을 사용해 검증해본 결과, 지각된 논증 품질, 지각된 메시지 영향력, 지각된 태도 변화 정도 등의 지각된 메시지 효과성은 실제 메시지 효과를 어느 정도 반영하고 있었다. 이러한 결과는 설득캠페인 형성평가에서 효과적인 메시지 선택을 위해 위 세 가지 방법을 보완적으로 사용할 것을 제안한다.

This study examined the diagnosticity of perceived message effectiveness (PME) for actual message effect (AME) in persuasive campaigns. Previous studies tested the diagnosticity of PME by using PME-AME correlations or comparing two messages’ relative standings on PME and AME. After reviewing previous studies, this study suggests new method to test the PME’s diagnosticity. First, when both the within-message PME-AME correlation and the across-message PME-AME correlation are positive, the positive PME-AME correlation could be an indicator of the PME’s diagnosticity. Second, O’Keefe (2018) did not consider statistical significance in comparing two messages’ relative standings on PME and AME. Statitiscal significance should be considered when the differences in PME (and AME) between two messages are evaluated. New criterions for comparing relative standings of PME and AME were suggested. Third, this study suggested a direct comparison between PME and AME using perceived attitude change (PAC) for PME and actual attitude change (AAC) for AME. Directly comparison of PME with AME informs us of the accuracy of perceptions of the message’s effectiveness. This study investigated the diagnosticity of PME for AME using three methods above mentioned. To test the hypothesis and to answer research questions, a two-wave online panel study (N = 475) was conducted. I used four messages advocating the safety of nuclear power plants. The messages were created and used by the government of South Korea, Nuclear Safety and Security Commission (NSSC), and Korea Hydro & Nuclear Power Co.,Ltd (KHNP) on YouTube. In the first round of the survey, participants’ initial attitude toward the issue was measured. The second round of the survey was conducted a week after the first survey had proceeded. Participants watched a randomly assigned campaign message. After watching the message, the participants were asked to indicate their current attitudes toward the issue. AME was measured as actual attitude change of oneself and PME was measured as perceived attitude change of oneself. First, the result showed that both the within-message PME-AME correlation and the across-message PME-AME correlation were high and positive. Positive correlations were found between various measures of PME (i.e., perceived argument quality, perceived source crediblity, perceived message impact, and perceived attitude change) and AME. Second, as a result of two messages’ relative standings compared between PME and AME, diagnostic accuracy was 33.0%(8/24) base on the O’Keefe’s method applied. In using the new method, diagnostic accuracy was 70.8%(17/24) ranging from 50.0% to 83.3%. Third, as a result of direct comparison between PME and AME, the relationship between PAC1 and AAC1 differed, depending on the initial attitudes, participants whose initial attitudes were incongruent with the message position underestimated AAC1. While PME indicates AME, PME was systematically biased and underrepresented AME. The findings suggest that the various PME measures’ diagnosticity for AME on some levels. The study also suggests that formative researchers should employ the three methods simultaneously to pretest persuasive campaign messages.