연구배경 ASD 아동·청소년들은 사회적 관계 형성을 위한 나와 타인의 감정 인식과 표현, 정서 이해, 정서 조절에 어려움이 있으며 제한된 관심 영역에서만 반복하는 상동 행동과 문제행동이 있다. 이러한 문제해결을 위한 솔루션으로서 대화 맥락적 의사소통에 필요한 감정 표현, 친사회적 행동을 위한 비언어적 의사소통의 이모티콘 연구가 필요하다. 이에 이 연구는 모바일 인스턴트 메신저(MIM) 서비스에서 이모티콘의 표현 유형(표정형, 행동형, 상황형)과 시각적 표현 방식(정적인 이미지, 움직이는 애니메이션, 순차적 배열)의 총 9가지 조합이 ASD 아동·청소년의 정서와 행동 변화 유도에 미치는 영향에 대한 사용자 경험 조사를 실시하였다. 따라서 모바일 인스턴트 메신저(MIM) 서비스인 카카오톡 인터페이스에서 ASD 아동·청소년들에게 가장 적합한 이모티콘의 표현 유형과 시각적 표현 방식을 제안하고자 한다. 연구방법 ASD 아동·청소년의 정서와 행동 변화 유도에 미치는 영향에 대한 독립변인으로 이모티콘의 표현유형(표정형, 행동형, 상황형)과 시각적 표현 방식(정적인 이미지, 움직이는 애니메이션, 순차적 배열)을 설정하고, 종속변인으로 감정 표현, 행동 유도, 정서 이해를 설정하였다. 실험 측정을 위해 10~18세인 ASD 아동·청소년 13인의 아스퍼거 증후군과 고기능 자폐를 대상으로 사용자 경험 조사를 실시하였다. 사용자 경험에 따른 양적· 질적 연구를 위해 ASD 아동 ·청소년 대상으로 Think Aloud 기법과 부모 심층 인터뷰가 함께 이루어졌다. 연구결과 Spss에서 이원배치 분산분석(Two-way ANOVA)을 실시한 결과, 이모티콘 표현 유형과 시각적 표현 방식에 따라 감정 표현, 행동 유도, 정서 이해에 유의한 차이가 있음이 확인되었다. 감정 표현에서는 표정형 이모티콘×정적인 이미지가 상호작용 효과에서 높은 결과값을 보이며, 자신의 감정을 직관적으로 표현하기에 적절했다. 행동 유도에서는 상황형 이모티콘 ×움직이는 애니메이션이 상호작용 효과에서 높은 결과값을 보이며, 사회적 단서가 있는 상황형의 애니메이션 표현 방식이 ASD 아동·청소년의 행동 변화 유도에 영향을 주는 것으로 나타났다. 정서 이해에서는 상황형 이모티콘×순차적 배열이 상호작용 효과에서 높은 결과값을 보이며 정서 이해에 가장 큰 영향을 주었는데, 그 이유로는 상황 단서가 있는 순차적 배열 방식이 ASD 앞뒤 상황적 맥락을 이해할 수 있게 되어 타인의 정서 이해와 상황에 맞는 행동 변화를 유도하는데에 도움을 주는 것으로 나타났다. 결론 위의 연구 결과에 따라 ASD 아동·청소년을 위한 비언어 커뮤니케이션으로서 이모티콘은 상황형 이모티콘 ×순차적 배열의 문제해결 디자인과 상황형 이모티콘 ×움직이는 애니메이션의 친사회적 행동 모델링의 확장 연구가 필요함을 시사한다. 본 연구는 앞으로 이모티콘을 매개로 한 대인간 커뮤니케이션 학습과 AI 챗봇 서비스, 디지털 치료제 등의 장애인을 위한 서비스 경험 디자인에도 많은 도움을 줄 수 있을 것으로 기대한다.
Background Children and adolescents with autism spectrum disorder (ASD) have significant difficulties in receiving proper emotional recognition, expression, understanding, control, and creating social interactions. For presenting solutions to these kinds of problem, it is necessary to study the role of emoticons of emotion and other visual expression methods as a supplementary way to clearer and easier talks in contextual and non-verbal communication environment. In this study, we conduct a user-experience survey over relationships between the emoticons and behavioral change inductions under various conditions and interactions with different types of emoticons and visual expression methods in ASD children and adolescents. We presume that some specific types of emoticons and visual expressions could be good candidates for helping ASD children and adolescents to communicate with each other especially through a mobile instant messenger (MIM). Methods Various emoticon expression types (expression type, behavior type, situation type) and visual expression methods (static image, moving animation, sequential arrangement) were set as independent variables on emotional and behavioral change induction. For experimental measurement, 13 ASD children and adolescents aged from 10 to 18 were surveyed. All of them were individuals with Asperger syndrome and high-functioning autism, and ‘think aloud’ techniques and ‘in-depth parent interviews’ were used for quantitative and qualitative measurement tool over the survey period. Results The results of this experiment confirmed that there were significant differences in the area of emotional expression, behavioral change induction, and emotional understanding between the different types of emoticon and visual expression methods. These results came from a two-way ANOVA analysis in SPSS. Regarding emotional expression, expression type emoticons × static images group showed higher scores in the area of the interaction effect, and we found them useful to express one"s emotion intuitively. Regarding behavioral change induction, situation type emoticons × moving animations group showed good scores in the area of interaction effects, and the expression method group of animation with social clues showed the most outstanding results in the area of the behavioral modification of ASD children and adolescents. As to emotional understanding, situation type emoticons × sequential arrangements had the greatest impacts on this area, Which are also assumed to lead to improved empathy and social interactions with others. Conclusions According to the study results, emoticons could be very promising tools in a non-verbal communication setting for ASD children and adolescents. This study also shows that emoticons (situation type emoticons × sequential arrangements) with problem-solving designs and (situation type emoticons × moving animation) others with correct behavior modeling are going to be encouraging candidates. Certain types of emoticons are also expected to help people who have ASD.
Abstract 1. 연구의 배경 및 목적 2. ASD 아동·청소년의 이론적 고찰 3. 모바일 인스턴트 메신저 서비스에서의 이모티콘의 표현 유형과 시각적 표현 방식 4. 정서와 행동 유도 측정을 위한 사용자 경험 연구 5. 연구 결과 분석 및 논의 6. 결론 및 제언 References 초록