[논문 읽기] 감성 및 감정 단어 마스킹 기반 BERT와 GPT 파이프라인 방식을 통한 감정 문장 생성

최근 가장 성능이 높은 언어 모델에 속하는 BERT와 GPT2를 동시에 이용하는 감성 문장 생성 모델에 대한 제안 논문이다.
 제안하는 모델은 BERT+GPT 파이프라인 모델로 BERT를 이용하여 감정이 담긴 문장(학습 데이터)을 생성하고 이를 활용해 GPT를 학습시켰다.

이 논문의 핵심은 크게 세 가지로 보인다.
1. 감성언어 생성 모델에서 BERT+GPT 파이프라인을 활용한다.
2. BERT가 학습할 데이터를 무작위 마스킹을 하지 말고 감정 언어에 조금 더 높은 비중을 두어(80%) 마스킹한다.
3. BERT의 파인튜닝 시 문장의 감정을 긍/부정이 아닌 행복, 불안, 슬픔, 당황, 상처, 분노, 중립의 7개로 구분한다.

논문에서는 1, 2, 3 모두를 수행한 모델(proposed model)과 1과 3만을 수행한 모델(baseline model)의 결과를 비교했는데, BERT 학습에서 감정 언어에 더 높은 비중을 주어 마스킹하고 학습한 모델(90.1%)이 baseline model(78.4%)약 12% 포인트 높은 성능을 보였다.

이 논문은 제안 모델 뿐만아니라 모델 성능평가 방식도 흥미로웠다.
논문에서는 생성된 문장을 사람이 직접 읽어보고(3명의 평가자, 300쌍 씩 4회 무작위추출) '감정의 일관성'과 '상황의 적절성' 두 항목에 대해 점수를 매기고, 평가자들의 평가 결과 신뢰성을 보장하기 위한 검사도 상관계수로 확인했다.
모델의 결과 뿐만아니라 평가 방법의 신뢰성을 보장하는 방법을 논문에 자세히 기재하여 연구의 신뢰성을 높였다는 점이 좋았다.
나도 연구 결과 평가 방법의 채택과 진행, 그리고 그 방법의 공개에 있어 조금 더 신중함을 기해야겠다는 생각이 든다.

 

Korean Institute of Information Technology