Transformer 모델로 오피스 챗봇 만들기 (에어 프로젝트 따라하기)

최근 이 포스팅을 보고 트랜스포머로 챗봇을 구현하는 방법을 따라하고 있다.

공부하다가 어려운 점이 있어서 살짝 정리를 해봤는데 혹시 나와같은 어려움을 느낀 사람이 있다면 참고해도 좋을 것 같아서 공유해본다.

 

 

[에어] Transformer 모델로 오피스 챗봇 만들기 (파이썬/Colab)

 

 

내가 어려움을 느낀 부분은 (3) 트랜스포머 모델 만들기 부터이다.

이 부분부터 급격하게 코드에 대한 설명이 줄어들고 코드 내용과 주석으로 이해해야 하는데, 포스팅 된 함수들의 순서가 조금 뒤죽박죽이라 이해하기 힘들어 함수의 구조와 구현하면 좋을 것 같은 순서를 정리해 보았다.

 

박스에 표시된 것은 함수 혹은 클래스이고 색깔이 짙을수록 상위에 있는 함수이다. 예를 들어 Transformer 함수 내부에 create_padding_mask 함수가 사용된다. 

화살표와 박스 없이 표현된 것은 해당 함수로 만드는 객체 혹은 수행하는 작업이다.

각 항목의 우측 상단에 표시한 숫자들은 만들면 좋을 것 같은 순서이다.