[책 리뷰] 구글 BERT의 정석

 

입사 초부터 Transformer 공부를 했던 것 같은데 BERT 공부를 이제야 하고 있다.
학습 속도 무엇? 이라는 생각이 들지만 그동안 이것저것 잡다한 걸 많이 하긴 했음!

 

[한빛미디어] 구글 BERT의 정석

 

마치 수학의 정석이 생각나는 네이밍
하지만 닉값 아니 제목값 하는 친구에요! ㅋㅋㅋ

 

BERT의 정석 답게 BERT를 공부하려면 Transformer부터 설명을 시작한다.
BERT 이해, 활용, 파생모델, 활용 순으로 글이 이어지고, 옮긴이가 따로 추가한 koBERT 관련 내용으로 책이 끝난다.
개인적으로 옮긴이의 센스가 너무 고마웠고...
한국어 언어 모델을 만들어야 하는 사람에게는 마지막장이 아주 매력적인 부분인 것 같다.

 

책을 읽으면서 와... 아주 정석적이긴 한데... 똑똑이들은 역시 멍텅구리를 이해하지 못하는 것이야!
라는 생각을 몇 번 했다.

모델의 각 구성요소들의 작동 방식이 잘 설명되어 있긴 하지만
구성 요소의 개념, 사용 목적에 대한 설명은 미흡한 느낌?
똑똑이라면 작동방식만 듣고 오 이게 이렇게 돌아가서 이렇게 쓰이는구나! 하겠지만
나는 그래서 이게 어디에 쓰는 건데? 그걸 하면 뭐가 어떻게 좋아지는건데??라는 생각을 몇 번 했다.

하지만 똑똑이들은 배려도 할 줄 알지!
책에 직접 사용해볼 수 있는 코드와 그에 대한 설명이 붙어 있어서 좋았다.

 

가장 기본적인 BERT 외에도 BART, vidio BERT 등 흥미로운 내용이 잔뜩 수록되어 있는데, 나중에 관련 과제를 하게 되거나 회사에서 시간이 남는 시즌(연구&학습에 집중할 수 있는 시즌!)이 온다면 이 부분을 실험해보고 활용방법이라던지를 탐구해보는 것도 좋겠다.