[BERT] Google Colab 사용하여 BERT를 통한 요약 모델 학습 (1)

KoBertSum 모델을 참고하여 작성된 포스팅입니다.

 

KoBertSum은 ext 및 abs summarizatoin 분야에서 우수한 성능을 보여주고 있는 BertSum모델을 한국어 데이터에 적용할 수 있도록 수정한 한국어 요약 모델이다. 졸업 작품 주제를 인공지능 회의록 서비스로 정했고, 그중 회의록 요약 서비스에 BERT 모델을 사용하여 요약문을 제공하기로 했기 때문에 BERT를 사용하는 중이다... (잘될지는 모르겠음)

 

 

프로젝트 설정

 

먼저 드라이브를 마운트한 후 KoBertSum 레포지토리를 클론한다.

from google.colab import drive
drive.mount('/content/drive')

cd drive/MyDrive
!git clone https://github.com/uoneway/KoBertSum.git

 

한국어 문서 추출요약 경진대회의 데이터도 다운받아 ext/data/raw에 넣어 준다.

 

 

필요 라이브러리 설치

 

먼저 필요한 라이브러리를 설치한다

python main.py -task install

 

 

데이터 Preprocessing

 

python main.py -task make_data -n_cpus 2

를 실행한다. 패키지 uninstall 오류가 많이 난다면 수동으로 패키지를 설치해 준다. 

 

코랩으로 했을 때는 괜찮았는데 초기에 IDE로 했을 때는 오류가 많이 나서 따로 torch, multiprocess, transformers, pyrouge, sentencepiece를 추가로 설치했다.

pip install torch, multiprocess, transformers, pyrouge, sentencepiece

 

코랩에서는 mecab이 설치되지 않아 따로 설치해 주었다.

!sudo apt-get install curl git
!bash <(curl -s https://raw.githubusercontent.com/konlpy/konlpy/master/scripts/mecab.sh)

 

필요한 라이브러리를 전부 설치하고 다시 실행하면 

결과가 ext/data/bert_data/train_abs와 ext/data/bert_data/valid_abs에 저장된다.