[자연어 전처리] TF, DF, IDF 구현 실습

TF : 특정 문서에서 특정 단어가 등장한 횟수 

DF : 특정 단어가 등장한 문서의 수 

IDF : DF의 역수 -> 로그를 취해서, 수가 너무 커지는 것을 방지한다. 분모에는 1을 더해서 df가 0일 때를 방지한다.

 

직접 구현해보기 실습.

실습은 colab에서 진행했다.

 

한글 텍스트로 진행하기 위해서, konlpy 모듈을 설치해야 한다.

필요한 모듈들을 import 한다.

Okt 모듈을 사용하기 위해서는 from konlpy.tag import Okt를 해야한다.

doc_list 글들을 공백 기준으로 합치고,

그 다음 morphs()로 형태소 기준으로 토큰화한다.

그리고 set()함수로 겹치는 것들을 제거한다.

TF : 특정 문서에서 특정 단어가 등장한 횟수 이므로, 문서에 있는 단어의 수를 count() 한다.

IDF : DF의 역수를 구하는 건데, DF가 의미하는 바는 특정 단어가 등장한 문서의 수이므로,

각 문서마다 해당 단어가 있는지 확인해서 있으면 문서의 수를 증가하며 df 값을 구한다.  

단어별 등장 횟수를 추가한다.

단어별 idf를 구한다.

 

 

실습 끝!