https://konlpy-ko.readthedocs.io/ko/v0.4.3/install/#ubuntu
공식 홈페이지에서 안내된 내용으로 설치를 진행했다.

형태소 분석기의 각 장점과 단점에 따라 프로젝트에서 사용할 형태소 분석기를 사용해야 한다.
| 코모란 | 한나눔 | Kkma | Mecab | ||
|---|---|---|---|---|---|
| 장점 | 자소 분리 가능, 오탈자 분석 가능, 고유명사 분석 가능 | 로딩시간이 빠른편 | 띄어쓰기 오류에 덜 민감 | 새로운 사전 추가 가능, (twitter 공개전) 띄어쓰기에서 가장 좋은 성능, 속도, 정확도 | 띄어쓰기 성능이 가장 좋다, stemming 가능, 이모티콘, 해쉬태그 같은 인터넷 텍스트에 강함 , 비속어, 비표준어도 분석 가능 |
| 한계점 | 로딩 속도가 길다, 띄어쓰기 없는 문장분석에 취약하다 | 띄어쓰기 없는 문장 분석에 매우 취약, 정제된 언어가 사용되지 않는 문서에 대한 형태소 분석 정확도가 높지 않은 문제점 | 분석 시간 오래 걸림, 정제된 언어가 사용되지 않는 문서에 대한 형태소 분석 정확도가 높지 않은 문제점 | 미등록어 처리 문제, 동음의어 처리 문제 | 미등록어 처리 문제, 동음의어 처리문제, 분석 범주 적은편 |
airflow UI에서 Konlpy라이브러리를 인식하지 못하는 에러가 발생했는데 설치 과정에서 문제가 있었던걸까?
airflow가 아닌 일반 파이썬 파일에서는 정규표현식 라이브러리를 인식하고 정상적인 작동까지 이루어졌다.
정확인 이유를 찾지 못해 아쉽다. 아쉬운 대로 일단 정규표현식으로 진행한다.
Local환경에서는 정상적으로 설치 & 사용 가능했지만 Airflow에서 모듈Import 과정에서 Error가 발생해 결국 re - 정규표현식으로 해당 기능을 대체 했다.
def Pre_processing(**context):
crawled_date = context['task_instance'].xcom_pull(key='pushed_crawling_value', task_ids='crawling_data')
processed_data = re.sub('[-=+,#/\?:^$.@*\"※~&%ㆍ!』\\‘|\(\)\[\]\<\>`\'\“\”\‘\’\·…》]',' ', crawled_date).split()
word_counts = {}
for word in processed_data:
if len(word) <= 1:
continue
if word not in word_counts:
word_counts[word] = 0
word_counts[word] += 1
word_counts2 = sorted(word_counts,key=lambda x:word_counts[x], reverse=True)[:10]