-
National Language Processing
2020.11.23
정제 및 정규화 (cleaning / normalization)
코퍼스 토큰화(tokenization) 를 마쳤다면, 불필요한 토큰들을 없애거나 표현 방법이 다른 단어들을 하나로 통합하여 코퍼스의 복잡성을 줄여야 한다. 정제(cleaning) 언어 및 데이터의 특징에 따라 규칙을 정하여 함수나 정규 표현식(Regular Expression)으로 의미없는 기호나 단어(불용어: Stopword)를 제거하는 일이다. 불용어는 필요한 경우 사용자 정의로 추가하는 것이 가능하다. # NLTK 로 불용어 제거하기 import nl..
-
National Language Processing
2020.11.20
텍스트 토큰화(tokenization)
토큰화 : 코퍼스를 의미 있는 단위로 쪼갬 (단어/어절/문장/...) - ['아버지', '가', '방', '에', '들어가', '신다'] 코퍼스를 수집하고 가장 먼저 해야할 것은, 데이터들을 의미 있는 작은 단위(Token)로 쪼개는 토큰화(tokenization) 작업을 해야 한다. 띄어쓰기 별로 나눈다던지, 어절별로 나눈다던지, 형태소별로 나누던지, 이러한 토큰화 작업을 하면 토큰들에 대한 분석이 가능해 진다. 언어별 토큰화의 어려움 의미있는..
-
National Language Processing
2020.11.19
자연어 처리 NLP
자연어 처리(NLP: Natural Language Processing)란 컴퓨터가 인간의 언어를 인식하게 만드는 인공지능의 주요 분야 중 하나로, 정보 검색, 정보 추출, 음성 인식, 단어 분류, 구문 분석, 감정 분석, 자동 대화, 기계 번역 등에 사용된다. 전 세계에서 오랜 기간 관련 학문을 연구하고 있음에도 불구하고, 영화 속의 사람 같은 인공지능을 아직까지 완벽하게 개발하지 못했다는 것은 그만큼 사람 같은 컴퓨터를 만드는게 쉽지 않..
-
Python
2020.11.18
pip install C++ error
pip 로 특정 패키지 설치시 Visual C++ 컴파일러를 요구하는 오류 메시지가 발생할 수 있다. error: Microsoft Visual C++ 14.0 is required. Get it with "Build Tools for Visual Studio": https://visualstudio.microsoft.com/downloads/ 하지만 링크를 따라가면... Visual C++ 14.0 에 대응하는 Visual Studio 버전이 뭔지를 알아야...ㅋㅋ 윈도우 계열 개발을 해본 적이 없어서 참 어리버리하구용... 모를 땐 최신버전이지...
-
PyCharm
2020.11.17
AttributeError: partially initialized module '' has no attribute ''
import pandas as pd print(pd.__version__) cs Traceback (most recent call last): File "~\Anaconda3\lib\site-packages\IPython\core\interactiveshell.py", line 3343, in run_code exec(code_obj, self.user_global_ns, self.user_ns) File " ", line 1, in runfile('D:/Project_CTLab/Hong_Test2/pandas.py', wdir='D:/Project_CTLab/Hong_Test2') File "C:\Program Files\JetBrains\PyCharm 2020.2.3\plugins\python\..
