#!/usr/bin/env python
# coding: utf-8

# # **Chapter 1 자연어 다루기**
# ## **Token:** 어휘 추출하기

# In[ ]:


get_ipython().system(' apt-get update')
get_ipython().system(' apt-get install g++ openjdk-8-jdk')
get_ipython().system(' pip3  install  nltk konlpy')

import nltk
nltk.download('punkt')
nltk.download('tagsets')
nltk.download('averaged_perceptron_tagger')
text_eng  = " Don't hesitate to ask questions"
text_kor  = """삼성 갤럭시(GalaxyNote)노트의 신형을 홍보 합니다. 
홍보:유관순   031-478-2311  010-8888-9999.
삼성 페이지 https://www.samsung.com/sec/index.html"""