# Python 에 설치된 matplotlib 설정파일 찾기
import matplotlib as mpl
mpl.matplotlib_fname()

import matplotlib.font_manager as fm
[(f.name, f.fname) for f in fm.fontManager.ttflist if 'ubuntu' in f.name.lower()]

# 시스템 설치된 폰트파일 찾는 함수
font_list = fm.findSystemFonts(fontpaths=None, fontext='ttf')
# font_list_mac = fm.OSXInstalledFonts()  # Mac 에서 폰트파일 찾기
# print(len(font_list))

# 폰트파일에서 원하는 이름 필터링
def font_name_check(check_name, font_list=None):
    font_titles = [_.split('/')[-1].split(".")[0]  for _ in font_list]
    for _ in font_titles:
        if _.lower().find(check_name.lower()) != -1: print(_)

font_name_check("ubuntu", font_list)

import xlrd, re
xls_file = r'backup/menuData_muyong.xlsx'
xls = xlrd.open_workbook(xls_file, on_demand=True)
sheetName = xls.sheet_names()
print(sheetName[:5])

from tqdm import tqdm
shtList = []
for _ in tqdm(sheetName):
    chk = re.findall(r"(\d+).(\d+)[-.](\d+)",_)
    if chk:
        if len("".join(chk[0])) < 5: print(_)
        else: shtList.append(_)
    else: print(_)
        
len(shtList)

# merge cell 때문에 전체가 보이질 않는다 ㅠㅠ..
import pandas as pd
pd.read_excel(xls_file, sheetName=shtList[5]).head(2)

# lambda (Parametor : Return) 계산
add = lambda x, y: x + y
add(3, 5)

# sort() 에서 lambda 정렬
a = [(1, 2), (4, 1), (9, 10), (13, -3)]
a.sort(key=lambda x: x[1])
a

list1, list2 = (1,2,3,4,5), (10,20,30,40,50)
data = zip(list1, list2)
data

# data.sort()  # .sort는 오류를 발생한다
# data
list1, list2 = map(lambda t: list(t), zip(*data))
print("list1 : {}\nlist2 : {}".format(list1, list2))

# itertools 을 활용
list_1 = [1,5,4]
list_2 = [2,3,4]

# using list comprehensions
import itertools
comparisons = [a == b for (a, b) in itertools.product(list_1, list_2)]
sums        = [a + b  for (a, b) in itertools.product(list_1, list_2)]
print("값 비교 : {}\n값의 합 : {}".format(comparisons,sums))

lst1 = [1,5,4]
lst2 = [2,3,4]
lst3 = list(map(lambda x: x[0] == x[1] , itertools.product(lst1,lst2)))
print('lst3 Row data : {}\nCounting "True" data : {}'.format(lst3, sum(lst3)))

text1 = "자연 언어에 대한 연구는 오래전부터 이어져 오고 있음에도 2018년까지도 사람처럼 이해하지는 못한다.".split()
text2 = "자연 언어에 대한 연구는 오래전부터 이어져 들어서도 아직 컴퓨터가 사람처럼 이해하지는 못한다.".split()
text3 = "자연 아직 컴퓨터가 언어에 들어서도 못한다 이어져 사람처럼 이해하지는 대한 연구는 오래전부터.".split()
len(text1), len(text2), len(text3)

from nltk.metrics import edit_distance
print(edit_distance('파이썬 알고리즘', '파파미 알탕'))

print('생략된 단어가 다를 때 : {} \n어휘 순서를 바꿨을 때 : {}'.format(
    edit_distance(text1, text2), 
    edit_distance(text2, text3)))

# 02 accuracy 정확도 측정
from nltk.metrics import accuracy
accuracy('파이썬', '파이프')

print('생략된 단어가 다를 때 {:.4} \n어휘 순서를 바꿨을 때 {:.4}'.format(
    accuracy(text1, text2), 
    accuracy(text2, text3)))

text1 = set(text1)
text2 = set(text2)
text3 = set(text3)
print(len(text1), len(text2), len(text3))
from nltk.metrics import precision
precision({'파이썬'}, {'파르썬'})

print('생략된 단어가 다를 때 {:.4} \n어휘 순서를 바꿨을 때 {:.4}'.format(
    precision(set(text1), set(text2)), 
    precision(set(text2), set(text3))))

from nltk.metrics import recall
print('생략된 단어가 다를 때 {:.4} \n어휘 순서를 바꿨을 때 {:.4}'.format(
    recall(text1, text2), 
    recall(text2, text3)))

import pandas as pd
df = pd.read_csv('data/menu_1000recipe.csv', sep="|")
df = df.fillna("") # NaN 데이터 전처리를 해야 다음 과정들이 진행
titles = df.Menu.tolist()
titles = " ".join(titles)

# with open('menuTitles.txt', 'w') as f:
#     f.write(menuTitle)
titles[:200]

import re
titles = re.findall(r"[가-힣]+", titles)
titles = " ".join(titles) #.lower()
titles_raw = titles.split(" ")

from collections import Counter
Counter(titles_raw).most_common(10)

%%time
from nltk import Text
from konlpy.tag import Mecab, Okt
titles_noun = Mecab().nouns(titles)
title_obj   = Text(titles_noun)

# .B() : Unique 한 Token 갯수
# .N() : 전체 Token 의 갯수
title_obj.vocab().N(),  title_obj.vocab().B(),\
int(title_obj.vocab().N()/title_obj.vocab().B())

from nltk import collocations
finder   = collocations.BigramCollocationFinder.from_words(titles_noun)
measures = collocations.BigramAssocMeasures()
finder.nbest(measures.pmi, 10)

%matplotlib inline
from matplotlib import rc, rcParams
rc('font', family=['UbuntuMono-R', 'D2Coding','NanumGothic','Malgun Gothic']) # 한글의 표시
rcParams['axes.unicode_minus'] = False             # '-' 표시의 처리

import matplotlib.pyplot as plt
plt.figure(figsize=(15, 3))  # 파레트 설정
title_obj.plot(70)

maxLimits = 1950
title_obj.vocab().most_common(maxLimits)[(maxLimits-10):]

" ".join([_[0] for _ in title_obj.vocab().most_common(100)])

from nltk import collocations
finder   = collocations.BigramCollocationFinder.from_words(titles_raw)
measures = collocations.BigramAssocMeasures()
finder.nbest(measures.pmi, 4)

finder = collocations.BigramCollocationFinder.from_words(titles_noun)
measures = collocations.BigramAssocMeasures()
finder.nbest(measures.pmi, 4)

finder   = collocations.TrigramCollocationFinder.from_words(titles_raw)
measures = collocations.TrigramAssocMeasures()
finder.nbest(measures.pmi, 4)

finder   = collocations.TrigramCollocationFinder.from_words(titles_noun)
measures = collocations.TrigramAssocMeasures()
finder.nbest(measures.pmi, 4)