import bs4
import time
import os
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from selenium.webdriver.common.keys import Keys
from selenium import webdriver

os.chdir(r'C:\Users\Gram\Desktop\myPyCode\02  데이터 수집과 처리 - 실습')
# 웹드라이버 로딩. 
my_driver = webdriver.Chrome('chromedriver.exe') 

# 사이트에 접속.    
my_driver.get("http://www.opinet.co.kr")   #창 닫으면 안됨

# 세부 링크로 간다.
my_driver.get("http://www.opinet.co.kr/searRgSelect.do")

#시/도 리스트 가져오기
my_sido = my_driver.find_element_by_css_selector("#SIDO_NM0")   #ctrl,shift,c들어가서 sido_nmo로 가져오기(지역 서울 칸)

#시/도에서 서울시를 선택하기
my_sido.send_keys(my_sido_list[0])   #시/도에서 서울시를 선택해야 함 (시도셀렉트 잡아서)
                                     #시도에 가서 만들어놓은걸 샌드키로 넣어줘야함-서울시로가고
                                     #군구가서 리스트로 값을 가져오고 첫번째거 버리면 구 리스트만 나옴
                                     #값을 샌드키로 넣어 그 값을 넣어줌? #값을 직접 대입하면 갑에 해당하는 셀렉터
time.sleep(1)

#서울시의 시/군/구 리스트 가져오기
my_gu = my_driver.find_element_by_css_selector("#SIGUNGU_NM0")  #ctrl,shift,c들어가서 sigungu_NMO가져오기(지역 서울 칸)
my_gu_list = my_gu.text.split()    #split하고 sigungu가 셀렉트태그라 시군구리스트로

n_gus = len(my_gu_list)   #25개

# 서울시 첫 번째 구.
my_sido = my_driver.find_element_by_css_selector("#SIDO_NM0")   #ctrl,shift,c들어가서 sido_nmo로 가져오기(지역 서울 칸)
my_sido.send_keys(my_sido_list[0])    #시도리스트에 첫번째 [0]
time.sleep(1)                         #sleep해야 쉬었다감

my_gu = my_driver.find_element_by_css_selector("#SIGUNGU_NM0")
my_gu.send_keys(my_gu_list[0])
time.sleep(1)

my_download = my_driver.find_element_by_css_selector("div.desc_box a")   #클릭을해줘야 정보가 다운됬었음 사이트에서 desc는 함수 
my_download.click()   #사이트에서 파일저장버튼 누른것과 같음   #첫번째것이 엑셀로 다운로드됨  #휘발유와 셀프여부만 보면됨
time.sleep(1)

# 나머지 구.
for i in range(n_gus):     #gus은 구군 숫자?
    my_gu = my_driver.find_element_by_css_selector("#SIGUNGU_NM0")
    
    if (i != 0):           #첫번째 구는 위에서 다운했으니 스킵하고 2번째거부터
        my_gu.send_keys(Keys.DOWN)  #키다운내려 하나씩 다운받아감  #구리스트에서 하나씩 값을 넣어줘도됨(샌드키로)
        time.sleep(1)  
        my_download = my_driver.find_element_by_css_selector("div.desc_box a")  #버튼누러 
        my_download.click()  #클릭
        time.sleep(1)

# 다운로드 됬으니 브라우저 닫음
my_driver.close()                   #미리 닫으면 오류남

# 엑셀 파일 이름을 모아둔다.     
os.chdir(r'C:\Users\Gram\Downloads')     #엑셀을 통합할거라 다운받은 경로지정
file_list = os.listdir()                 #폴더안에 있는 파일들 이름을 리스트로 가져옴
my_excel_files =[]  
for x in file_list:
    if x[-3:] == 'xls':                 #파일리스트에서 이름가져오되 마지막 3자리가 xls인거만 
        my_excel_files += [x]           

# 읽어 들여서 하나의 데이터 프레임으로 통합한다.
n_excels = len(my_excel_files)
for i in range(n_excels):  
    a_df = pd.read_excel(my_excel_files[i],header=2, na_values = [' ', '-'])#헤더가 2: 0,1을(불필요한게 잇었음) 제끼고 3행부터 가져옴
                                                                            #na_values: 엑셀보면 -있으니 결측치처리
    if i == 0:
        df = a_df     #a 데이터프레임
    else:
        df = pd.concat([df,a_df], axis=0, ignore_index=True)

# 결측치 처리.                         
df.dropna(axis=0,inplace=True)  #행방향으로 없앰