레진 데이터 챌린지 with 파이콘 한국 2017¶

ls -lrt lezhin_dataset_v2_training.tsv

import pandas as pd

df = pd.read_table('lezhin_dataset_v2_training.tsv', header=None)
print(all(df[0] == df[[9, 10, 11, 12, 13, 14, 15]].any(axis=1)))

%matplotlib inline
import seaborn as sns
corr = df.corr()
sns.heatmap(corr, 
            xticklabels=corr.columns.values,
            yticklabels=corr.columns.values)

# https://stackoverflow.com/questions/17778394/list-highest-correlation-pairs-from-a-large-correlation-matrix-in-pandas
s = corr.unstack()
so = s.sort_values(kind="quicksort")
so = so.dropna()
# https://stackoverflow.com/questions/18624039/pandas-reset-index-on-series-to-remove-multiindex
so = so.reset_index()
so[so['level_0']!=so['level_1']].tail(10)

so[so['level_0']==0].tail(10)

print("전체 데이터 컬럼 개수 : %d" % len(df.columns))

print("전체 데이터 개수 : %d" % len(df))

df_1 = df.drop(df.columns[[6,7,]], axis=1)
df_1 = df_1.dropna(axis=1)
df_1

print("학습할 데이터 컬럼 개수 : %d" % len(df_1.columns)) # 데이터 컬럼 개수
print("학습할 데이터 개수 : %d" % len(df_1)) # 데이터 개수