Surprise 를 이용한 추천 시스템 구축¶

import surprise 
print(surprise.__version__)

%%time
# 샘플 데이터를 불러와서 SVD 샘플모델을 생성 합니다
from surprise import SVD, Dataset, accuracy 
from surprise.model_selection import train_test_split
data = Dataset.load_builtin('ml-100k') 
trainset, testset = train_test_split(data, test_size=.25, random_state=0) 

algo = SVD()
algo.fit(trainset) 

predictions = algo.test(testset)
print('prediction type :{} size:{}'.format(type(predictions),len(predictions)))
print('prediction 예측모델의 최초 5개 결과물 추출')
predictions[:5]

# UserID, MovieID, ratting
# DataFrame 3개 필드만 사용하여 학습을 합니다
[ (pred.uid, pred.iid, pred.est) for pred in predictions[:3] ]

# 사용자 아이디, 아이템 아이디는 를 입력하면
# 결과를 출력하는 모델을 활용 
uid  = str(196)
iid  = str(302)
pred = algo.predict(uid, iid)
print(pred)

# Train/ Test 훈련모델의 검증결과 95% 성능을 출력합니다
accuracy.rmse(predictions)

# 데이터셋 불러오기
# ratings_noh.csv : header를 제거  
import pandas as pd
ratings = pd.read_csv('./data/ml-latest-small/ratings.csv')
ratings.head(3)

ratings.to_csv('./data/ml-latest-small/ratings_noh.csv', index=False, header=False)
ratings.values

# Numpy Matrix 데이터셋을 Surprise 데이터셋으로 변환합니다
from surprise import Reader, Dataset
reader = Reader(line_format = 'user item rating timestamp',  # 필드별 레이블
                sep = ',',                                   # 구분기호
                rating_scale = (0.5, 5))                     # 데이터 min ~ max 범위
data   = Dataset.load_from_file('./data/ml-latest-small/ratings_noh.csv', reader=reader)
data

# n_factors=50 : 학습 모델의 잠재요인 K를 50개로 설정 합니다
from surprise.model_selection import train_test_split
trainset, testset = train_test_split(data, test_size=.25, random_state=0)
algo = SVD(n_factors=50, random_state=0) 
algo.fit(trainset)                              

# testset 으로 모델을 RMSE 평가 합니다
from surprise import accuracy 
predictions = algo.test(testset)
accuracy.rmse(predictions)

import pandas as pd
from surprise import Reader, Dataset

ratings = pd.read_csv('./data/ml-latest-small/ratings.csv') 
ratings.head(3)

# ratings DataFrame 에서 컬럼은 사용자 아이디, 아이템 아이디, 평점 순서를 지켜야 합니다. 
reader  = Reader(rating_scale=(0.5, 5.0))
data    = Dataset.load_from_df(ratings[['userId', 'movieId', 'rating']], reader)
algo    = SVD(n_factors=50, random_state=0)

trainset, testset = train_test_split(data, test_size=.25, random_state=0)
algo.fit(trainset)
predictions = algo.test( testset )
accuracy.rmse(predictions)

%%time
from surprise.model_selection import cross_validate 
ratings = pd.read_csv('./data/ml-latest-small/ratings.csv')
reader  = Reader(rating_scale = (0.5, 5.0))  # Reader 인스턴스
data    = Dataset.load_from_df(ratings[['userId', 'movieId', 'rating']], reader)
algo    = SVD(random_state = 0) 
cross_validate(algo, data, measures=['RMSE', 'MAE'], cv=5, verbose=True) 

%%time
# 최적화 검증용 파라미터, GridSearchCV (KFold CV 3개 분할)
from surprise.model_selection import GridSearchCV
param_grid = {'n_epochs': [20, 40, 60], 'n_factors': [50, 100, 200] }
gs = GridSearchCV(SVD, param_grid, measures=['rmse', 'mae'], cv=3, n_jobs=-1)
gs.fit(data)

# 최고 RMSE Evaluation 점수와 그때의 하이퍼 파라미터
print("Bast Score: {}\nParams: {}".format(
    gs.best_score['rmse'], gs.best_params['rmse']))

# 아래 코드는 train_test_split( ) 구분 없어도 오류없이 출력합니다
# 최신버전 에서는 오류를 출력하지 않고 바로 결과를 출력 합니다
import pandas as pd
from surprise import Reader, Dataset, SVD
ratings  = pd.read_csv('./data/ml-latest-small/ratings.csv')
reader   = Reader(line_format = 'user item rating timestamp', 
                  sep = ',', 
                  rating_scale = (0.5, 5))
data     = Dataset.load_from_df(ratings[['userId', 'movieId', 'rating']], reader)
trainset = data.build_full_trainset()
algo     = SVD(n_factors=50, random_state=0)
algo.fit(trainset)

# 영화에 대한 상세 속성 정보 DataFrame로딩
movies = pd.read_csv('./data/ml-latest-small/movies.csv')
movies.head(3)

# userId=9 의 movieId 데이터 추출하여 movieId=42 데이터가 있는지 확인. 
movieIds = ratings[ratings['userId']==9]['movieId']
if movieIds[movieIds==42].count() == 0:
    print('사용자 아이디 9는 영화 아이디 42의 평점 없음')

# movies 데이터셋에서 42번 id 로 정보를 추출합니다
print(movies[movies['movieId']==42])

# 9번 사용자 42번 영화평점이 없을 때, 예측평점을 채웁니다
uid  = str(9)
iid  = str(42)
pred = algo.predict(uid, iid, verbose=True)

# 영화정보를 보기 쉽도록 함수로 구현
def get_unseen_surprise(ratings, movies, userId):
    seen_movies  = ratings[ratings['userId']== userId]['movieId'].tolist() # 입력 userId 평점목록
    total_movies = movies['movieId'].tolist()           # 모든 movieId 리스트 
    unseen_movies= [movie   for movie in total_movies   # 평점이 없는 movieId 목록
                            if movie not in seen_movies]
    print('평점 매긴 영화수: {}\n추천 대상 영화수: {:,}\n전체 영화수: {:,}'.format(
        len(seen_movies),len(unseen_movies),len(total_movies)))    
    return unseen_movies

# 9번 사용자의 추천목록을 검색
unseen_movies = get_unseen_surprise(ratings, movies, 9)