%load_ext watermark
%watermark -v -p numpy,sklearn,scipy,matplotlib,tensorflow
CPython 3.6.8 IPython 7.2.0 numpy 1.15.4 sklearn 0.20.2 scipy 1.1.0 matplotlib 3.0.2 tensorflow 1.13.1
11장 – 심층 신경망 훈련
이 노트북은 11장에 있는 연습문제 해답을 가지고 있습니다.
파이썬 2와 3을 모두 지원합니다. 공통 모듈을 임포트하고 맷플롯립 그림이 노트북 안에 포함되도록 설정하고 생성한 그림을 저장하기 위한 함수를 준비합니다:
# 파이썬 2와 파이썬 3 지원
from __future__ import division, print_function, unicode_literals
# 공통
import numpy as np
import os
# 일관된 출력을 위해 유사난수 초기화
def reset_graph(seed=42):
tf.reset_default_graph()
tf.set_random_seed(seed)
np.random.seed(seed)
# 맷플롯립 설정
%matplotlib inline
import matplotlib
import matplotlib.pyplot as plt
plt.rcParams['axes.labelsize'] = 14
plt.rcParams['xtick.labelsize'] = 12
plt.rcParams['ytick.labelsize'] = 12
# 한글출력
plt.rcParams['font.family'] = 'NanumBarunGothic'
plt.rcParams['axes.unicode_minus'] = False
# 그림을 저장할 폴더
PROJECT_ROOT_DIR = "."
CHAPTER_ID = "deep"
def save_fig(fig_id, tight_layout=True):
path = os.path.join(PROJECT_ROOT_DIR, "images", CHAPTER_ID, fig_id + ".png")
if tight_layout:
plt.tight_layout()
plt.savefig(path, format='png', dpi=300)
import tensorflow as tf
부록 A 참조.
문제: He 초기화와 ELU 활성화 함수를 사용하여 각각 뉴런이 100개인 은닉층 다섯 개를 가진 DNN을 만드세요.
다음 연습문제도 비슷한 모델을 만들어야하므로 여기서 DNN을 구성하는 함수를 만들겠습니다:
he_init = tf.variance_scaling_initializer()
def dnn(inputs, n_hidden_layers=5, n_neurons=100, name=None,
activation=tf.nn.elu, initializer=he_init):
with tf.variable_scope(name, "dnn"):
for layer in range(n_hidden_layers):
inputs = tf.layers.dense(inputs, n_neurons, activation=activation,
kernel_initializer=initializer,
name="hidden%d" % (layer + 1))
return inputs
n_inputs = 28 * 28 # MNIST
n_outputs = 5
reset_graph()
X = tf.placeholder(tf.float32, shape=(None, n_inputs), name="X")
y = tf.placeholder(tf.int32, shape=(None), name="y")
dnn_outputs = dnn(X)
logits = tf.layers.dense(dnn_outputs, n_outputs, kernel_initializer=he_init, name="logits")
Y_proba = tf.nn.softmax(logits, name="Y_proba")
WARNING:tensorflow:From <ipython-input-4-86c47305b780>:9: dense (from tensorflow.python.layers.core) is deprecated and will be removed in a future version. Instructions for updating: Use keras.layers.dense instead. WARNING:tensorflow:From /home/haesun/anaconda3/envs/handson-ml/lib/python3.6/site-packages/tensorflow/python/framework/op_def_library.py:263: colocate_with (from tensorflow.python.framework.ops) is deprecated and will be removed in a future version. Instructions for updating: Colocations handled automatically by placer.
문제: Adam 최적화와 조기 종료를 사용하여 MNIST 데이터셋에 훈련시키되 0에서 4까지의 숫자만 사용하세요. 다음 연습문제에서 5에서 9까지의 숫자에 대해 전이 학습을 사용할 것입니다. 출력층은 다섯 개의 뉴런에 소프트맥스 함수를 사용합니다. 나중에 재사용할 수 있도록 항상 일정한 간격으로 체크포인트와 최종 모델을 저장하세요.
비용 함수, 훈련 연산과 다른 필요한 구성 요소를 만듭니다:
learning_rate = 0.01
xentropy = tf.nn.sparse_softmax_cross_entropy_with_logits(labels=y, logits=logits)
loss = tf.reduce_mean(xentropy, name="loss")
optimizer = tf.train.AdamOptimizer(learning_rate)
training_op = optimizer.minimize(loss, name="training_op")
correct = tf.nn.in_top_k(logits, y, 1)
accuracy = tf.reduce_mean(tf.cast(correct, tf.float32), name="accuracy")
init = tf.global_variables_initializer()
saver = tf.train.Saver()
MNIST 데이터셋을 로드합니다:
주의: tf.examples.tutorials.mnist
은 삭제될 예정이므로 대신 tf.keras.datasets.mnist
를 사용하겠습니다.
(X_train, y_train), (X_test, y_test) = tf.keras.datasets.mnist.load_data()
X_train = X_train.astype(np.float32).reshape(-1, 28*28) / 255.0
X_test = X_test.astype(np.float32).reshape(-1, 28*28) / 255.0
y_train = y_train.astype(np.int32)
y_test = y_test.astype(np.int32)
X_valid, X_train = X_train[:5000], X_train[5000:]
y_valid, y_train = y_train[:5000], y_train[5000:]
훈련 세트, 검증 세트, 테스트 세트를 만듭니다(검증 세트는 조기 종료에 사용합니다):
X_train1 = X_train[y_train < 5]
y_train1 = y_train[y_train < 5]
X_valid1 = X_valid[y_valid < 5]
y_valid1 = y_valid[y_valid < 5]
X_test1 = X_test[y_test < 5]
y_test1 = y_test[y_test < 5]
n_epochs = 1000
batch_size = 20
max_checks_without_progress = 20
checks_without_progress = 0
best_loss = np.infty
with tf.Session() as sess:
init.run()
for epoch in range(n_epochs):
rnd_idx = np.random.permutation(len(X_train1))
for rnd_indices in np.array_split(rnd_idx, len(X_train1) // batch_size):
X_batch, y_batch = X_train1[rnd_indices], y_train1[rnd_indices]
sess.run(training_op, feed_dict={X: X_batch, y: y_batch})
loss_val, acc_val = sess.run([loss, accuracy], feed_dict={X: X_valid1, y: y_valid1})
if loss_val < best_loss:
save_path = saver.save(sess, "./my_mnist_model_0_to_4.ckpt")
best_loss = loss_val
checks_without_progress = 0
else:
checks_without_progress += 1
if checks_without_progress > max_checks_without_progress:
print("조기 종료!")
break
print("{}\t검증 세트 손실: {:.6f}\t최선의 손실: {:.6f}\t정확도: {:.2f}%".format(
epoch, loss_val, best_loss, acc_val * 100))
with tf.Session() as sess:
saver.restore(sess, "./my_mnist_model_0_to_4.ckpt")
acc_test = accuracy.eval(feed_dict={X: X_test1, y: y_test1})
print("최종 테스트 정확도: {:.2f}%".format(acc_test * 100))
0 검증 세트 손실: 0.161705 최선의 손실: 0.161705 정확도: 96.56% 1 검증 세트 손실: 1.224550 최선의 손실: 0.161705 정확도: 37.22% 2 검증 세트 손실: 0.219565 최선의 손실: 0.161705 정확도: 96.09% 3 검증 세트 손실: 0.189125 최선의 손실: 0.161705 정확도: 97.11% 4 검증 세트 손실: 0.189588 최선의 손실: 0.161705 정확도: 96.40% 5 검증 세트 손실: 0.183252 최선의 손실: 0.161705 정확도: 97.11% 6 검증 세트 손실: 0.235175 최선의 손실: 0.161705 정확도: 95.54% 7 검증 세트 손실: 0.239276 최선의 손실: 0.161705 정확도: 96.87% 8 검증 세트 손실: 0.193213 최선의 손실: 0.161705 정확도: 97.62% 9 검증 세트 손실: 0.254931 최선의 손실: 0.161705 정확도: 97.03% 10 검증 세트 손실: 0.170333 최선의 손실: 0.161705 정확도: 97.26% 11 검증 세트 손실: 0.183142 최선의 손실: 0.161705 정확도: 97.38% 12 검증 세트 손실: 0.165072 최선의 손실: 0.161705 정확도: 97.62% 13 검증 세트 손실: 0.287263 최선의 손실: 0.161705 정확도: 95.82% 14 검증 세트 손실: 0.180744 최선의 손실: 0.161705 정확도: 97.58% 15 검증 세트 손실: 0.191835 최선의 손실: 0.161705 정확도: 97.69% 16 검증 세트 손실: 0.198290 최선의 손실: 0.161705 정확도: 98.08% 17 검증 세트 손실: 0.244855 최선의 손실: 0.161705 정확도: 97.22% 18 검증 세트 손실: 0.189315 최선의 손실: 0.161705 정확도: 97.89% 19 검증 세트 손실: 3.665245 최선의 손실: 0.161705 정확도: 68.53% 20 검증 세트 손실: 0.697931 최선의 손실: 0.161705 정확도: 94.72% 조기 종료! WARNING:tensorflow:From /home/haesun/anaconda3/envs/handson-ml/lib/python3.6/site-packages/tensorflow/python/training/saver.py:1266: checkpoint_exists (from tensorflow.python.training.checkpoint_management) is deprecated and will be removed in a future version. Instructions for updating: Use standard file APIs to check for files with this prefix. INFO:tensorflow:Restoring parameters from ./my_mnist_model_0_to_4.ckpt 최종 테스트 정확도: 96.54%
아주 나쁘지는 않지만 하이퍼파라미터를 튜닝하여 더 개선할 수 있을지 보겠습니다.
문제: 교차 검증을 사용하여 하이퍼파라미터를 튜닝하고 얼마의 성능을 달성할 수 있는지 확인해보세요.
하이퍼파라미터 튜닝을 하기 위해 사이킷런의 RandomizedSearchCV
클래스와 호환되는 DNNClassifier
클래스를 만듭니다. 이 클래스의 핵심은 다음과 같습니다:
__init__()
메서드(생성자)는 각 하이퍼파라미터에 대한 인스턴스 변수를 만듭니다.fit()
메서드는 그래프를 만들고 세션을 시작해 모델을 훈련시킵니다:_build_graph()
메서드를 호출해 그래프를 만듭니다(앞서 만든 그래프와 비슷합니다). 그래프가 만들어지면 다른 메서드에서 접근할 수 있도록 중요한 연산은 모두 인스턴스 변수로 저장합니다._dnn()
메서드는 위의 dnn()
함수와 비슷하게 은닉층을 만들고 배치 정규화와 드롭아웃을 추가합니다(다음 연습문제를 위해).fit()
메서드에는 검증 세트(X_valid
와 y_valid
)가 주어지면 조기 종료를 실행합니다. 여기에서는 디스키 대신 메모리에 최상의 모델을 저장합니다. 이 함수는 그래프의 모든 변수와 값을 가져오기 위해 _get_model_params()
함수를 사용하고 (최상의 모델에서) 변수 값을 복원하기 위해 _restore_model_params()
함수를 사용합니다. 이런 방식은 훈련 속도를 높여 줍니다.fit()
메서드가 모델 훈련을 마치면 예측을 만들기 위해 모델을 저장하고 복원하는 대신에 빠르게 예측을 만들기 위해 그대로 세션을 열어 둡니다. close_session()
메서드를 호출해 세션을 닫을 수 있습니다.predict_proba()
메서드는 훈련 모델을 사용해 클래스 확률을 예측합니다.predict()
메서드는 predict_proba()
를 호출해 각 샘플에 대해 가장 높은 확률을 가진 클래스를 반환합니다.from sklearn.base import BaseEstimator, ClassifierMixin
from sklearn.exceptions import NotFittedError
class DNNClassifier(BaseEstimator, ClassifierMixin):
def __init__(self, n_hidden_layers=5, n_neurons=100, optimizer_class=tf.train.AdamOptimizer,
learning_rate=0.01, batch_size=20, activation=tf.nn.elu, initializer=he_init,
batch_norm_momentum=None, dropout_rate=None, random_state=None):
"""모든 하이퍼파파미터를 저장하는 것으로 DNNClassifier를 초기화합니다."""
self.n_hidden_layers = n_hidden_layers
self.n_neurons = n_neurons
self.optimizer_class = optimizer_class
self.learning_rate = learning_rate
self.batch_size = batch_size
self.activation = activation
self.initializer = initializer
self.batch_norm_momentum = batch_norm_momentum
self.dropout_rate = dropout_rate
self.random_state = random_state
self._session = None
def _dnn(self, inputs):
"""배치 정규화와 드롭아웃 기능을 넣어 은닉층을 구성합니다."""
for layer in range(self.n_hidden_layers):
if self.dropout_rate:
inputs = tf.layers.dropout(inputs, self.dropout_rate, training=self._training)
inputs = tf.layers.dense(inputs, self.n_neurons,
kernel_initializer=self.initializer,
name="hidden%d" % (layer + 1))
if self.batch_norm_momentum:
inputs = tf.layers.batch_normalization(inputs, momentum=self.batch_norm_momentum,
training=self._training)
inputs = self.activation(inputs, name="hidden%d_out" % (layer + 1))
return inputs
def _build_graph(self, n_inputs, n_outputs):
"""이전과 동일한 모델을 만듭니다."""
if self.random_state is not None:
tf.set_random_seed(self.random_state)
np.random.seed(self.random_state)
X = tf.placeholder(tf.float32, shape=(None, n_inputs), name="X")
y = tf.placeholder(tf.int32, shape=(None), name="y")
if self.batch_norm_momentum or self.dropout_rate:
self._training = tf.placeholder_with_default(False, shape=(), name='training')
else:
self._training = None
dnn_outputs = self._dnn(X)
logits = tf.layers.dense(dnn_outputs, n_outputs, kernel_initializer=he_init, name="logits")
Y_proba = tf.nn.softmax(logits, name="Y_proba")
xentropy = tf.nn.sparse_softmax_cross_entropy_with_logits(labels=y,
logits=logits)
loss = tf.reduce_mean(xentropy, name="loss")
optimizer = self.optimizer_class(learning_rate=self.learning_rate)
training_op = optimizer.minimize(loss)
correct = tf.nn.in_top_k(logits, y, 1)
accuracy = tf.reduce_mean(tf.cast(correct, tf.float32), name="accuracy")
init = tf.global_variables_initializer()
saver = tf.train.Saver()
# 중요한 연산은 인스턴스 변수로 저장하여 참조하기 쉽게 합니다.
self._X, self._y = X, y
self._Y_proba, self._loss = Y_proba, loss
self._training_op, self._accuracy = training_op, accuracy
self._init, self._saver = init, saver
def close_session(self):
if self._session:
self._session.close()
def _get_model_params(self):
"""모든 변수 값을 가져옵니다 (조기 종료를 위해 사용하며 디스크에 저장하는 것보다 빠릅니다)"""
with self._graph.as_default():
gvars = tf.get_collection(tf.GraphKeys.GLOBAL_VARIABLES)
return {gvar.op.name: value for gvar, value in zip(gvars, self._session.run(gvars))}
def _restore_model_params(self, model_params):
"""모든 변수를 주어진 값으로 설정합니다 (조기 종료를 위해 사용하며 디스크에 저장하는 것보다 빠릅니다)"""
gvar_names = list(model_params.keys())
assign_ops = {gvar_name: self._graph.get_operation_by_name(gvar_name + "/Assign")
for gvar_name in gvar_names}
init_values = {gvar_name: assign_op.inputs[1] for gvar_name, assign_op in assign_ops.items()}
feed_dict = {init_values[gvar_name]: model_params[gvar_name] for gvar_name in gvar_names}
self._session.run(assign_ops, feed_dict=feed_dict)
def fit(self, X, y, n_epochs=100, X_valid=None, y_valid=None):
"""훈련 세트에 모델을 훈련시킵니다. X_valid와 y_valid가 주어지면 조기 종료를 적용합니다."""
self.close_session()
# 훈련 세트로부터 n_inputs와 n_outputs를 구합니다.
n_inputs = X.shape[1]
self.classes_ = np.unique(y)
n_outputs = len(self.classes_)
# 레이블 벡터를 정렬된 클래스 인덱스 벡터로 변환합니다.
# 0부터 n_outputs - 1까지의 정수를 담고 있게 됩니다.
# 예를 들어, y가 [8, 8, 9, 5, 7, 6, 6, 6]이면
# 정렬된 클래스 레이블(self.classes_)은 [5, 6, 7, 8, 9]가 되고
# 레이블 벡터는 [3, 3, 4, 0, 2, 1, 1, 1]로 변환됩니다.
self.class_to_index_ = {label: index
for index, label in enumerate(self.classes_)}
y = np.array([self.class_to_index_[label]
for label in y], dtype=np.int32)
self._graph = tf.Graph()
with self._graph.as_default():
self._build_graph(n_inputs, n_outputs)
# 배치 정규화를 위한 추가 연산
extra_update_ops = tf.get_collection(tf.GraphKeys.UPDATE_OPS)
# 조기 종료를 위해
max_checks_without_progress = 20
checks_without_progress = 0
best_loss = np.infty
best_params = None
# 이제 모델을 훈련합니다!
self._session = tf.Session(graph=self._graph)
with self._session.as_default() as sess:
self._init.run()
for epoch in range(n_epochs):
rnd_idx = np.random.permutation(len(X))
for rnd_indices in np.array_split(rnd_idx, len(X) // self.batch_size):
X_batch, y_batch = X[rnd_indices], y[rnd_indices]
feed_dict = {self._X: X_batch, self._y: y_batch}
if self._training is not None:
feed_dict[self._training] = True
sess.run(self._training_op, feed_dict=feed_dict)
if extra_update_ops:
sess.run(extra_update_ops, feed_dict=feed_dict)
if X_valid is not None and y_valid is not None:
loss_val, acc_val = sess.run([self._loss, self._accuracy],
feed_dict={self._X: X_valid,
self._y: y_valid})
if loss_val < best_loss:
best_params = self._get_model_params()
best_loss = loss_val
checks_without_progress = 0
else:
checks_without_progress += 1
print("{}\t검증 세트 손실: {:.6f}\t최선의 손실: {:.6f}\t정확도: {:.2f}%".format(
epoch, loss_val, best_loss, acc_val * 100))
if checks_without_progress > max_checks_without_progress:
print("조기 종료!")
break
else:
loss_train, acc_train = sess.run([self._loss, self._accuracy],
feed_dict={self._X: X_batch,
self._y: y_batch})
print("{}\t마지막 훈련 배치 손실: {:.6f}\tAccuracy: {:.2f}%".format(
epoch, loss_train, acc_train * 100))
# 조기 종료를 사용하면 이전의 최상의 모델로 되돌립니다.
if best_params:
self._restore_model_params(best_params)
return self
def predict_proba(self, X):
if not self._session:
raise NotFittedError("%s 객체가 아직 훈련되지 않았습니다" % self.__class__.__name__)
with self._session.as_default() as sess:
return self._Y_proba.eval(feed_dict={self._X: X})
def predict(self, X):
class_indices = np.argmax(self.predict_proba(X), axis=1)
return np.array([[self.classes_[class_index]]
for class_index in class_indices], np.int32)
def save(self, path):
self._saver.save(self._session, path)
이 클래스를 사용하여 이전과 비슷한 정확도가 나오는지 확인해 보죠(드롭아웃과 배치 정규화는 사용하지 않습니다):
dnn_clf = DNNClassifier(random_state=42)
dnn_clf.fit(X_train1, y_train1, n_epochs=1000, X_valid=X_valid1, y_valid=y_valid1)
0 검증 세트 손실: 0.161705 최선의 손실: 0.161705 정확도: 96.56% 1 검증 세트 손실: 1.224550 최선의 손실: 0.161705 정확도: 37.22% 2 검증 세트 손실: 0.219565 최선의 손실: 0.161705 정확도: 96.09% 3 검증 세트 손실: 0.189125 최선의 손실: 0.161705 정확도: 97.11% 4 검증 세트 손실: 0.189588 최선의 손실: 0.161705 정확도: 96.40% 5 검증 세트 손실: 0.183252 최선의 손실: 0.161705 정확도: 97.11% 6 검증 세트 손실: 0.235175 최선의 손실: 0.161705 정확도: 95.54% 7 검증 세트 손실: 0.239276 최선의 손실: 0.161705 정확도: 96.87% 8 검증 세트 손실: 0.193213 최선의 손실: 0.161705 정확도: 97.62% 9 검증 세트 손실: 0.254931 최선의 손실: 0.161705 정확도: 97.03% 10 검증 세트 손실: 0.170333 최선의 손실: 0.161705 정확도: 97.26% 11 검증 세트 손실: 0.183142 최선의 손실: 0.161705 정확도: 97.38% 12 검증 세트 손실: 0.165072 최선의 손실: 0.161705 정확도: 97.62% 13 검증 세트 손실: 0.287263 최선의 손실: 0.161705 정확도: 95.82% 14 검증 세트 손실: 0.180744 최선의 손실: 0.161705 정확도: 97.58% 15 검증 세트 손실: 0.191835 최선의 손실: 0.161705 정확도: 97.69% 16 검증 세트 손실: 0.198290 최선의 손실: 0.161705 정확도: 98.08% 17 검증 세트 손실: 0.244855 최선의 손실: 0.161705 정확도: 97.22% 18 검증 세트 손실: 0.189315 최선의 손실: 0.161705 정확도: 97.89% 19 검증 세트 손실: 3.665245 최선의 손실: 0.161705 정확도: 68.53% 20 검증 세트 손실: 0.697931 최선의 손실: 0.161705 정확도: 94.72% 21 검증 세트 손실: 1.126661 최선의 손실: 0.161705 정확도: 58.29% 조기 종료!
DNNClassifier(activation=<function elu at 0x7f8ec4ceef28>, batch_norm_momentum=None, batch_size=20, dropout_rate=None, initializer=<tensorflow.python.ops.init_ops.VarianceScaling object at 0x7f8eb8842e80>, learning_rate=0.01, n_hidden_layers=5, n_neurons=100, optimizer_class=<class 'tensorflow.python.training.adam.AdamOptimizer'>, random_state=42)
모델 훈련이 완료되면 이전과 비슷한 정확도가 나오는지 확인해 보겠습니다:
from sklearn.metrics import accuracy_score
y_pred = dnn_clf.predict(X_test1)
accuracy_score(y_test1, y_pred)
0.9653629110721931
좋네요! 잘 작동합니다. 이제 사이킷런의 RandomizedSearchCV
클래스를 사용해서 더 나은 하이퍼파라미터를 찾아보겠습니다(시스템에 따라 이 작업은 한 시간 이상 걸릴지 모릅니다):
사이킷런 0.22 버전에서 cross_val_score 함수와 GridSearchCV, RandomizedSearchCV 클래스의 cv 매개변수 기본값이 3에서 5로 바뀔 예정입니다. 0.20 버전에서 cv 매개변수를 지정하지 않는 경우 이에 관한 경고 메세지가 출력됩니다. 경고 메세지를 피하기 위해 cv 매개변수 값을 명시적으로 3으로 지정합니다.
from sklearn.model_selection import RandomizedSearchCV
def leaky_relu(alpha=0.01):
def parametrized_leaky_relu(z, name=None):
return tf.maximum(alpha * z, z, name=name)
return parametrized_leaky_relu
param_distribs = {
"n_neurons": [10, 30, 50, 70, 90, 100, 120, 140, 160],
"batch_size": [10, 50, 100, 500],
"learning_rate": [0.01, 0.02, 0.05, 0.1],
"activation": [tf.nn.relu, tf.nn.elu, leaky_relu(alpha=0.01), leaky_relu(alpha=0.1)],
# 은닉층의 수나 옵티마이저 등을 달리하여 탐색해 볼 수 있습니다.
#"n_hidden_layers": [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10],
#"optimizer_class": [tf.train.AdamOptimizer, partial(tf.train.MomentumOptimizer, momentum=0.95)],
}
# 생성자에 넘겨주는 fit_params 매개변수는 사이킷런 0.19 버전부터 경고가 발생하고 0.21 버전에서 사라지므로
# 대신 fit() 메서드에 매개변수로 전달해야 합니다.:
rnd_search = RandomizedSearchCV(DNNClassifier(random_state=42), param_distribs, n_iter=50,
random_state=42, verbose=2, cv=3)
fit_params={"X_valid": X_valid1, "y_valid": y_valid1, "n_epochs": 1000}
rnd_search.fit(X_train1, y_train1, **fit_params)
Fitting 3 folds for each of 50 candidates, totalling 150 fits [CV] n_neurons=10, learning_rate=0.05, batch_size=100, activation=<function elu at 0x7f8ec4ceef28>
[Parallel(n_jobs=1)]: Using backend SequentialBackend with 1 concurrent workers.
0 검증 세트 손실: 0.169612 최선의 손실: 0.169612 정확도: 95.86% 1 검증 세트 손실: 0.137028 최선의 손실: 0.137028 정확도: 96.36% 2 검증 세트 손실: 0.154441 최선의 손실: 0.137028 정확도: 96.48% 3 검증 세트 손실: 0.134872 최선의 손실: 0.134872 정확도: 96.79% 4 검증 세트 손실: 0.099001 최선의 손실: 0.099001 정확도: 97.30% 5 검증 세트 손실: 0.126843 최선의 손실: 0.099001 정확도: 97.30% 6 검증 세트 손실: 0.128056 최선의 손실: 0.099001 정확도: 96.91% 7 검증 세트 손실: 0.169414 최선의 손실: 0.099001 정확도: 96.40% 8 검증 세트 손실: 1.639446 최선의 손실: 0.099001 정확도: 19.51% 9 검증 세트 손실: 1.711398 최선의 손실: 0.099001 정확도: 19.08% 10 검증 세트 손실: 1.608588 최선의 손실: 0.099001 정확도: 21.50% 11 검증 세트 손실: 1.614693 최선의 손실: 0.099001 정확도: 20.91% 12 검증 세트 손실: 1.626087 최선의 손실: 0.099001 정확도: 20.91% 13 검증 세트 손실: 1.641145 최선의 손실: 0.099001 정확도: 18.73% 14 검증 세트 손실: 1.614413 최선의 손실: 0.099001 정확도: 22.01% 15 검증 세트 손실: 1.618399 최선의 손실: 0.099001 정확도: 22.01% 16 검증 세트 손실: 1.610849 최선의 손실: 0.099001 정확도: 22.01% 17 검증 세트 손실: 1.618682 최선의 손실: 0.099001 정확도: 19.27% 18 검증 세트 손실: 1.612818 최선의 손실: 0.099001 정확도: 18.73% 19 검증 세트 손실: 1.614698 최선의 손실: 0.099001 정확도: 22.01% 20 검증 세트 손실: 1.625712 최선의 손실: 0.099001 정확도: 19.08% 21 검증 세트 손실: 1.623401 최선의 손실: 0.099001 정확도: 19.27% 22 검증 세트 손실: 1.627036 최선의 손실: 0.099001 정확도: 18.73% 23 검증 세트 손실: 1.618181 최선의 손실: 0.099001 정확도: 19.27% 24 검증 세트 손실: 1.616966 최선의 손실: 0.099001 정확도: 22.01% 25 검증 세트 손실: 1.619997 최선의 손실: 0.099001 정확도: 22.01% 조기 종료! [CV] n_neurons=10, learning_rate=0.05, batch_size=100, activation=<function elu at 0x7f8ec4ceef28>, total= 3.5s [CV] n_neurons=10, learning_rate=0.05, batch_size=100, activation=<function elu at 0x7f8ec4ceef28>
[Parallel(n_jobs=1)]: Done 1 out of 1 | elapsed: 3.5s remaining: 0.0s
0 검증 세트 손실: 0.161831 최선의 손실: 0.161831 정확도: 96.21% 1 검증 세트 손실: 0.115342 최선의 손실: 0.115342 정확도: 97.11% 2 검증 세트 손실: 0.141663 최선의 손실: 0.115342 정확도: 97.19% 3 검증 세트 손실: 0.180142 최선의 손실: 0.115342 정확도: 96.40% 4 검증 세트 손실: 0.152933 최선의 손실: 0.115342 정확도: 96.64% 5 검증 세트 손실: 0.134434 최선의 손실: 0.115342 정확도: 97.19% 6 검증 세트 손실: 0.110120 최선의 손실: 0.110120 정확도: 97.30% 7 검증 세트 손실: 0.129287 최선의 손실: 0.110120 정확도: 97.22% 8 검증 세트 손실: 1.816588 최선의 손실: 0.110120 정확도: 39.05% 9 검증 세트 손실: 1.382134 최선의 손실: 0.110120 정확도: 32.64% 10 검증 세트 손실: 1.228535 최선의 손실: 0.110120 정확도: 39.87% 11 검증 세트 손실: 1.202906 최선의 손실: 0.110120 정확도: 39.52% 12 검증 세트 손실: 1.219439 최선의 손실: 0.110120 정확도: 39.95% 13 검증 세트 손실: 1.223669 최선의 손실: 0.110120 정확도: 39.01% 14 검증 세트 손실: 1.150941 최선의 손실: 0.110120 정확도: 41.95% 15 검증 세트 손실: 1.151576 최선의 손실: 0.110120 정확도: 41.95% 16 검증 세트 손실: 1.164400 최선의 손실: 0.110120 정확도: 40.19% 17 검증 세트 손실: 1.155117 최선의 손실: 0.110120 정확도: 41.87% 18 검증 세트 손실: 1.168984 최선의 손실: 0.110120 정확도: 39.91% 19 검증 세트 손실: 1.156087 최선의 손실: 0.110120 정확도: 41.71% 20 검증 세트 손실: 1.161918 최선의 손실: 0.110120 정확도: 39.91% 21 검증 세트 손실: 1.195756 최선의 손실: 0.110120 정확도: 40.38% 22 검증 세트 손실: 1.199676 최선의 손실: 0.110120 정확도: 40.42% 23 검증 세트 손실: 1.177805 최선의 손실: 0.110120 정확도: 40.30% 24 검증 세트 손실: 1.171966 최선의 손실: 0.110120 정확도: 39.13% 25 검증 세트 손실: 1.144288 최선의 손실: 0.110120 정확도: 42.03% 26 검증 세트 손실: 1.146498 최선의 손실: 0.110120 정확도: 40.30% 27 검증 세트 손실: 1.160356 최선의 손실: 0.110120 정확도: 40.23% 조기 종료! [CV] n_neurons=10, learning_rate=0.05, batch_size=100, activation=<function elu at 0x7f8ec4ceef28>, total= 3.7s [CV] n_neurons=10, learning_rate=0.05, batch_size=100, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.129187 최선의 손실: 0.129187 정확도: 96.87% 1 검증 세트 손실: 0.118899 최선의 손실: 0.118899 정확도: 96.99% 2 검증 세트 손실: 0.131234 최선의 손실: 0.118899 정확도: 96.01% 3 검증 세트 손실: 0.236573 최선의 손실: 0.118899 정확도: 93.47% 4 검증 세트 손실: 1.609613 최선의 손실: 0.118899 정확도: 20.91% 5 검증 세트 손실: 1.620917 최선의 손실: 0.118899 정확도: 22.01% 6 검증 세트 손실: 1.614585 최선의 손실: 0.118899 정확도: 22.01% 7 검증 세트 손실: 1.624998 최선의 손실: 0.118899 정확도: 18.73% 8 검증 세트 손실: 1.614702 최선의 손실: 0.118899 정확도: 22.01% 9 검증 세트 손실: 1.608738 최선의 손실: 0.118899 정확도: 22.01% 10 검증 세트 손실: 1.613762 최선의 손실: 0.118899 정확도: 22.01% 11 검증 세트 손실: 1.615227 최선의 손실: 0.118899 정확도: 22.01% 12 검증 세트 손실: 1.620622 최선의 손실: 0.118899 정확도: 20.91% 13 검증 세트 손실: 1.634356 최선의 손실: 0.118899 정확도: 19.27% 14 검증 세트 손실: 1.620624 최선의 손실: 0.118899 정확도: 22.01% 15 검증 세트 손실: 1.629337 최선의 손실: 0.118899 정확도: 22.01% 16 검증 세트 손실: 1.627128 최선의 손실: 0.118899 정확도: 22.01% 17 검증 세트 손실: 1.637325 최선의 손실: 0.118899 정확도: 19.08% 18 검증 세트 손실: 1.613848 최선의 손실: 0.118899 정확도: 20.91% 19 검증 세트 손실: 1.616927 최선의 손실: 0.118899 정확도: 19.08% 20 검증 세트 손실: 1.614749 최선의 손실: 0.118899 정확도: 22.01% 21 검증 세트 손실: 1.633856 최선의 손실: 0.118899 정확도: 18.73% 22 검증 세트 손실: 1.628325 최선의 손실: 0.118899 정확도: 22.01% 조기 종료! [CV] n_neurons=10, learning_rate=0.05, batch_size=100, activation=<function elu at 0x7f8ec4ceef28>, total= 3.2s [CV] n_neurons=30, learning_rate=0.02, batch_size=500, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.110739 최선의 손실: 0.110739 정확도: 96.36% 1 검증 세트 손실: 0.083676 최선의 손실: 0.083676 정확도: 97.50% 2 검증 세트 손실: 0.085564 최선의 손실: 0.083676 정확도: 97.81% 3 검증 세트 손실: 0.070900 최선의 손실: 0.070900 정확도: 98.05% 4 검증 세트 손실: 0.064577 최선의 손실: 0.064577 정확도: 98.28% 5 검증 세트 손실: 0.063926 최선의 손실: 0.063926 정확도: 98.16% 6 검증 세트 손실: 0.065918 최선의 손실: 0.063926 정확도: 98.36% 7 검증 세트 손실: 0.059087 최선의 손실: 0.059087 정확도: 98.32% 8 검증 세트 손실: 0.058144 최선의 손실: 0.058144 정확도: 98.16% 9 검증 세트 손실: 0.056851 최선의 손실: 0.056851 정확도: 98.28% 10 검증 세트 손실: 0.075492 최선의 손실: 0.056851 정확도: 98.01% 11 검증 세트 손실: 0.065050 최선의 손실: 0.056851 정확도: 98.59% 12 검증 세트 손실: 0.078835 최선의 손실: 0.056851 정확도: 98.20% 13 검증 세트 손실: 0.072825 최선의 손실: 0.056851 정확도: 98.28% 14 검증 세트 손실: 0.085902 최선의 손실: 0.056851 정확도: 97.93% 15 검증 세트 손실: 0.061247 최선의 손실: 0.056851 정확도: 98.44% 16 검증 세트 손실: 0.062648 최선의 손실: 0.056851 정확도: 98.55% 17 검증 세트 손실: 0.080298 최선의 손실: 0.056851 정확도: 98.51% 18 검증 세트 손실: 0.090790 최선의 손실: 0.056851 정확도: 98.32% 19 검증 세트 손실: 0.070806 최선의 손실: 0.056851 정확도: 98.36% 20 검증 세트 손실: 0.085928 최선의 손실: 0.056851 정확도: 98.12% 21 검증 세트 손실: 0.078405 최선의 손실: 0.056851 정확도: 98.36% 22 검증 세트 손실: 0.074821 최선의 손실: 0.056851 정확도: 98.36% 23 검증 세트 손실: 0.085305 최선의 손실: 0.056851 정확도: 98.12% 24 검증 세트 손실: 0.065801 최선의 손실: 0.056851 정확도: 98.48% 25 검증 세트 손실: 0.074315 최선의 손실: 0.056851 정확도: 98.12% 26 검증 세트 손실: 0.083856 최선의 손실: 0.056851 정확도: 98.24% 27 검증 세트 손실: 0.078093 최선의 손실: 0.056851 정확도: 98.59% 28 검증 세트 손실: 0.086948 최선의 손실: 0.056851 정확도: 98.63% 29 검증 세트 손실: 0.092258 최선의 손실: 0.056851 정확도: 97.97% 30 검증 세트 손실: 0.116482 최선의 손실: 0.056851 정확도: 97.69% 조기 종료! [CV] n_neurons=30, learning_rate=0.02, batch_size=500, activation=<function relu at 0x7f8ec4c8c510>, total= 3.3s [CV] n_neurons=30, learning_rate=0.02, batch_size=500, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.150243 최선의 손실: 0.150243 정확도: 95.93% 1 검증 세트 손실: 0.074734 최선의 손실: 0.074734 정확도: 97.85% 2 검증 세트 손실: 0.064674 최선의 손실: 0.064674 정확도: 98.28% 3 검증 세트 손실: 0.059260 최선의 손실: 0.059260 정확도: 98.20% 4 검증 세트 손실: 0.070795 최선의 손실: 0.059260 정확도: 97.93% 5 검증 세트 손실: 0.064103 최선의 손실: 0.059260 정확도: 98.12% 6 검증 세트 손실: 0.058995 최선의 손실: 0.058995 정확도: 98.51% 7 검증 세트 손실: 0.074334 최선의 손실: 0.058995 정확도: 98.05% 8 검증 세트 손실: 0.063130 최선의 손실: 0.058995 정확도: 98.12% 9 검증 세트 손실: 0.052821 최선의 손실: 0.052821 정확도: 98.79% 10 검증 세트 손실: 0.067567 최선의 손실: 0.052821 정확도: 98.48% 11 검증 세트 손실: 0.059678 최선의 손실: 0.052821 정확도: 98.75% 12 검증 세트 손실: 0.094348 최선의 손실: 0.052821 정확도: 98.08% 13 검증 세트 손실: 0.053173 최선의 손실: 0.052821 정확도: 98.55% 14 검증 세트 손실: 0.055377 최선의 손실: 0.052821 정확도: 98.63% 15 검증 세트 손실: 0.056954 최선의 손실: 0.052821 정확도: 98.71% 16 검증 세트 손실: 0.071836 최선의 손실: 0.052821 정확도: 98.63% 17 검증 세트 손실: 0.089015 최선의 손실: 0.052821 정확도: 98.48% 18 검증 세트 손실: 0.078217 최선의 손실: 0.052821 정확도: 98.67% 19 검증 세트 손실: 0.063984 최선의 손실: 0.052821 정확도: 98.51% 20 검증 세트 손실: 0.065747 최선의 손실: 0.052821 정확도: 98.63% 21 검증 세트 손실: 0.066643 최선의 손실: 0.052821 정확도: 98.83% 22 검증 세트 손실: 0.076351 최선의 손실: 0.052821 정확도: 98.44% 23 검증 세트 손실: 0.070130 최선의 손실: 0.052821 정확도: 98.67% 24 검증 세트 손실: 0.070576 최선의 손실: 0.052821 정확도: 98.44% 25 검증 세트 손실: 0.090841 최선의 손실: 0.052821 정확도: 98.59% 26 검증 세트 손실: 0.060712 최선의 손실: 0.052821 정확도: 98.75% 27 검증 세트 손실: 0.071062 최선의 손실: 0.052821 정확도: 98.75% 28 검증 세트 손실: 0.070795 최선의 손실: 0.052821 정확도: 98.83% 29 검증 세트 손실: 0.071805 최선의 손실: 0.052821 정확도: 98.67% 30 검증 세트 손실: 0.083105 최선의 손실: 0.052821 정확도: 98.44% 조기 종료! [CV] n_neurons=30, learning_rate=0.02, batch_size=500, activation=<function relu at 0x7f8ec4c8c510>, total= 3.2s [CV] n_neurons=30, learning_rate=0.02, batch_size=500, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.101571 최선의 손실: 0.101571 정확도: 96.79% 1 검증 세트 손실: 0.077616 최선의 손실: 0.077616 정확도: 97.97% 2 검증 세트 손실: 0.059689 최선의 손실: 0.059689 정확도: 98.28% 3 검증 세트 손실: 0.057170 최선의 손실: 0.057170 정확도: 98.48% 4 검증 세트 손실: 0.051170 최선의 손실: 0.051170 정확도: 98.48% 5 검증 세트 손실: 0.074582 최선의 손실: 0.051170 정확도: 97.81% 6 검증 세트 손실: 0.055337 최선의 손실: 0.051170 정확도: 98.44% 7 검증 세트 손실: 0.057996 최선의 손실: 0.051170 정확도: 98.51% 8 검증 세트 손실: 0.052171 최선의 손실: 0.051170 정확도: 98.20% 9 검증 세트 손실: 0.083126 최선의 손실: 0.051170 정확도: 98.40% 10 검증 세트 손실: 0.066241 최선의 손실: 0.051170 정확도: 98.24% 11 검증 세트 손실: 0.086855 최선의 손실: 0.051170 정확도: 98.40% 12 검증 세트 손실: 0.064592 최선의 손실: 0.051170 정확도: 98.36% 13 검증 세트 손실: 0.064097 최선의 손실: 0.051170 정확도: 98.48% 14 검증 세트 손실: 0.073890 최선의 손실: 0.051170 정확도: 98.20% 15 검증 세트 손실: 0.092007 최선의 손실: 0.051170 정확도: 98.32% 16 검증 세트 손실: 0.066213 최선의 손실: 0.051170 정확도: 98.63% 17 검증 세트 손실: 0.073114 최선의 손실: 0.051170 정확도: 98.67% 18 검증 세트 손실: 0.062950 최선의 손실: 0.051170 정확도: 98.67% 19 검증 세트 손실: 0.065250 최선의 손실: 0.051170 정확도: 98.36% 20 검증 세트 손실: 0.073439 최선의 손실: 0.051170 정확도: 98.67% 21 검증 세트 손실: 0.078672 최선의 손실: 0.051170 정확도: 98.63% 22 검증 세트 손실: 0.062747 최선의 손실: 0.051170 정확도: 98.67% 23 검증 세트 손실: 0.080132 최선의 손실: 0.051170 정확도: 98.44% 24 검증 세트 손실: 0.071110 최선의 손실: 0.051170 정확도: 98.59% 25 검증 세트 손실: 0.065921 최선의 손실: 0.051170 정확도: 98.55% 조기 종료! [CV] n_neurons=30, learning_rate=0.02, batch_size=500, activation=<function relu at 0x7f8ec4c8c510>, total= 2.8s [CV] n_neurons=90, learning_rate=0.05, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 0 검증 세트 손실: 0.396929 최선의 손실: 0.396929 정확도: 88.55% 1 검증 세트 손실: 6.478924 최선의 손실: 0.396929 정확도: 79.91% 2 검증 세트 손실: 1.505791 최선의 손실: 0.396929 정확도: 80.69% 3 검증 세트 손실: 1.195650 최선의 손실: 0.396929 정확도: 80.61% 4 검증 세트 손실: 2.563684 최선의 손실: 0.396929 정확도: 69.23% 5 검증 세트 손실: 536.572937 최선의 손실: 0.396929 정확도: 45.19% 6 검증 세트 손실: 89.243279 최선의 손실: 0.396929 정확도: 78.11% 7 검증 세트 손실: 79.655708 최선의 손실: 0.396929 정확도: 71.97% 8 검증 세트 손실: 122.312195 최선의 손실: 0.396929 정확도: 74.75% 9 검증 세트 손실: 47.916676 최선의 손실: 0.396929 정확도: 91.63% 10 검증 세트 손실: 58.104256 최선의 손실: 0.396929 정확도: 91.91% 11 검증 세트 손실: 44.203144 최선의 손실: 0.396929 정확도: 90.58% 12 검증 세트 손실: 33.199314 최선의 손실: 0.396929 정확도: 94.25% 13 검증 세트 손실: 34.830338 최선의 손실: 0.396929 정확도: 92.14% 14 검증 세트 손실: 30.196430 최선의 손실: 0.396929 정확도: 92.89% 15 검증 세트 손실: 23.511036 최선의 손실: 0.396929 정확도: 93.94% 16 검증 세트 손실: 66.064659 최선의 손실: 0.396929 정확도: 87.57% 17 검증 세트 손실: 154.809708 최선의 손실: 0.396929 정확도: 70.48% 18 검증 세트 손실: 157.595306 최선의 손실: 0.396929 정확도: 67.12% 19 검증 세트 손실: 46.421604 최선의 손실: 0.396929 정확도: 78.89% 20 검증 세트 손실: 40.813641 최선의 손실: 0.396929 정확도: 84.40% 21 검증 세트 손실: 45.768738 최선의 손실: 0.396929 정확도: 85.85% 조기 종료! [CV] n_neurons=90, learning_rate=0.05, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total= 8.9s [CV] n_neurons=90, learning_rate=0.05, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 0 검증 세트 손실: 4.739810 최선의 손실: 4.739810 정확도: 44.25% 1 검증 세트 손실: 52066.144531 최선의 손실: 4.739810 정확도: 28.89% 2 검증 세트 손실: 87.915123 최선의 손실: 4.739810 정확도: 65.44% 3 검증 세트 손실: 25.975292 최선의 손실: 4.739810 정확도: 81.51% 4 검증 세트 손실: 31.957380 최선의 손실: 4.739810 정확도: 79.55% 5 검증 세트 손실: 14.952983 최선의 손실: 4.739810 정확도: 83.78% 6 검증 세트 손실: 23.431433 최선의 손실: 4.739810 정확도: 78.26% 7 검증 세트 손실: 16.321989 최선의 손실: 4.739810 정확도: 72.09% 8 검증 세트 손실: 11.031761 최선의 손실: 4.739810 정확도: 88.74% 9 검증 세트 손실: 152.935760 최선의 손실: 4.739810 정확도: 81.70% 10 검증 세트 손실: 186.634201 최선의 손실: 4.739810 정확도: 47.07% 11 검증 세트 손실: 51.709373 최선의 손실: 4.739810 정확도: 66.30% 12 검증 세트 손실: 33.102184 최선의 손실: 4.739810 정확도: 69.82% 13 검증 세트 손실: 23.592550 최선의 손실: 4.739810 정확도: 85.65% 14 검증 세트 손실: 22.948610 최선의 손실: 4.739810 정확도: 83.58% 15 검증 세트 손실: 15.511449 최선의 손실: 4.739810 정확도: 85.97% 16 검증 세트 손실: 16.448492 최선의 손실: 4.739810 정확도: 77.17% 17 검증 세트 손실: 174.890411 최선의 손실: 4.739810 정확도: 45.15% 18 검증 세트 손실: 12.692270 최선의 손실: 4.739810 정확도: 91.83% 19 검증 세트 손실: 15.014576 최선의 손실: 4.739810 정확도: 89.52% 20 검증 세트 손실: 70118.351562 최선의 손실: 4.739810 정확도: 57.78% 21 검증 세트 손실: 5336.040039 최선의 손실: 4.739810 정확도: 75.22% 조기 종료! [CV] n_neurons=90, learning_rate=0.05, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total= 8.8s [CV] n_neurons=90, learning_rate=0.05, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 0 검증 세트 손실: 34.707134 최선의 손실: 34.707134 정확도: 44.02% 1 검증 세트 손실: 1.482173 최선의 손실: 1.482173 정확도: 77.72% 2 검증 세트 손실: 1.603607 최선의 손실: 1.482173 정확도: 76.74% 3 검증 세트 손실: 1.248135 최선의 손실: 1.248135 정확도: 79.24% 4 검증 세트 손실: 0.605569 최선의 손실: 0.605569 정확도: 88.15% 5 검증 세트 손실: 1.413563 최선의 손실: 0.605569 정확도: 71.42% 6 검증 세트 손실: 0.603150 최선의 손실: 0.603150 정확도: 89.29% 7 검증 세트 손실: 1.107997 최선의 손실: 0.603150 정확도: 79.40% 8 검증 세트 손실: 0.349525 최선의 손실: 0.349525 정확도: 91.44% 9 검증 세트 손실: 0.424007 최선의 손실: 0.349525 정확도: 91.01% 10 검증 세트 손실: 0.423164 최선의 손실: 0.349525 정확도: 90.34% 11 검증 세트 손실: 0.278822 최선의 손실: 0.278822 정확도: 93.59% 12 검증 세트 손실: 0.437423 최선의 손실: 0.278822 정확도: 89.68% 13 검증 세트 손실: 0.260361 최선의 손실: 0.260361 정확도: 93.12% 14 검증 세트 손실: 3576.981934 최선의 손실: 0.260361 정확도: 20.37% 15 검증 세트 손실: 119.415825 최선의 손실: 0.260361 정확도: 46.17% 16 검증 세트 손실: 110.711998 최선의 손실: 0.260361 정확도: 42.14% 17 검증 세트 손실: 27.452753 최선의 손실: 0.260361 정확도: 62.82% 18 검증 세트 손실: 46.970539 최선의 손실: 0.260361 정확도: 68.61% 19 검증 세트 손실: 119.639145 최선의 손실: 0.260361 정확도: 63.84% 20 검증 세트 손실: 78.779388 최선의 손실: 0.260361 정확도: 42.46% 21 검증 세트 손실: 51.610931 최선의 손실: 0.260361 정확도: 55.04% 22 검증 세트 손실: 30.280518 최선의 손실: 0.260361 정확도: 70.56% 23 검증 세트 손실: 14.281271 최선의 손실: 0.260361 정확도: 73.57% 24 검증 세트 손실: 35.734028 최선의 손실: 0.260361 정확도: 63.68% 25 검증 세트 손실: 20.424391 최선의 손실: 0.260361 정확도: 68.92% 26 검증 세트 손실: 35969.796875 최선의 손실: 0.260361 정확도: 45.15% 27 검증 세트 손실: 1212.543213 최선의 손실: 0.260361 정확도: 67.90% 28 검증 세트 손실: 655.318115 최선의 손실: 0.260361 정확도: 67.51% 29 검증 세트 손실: 267.746582 최선의 손실: 0.260361 정확도: 87.18% 30 검증 세트 손실: 509.052155 최선의 손실: 0.260361 정확도: 79.79% 31 검증 세트 손실: 682.841797 최선의 손실: 0.260361 정확도: 73.49% 32 검증 세트 손실: 384.203033 최선의 손실: 0.260361 정확도: 84.21% 33 검증 세트 손실: 212.137268 최선의 손실: 0.260361 정확도: 90.54% 34 검증 세트 손실: 382.472046 최선의 손실: 0.260361 정확도: 86.24% 조기 종료! [CV] n_neurons=90, learning_rate=0.05, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total= 13.8s [CV] n_neurons=70, learning_rate=0.1, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 0 검증 세트 손실: 3.289538 최선의 손실: 3.289538 정확도: 84.44% 1 검증 세트 손실: 1.299825 최선의 손실: 1.299825 정확도: 89.05% 2 검증 세트 손실: 2.303078 최선의 손실: 1.299825 정확도: 72.40% 3 검증 세트 손실: 1.147589 최선의 손실: 1.147589 정확도: 89.84% 4 검증 세트 손실: 0.512307 최선의 손실: 0.512307 정확도: 91.56% 5 검증 세트 손실: 0.554251 최선의 손실: 0.512307 정확도: 92.96% 6 검증 세트 손실: 0.910844 최선의 손실: 0.512307 정확도: 89.29% 7 검증 세트 손실: 89697.218750 최선의 손실: 0.512307 정확도: 60.13% 8 검증 세트 손실: 26111.474609 최선의 손실: 0.512307 정확도: 77.21% 9 검증 세트 손실: 7906.910156 최선의 손실: 0.512307 정확도: 90.23% 10 검증 세트 손실: 11097.594727 최선의 손실: 0.512307 정확도: 85.89% 11 검증 세트 손실: 9426.625977 최선의 손실: 0.512307 정확도: 81.86% 12 검증 세트 손실: 9318.779297 최선의 손실: 0.512307 정확도: 82.29% 13 검증 세트 손실: 5717.183105 최선의 손실: 0.512307 정확도: 90.81% 14 검증 세트 손실: 6448.424316 최선의 손실: 0.512307 정확도: 89.52% 15 검증 세트 손실: 3354.368164 최선의 손실: 0.512307 정확도: 93.75% 16 검증 세트 손실: 4351.820312 최선의 손실: 0.512307 정확도: 93.04% 17 검증 세트 손실: 3315.935059 최선의 손실: 0.512307 정확도: 94.29% 18 검증 세트 손실: 3207.560059 최선의 손실: 0.512307 정확도: 91.83% 19 검증 세트 손실: 9689.852539 최선의 손실: 0.512307 정확도: 90.58% 20 검증 세트 손실: 2885.183594 최선의 손실: 0.512307 정확도: 95.23% 21 검증 세트 손실: 2095.049561 최선의 손실: 0.512307 정확도: 94.45% 22 검증 세트 손실: 1655.197388 최선의 손실: 0.512307 정확도: 94.92% 23 검증 세트 손실: 16705.595703 최선의 손실: 0.512307 정확도: 85.77% 24 검증 세트 손실: 4854.030273 최선의 손실: 0.512307 정확도: 92.14% 25 검증 세트 손실: 3260.917236 최선의 손실: 0.512307 정확도: 94.41% 조기 종료! [CV] n_neurons=70, learning_rate=0.1, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total= 9.4s [CV] n_neurons=70, learning_rate=0.1, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 0 검증 세트 손실: 2.943871 최선의 손실: 2.943871 정확도: 75.25% 1 검증 세트 손실: 7814.180664 최선의 손실: 2.943871 정확도: 72.44% 2 검증 세트 손실: 7112.951660 최선의 손실: 2.943871 정확도: 62.82% 3 검증 세트 손실: 1214.788696 최선의 손실: 2.943871 정확도: 88.27% 4 검증 세트 손실: 1132.935913 최선의 손실: 2.943871 정확도: 88.27% 5 검증 세트 손실: 764.093994 최선의 손실: 2.943871 정확도: 93.20% 6 검증 세트 손실: 1287.751953 최선의 손실: 2.943871 정확도: 84.32% 7 검증 세트 손실: 367.602142 최선의 손실: 2.943871 정확도: 94.64% 8 검증 세트 손실: 3724.829590 최선의 손실: 2.943871 정확도: 77.37% 9 검증 세트 손실: 2475.678955 최선의 손실: 2.943871 정확도: 88.90% 10 검증 세트 손실: 378.125519 최선의 손실: 2.943871 정확도: 94.72% 11 검증 세트 손실: 355.467224 최선의 손실: 2.943871 정확도: 95.07% 12 검증 세트 손실: 275.537048 최선의 손실: 2.943871 정확도: 94.45% 13 검증 세트 손실: 736624.687500 최선의 손실: 2.943871 정확도: 82.29% 14 검증 세트 손실: 102468.914062 최선의 손실: 2.943871 정확도: 92.65% 15 검증 세트 손실: 111072.648438 최선의 손실: 2.943871 정확도: 91.59% 16 검증 세트 손실: 51086.437500 최선의 손실: 2.943871 정확도: 94.21% 17 검증 세트 손실: 47539.410156 최선의 손실: 2.943871 정확도: 93.98% 18 검증 세트 손실: 36284.523438 최선의 손실: 2.943871 정확도: 94.57% 19 검증 세트 손실: 44677.363281 최선의 손실: 2.943871 정확도: 93.55% 20 검증 세트 손실: 70205.539062 최선의 손실: 2.943871 정확도: 92.77% 21 검증 세트 손실: 25837.769531 최선의 손실: 2.943871 정확도: 95.15% 조기 종료! [CV] n_neurons=70, learning_rate=0.1, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total= 8.1s [CV] n_neurons=70, learning_rate=0.1, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 0 검증 세트 손실: 64.866959 최선의 손실: 64.866959 정확도: 84.05% 1 검증 세트 손실: 10.508960 최선의 손실: 10.508960 정확도: 91.99% 2 검증 세트 손실: 9.558105 최선의 손실: 9.558105 정확도: 89.48% 3 검증 세트 손실: 3.672984 최선의 손실: 3.672984 정확도: 92.65% 4 검증 세트 손실: 110.740875 최선의 손실: 3.672984 정확도: 67.90% 5 검증 세트 손실: 14681.238281 최선의 손실: 3.672984 정확도: 84.36% 6 검증 세트 손실: 7871.326172 최선의 손실: 3.672984 정확도: 90.19% 7 검증 세트 손실: 5917.387207 최선의 손실: 3.672984 정확도: 88.19% 8 검증 세트 손실: 9985.247070 최선의 손실: 3.672984 정확도: 85.34% 9 검증 세트 손실: 8143.510742 최선의 손실: 3.672984 정확도: 91.28% 10 검증 세트 손실: 3778.364258 최선의 손실: 3.672984 정확도: 92.18% 11 검증 세트 손실: 4556.745605 최선의 손실: 3.672984 정확도: 91.91% 12 검증 세트 손실: 2902.612305 최선의 손실: 3.672984 정확도: 92.85% 13 검증 세트 손실: 2551.194336 최선의 손실: 3.672984 정확도: 92.49% 14 검증 세트 손실: 8609.489258 최선의 손실: 3.672984 정확도: 84.79% 15 검증 세트 손실: 4247.188477 최선의 손실: 3.672984 정확도: 91.40% 16 검증 세트 손실: 2113.531250 최선의 손실: 3.672984 정확도: 93.98% 17 검증 세트 손실: 41574.953125 최선의 손실: 3.672984 정확도: 91.75% 18 검증 세트 손실: 34662.796875 최선의 손실: 3.672984 정확도: 94.80% 19 검증 세트 손실: 31649.097656 최선의 손실: 3.672984 정확도: 95.04% 20 검증 세트 손실: 34659.285156 최선의 손실: 3.672984 정확도: 96.17% 21 검증 세트 손실: 43335.621094 최선의 손실: 3.672984 정확도: 94.57% 22 검증 세트 손실: 30477.695312 최선의 손실: 3.672984 정확도: 94.45% 23 검증 세트 손실: 16619.791016 최선의 손실: 3.672984 정확도: 93.16% 24 검증 세트 손실: 14163.893555 최선의 손실: 3.672984 정확도: 96.33% 조기 종료! [CV] n_neurons=70, learning_rate=0.1, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total= 9.1s [CV] n_neurons=120, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 0 검증 세트 손실: 0.116430 최선의 손실: 0.116430 정확도: 96.52% 1 검증 세트 손실: 0.058836 최선의 손실: 0.058836 정확도: 98.20% 2 검증 세트 손실: 0.057258 최선의 손실: 0.057258 정확도: 98.36% 3 검증 세트 손실: 0.050221 최선의 손실: 0.050221 정확도: 98.20% 4 검증 세트 손실: 0.050673 최선의 손실: 0.050221 정확도: 98.48% 5 검증 세트 손실: 0.052190 최선의 손실: 0.050221 정확도: 98.44% 6 검증 세트 손실: 0.059890 최선의 손실: 0.050221 정확도: 98.36% 7 검증 세트 손실: 0.066746 최선의 손실: 0.050221 정확도: 98.59% 8 검증 세트 손실: 0.066103 최선의 손실: 0.050221 정확도: 98.32% 9 검증 세트 손실: 0.061629 최선의 손실: 0.050221 정확도: 98.24% 10 검증 세트 손실: 0.056561 최선의 손실: 0.050221 정확도: 98.91% 11 검증 세트 손실: 0.058780 최선의 손실: 0.050221 정확도: 98.75% 12 검증 세트 손실: 0.053118 최선의 손실: 0.050221 정확도: 98.59% 13 검증 세트 손실: 0.061400 최선의 손실: 0.050221 정확도: 98.71% 14 검증 세트 손실: 0.055872 최선의 손실: 0.050221 정확도: 98.79% 15 검증 세트 손실: 0.063880 최선의 손실: 0.050221 정확도: 98.67% 16 검증 세트 손실: 0.057265 최선의 손실: 0.050221 정확도: 98.71% 17 검증 세트 손실: 0.073713 최선의 손실: 0.050221 정확도: 99.06% 18 검증 세트 손실: 0.059552 최선의 손실: 0.050221 정확도: 98.75% 19 검증 세트 손실: 0.051988 최선의 손실: 0.050221 정확도: 98.83% 20 검증 세트 손실: 0.052571 최선의 손실: 0.050221 정확도: 98.87% 21 검증 세트 손실: 0.048758 최선의 손실: 0.048758 정확도: 99.18% 22 검증 세트 손실: 0.063519 최선의 손실: 0.048758 정확도: 98.98% 23 검증 세트 손실: 0.059674 최선의 손실: 0.048758 정확도: 98.87% 24 검증 세트 손실: 0.048063 최선의 손실: 0.048063 정확도: 98.94% 25 검증 세트 손실: 0.049476 최선의 손실: 0.048063 정확도: 99.14% 26 검증 세트 손실: 0.041990 최선의 손실: 0.041990 정확도: 99.14% 27 검증 세트 손실: 0.051628 최선의 손실: 0.041990 정확도: 98.87% 28 검증 세트 손실: 0.070495 최선의 손실: 0.041990 정확도: 98.87% 29 검증 세트 손실: 0.061075 최선의 손실: 0.041990 정확도: 98.87% 30 검증 세트 손실: 0.068515 최선의 손실: 0.041990 정확도: 98.71% 31 검증 세트 손실: 0.093530 최선의 손실: 0.041990 정확도: 98.16% 32 검증 세트 손실: 0.056517 최선의 손실: 0.041990 정확도: 98.67% 33 검증 세트 손실: 0.047439 최선의 손실: 0.041990 정확도: 99.02% 34 검증 세트 손실: 0.063012 최선의 손실: 0.041990 정확도: 99.10% 35 검증 세트 손실: 0.069009 최선의 손실: 0.041990 정확도: 98.98% 36 검증 세트 손실: 0.085532 최선의 손실: 0.041990 정확도: 98.91% 37 검증 세트 손실: 0.079452 최선의 손실: 0.041990 정확도: 98.98% 38 검증 세트 손실: 0.061059 최선의 손실: 0.041990 정확도: 98.94% 39 검증 세트 손실: 0.069843 최선의 손실: 0.041990 정확도: 98.91% 40 검증 세트 손실: 0.072306 최선의 손실: 0.041990 정확도: 98.94% 41 검증 세트 손실: 0.504272 최선의 손실: 0.041990 정확도: 94.45% 42 검증 세트 손실: 1.387064 최선의 손실: 0.041990 정확도: 86.16% 43 검증 세트 손실: 0.111866 최선의 손실: 0.041990 정확도: 97.38% 44 검증 세트 손실: 0.182682 최선의 손실: 0.041990 정확도: 98.24% 45 검증 세트 손실: 0.306056 최선의 손실: 0.041990 정확도: 98.36% 46 검증 세트 손실: 0.065390 최선의 손실: 0.041990 정확도: 98.36% 47 검증 세트 손실: 0.062764 최선의 손실: 0.041990 정확도: 98.51% 조기 종료! [CV] n_neurons=120, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total= 11.0s [CV] n_neurons=120, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 0 검증 세트 손실: 0.100682 최선의 손실: 0.100682 정확도: 97.07% 1 검증 세트 손실: 0.067505 최선의 손실: 0.067505 정확도: 97.97% 2 검증 세트 손실: 0.058056 최선의 손실: 0.058056 정확도: 98.05% 3 검증 세트 손실: 0.059793 최선의 손실: 0.058056 정확도: 98.36% 4 검증 세트 손실: 0.062410 최선의 손실: 0.058056 정확도: 98.36% 5 검증 세트 손실: 0.044132 최선의 손실: 0.044132 정확도: 98.51% 6 검증 세트 손실: 0.050976 최선의 손실: 0.044132 정확도: 98.59% 7 검증 세트 손실: 0.051979 최선의 손실: 0.044132 정확도: 98.63% 8 검증 세트 손실: 0.043669 최선의 손실: 0.043669 정확도: 99.06% 9 검증 세트 손실: 0.064304 최선의 손실: 0.043669 정확도: 98.59% 10 검증 세트 손실: 0.062636 최선의 손실: 0.043669 정확도: 98.63% 11 검증 세트 손실: 0.058021 최선의 손실: 0.043669 정확도: 98.48% 12 검증 세트 손실: 0.069992 최선의 손실: 0.043669 정확도: 98.71% 13 검증 세트 손실: 0.060716 최선의 손실: 0.043669 정확도: 98.83% 14 검증 세트 손실: 0.070071 최선의 손실: 0.043669 정확도: 98.24% 15 검증 세트 손실: 0.076873 최선의 손실: 0.043669 정확도: 98.59% 16 검증 세트 손실: 0.089978 최선의 손실: 0.043669 정확도: 98.05% 17 검증 세트 손실: 0.074167 최선의 손실: 0.043669 정확도: 98.71% 18 검증 세트 손실: 0.081114 최선의 손실: 0.043669 정확도: 98.71% 19 검증 세트 손실: 0.054182 최선의 손실: 0.043669 정확도: 98.59% 20 검증 세트 손실: 0.078447 최선의 손실: 0.043669 정확도: 98.75% 21 검증 세트 손실: 0.064965 최선의 손실: 0.043669 정확도: 98.79% 22 검증 세트 손실: 0.075467 최선의 손실: 0.043669 정확도: 98.75% 23 검증 세트 손실: 0.071256 최선의 손실: 0.043669 정확도: 98.55% 24 검증 세트 손실: 0.057043 최선의 손실: 0.043669 정확도: 98.83% 25 검증 세트 손실: 0.074998 최선의 손실: 0.043669 정확도: 99.06% 26 검증 세트 손실: 0.087076 최선의 손실: 0.043669 정확도: 98.94% 27 검증 세트 손실: 0.079547 최선의 손실: 0.043669 정확도: 99.02% 28 검증 세트 손실: 0.083177 최선의 손실: 0.043669 정확도: 99.02% 29 검증 세트 손실: 0.085792 최선의 손실: 0.043669 정확도: 99.06% 조기 종료! [CV] n_neurons=120, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total= 7.1s [CV] n_neurons=120, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 0 검증 세트 손실: 0.103850 최선의 손실: 0.103850 정확도: 97.30% 1 검증 세트 손실: 0.067564 최선의 손실: 0.067564 정확도: 98.12% 2 검증 세트 손실: 0.060161 최선의 손실: 0.060161 정확도: 98.28% 3 검증 세트 손실: 0.064349 최선의 손실: 0.060161 정확도: 98.48% 4 검증 세트 손실: 0.055648 최선의 손실: 0.055648 정확도: 98.55% 5 검증 세트 손실: 0.059491 최선의 손실: 0.055648 정확도: 98.40% 6 검증 세트 손실: 0.049381 최선의 손실: 0.049381 정확도: 98.79% 7 검증 세트 손실: 0.066729 최선의 손실: 0.049381 정확도: 98.55% 8 검증 세트 손실: 0.072768 최선의 손실: 0.049381 정확도: 98.20% 9 검증 세트 손실: 0.040212 최선의 손실: 0.040212 정확도: 98.94% 10 검증 세트 손실: 0.057280 최선의 손실: 0.040212 정확도: 98.67% 11 검증 세트 손실: 0.054836 최선의 손실: 0.040212 정확도: 98.71% 12 검증 세트 손실: 0.063390 최선의 손실: 0.040212 정확도: 98.83% 13 검증 세트 손실: 0.051530 최선의 손실: 0.040212 정확도: 98.67% 14 검증 세트 손실: 0.075230 최선의 손실: 0.040212 정확도: 98.87% 15 검증 세트 손실: 0.062996 최선의 손실: 0.040212 정확도: 98.87% 16 검증 세트 손실: 0.056509 최선의 손실: 0.040212 정확도: 98.83% 17 검증 세트 손실: 0.065633 최선의 손실: 0.040212 정확도: 99.02% 18 검증 세트 손실: 0.052158 최선의 손실: 0.040212 정확도: 99.06% 19 검증 세트 손실: 0.081302 최선의 손실: 0.040212 정확도: 98.91% 20 검증 세트 손실: 0.081773 최선의 손실: 0.040212 정확도: 98.63% 21 검증 세트 손실: 0.087875 최선의 손실: 0.040212 정확도: 98.75% 22 검증 세트 손실: 0.066737 최선의 손실: 0.040212 정확도: 99.02% 23 검증 세트 손실: 0.078363 최선의 손실: 0.040212 정확도: 98.91% 24 검증 세트 손실: 0.070105 최선의 손실: 0.040212 정확도: 98.91% 25 검증 세트 손실: 0.060393 최선의 손실: 0.040212 정확도: 99.10% 26 검증 세트 손실: 0.060355 최선의 손실: 0.040212 정확도: 98.98% 27 검증 세트 손실: 0.071796 최선의 손실: 0.040212 정확도: 99.06% 28 검증 세트 손실: 0.080071 최선의 손실: 0.040212 정확도: 99.06% 29 검증 세트 손실: 0.055605 최선의 손실: 0.040212 정확도: 98.79% 30 검증 세트 손실: 0.061928 최선의 손실: 0.040212 정확도: 99.06% 조기 종료! [CV] n_neurons=120, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total= 7.3s [CV] n_neurons=90, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 0 검증 세트 손실: 0.125644 최선의 손실: 0.125644 정확도: 96.99% 1 검증 세트 손실: 0.061403 최선의 손실: 0.061403 정확도: 98.24% 2 검증 세트 손실: 0.066687 최선의 손실: 0.061403 정확도: 97.77% 3 검증 세트 손실: 0.054368 최선의 손실: 0.054368 정확도: 98.20% 4 검증 세트 손실: 0.054328 최선의 손실: 0.054328 정확도: 98.32% 5 검증 세트 손실: 0.067437 최선의 손실: 0.054328 정확도: 98.12% 6 검증 세트 손실: 0.036356 최선의 손실: 0.036356 정확도: 98.83% 7 검증 세트 손실: 0.057743 최선의 손실: 0.036356 정확도: 98.40% 8 검증 세트 손실: 0.046037 최선의 손실: 0.036356 정확도: 98.71% 9 검증 세트 손실: 0.045686 최선의 손실: 0.036356 정확도: 98.83% 10 검증 세트 손실: 0.044433 최선의 손실: 0.036356 정확도: 99.02% 11 검증 세트 손실: 0.046541 최선의 손실: 0.036356 정확도: 98.67% 12 검증 세트 손실: 0.062337 최선의 손실: 0.036356 정확도: 98.48% 13 검증 세트 손실: 0.065704 최선의 손실: 0.036356 정확도: 98.48% 14 검증 세트 손실: 0.056532 최선의 손실: 0.036356 정확도: 98.59% 15 검증 세트 손실: 0.057653 최선의 손실: 0.036356 정확도: 98.94% 16 검증 세트 손실: 0.036613 최선의 손실: 0.036356 정확도: 99.10% 17 검증 세트 손실: 0.050595 최선의 손실: 0.036356 정확도: 98.94% 18 검증 세트 손실: 0.060675 최선의 손실: 0.036356 정확도: 98.71% 19 검증 세트 손실: 0.052941 최선의 손실: 0.036356 정확도: 98.83% 20 검증 세트 손실: 0.045952 최선의 손실: 0.036356 정확도: 99.10% 21 검증 세트 손실: 0.083539 최선의 손실: 0.036356 정확도: 98.36% 22 검증 세트 손실: 0.087613 최선의 손실: 0.036356 정확도: 98.67% 23 검증 세트 손실: 0.054027 최선의 손실: 0.036356 정확도: 98.91% 24 검증 세트 손실: 0.044101 최선의 손실: 0.036356 정확도: 99.10% 25 검증 세트 손실: 0.071613 최선의 손실: 0.036356 정확도: 98.79% 26 검증 세트 손실: 0.054607 최선의 손실: 0.036356 정확도: 98.94% 27 검증 세트 손실: 0.061004 최선의 손실: 0.036356 정확도: 99.26% 조기 종료! [CV] n_neurons=90, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total= 5.5s [CV] n_neurons=90, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 0 검증 세트 손실: 0.086824 최선의 손실: 0.086824 정확도: 97.42% 1 검증 세트 손실: 0.062758 최선의 손실: 0.062758 정확도: 98.01% 2 검증 세트 손실: 0.054979 최선의 손실: 0.054979 정확도: 98.16% 3 검증 세트 손실: 0.050562 최선의 손실: 0.050562 정확도: 98.40% 4 검증 세트 손실: 0.049423 최선의 손실: 0.049423 정확도: 98.40% 5 검증 세트 손실: 0.060881 최선의 손실: 0.049423 정확도: 98.24% 6 검증 세트 손실: 0.042328 최선의 손실: 0.042328 정확도: 98.59% 7 검증 세트 손실: 0.093644 최선의 손실: 0.042328 정확도: 97.54% 8 검증 세트 손실: 0.041667 최선의 손실: 0.041667 정확도: 98.94% 9 검증 세트 손실: 0.064672 최선의 손실: 0.041667 정확도: 98.67% 10 검증 세트 손실: 0.039939 최선의 손실: 0.039939 정확도: 98.79% 11 검증 세트 손실: 0.038714 최선의 손실: 0.038714 정확도: 98.71% 12 검증 세트 손실: 0.048340 최선의 손실: 0.038714 정확도: 98.71% 13 검증 세트 손실: 0.048865 최선의 손실: 0.038714 정확도: 98.63% 14 검증 세트 손실: 0.050127 최선의 손실: 0.038714 정확도: 98.91% 15 검증 세트 손실: 0.076632 최선의 손실: 0.038714 정확도: 98.79% 16 검증 세트 손실: 0.059312 최선의 손실: 0.038714 정확도: 98.63% 17 검증 세트 손실: 0.052989 최선의 손실: 0.038714 정확도: 98.87% 18 검증 세트 손실: 0.050553 최선의 손실: 0.038714 정확도: 99.06% 19 검증 세트 손실: 0.068197 최선의 손실: 0.038714 정확도: 98.87% 20 검증 세트 손실: 0.060219 최선의 손실: 0.038714 정확도: 98.83% 21 검증 세트 손실: 0.106053 최선의 손실: 0.038714 정확도: 97.77% 22 검증 세트 손실: 0.077954 최선의 손실: 0.038714 정확도: 98.55% 23 검증 세트 손실: 0.064427 최선의 손실: 0.038714 정확도: 98.59% 24 검증 세트 손실: 0.067822 최선의 손실: 0.038714 정확도: 98.79% 25 검증 세트 손실: 0.085932 최선의 손실: 0.038714 정확도: 98.83% 26 검증 세트 손실: 0.097478 최선의 손실: 0.038714 정확도: 98.36% 27 검증 세트 손실: 0.074513 최선의 손실: 0.038714 정확도: 98.67% 28 검증 세트 손실: 0.063021 최선의 손실: 0.038714 정확도: 98.94% 29 검증 세트 손실: 0.064320 최선의 손실: 0.038714 정확도: 98.83% 30 검증 세트 손실: 0.065725 최선의 손실: 0.038714 정확도: 98.79% 31 검증 세트 손실: 0.079540 최선의 손실: 0.038714 정확도: 98.94% 32 검증 세트 손실: 0.056984 최선의 손실: 0.038714 정확도: 98.94% 조기 종료! [CV] n_neurons=90, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total= 6.4s [CV] n_neurons=90, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 0 검증 세트 손실: 0.093045 최선의 손실: 0.093045 정확도: 97.42% 1 검증 세트 손실: 0.062446 최선의 손실: 0.062446 정확도: 98.32% 2 검증 세트 손실: 0.053794 최선의 손실: 0.053794 정확도: 98.51% 3 검증 세트 손실: 0.052708 최선의 손실: 0.052708 정확도: 98.51% 4 검증 세트 손실: 0.045225 최선의 손실: 0.045225 정확도: 98.55% 5 검증 세트 손실: 0.059690 최선의 손실: 0.045225 정확도: 98.20% 6 검증 세트 손실: 0.061587 최선의 손실: 0.045225 정확도: 98.40% 7 검증 세트 손실: 0.062032 최선의 손실: 0.045225 정확도: 98.36% 8 검증 세트 손실: 0.064090 최선의 손실: 0.045225 정확도: 98.36% 9 검증 세트 손실: 0.060882 최선의 손실: 0.045225 정확도: 98.48% 10 검증 세트 손실: 0.058720 최선의 손실: 0.045225 정확도: 98.63% 11 검증 세트 손실: 0.048569 최선의 손실: 0.045225 정확도: 98.79% 12 검증 세트 손실: 0.052376 최선의 손실: 0.045225 정확도: 98.44% 13 검증 세트 손실: 0.049417 최선의 손실: 0.045225 정확도: 98.67% 14 검증 세트 손실: 0.059069 최선의 손실: 0.045225 정확도: 98.59% 15 검증 세트 손실: 0.077342 최선의 손실: 0.045225 정확도: 98.79% 16 검증 세트 손실: 0.065368 최선의 손실: 0.045225 정확도: 98.59% 17 검증 세트 손실: 0.055816 최선의 손실: 0.045225 정확도: 98.63% 18 검증 세트 손실: 0.054167 최선의 손실: 0.045225 정확도: 98.63% 19 검증 세트 손실: 0.058868 최선의 손실: 0.045225 정확도: 98.55% 20 검증 세트 손실: 0.055102 최선의 손실: 0.045225 정확도: 99.02% 21 검증 세트 손실: 0.067657 최선의 손실: 0.045225 정확도: 98.51% 22 검증 세트 손실: 0.057822 최선의 손실: 0.045225 정확도: 98.75% 23 검증 세트 손실: 0.084302 최선의 손실: 0.045225 정확도: 98.48% 24 검증 세트 손실: 0.066277 최선의 손실: 0.045225 정확도: 98.87% 25 검증 세트 손실: 0.077925 최선의 손실: 0.045225 정확도: 98.79% 조기 종료! [CV] n_neurons=90, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total= 5.2s [CV] n_neurons=140, learning_rate=0.01, batch_size=500, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.131316 최선의 손실: 0.131316 정확도: 95.70% 1 검증 세트 손실: 0.076757 최선의 손실: 0.076757 정확도: 97.58% 2 검증 세트 손실: 0.071406 최선의 손실: 0.071406 정확도: 97.69% 3 검증 세트 손실: 0.085052 최선의 손실: 0.071406 정확도: 97.50% 4 검증 세트 손실: 0.065436 최선의 손실: 0.065436 정확도: 97.89% 5 검증 세트 손실: 0.070239 최선의 손실: 0.065436 정확도: 98.16% 6 검증 세트 손실: 0.058229 최선의 손실: 0.058229 정확도: 98.40% 7 검증 세트 손실: 0.043609 최선의 손실: 0.043609 정확도: 98.67% 8 검증 세트 손실: 0.047669 최선의 손실: 0.043609 정확도: 98.63% 9 검증 세트 손실: 0.050014 최선의 손실: 0.043609 정확도: 98.75% 10 검증 세트 손실: 0.045471 최선의 손실: 0.043609 정확도: 98.94% 11 검증 세트 손실: 0.064411 최선의 손실: 0.043609 정확도: 98.51% 12 검증 세트 손실: 0.053780 최선의 손실: 0.043609 정확도: 98.59% 13 검증 세트 손실: 0.048436 최선의 손실: 0.043609 정확도: 98.83% 14 검증 세트 손실: 0.052409 최선의 손실: 0.043609 정확도: 98.98% 15 검증 세트 손실: 0.057364 최선의 손실: 0.043609 정확도: 98.98% 16 검증 세트 손실: 0.056954 최선의 손실: 0.043609 정확도: 99.06% 17 검증 세트 손실: 0.063567 최선의 손실: 0.043609 정확도: 98.75% 18 검증 세트 손실: 0.060083 최선의 손실: 0.043609 정확도: 98.79% 19 검증 세트 손실: 0.086818 최선의 손실: 0.043609 정확도: 98.44% 20 검증 세트 손실: 0.103629 최선의 손실: 0.043609 정확도: 97.81% 21 검증 세트 손실: 0.061445 최선의 손실: 0.043609 정확도: 98.67% 22 검증 세트 손실: 0.066770 최선의 손실: 0.043609 정확도: 98.87% 23 검증 세트 손실: 0.088259 최선의 손실: 0.043609 정확도: 98.48% 24 검증 세트 손실: 0.070522 최선의 손실: 0.043609 정확도: 98.55% 25 검증 세트 손실: 0.053639 최선의 손실: 0.043609 정확도: 98.94% 26 검증 세트 손실: 0.055513 최선의 손실: 0.043609 정확도: 99.10% 27 검증 세트 손실: 0.066452 최선의 손실: 0.043609 정확도: 98.94% 28 검증 세트 손실: 0.067137 최선의 손실: 0.043609 정확도: 98.91% 조기 종료! [CV] n_neurons=140, learning_rate=0.01, batch_size=500, activation=<function elu at 0x7f8ec4ceef28>, total= 7.4s [CV] n_neurons=140, learning_rate=0.01, batch_size=500, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.123218 최선의 손실: 0.123218 정확도: 95.93% 1 검증 세트 손실: 0.083363 최선의 손실: 0.083363 정확도: 97.30% 2 검증 세트 손실: 0.065928 최선의 손실: 0.065928 정확도: 97.77% 3 검증 세트 손실: 0.059005 최선의 손실: 0.059005 정확도: 97.89% 4 검증 세트 손실: 0.071271 최선의 손실: 0.059005 정확도: 97.58% 5 검증 세트 손실: 0.065771 최선의 손실: 0.059005 정확도: 97.93% 6 검증 세트 손실: 0.048410 최선의 손실: 0.048410 정확도: 98.51% 7 검증 세트 손실: 0.057414 최선의 손실: 0.048410 정확도: 98.28% 8 검증 세트 손실: 0.052810 최선의 손실: 0.048410 정확도: 98.44% 9 검증 세트 손실: 0.054508 최선의 손실: 0.048410 정확도: 98.67% 10 검증 세트 손실: 0.055793 최선의 손실: 0.048410 정확도: 98.44% 11 검증 세트 손실: 0.058459 최선의 손실: 0.048410 정확도: 98.51% 12 검증 세트 손실: 0.069417 최선의 손실: 0.048410 정확도: 98.55% 13 검증 세트 손실: 0.047549 최선의 손실: 0.047549 정확도: 98.79% 14 검증 세트 손실: 0.097031 최선의 손실: 0.047549 정확도: 98.12% 15 검증 세트 손실: 0.071348 최선의 손실: 0.047549 정확도: 98.75% 16 검증 세트 손실: 0.057430 최선의 손실: 0.047549 정확도: 98.75% 17 검증 세트 손실: 0.065822 최선의 손실: 0.047549 정확도: 98.87% 18 검증 세트 손실: 0.060730 최선의 손실: 0.047549 정확도: 98.71% 19 검증 세트 손실: 0.082107 최선의 손실: 0.047549 정확도: 98.63% 20 검증 세트 손실: 0.074310 최선의 손실: 0.047549 정확도: 98.55% 21 검증 세트 손실: 0.074472 최선의 손실: 0.047549 정확도: 98.32% 22 검증 세트 손실: 0.080340 최선의 손실: 0.047549 정확도: 98.71% 23 검증 세트 손실: 0.069632 최선의 손실: 0.047549 정확도: 98.28% 24 검증 세트 손실: 0.070948 최선의 손실: 0.047549 정확도: 98.91% 25 검증 세트 손실: 0.064276 최선의 손실: 0.047549 정확도: 98.71% 26 검증 세트 손실: 0.099554 최선의 손실: 0.047549 정확도: 98.40% 27 검증 세트 손실: 0.064798 최선의 손실: 0.047549 정확도: 98.91% 28 검증 세트 손실: 0.074022 최선의 손실: 0.047549 정확도: 98.94% 29 검증 세트 손실: 0.072556 최선의 손실: 0.047549 정확도: 98.91% 30 검증 세트 손실: 0.084082 최선의 손실: 0.047549 정확도: 98.59% 31 검증 세트 손실: 0.082196 최선의 손실: 0.047549 정확도: 98.79% 32 검증 세트 손실: 0.068429 최선의 손실: 0.047549 정확도: 98.91% 33 검증 세트 손실: 0.060926 최선의 손실: 0.047549 정확도: 98.87% 34 검증 세트 손실: 0.059046 최선의 손실: 0.047549 정확도: 98.98% 조기 종료! [CV] n_neurons=140, learning_rate=0.01, batch_size=500, activation=<function elu at 0x7f8ec4ceef28>, total= 8.8s [CV] n_neurons=140, learning_rate=0.01, batch_size=500, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.108754 최선의 손실: 0.108754 정확도: 96.68% 1 검증 세트 손실: 0.076621 최선의 손실: 0.076621 정확도: 97.54% 2 검증 세트 손실: 0.066869 최선의 손실: 0.066869 정확도: 98.08% 3 검증 세트 손실: 0.059805 최선의 손실: 0.059805 정확도: 98.20% 4 검증 세트 손실: 0.050830 최선의 손실: 0.050830 정확도: 98.36% 5 검증 세트 손실: 0.050915 최선의 손실: 0.050830 정확도: 98.32% 6 검증 세트 손실: 0.054090 최선의 손실: 0.050830 정확도: 98.44% 7 검증 세트 손실: 0.041230 최선의 손실: 0.041230 정확도: 98.71% 8 검증 세트 손실: 0.049005 최선의 손실: 0.041230 정확도: 98.51% 9 검증 세트 손실: 0.056138 최선의 손실: 0.041230 정확도: 98.79% 10 검증 세트 손실: 0.073905 최선의 손실: 0.041230 정확도: 98.28% 11 검증 세트 손실: 0.062808 최선의 손실: 0.041230 정확도: 98.63% 12 검증 세트 손실: 0.087869 최선의 손실: 0.041230 정확도: 98.01% 13 검증 세트 손실: 0.061957 최선의 손실: 0.041230 정확도: 98.67% 14 검증 세트 손실: 0.062072 최선의 손실: 0.041230 정확도: 98.75% 15 검증 세트 손실: 0.056108 최선의 손실: 0.041230 정확도: 98.98% 16 검증 세트 손실: 0.070555 최선의 손실: 0.041230 정확도: 98.55% 17 검증 세트 손실: 0.076794 최선의 손실: 0.041230 정확도: 98.40% 18 검증 세트 손실: 0.059209 최선의 손실: 0.041230 정확도: 98.71% 19 검증 세트 손실: 0.067047 최선의 손실: 0.041230 정확도: 98.67% 20 검증 세트 손실: 0.063466 최선의 손실: 0.041230 정확도: 98.75% 21 검증 세트 손실: 0.073017 최선의 손실: 0.041230 정확도: 98.63% 22 검증 세트 손실: 0.081922 최선의 손실: 0.041230 정확도: 98.44% 23 검증 세트 손실: 0.091177 최선의 손실: 0.041230 정확도: 98.67% 24 검증 세트 손실: 0.058785 최선의 손실: 0.041230 정확도: 98.79% 25 검증 세트 손실: 0.063682 최선의 손실: 0.041230 정확도: 98.87% 26 검증 세트 손실: 0.087580 최선의 손실: 0.041230 정확도: 98.44% 27 검증 세트 손실: 0.069776 최선의 손실: 0.041230 정확도: 98.79% 28 검증 세트 손실: 0.073279 최선의 손실: 0.041230 정확도: 98.75% 조기 종료! [CV] n_neurons=140, learning_rate=0.01, batch_size=500, activation=<function elu at 0x7f8ec4ceef28>, total= 7.3s [CV] n_neurons=50, learning_rate=0.1, batch_size=10, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 1.680824 최선의 손실: 1.680824 정확도: 19.27% 1 검증 세트 손실: 1.621809 최선의 손실: 1.621809 정확도: 19.27% 2 검증 세트 손실: 1.619829 최선의 손실: 1.619829 정확도: 19.27% 3 검증 세트 손실: 1.616521 최선의 손실: 1.616521 정확도: 19.27% 4 검증 세트 손실: 1.654961 최선의 손실: 1.616521 정확도: 22.01% 5 검증 세트 손실: 1.621475 최선의 손실: 1.616521 정확도: 22.01% 6 검증 세트 손실: 1.632695 최선의 손실: 1.616521 정확도: 19.27% 7 검증 세트 손실: 1.614866 최선의 손실: 1.614866 정확도: 19.27% 8 검증 세트 손실: 1.642610 최선의 손실: 1.614866 정확도: 19.27% 9 검증 세트 손실: 1.639823 최선의 손실: 1.614866 정확도: 19.27% 10 검증 세트 손실: 1.615378 최선의 손실: 1.614866 정확도: 22.01% 11 검증 세트 손실: 1.630569 최선의 손실: 1.614866 정확도: 22.01% 12 검증 세트 손실: 1.636738 최선의 손실: 1.614866 정확도: 19.08% 13 검증 세트 손실: 1.613106 최선의 손실: 1.613106 정확도: 19.27% 14 검증 세트 손실: 1.629267 최선의 손실: 1.613106 정확도: 19.08% 15 검증 세트 손실: 1.617142 최선의 손실: 1.613106 정확도: 22.01% 16 검증 세트 손실: 1.626923 최선의 손실: 1.613106 정확도: 18.73% 17 검증 세트 손실: 1.608595 최선의 손실: 1.608595 정확도: 22.01% 18 검증 세트 손실: 1.624731 최선의 손실: 1.608595 정확도: 19.27% 19 검증 세트 손실: 1.624030 최선의 손실: 1.608595 정확도: 20.91% 20 검증 세트 손실: 1.615448 최선의 손실: 1.608595 정확도: 19.27% 21 검증 세트 손실: 1.629645 최선의 손실: 1.608595 정확도: 19.27% 22 검증 세트 손실: 1.619089 최선의 손실: 1.608595 정확도: 19.27% 23 검증 세트 손실: 1.621075 최선의 손실: 1.608595 정확도: 22.01% 24 검증 세트 손실: 1.633985 최선의 손실: 1.608595 정확도: 22.01% 25 검증 세트 손실: 1.647179 최선의 손실: 1.608595 정확도: 22.01% 26 검증 세트 손실: 1.614125 최선의 손실: 1.608595 정확도: 19.08% 27 검증 세트 손실: 1.638547 최선의 손실: 1.608595 정확도: 19.27% 28 검증 세트 손실: 1.656266 최선의 손실: 1.608595 정확도: 22.01% 29 검증 세트 손실: 1.617742 최선의 손실: 1.608595 정확도: 18.73% 30 검증 세트 손실: 1.641872 최선의 손실: 1.608595 정확도: 19.27% 31 검증 세트 손실: 1.631484 최선의 손실: 1.608595 정확도: 18.73% 32 검증 세트 손실: 1.641180 최선의 손실: 1.608595 정확도: 18.73% 33 검증 세트 손실: 1.647449 최선의 손실: 1.608595 정확도: 19.08% 34 검증 세트 손실: 1.610285 최선의 손실: 1.608595 정확도: 22.01% 35 검증 세트 손실: 1.624693 최선의 손실: 1.608595 정확도: 19.08% 36 검증 세트 손실: 1.630855 최선의 손실: 1.608595 정확도: 18.73% 37 검증 세트 손실: 1.632279 최선의 손실: 1.608595 정확도: 18.73% 38 검증 세트 손실: 1.631024 최선의 손실: 1.608595 정확도: 22.01% 조기 종료! [CV] n_neurons=50, learning_rate=0.1, batch_size=10, activation=<function relu at 0x7f8ec4c8c510>, total= 34.0s [CV] n_neurons=50, learning_rate=0.1, batch_size=10, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 1.631946 최선의 손실: 1.631946 정확도: 22.01% 1 검증 세트 손실: 1.644833 최선의 손실: 1.631946 정확도: 19.08% 2 검증 세트 손실: 1.611661 최선의 손실: 1.611661 정확도: 22.01% 3 검증 세트 손실: 1.614182 최선의 손실: 1.611661 정확도: 22.01% 4 검증 세트 손실: 1.617815 최선의 손실: 1.611661 정확도: 22.01% 5 검증 세트 손실: 1.624095 최선의 손실: 1.611661 정확도: 22.01% 6 검증 세트 손실: 1.635101 최선의 손실: 1.611661 정확도: 19.27% 7 검증 세트 손실: 1.630914 최선의 손실: 1.611661 정확도: 18.73% 8 검증 세트 손실: 1.639863 최선의 손실: 1.611661 정확도: 22.01% 9 검증 세트 손실: 1.611894 최선의 손실: 1.611661 정확도: 20.91% 10 검증 세트 손실: 1.613292 최선의 손실: 1.611661 정확도: 22.01% 11 검증 세트 손실: 1.614465 최선의 손실: 1.611661 정확도: 22.01% 12 검증 세트 손실: 1.615519 최선의 손실: 1.611661 정확도: 20.91% 13 검증 세트 손실: 1.609593 최선의 손실: 1.609593 정확도: 22.01% 14 검증 세트 손실: 1.628134 최선의 손실: 1.609593 정확도: 22.01% 15 검증 세트 손실: 1.613723 최선의 손실: 1.609593 정확도: 19.08% 16 검증 세트 손실: 1.621646 최선의 손실: 1.609593 정확도: 22.01% 17 검증 세트 손실: 1.612428 최선의 손실: 1.609593 정확도: 19.08% 18 검증 세트 손실: 1.622170 최선의 손실: 1.609593 정확도: 22.01% 19 검증 세트 손실: 1.611825 최선의 손실: 1.609593 정확도: 22.01% 20 검증 세트 손실: 1.612158 최선의 손실: 1.609593 정확도: 20.91% 21 검증 세트 손실: 1.657981 최선의 손실: 1.609593 정확도: 22.01% 22 검증 세트 손실: 1.643383 최선의 손실: 1.609593 정확도: 19.27% 23 검증 세트 손실: 1.647554 최선의 손실: 1.609593 정확도: 22.01% 24 검증 세트 손실: 1.652203 최선의 손실: 1.609593 정확도: 18.73% 25 검증 세트 손실: 1.610976 최선의 손실: 1.609593 정확도: 20.91% 26 검증 세트 손실: 1.614098 최선의 손실: 1.609593 정확도: 20.91% 27 검증 세트 손실: 1.614371 최선의 손실: 1.609593 정확도: 20.91% 28 검증 세트 손실: 1.642984 최선의 손실: 1.609593 정확도: 19.08% 29 검증 세트 손실: 1.614041 최선의 손실: 1.609593 정확도: 19.08% 30 검증 세트 손실: 1.609285 최선의 손실: 1.609285 정확도: 22.01% 31 검증 세트 손실: 1.634894 최선의 손실: 1.609285 정확도: 18.73% 32 검증 세트 손실: 1.614006 최선의 손실: 1.609285 정확도: 19.08% 33 검증 세트 손실: 1.619314 최선의 손실: 1.609285 정확도: 19.08% 34 검증 세트 손실: 1.611677 최선의 손실: 1.609285 정확도: 22.01% 35 검증 세트 손실: 1.638075 최선의 손실: 1.609285 정확도: 20.91% 36 검증 세트 손실: 1.621402 최선의 손실: 1.609285 정확도: 22.01% 37 검증 세트 손실: 1.617570 최선의 손실: 1.609285 정확도: 22.01% 38 검증 세트 손실: 1.620770 최선의 손실: 1.609285 정확도: 20.91% 39 검증 세트 손실: 1.627340 최선의 손실: 1.609285 정확도: 19.27% 40 검증 세트 손실: 1.607887 최선의 손실: 1.607887 정확도: 22.01% 41 검증 세트 손실: 1.634036 최선의 손실: 1.607887 정확도: 22.01% 42 검증 세트 손실: 1.618335 최선의 손실: 1.607887 정확도: 20.91% 43 검증 세트 손실: 1.618744 최선의 손실: 1.607887 정확도: 22.01% 44 검증 세트 손실: 1.621667 최선의 손실: 1.607887 정확도: 19.08% 45 검증 세트 손실: 1.629387 최선의 손실: 1.607887 정확도: 22.01% 46 검증 세트 손실: 1.637660 최선의 손실: 1.607887 정확도: 18.73% 47 검증 세트 손실: 1.609609 최선의 손실: 1.607887 정확도: 22.01% 48 검증 세트 손실: 1.612161 최선의 손실: 1.607887 정확도: 22.01% 49 검증 세트 손실: 1.643130 최선의 손실: 1.607887 정확도: 19.27% 50 검증 세트 손실: 1.611989 최선의 손실: 1.607887 정확도: 22.01% 51 검증 세트 손실: 1.619973 최선의 손실: 1.607887 정확도: 19.08% 52 검증 세트 손실: 1.627019 최선의 손실: 1.607887 정확도: 19.08% 53 검증 세트 손실: 1.618522 최선의 손실: 1.607887 정확도: 22.01% 54 검증 세트 손실: 1.654810 최선의 손실: 1.607887 정확도: 18.73% 55 검증 세트 손실: 1.645115 최선의 손실: 1.607887 정확도: 18.73% 56 검증 세트 손실: 1.669473 최선의 손실: 1.607887 정확도: 19.08% 57 검증 세트 손실: 1.619665 최선의 손실: 1.607887 정확도: 18.73% 58 검증 세트 손실: 1.612547 최선의 손실: 1.607887 정확도: 22.01% 59 검증 세트 손실: 1.619512 최선의 손실: 1.607887 정확도: 22.01% 60 검증 세트 손실: 1.635963 최선의 손실: 1.607887 정확도: 18.73% 61 검증 세트 손실: 1.627398 최선의 손실: 1.607887 정확도: 22.01% 조기 종료! [CV] n_neurons=50, learning_rate=0.1, batch_size=10, activation=<function relu at 0x7f8ec4c8c510>, total= 54.1s [CV] n_neurons=50, learning_rate=0.1, batch_size=10, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 1.644702 최선의 손실: 1.644702 정확도: 19.27% 1 검증 세트 손실: 1.624352 최선의 손실: 1.624352 정확도: 19.27% 2 검증 세트 손실: 1.614131 최선의 손실: 1.614131 정확도: 19.27% 3 검증 세트 손실: 1.616998 최선의 손실: 1.614131 정확도: 19.27% 4 검증 세트 손실: 1.614502 최선의 손실: 1.614131 정확도: 22.01% 5 검증 세트 손실: 1.627699 최선의 손실: 1.614131 정확도: 22.01% 6 검증 세트 손실: 1.648675 최선의 손실: 1.614131 정확도: 19.27% 7 검증 세트 손실: 1.627600 최선의 손실: 1.614131 정확도: 18.73% 8 검증 세트 손실: 1.625684 최선의 손실: 1.614131 정확도: 22.01% 9 검증 세트 손실: 1.615554 최선의 손실: 1.614131 정확도: 20.91% 10 검증 세트 손실: 1.619121 최선의 손실: 1.614131 정확도: 22.01% 11 검증 세트 손실: 1.639597 최선의 손실: 1.614131 정확도: 22.01% 12 검증 세트 손실: 1.627611 최선의 손실: 1.614131 정확도: 19.08% 13 검증 세트 손실: 1.615012 최선의 손실: 1.614131 정확도: 19.08% 14 검증 세트 손실: 1.624332 최선의 손실: 1.614131 정확도: 19.08% 15 검증 세트 손실: 1.612443 최선의 손실: 1.612443 정확도: 22.01% 16 검증 세트 손실: 1.627838 최선의 손실: 1.612443 정확도: 22.01% 17 검증 세트 손실: 1.613231 최선의 손실: 1.612443 정확도: 18.73% 18 검증 세트 손실: 1.615750 최선의 손실: 1.612443 정확도: 22.01% 19 검증 세트 손실: 1.619094 최선의 손실: 1.612443 정확도: 22.01% 20 검증 세트 손실: 1.609112 최선의 손실: 1.609112 정확도: 22.01% 21 검증 세트 손실: 1.689015 최선의 손실: 1.609112 정확도: 22.01% 22 검증 세트 손실: 1.618887 최선의 손실: 1.609112 정확도: 18.73% 23 검증 세트 손실: 1.638923 최선의 손실: 1.609112 정확도: 22.01% 24 검증 세트 손실: 1.660611 최선의 손실: 1.609112 정확도: 20.91% 25 검증 세트 손실: 1.619327 최선의 손실: 1.609112 정확도: 19.27% 26 검증 세트 손실: 1.611328 최선의 손실: 1.609112 정확도: 22.01% 27 검증 세트 손실: 1.614297 최선의 손실: 1.609112 정확도: 20.91% 28 검증 세트 손실: 1.628115 최선의 손실: 1.609112 정확도: 19.08% 29 검증 세트 손실: 1.610351 최선의 손실: 1.609112 정확도: 20.91% 30 검증 세트 손실: 1.626940 최선의 손실: 1.609112 정확도: 20.91% 31 검증 세트 손실: 1.633271 최선의 손실: 1.609112 정확도: 18.73% 32 검증 세트 손실: 1.609059 최선의 손실: 1.609059 정확도: 22.01% 33 검증 세트 손실: 1.610649 최선의 손실: 1.609059 정확도: 19.08% 34 검증 세트 손실: 1.616985 최선의 손실: 1.609059 정확도: 22.01% 35 검증 세트 손실: 1.627558 최선의 손실: 1.609059 정확도: 19.27% 36 검증 세트 손실: 1.609164 최선의 손실: 1.609059 정확도: 20.91% 37 검증 세트 손실: 1.626446 최선의 손실: 1.609059 정확도: 19.27% 38 검증 세트 손실: 1.614501 최선의 손실: 1.609059 정확도: 22.01% 39 검증 세트 손실: 1.617748 최선의 손실: 1.609059 정확도: 19.27% 40 검증 세트 손실: 1.623124 최선의 손실: 1.609059 정확도: 22.01% 41 검증 세트 손실: 1.615785 최선의 손실: 1.609059 정확도: 19.27% 42 검증 세트 손실: 1.617481 최선의 손실: 1.609059 정확도: 19.27% 43 검증 세트 손실: 1.617776 최선의 손실: 1.609059 정확도: 19.08% 44 검증 세트 손실: 1.626857 최선의 손실: 1.609059 정확도: 22.01% 45 검증 세트 손실: 1.613782 최선의 손실: 1.609059 정확도: 22.01% 46 검증 세트 손실: 1.618688 최선의 손실: 1.609059 정확도: 22.01% 47 검증 세트 손실: 1.610628 최선의 손실: 1.609059 정확도: 22.01% 48 검증 세트 손실: 1.614394 최선의 손실: 1.609059 정확도: 18.73% 49 검증 세트 손실: 1.612177 최선의 손실: 1.609059 정확도: 19.27% 50 검증 세트 손실: 1.623884 최선의 손실: 1.609059 정확도: 19.27% 51 검증 세트 손실: 1.616774 최선의 손실: 1.609059 정확도: 22.01% 52 검증 세트 손실: 1.620593 최선의 손실: 1.609059 정확도: 18.73% 53 검증 세트 손실: 1.617683 최선의 손실: 1.609059 정확도: 22.01% 조기 종료! [CV] n_neurons=50, learning_rate=0.1, batch_size=10, activation=<function relu at 0x7f8ec4c8c510>, total= 47.0s [CV] n_neurons=30, learning_rate=0.02, batch_size=100, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.078571 최선의 손실: 0.078571 정확도: 97.73% 1 검증 세트 손실: 0.086604 최선의 손실: 0.078571 정확도: 97.77% 2 검증 세트 손실: 0.062715 최선의 손실: 0.062715 정확도: 98.48% 3 검증 세트 손실: 0.073588 최선의 손실: 0.062715 정확도: 98.16% 4 검증 세트 손실: 0.099684 최선의 손실: 0.062715 정확도: 97.50% 5 검증 세트 손실: 0.080363 최선의 손실: 0.062715 정확도: 98.28% 6 검증 세트 손실: 0.078911 최선의 손실: 0.062715 정확도: 98.20% 7 검증 세트 손실: 0.075540 최선의 손실: 0.062715 정확도: 98.32% 8 검증 세트 손실: 0.106845 최선의 손실: 0.062715 정확도: 96.99% 9 검증 세트 손실: 0.089732 최선의 손실: 0.062715 정확도: 97.69% 10 검증 세트 손실: 0.081916 최선의 손실: 0.062715 정확도: 98.05% 11 검증 세트 손실: 0.134452 최선의 손실: 0.062715 정확도: 97.34% 12 검증 세트 손실: 0.080808 최선의 손실: 0.062715 정확도: 98.20% 13 검증 세트 손실: 0.090285 최선의 손실: 0.062715 정확도: 97.89% 14 검증 세트 손실: 0.098188 최선의 손실: 0.062715 정확도: 98.01% 15 검증 세트 손실: 0.066659 최선의 손실: 0.062715 정확도: 98.59% 16 검증 세트 손실: 0.098462 최선의 손실: 0.062715 정확도: 98.01% 17 검증 세트 손실: 0.093574 최선의 손실: 0.062715 정확도: 98.05% 18 검증 세트 손실: 0.222328 최선의 손실: 0.062715 정확도: 97.54% 19 검증 세트 손실: 0.098380 최선의 손실: 0.062715 정확도: 97.26% 20 검증 세트 손실: 0.112617 최선의 손실: 0.062715 정확도: 97.69% 21 검증 세트 손실: 0.113867 최선의 손실: 0.062715 정확도: 96.91% 22 검증 세트 손실: 0.080042 최선의 손실: 0.062715 정확도: 98.08% 23 검증 세트 손실: 0.117727 최선의 손실: 0.062715 정확도: 97.03% 조기 종료! [CV] n_neurons=30, learning_rate=0.02, batch_size=100, activation=<function relu at 0x7f8ec4c8c510>, total= 3.8s [CV] n_neurons=30, learning_rate=0.02, batch_size=100, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.129494 최선의 손실: 0.129494 정확도: 96.33% 1 검증 세트 손실: 0.119551 최선의 손실: 0.119551 정확도: 97.11% 2 검증 세트 손실: 0.086351 최선의 손실: 0.086351 정확도: 97.30% 3 검증 세트 손실: 0.080640 최선의 손실: 0.080640 정확도: 97.85% 4 검증 세트 손실: 0.093407 최선의 손실: 0.080640 정확도: 97.50% 5 검증 세트 손실: 0.101226 최선의 손실: 0.080640 정확도: 97.11% 6 검증 세트 손실: 0.140311 최선의 손실: 0.080640 정확도: 96.95% 7 검증 세트 손실: 0.076011 최선의 손실: 0.076011 정확도: 97.97% 8 검증 세트 손실: 0.139178 최선의 손실: 0.076011 정확도: 97.73% 9 검증 세트 손실: 0.074389 최선의 손실: 0.074389 정확도: 98.05% 10 검증 세트 손실: 0.084281 최선의 손실: 0.074389 정확도: 98.20% 11 검증 세트 손실: 0.164974 최선의 손실: 0.074389 정확도: 98.28% 12 검증 세트 손실: 0.071322 최선의 손실: 0.071322 정확도: 98.12% 13 검증 세트 손실: 0.087620 최선의 손실: 0.071322 정확도: 98.16% 14 검증 세트 손실: 0.090056 최선의 손실: 0.071322 정확도: 98.08% 15 검증 세트 손실: 0.066347 최선의 손실: 0.066347 정확도: 98.28% 16 검증 세트 손실: 0.077305 최선의 손실: 0.066347 정확도: 98.40% 17 검증 세트 손실: 0.101670 최선의 손실: 0.066347 정확도: 98.05% 18 검증 세트 손실: 0.075264 최선의 손실: 0.066347 정확도: 98.36% 19 검증 세트 손실: 0.097956 최선의 손실: 0.066347 정확도: 98.05% 20 검증 세트 손실: 0.095701 최선의 손실: 0.066347 정확도: 98.40% 21 검증 세트 손실: 0.107292 최선의 손실: 0.066347 정확도: 97.30% 22 검증 세트 손실: 0.087180 최선의 손실: 0.066347 정확도: 97.81% 23 검증 세트 손실: 0.102036 최선의 손실: 0.066347 정확도: 97.65% 24 검증 세트 손실: 0.097211 최선의 손실: 0.066347 정확도: 98.12% 25 검증 세트 손실: 0.082003 최선의 손실: 0.066347 정확도: 98.44% 26 검증 세트 손실: 0.106933 최선의 손실: 0.066347 정확도: 98.01% 27 검증 세트 손실: 0.082594 최선의 손실: 0.066347 정확도: 98.40% 28 검증 세트 손실: 0.077675 최선의 손실: 0.066347 정확도: 98.40% 29 검증 세트 손실: 0.086000 최선의 손실: 0.066347 정확도: 98.12% 30 검증 세트 손실: 0.077836 최선의 손실: 0.066347 정확도: 98.28% 31 검증 세트 손실: 0.073262 최선의 손실: 0.066347 정확도: 98.40% 32 검증 세트 손실: 0.143054 최선의 손실: 0.066347 정확도: 98.16% 33 검증 세트 손실: 0.143183 최선의 손실: 0.066347 정확도: 96.33% 34 검증 세트 손실: 0.098938 최선의 손실: 0.066347 정확도: 98.12% 35 검증 세트 손실: 0.185638 최선의 손실: 0.066347 정확도: 93.94% 36 검증 세트 손실: 0.092825 최선의 손실: 0.066347 정확도: 97.81% 조기 종료! [CV] n_neurons=30, learning_rate=0.02, batch_size=100, activation=<function relu at 0x7f8ec4c8c510>, total= 5.7s [CV] n_neurons=30, learning_rate=0.02, batch_size=100, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.097943 최선의 손실: 0.097943 정확도: 97.73% 1 검증 세트 손실: 0.078470 최선의 손실: 0.078470 정확도: 98.20% 2 검증 세트 손실: 0.099947 최선의 손실: 0.078470 정확도: 97.65% 3 검증 세트 손실: 0.089017 최선의 손실: 0.078470 정확도: 98.20% 4 검증 세트 손실: 0.071668 최선의 손실: 0.071668 정확도: 98.28% 5 검증 세트 손실: 0.094318 최선의 손실: 0.071668 정확도: 97.69% 6 검증 세트 손실: 0.094176 최선의 손실: 0.071668 정확도: 98.16% 7 검증 세트 손실: 0.075877 최선의 손실: 0.071668 정확도: 98.05% 8 검증 세트 손실: 0.076313 최선의 손실: 0.071668 정확도: 98.32% 9 검증 세트 손실: 0.078481 최선의 손실: 0.071668 정확도: 98.32% 10 검증 세트 손실: 0.122400 최선의 손실: 0.071668 정확도: 97.26% 11 검증 세트 손실: 0.072401 최선의 손실: 0.071668 정확도: 98.20% 12 검증 세트 손실: 0.095301 최선의 손실: 0.071668 정확도: 97.81% 13 검증 세트 손실: 0.076847 최선의 손실: 0.071668 정확도: 98.32% 14 검증 세트 손실: 0.103863 최선의 손실: 0.071668 정확도: 98.36% 15 검증 세트 손실: 0.081043 최선의 손실: 0.071668 정확도: 98.40% 16 검증 세트 손실: 0.089839 최선의 손실: 0.071668 정확도: 97.62% 17 검증 세트 손실: 0.071595 최선의 손실: 0.071595 정확도: 98.36% 18 검증 세트 손실: 0.076594 최선의 손실: 0.071595 정확도: 98.32% 19 검증 세트 손실: 0.093071 최선의 손실: 0.071595 정확도: 98.16% 20 검증 세트 손실: 0.070257 최선의 손실: 0.070257 정확도: 98.28% 21 검증 세트 손실: 0.157739 최선의 손실: 0.070257 정확도: 97.97% 22 검증 세트 손실: 0.177188 최선의 손실: 0.070257 정확도: 95.90% 23 검증 세트 손실: 0.120664 최선의 손실: 0.070257 정확도: 96.91% 24 검증 세트 손실: 0.102688 최선의 손실: 0.070257 정확도: 98.08% 25 검증 세트 손실: 0.088356 최선의 손실: 0.070257 정확도: 98.48% 26 검증 세트 손실: 0.087845 최선의 손실: 0.070257 정확도: 98.20% 27 검증 세트 손실: 0.083557 최선의 손실: 0.070257 정확도: 98.01% 28 검증 세트 손실: 0.075139 최선의 손실: 0.070257 정확도: 98.16% 29 검증 세트 손실: 0.072139 최선의 손실: 0.070257 정확도: 98.24% 30 검증 세트 손실: 0.094946 최선의 손실: 0.070257 정확도: 98.28% 31 검증 세트 손실: 0.108458 최선의 손실: 0.070257 정확도: 98.48% 32 검증 세트 손실: 0.100851 최선의 손실: 0.070257 정확도: 98.55% 33 검증 세트 손실: 0.084456 최선의 손실: 0.070257 정확도: 98.32% 34 검증 세트 손실: 0.092506 최선의 손실: 0.070257 정확도: 98.48% 35 검증 세트 손실: 0.113258 최선의 손실: 0.070257 정확도: 98.36% 36 검증 세트 손실: 0.089383 최선의 손실: 0.070257 정확도: 98.40% 37 검증 세트 손실: 0.101454 최선의 손실: 0.070257 정확도: 98.20% 38 검증 세트 손실: 0.158697 최선의 손실: 0.070257 정확도: 95.00% 39 검증 세트 손실: 0.086534 최선의 손실: 0.070257 정확도: 98.24% 40 검증 세트 손실: 0.167023 최선의 손실: 0.070257 정확도: 97.93% 41 검증 세트 손실: 0.355330 최선의 손실: 0.070257 정확도: 78.50% 조기 종료! [CV] n_neurons=30, learning_rate=0.02, batch_size=100, activation=<function relu at 0x7f8ec4c8c510>, total= 6.5s [CV] n_neurons=50, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 0 검증 세트 손실: 0.951716 최선의 손실: 0.951716 정확도: 91.24% 1 검증 세트 손실: 2.091279 최선의 손실: 0.951716 정확도: 82.92% 2 검증 세트 손실: 115.965340 최선의 손실: 0.951716 정확도: 36.32% 3 검증 세트 손실: 4.553381 최선의 손실: 0.951716 정확도: 79.95% 4 검증 세트 손실: 2.752819 최선의 손실: 0.951716 정확도: 84.68% 5 검증 세트 손실: 1.339062 최선의 손실: 0.951716 정확도: 86.75% 6 검증 세트 손실: 1.767870 최선의 손실: 0.951716 정확도: 78.30% 7 검증 세트 손실: 0.931114 최선의 손실: 0.931114 정확도: 84.09% 8 검증 세트 손실: 0.878914 최선의 손실: 0.878914 정확도: 87.57% 9 검증 세트 손실: 0.861499 최선의 손실: 0.861499 정확도: 85.85% 10 검증 세트 손실: 1.051922 최선의 손실: 0.861499 정확도: 78.46% 11 검증 세트 손실: 0.581692 최선의 손실: 0.581692 정확도: 89.44% 12 검증 세트 손실: 0.509965 최선의 손실: 0.509965 정확도: 90.30% 13 검증 세트 손실: 0.906986 최선의 손실: 0.509965 정확도: 77.91% 14 검증 세트 손실: 0.664253 최선의 손실: 0.509965 정확도: 88.27% 15 검증 세트 손실: 0.692753 최선의 손실: 0.509965 정확도: 89.72% 16 검증 세트 손실: 0.376335 최선의 손실: 0.376335 정확도: 91.52% 17 검증 세트 손실: 0.463672 최선의 손실: 0.376335 정확도: 90.50% 18 검증 세트 손실: 0.452051 최선의 손실: 0.376335 정확도: 91.28% 19 검증 세트 손실: 0.499479 최선의 손실: 0.376335 정확도: 90.15% 20 검증 세트 손실: 0.450932 최선의 손실: 0.376335 정확도: 90.27% 21 검증 세트 손실: 0.403222 최선의 손실: 0.376335 정확도: 90.62% 22 검증 세트 손실: 0.360197 최선의 손실: 0.360197 정확도: 90.97% 23 검증 세트 손실: 0.327277 최선의 손실: 0.327277 정확도: 93.32% 24 검증 세트 손실: 0.372522 최선의 손실: 0.327277 정확도: 92.03% 25 검증 세트 손실: 39.087326 최선의 손실: 0.327277 정확도: 19.74% 26 검증 세트 손실: 1.160039 최선의 손실: 0.327277 정확도: 86.86% 27 검증 세트 손실: 1.035741 최선의 손실: 0.327277 정확도: 84.25% 28 검증 세트 손실: 0.625567 최선의 손실: 0.327277 정확도: 86.79% 29 검증 세트 손실: 0.591116 최선의 손실: 0.327277 정확도: 88.12% 30 검증 세트 손실: 0.458627 최선의 손실: 0.327277 정확도: 89.64% 31 검증 세트 손실: 0.389704 최선의 손실: 0.327277 정확도: 90.70% 32 검증 세트 손실: 0.449166 최선의 손실: 0.327277 정확도: 89.99% 33 검증 세트 손실: 0.309842 최선의 손실: 0.309842 정확도: 92.38% 34 검증 세트 손실: 0.348911 최선의 손실: 0.309842 정확도: 91.52% 35 검증 세트 손실: 0.312382 최선의 손실: 0.309842 정확도: 91.95% 36 검증 세트 손실: 0.287358 최선의 손실: 0.287358 정확도: 92.38% 37 검증 세트 손실: 0.254006 최선의 손실: 0.254006 정확도: 92.96% 38 검증 세트 손실: 0.248036 최선의 손실: 0.248036 정확도: 93.28% 39 검증 세트 손실: 0.359787 최선의 손실: 0.248036 정확도: 89.91% 40 검증 세트 손실: 0.233699 최선의 손실: 0.233699 정확도: 93.82% 41 검증 세트 손실: 0.251902 최선의 손실: 0.233699 정확도: 93.24% 42 검증 세트 손실: 0.320863 최선의 손실: 0.233699 정확도: 90.30% 43 검증 세트 손실: 0.221458 최선의 손실: 0.221458 정확도: 93.55% 44 검증 세트 손실: 0.187932 최선의 손실: 0.187932 정확도: 95.00% 45 검증 세트 손실: 0.246497 최선의 손실: 0.187932 정확도: 93.86% 46 검증 세트 손실: 0.499306 최선의 손실: 0.187932 정확도: 94.64% 47 검증 세트 손실: 1742.010376 최선의 손실: 0.187932 정확도: 19.27% 48 검증 세트 손실: 391.704865 최선의 손실: 0.187932 정확도: 39.13% 49 검증 세트 손실: 181.028992 최선의 손실: 0.187932 정확도: 41.09% 50 검증 세트 손실: 94.528633 최선의 손실: 0.187932 정확도: 45.31% 51 검증 세트 손실: 73.160339 최선의 손실: 0.187932 정확도: 41.13% 52 검증 세트 손실: 23.359838 최선의 손실: 0.187932 정확도: 53.56% 53 검증 세트 손실: 13.328618 최선의 손실: 0.187932 정확도: 73.26% 54 검증 세트 손실: 31.473148 최선의 손실: 0.187932 정확도: 64.93% 55 검증 세트 손실: 59.254642 최선의 손실: 0.187932 정확도: 56.88% 56 검증 세트 손실: 25.177927 최선의 손실: 0.187932 정확도: 57.43% 57 검증 세트 손실: 11.013567 최선의 손실: 0.187932 정확도: 81.31% 58 검증 세트 손실: 25.625578 최선의 손실: 0.187932 정확도: 63.49% 59 검증 세트 손실: 13.449788 최선의 손실: 0.187932 정확도: 80.41% 60 검증 세트 손실: 27.670340 최선의 손실: 0.187932 정확도: 66.97% 61 검증 세트 손실: 13.741262 최선의 손실: 0.187932 정확도: 77.33% 62 검증 세트 손실: 31.890701 최선의 손실: 0.187932 정확도: 62.31% 63 검증 세트 손실: 35.600574 최선의 손실: 0.187932 정확도: 65.91% 64 검증 세트 손실: 20.181162 최선의 손실: 0.187932 정확도: 73.34% 65 검증 세트 손실: 12.032900 최선의 손실: 0.187932 정확도: 79.32% 조기 종료! [CV] n_neurons=50, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total= 13.2s [CV] n_neurons=50, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 0 검증 세트 손실: 0.179815 최선의 손실: 0.179815 정확도: 95.23% 1 검증 세트 손실: 0.117306 최선의 손실: 0.117306 정확도: 96.68% 2 검증 세트 손실: 201.056870 최선의 손실: 0.117306 정확도: 19.27% 3 검증 세트 손실: 13.298692 최선의 손실: 0.117306 정확도: 24.59% 4 검증 세트 손실: 4.579219 최선의 손실: 0.117306 정확도: 43.39% 5 검증 세트 손실: 1.271192 최선의 손실: 0.117306 정확도: 61.14% 6 검증 세트 손실: 1.666028 최선의 손실: 0.117306 정확도: 56.57% 7 검증 세트 손실: 9.050961 최선의 손실: 0.117306 정확도: 27.91% 8 검증 세트 손실: 1.989570 최선의 손실: 0.117306 정확도: 57.19% 9 검증 세트 손실: 1.592043 최선의 손실: 0.117306 정확도: 59.62% 10 검증 세트 손실: 1.175512 최선의 손실: 0.117306 정확도: 68.57% 11 검증 세트 손실: 0.877519 최선의 손실: 0.117306 정확도: 71.74% 12 검증 세트 손실: 1.029731 최선의 손실: 0.117306 정확도: 71.70% 13 검증 세트 손실: 0.853719 최선의 손실: 0.117306 정확도: 71.46% 14 검증 세트 손실: 0.741847 최선의 손실: 0.117306 정확도: 75.72% 15 검증 세트 손실: 0.716557 최선의 손실: 0.117306 정확도: 77.13% 16 검증 세트 손실: 0.655223 최선의 손실: 0.117306 정확도: 78.58% 17 검증 세트 손실: 0.643704 최선의 손실: 0.117306 정확도: 77.60% 18 검증 세트 손실: 0.548966 최선의 손실: 0.117306 정확도: 82.76% 19 검증 세트 손실: 0.618546 최선의 손실: 0.117306 정확도: 82.37% 20 검증 세트 손실: 0.730336 최선의 손실: 0.117306 정확도: 84.28% 21 검증 세트 손실: 0.403706 최선의 손실: 0.117306 정확도: 89.21% 22 검증 세트 손실: 0.353552 최선의 손실: 0.117306 정확도: 91.32% 조기 종료! [CV] n_neurons=50, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total= 5.0s [CV] n_neurons=50, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 0 검증 세트 손실: 0.142473 최선의 손실: 0.142473 정확도: 95.54% 1 검증 세트 손실: 1.069016 최선의 손실: 0.142473 정확도: 57.82% 2 검증 세트 손실: 1.061630 최선의 손실: 0.142473 정확도: 57.51% 3 검증 세트 손실: 1.039428 최선의 손실: 0.142473 정확도: 56.06% 4 검증 세트 손실: 0.527311 최선의 손실: 0.142473 정확도: 81.86% 5 검증 세트 손실: 0.385806 최선의 손실: 0.142473 정확도: 87.37% 6 검증 세트 손실: 0.292696 최선의 손실: 0.142473 정확도: 91.32% 7 검증 세트 손실: 0.221437 최선의 손실: 0.142473 정확도: 93.51% 8 검증 세트 손실: 0.429490 최선의 손실: 0.142473 정확도: 86.36% 9 검증 세트 손실: 18.061663 최선의 손실: 0.142473 정확도: 31.63% 10 검증 세트 손실: 1.180915 최선의 손실: 0.142473 정확도: 48.67% 11 검증 세트 손실: 1.152141 최선의 손실: 0.142473 정확도: 50.12% 12 검증 세트 손실: 0.947133 최선의 손실: 0.142473 정확도: 52.42% 13 검증 세트 손실: 0.875760 최선의 손실: 0.142473 정확도: 62.63% 14 검증 세트 손실: 1.023189 최선의 손실: 0.142473 정확도: 57.54% 15 검증 세트 손실: 0.892058 최선의 손실: 0.142473 정확도: 64.43% 16 검증 세트 손실: 0.698537 최선의 손실: 0.142473 정확도: 69.51% 17 검증 세트 손실: 0.734095 최선의 손실: 0.142473 정확도: 71.77% 18 검증 세트 손실: 0.651536 최선의 손실: 0.142473 정확도: 75.53% 19 검증 세트 손실: 0.578318 최선의 손실: 0.142473 정확도: 76.74% 20 검증 세트 손실: 0.718826 최선의 손실: 0.142473 정확도: 70.99% 21 검증 세트 손실: 0.737624 최선의 손실: 0.142473 정확도: 70.21% 조기 종료! [CV] n_neurons=50, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total= 4.7s [CV] n_neurons=50, learning_rate=0.01, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 0 검증 세트 손실: 0.141077 최선의 손실: 0.141077 정확도: 96.87% 1 검증 세트 손실: 0.078047 최선의 손실: 0.078047 정확도: 97.65% 2 검증 세트 손실: 0.068856 최선의 손실: 0.068856 정확도: 98.24% 3 검증 세트 손실: 0.118753 최선의 손실: 0.068856 정확도: 96.76% 4 검증 세트 손실: 0.078877 최선의 손실: 0.068856 정확도: 98.01% 5 검증 세트 손실: 0.085876 최선의 손실: 0.068856 정확도: 98.12% 6 검증 세트 손실: 0.078028 최선의 손실: 0.068856 정확도: 97.85% 7 검증 세트 손실: 0.082451 최선의 손실: 0.068856 정확도: 98.16% 8 검증 세트 손실: 0.063992 최선의 손실: 0.063992 정확도: 98.44% 9 검증 세트 손실: 0.093663 최선의 손실: 0.063992 정확도: 97.54% 10 검증 세트 손실: 0.100377 최선의 손실: 0.063992 정확도: 97.97% 11 검증 세트 손실: 0.171897 최선의 손실: 0.063992 정확도: 98.24% 12 검증 세트 손실: 0.085452 최선의 손실: 0.063992 정확도: 98.44% 13 검증 세트 손실: 6.157323 최선의 손실: 0.063992 정확도: 93.98% 14 검증 세트 손실: 0.207973 최선의 손실: 0.063992 정확도: 97.85% 15 검증 세트 손실: 0.150130 최선의 손실: 0.063992 정확도: 97.89% 16 검증 세트 손실: 0.169306 최선의 손실: 0.063992 정확도: 98.16% 17 검증 세트 손실: 0.182848 최선의 손실: 0.063992 정확도: 97.85% 18 검증 세트 손실: 0.224429 최선의 손실: 0.063992 정확도: 97.97% 19 검증 세트 손실: 0.289862 최선의 손실: 0.063992 정확도: 97.69% 20 검증 세트 손실: 0.355624 최선의 손실: 0.063992 정확도: 97.97% 21 검증 세트 손실: 0.266535 최선의 손실: 0.063992 정확도: 98.08% 22 검증 세트 손실: 0.419849 최선의 손실: 0.063992 정확도: 97.81% 23 검증 세트 손실: 0.495333 최선의 손실: 0.063992 정확도: 97.85% 24 검증 세트 손실: 1.653165 최선의 손실: 0.063992 정확도: 92.10% 25 검증 세트 손실: 0.814543 최선의 손실: 0.063992 정확도: 96.21% 26 검증 세트 손실: 0.203611 최선의 손실: 0.063992 정확도: 97.46% 27 검증 세트 손실: 0.203346 최선의 손실: 0.063992 정확도: 97.93% 28 검증 세트 손실: 0.177424 최선의 손실: 0.063992 정확도: 97.97% 29 검증 세트 손실: 0.154935 최선의 손실: 0.063992 정확도: 97.93% 조기 종료! [CV] n_neurons=50, learning_rate=0.01, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total= 9.1s [CV] n_neurons=50, learning_rate=0.01, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 0 검증 세트 손실: 0.100823 최선의 손실: 0.100823 정확도: 97.03% 1 검증 세트 손실: 0.091461 최선의 손실: 0.091461 정확도: 97.81% 2 검증 세트 손실: 0.068144 최선의 손실: 0.068144 정확도: 97.93% 3 검증 세트 손실: 0.062620 최선의 손실: 0.062620 정확도: 98.32% 4 검증 세트 손실: 0.077762 최선의 손실: 0.062620 정확도: 97.97% 5 검증 세트 손실: 0.116759 최선의 손실: 0.062620 정확도: 96.87% 6 검증 세트 손실: 0.098177 최선의 손실: 0.062620 정확도: 97.65% 7 검증 세트 손실: 0.100118 최선의 손실: 0.062620 정확도: 97.62% 8 검증 세트 손실: 0.088412 최선의 손실: 0.062620 정확도: 97.69% 9 검증 세트 손실: 0.108396 최선의 손실: 0.062620 정확도: 98.01% 10 검증 세트 손실: 0.076244 최선의 손실: 0.062620 정확도: 97.97% 11 검증 세트 손실: 1.181290 최선의 손실: 0.062620 정확도: 92.69% 12 검증 세트 손실: 0.090115 최선의 손실: 0.062620 정확도: 97.58% 13 검증 세트 손실: 0.103583 최선의 손실: 0.062620 정확도: 97.69% 14 검증 세트 손실: 0.094801 최선의 손실: 0.062620 정확도: 98.01% 15 검증 세트 손실: 0.072825 최선의 손실: 0.062620 정확도: 98.32% 16 검증 세트 손실: 0.073025 최선의 손실: 0.062620 정확도: 98.20% 17 검증 세트 손실: 0.100266 최선의 손실: 0.062620 정확도: 98.16% 18 검증 세트 손실: 0.075702 최선의 손실: 0.062620 정확도: 98.32% 19 검증 세트 손실: 0.168579 최선의 손실: 0.062620 정확도: 97.38% 20 검증 세트 손실: 0.328357 최선의 손실: 0.062620 정확도: 97.54% 21 검증 세트 손실: 0.167139 최선의 손실: 0.062620 정확도: 97.77% 22 검증 세트 손실: 0.178472 최선의 손실: 0.062620 정확도: 97.69% 23 검증 세트 손실: 0.343570 최선의 손실: 0.062620 정확도: 92.34% 24 검증 세트 손실: 0.129392 최선의 손실: 0.062620 정확도: 98.08% 조기 종료! [CV] n_neurons=50, learning_rate=0.01, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total= 7.7s [CV] n_neurons=50, learning_rate=0.01, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 0 검증 세트 손실: 0.086895 최선의 손실: 0.086895 정확도: 97.81% 1 검증 세트 손실: 0.080882 최선의 손실: 0.080882 정확도: 97.65% 2 검증 세트 손실: 0.071770 최선의 손실: 0.071770 정확도: 98.24% 3 검증 세트 손실: 2.222625 최선의 손실: 0.071770 정확도: 93.86% 4 검증 세트 손실: 0.081986 최선의 손실: 0.071770 정확도: 97.73% 5 검증 세트 손실: 0.092579 최선의 손실: 0.071770 정확도: 97.69% 6 검증 세트 손실: 0.089889 최선의 손실: 0.071770 정확도: 97.73% 7 검증 세트 손실: 0.149572 최선의 손실: 0.071770 정확도: 97.81% 8 검증 세트 손실: 0.105642 최선의 손실: 0.071770 정확도: 97.77% 9 검증 세트 손실: 0.124405 최선의 손실: 0.071770 정확도: 97.62% 10 검증 세트 손실: 0.092457 최선의 손실: 0.071770 정확도: 98.40% 11 검증 세트 손실: 0.077412 최선의 손실: 0.071770 정확도: 98.51% 12 검증 세트 손실: 0.078346 최선의 손실: 0.071770 정확도: 98.36% 13 검증 세트 손실: 2.289061 최선의 손실: 0.071770 정확도: 88.74% 14 검증 세트 손실: 0.145992 최선의 손실: 0.071770 정확도: 97.38% 15 검증 세트 손실: 0.098554 최선의 손실: 0.071770 정확도: 98.12% 16 검증 세트 손실: 0.073152 최선의 손실: 0.071770 정확도: 98.28% 17 검증 세트 손실: 0.061156 최선의 손실: 0.061156 정확도: 98.36% 18 검증 세트 손실: 0.128521 최선의 손실: 0.061156 정확도: 97.81% 19 검증 세트 손실: 0.119571 최선의 손실: 0.061156 정확도: 98.01% 20 검증 세트 손실: 0.111635 최선의 손실: 0.061156 정확도: 98.44% 21 검증 세트 손실: 0.176255 최선의 손실: 0.061156 정확도: 98.05% 22 검증 세트 손실: 0.261963 최선의 손실: 0.061156 정확도: 97.15% 23 검증 세트 손실: 0.278664 최선의 손실: 0.061156 정확도: 97.34% 24 검증 세트 손실: 0.163934 최선의 손실: 0.061156 정확도: 97.89% 25 검증 세트 손실: 0.206291 최선의 손실: 0.061156 정확도: 97.73% 26 검증 세트 손실: 0.147195 최선의 손실: 0.061156 정확도: 98.32% 27 검증 세트 손실: 0.126331 최선의 손실: 0.061156 정확도: 98.48% 28 검증 세트 손실: 0.274872 최선의 손실: 0.061156 정확도: 97.93% 29 검증 세트 손실: 0.167464 최선의 손실: 0.061156 정확도: 98.32% 30 검증 세트 손실: 0.155879 최선의 손실: 0.061156 정확도: 98.12% 31 검증 세트 손실: 0.176197 최선의 손실: 0.061156 정확도: 98.28% 32 검증 세트 손실: 0.204813 최선의 손실: 0.061156 정확도: 98.48% 33 검증 세트 손실: 0.451964 최선의 손실: 0.061156 정확도: 98.08% 34 검증 세트 손실: 0.325901 최선의 손실: 0.061156 정확도: 98.40% 35 검증 세트 손실: 0.351507 최선의 손실: 0.061156 정확도: 98.48% 36 검증 세트 손실: 0.349268 최선의 손실: 0.061156 정확도: 98.48% 37 검증 세트 손실: 0.264415 최선의 손실: 0.061156 정확도: 97.65% 38 검증 세트 손실: 10.992128 최선의 손실: 0.061156 정확도: 96.91% 조기 종료! [CV] n_neurons=50, learning_rate=0.01, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total= 11.6s [CV] n_neurons=120, learning_rate=0.02, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 0 검증 세트 손실: 0.222944 최선의 손실: 0.222944 정확도: 95.11% 1 검증 세트 손실: 14.132704 최선의 손실: 0.222944 정확도: 92.42% 2 검증 세트 손실: 26.910059 최선의 손실: 0.222944 정확도: 92.38% 3 검증 세트 손실: 441.585968 최선의 손실: 0.222944 정확도: 93.00% 4 검증 세트 손실: 348.810486 최선의 손실: 0.222944 정확도: 94.14% 5 검증 세트 손실: 365.228485 최선의 손실: 0.222944 정확도: 92.10% 6 검증 세트 손실: 673.098389 최선의 손실: 0.222944 정확도: 95.58% 7 검증 세트 손실: 101.628532 최선의 손실: 0.222944 정확도: 97.19% 8 검증 세트 손실: 1743.063965 최선의 손실: 0.222944 정확도: 97.26% 9 검증 세트 손실: 13346.161133 최선의 손실: 0.222944 정확도: 95.43% 10 검증 세트 손실: 1700.885864 최선의 손실: 0.222944 정확도: 96.33% 11 검증 세트 손실: 2618.142578 최선의 손실: 0.222944 정확도: 94.61% 12 검증 세트 손실: 1014.710510 최선의 손실: 0.222944 정확도: 96.29% 13 검증 세트 손실: 1985.383667 최선의 손실: 0.222944 정확도: 95.58% 14 검증 세트 손실: 1640.009033 최선의 손실: 0.222944 정확도: 97.03% 15 검증 세트 손실: 1071.437988 최선의 손실: 0.222944 정확도: 97.85% 16 검증 세트 손실: 6358.932617 최선의 손실: 0.222944 정확도: 97.30% 17 검증 세트 손실: 4367.097168 최선의 손실: 0.222944 정확도: 96.72% 18 검증 세트 손실: 5756.040527 최선의 손실: 0.222944 정확도: 97.30% 19 검증 세트 손실: 7655.868652 최선의 손실: 0.222944 정확도: 97.54% 20 검증 세트 손실: 4712.624023 최선의 손실: 0.222944 정확도: 97.97% 21 검증 세트 손실: 4544.354004 최선의 손실: 0.222944 정확도: 97.89% 조기 종료! [CV] n_neurons=120, learning_rate=0.02, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total= 31.9s [CV] n_neurons=120, learning_rate=0.02, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 0 검증 세트 손실: 0.289286 최선의 손실: 0.289286 정확도: 95.47% 1 검증 세트 손실: 117.665558 최선의 손실: 0.289286 정확도: 93.24% 2 검증 세트 손실: 70.733574 최선의 손실: 0.289286 정확도: 95.23% 3 검증 세트 손실: 59.198849 최선의 손실: 0.289286 정확도: 96.25% 4 검증 세트 손실: 795.103027 최선의 손실: 0.289286 정확도: 94.84% 5 검증 세트 손실: 645.191345 최선의 손실: 0.289286 정확도: 93.90% 6 검증 세트 손실: 793.415222 최선의 손실: 0.289286 정확도: 93.63% 7 검증 세트 손실: 19155.058594 최선의 손실: 0.289286 정확도: 92.73% 8 검증 세트 손실: 485.487091 최선의 손실: 0.289286 정확도: 94.45% 9 검증 세트 손실: 4140.378418 최선의 손실: 0.289286 정확도: 94.14% 10 검증 세트 손실: 638.269531 최선의 손실: 0.289286 정확도: 96.60% 11 검증 세트 손실: 474.704315 최선의 손실: 0.289286 정확도: 97.22% 12 검증 세트 손실: 881.685486 최선의 손실: 0.289286 정확도: 96.44% 13 검증 세트 손실: 993.797791 최선의 손실: 0.289286 정확도: 96.36% 14 검증 세트 손실: 490.194427 최선의 손실: 0.289286 정확도: 96.56% 15 검증 세트 손실: 1700.400269 최선의 손실: 0.289286 정확도: 97.50% 16 검증 세트 손실: 807.565552 최선의 손실: 0.289286 정확도: 97.58% 17 검증 세트 손실: 2874.251465 최선의 손실: 0.289286 정확도: 96.83% 18 검증 세트 손실: 3256.020264 최선의 손실: 0.289286 정확도: 96.99% 19 검증 세트 손실: 2035.143066 최선의 손실: 0.289286 정확도: 97.38% 20 검증 세트 손실: 37909.234375 최선의 손실: 0.289286 정확도: 88.00% 21 검증 세트 손실: 2593.375000 최선의 손실: 0.289286 정확도: 97.58% 조기 종료! [CV] n_neurons=120, learning_rate=0.02, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total= 32.1s [CV] n_neurons=120, learning_rate=0.02, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 0 검증 세트 손실: 0.590318 최선의 손실: 0.590318 정확도: 94.57% 1 검증 세트 손실: 0.264964 최선의 손실: 0.264964 정확도: 95.97% 2 검증 세트 손실: 95.680405 최선의 손실: 0.264964 정확도: 87.22% 3 검증 세트 손실: 33.931328 최선의 손실: 0.264964 정확도: 94.96% 4 검증 세트 손실: 446.602264 최선의 손실: 0.264964 정확도: 82.68% 5 검증 세트 손실: 1422.288696 최선의 손실: 0.264964 정확도: 93.12% 6 검증 세트 손실: 551.399658 최선의 손실: 0.264964 정확도: 89.37% 7 검증 세트 손실: 470.668976 최선의 손실: 0.264964 정확도: 83.74% 8 검증 세트 손실: 107259.062500 최선의 손실: 0.264964 정확도: 69.98% 9 검증 세트 손실: 1467.659912 최선의 손실: 0.264964 정확도: 94.80% 10 검증 세트 손실: 778.111877 최선의 손실: 0.264964 정확도: 95.97% 11 검증 세트 손실: 967.139587 최선의 손실: 0.264964 정확도: 95.31% 12 검증 세트 손실: 1595.240967 최선의 손실: 0.264964 정확도: 96.33% 13 검증 세트 손실: 617.537598 최선의 손실: 0.264964 정확도: 96.87% 14 검증 세트 손실: 12146.346680 최선의 손실: 0.264964 정확도: 96.01% 15 검증 세트 손실: 13624.348633 최선의 손실: 0.264964 정확도: 94.06% 16 검증 세트 손실: 6802.010254 최선의 손실: 0.264964 정확도: 95.74% 17 검증 세트 손실: 4340.350098 최선의 손실: 0.264964 정확도: 96.17% 18 검증 세트 손실: 2508.006348 최선의 손실: 0.264964 정확도: 97.62% 19 검증 세트 손실: 4677.810547 최선의 손실: 0.264964 정확도: 97.38% 20 검증 세트 손실: 21832.429688 최선의 손실: 0.264964 정확도: 93.35% 21 검증 세트 손실: 12114.728516 최선의 손실: 0.264964 정확도: 97.46% 22 검증 세트 손실: 4624.625000 최선의 손실: 0.264964 정확도: 97.62% 조기 종료! [CV] n_neurons=120, learning_rate=0.02, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total= 33.4s [CV] n_neurons=50, learning_rate=0.1, batch_size=500, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 1.148822 최선의 손실: 1.148822 정확도: 47.07% 1 검증 세트 손실: 1.213831 최선의 손실: 1.148822 정확도: 39.21% 2 검증 세트 손실: 1.158854 최선의 손실: 1.148822 정확도: 39.87% 3 검증 세트 손실: 1.173183 최선의 손실: 1.148822 정확도: 39.09% 4 검증 세트 손실: 1.155171 최선의 손실: 1.148822 정확도: 39.76% 5 검증 세트 손실: 1.197210 최선의 손실: 1.148822 정확도: 40.27% 6 검증 세트 손실: 1.154690 최선의 손실: 1.148822 정확도: 40.50% 7 검증 세트 손실: 1.177344 최선의 손실: 1.148822 정확도: 40.70% 8 검증 세트 손실: 0.850207 최선의 손실: 0.850207 정확도: 59.38% 9 검증 세트 손실: 0.585442 최선의 손실: 0.585442 정확도: 76.94% 10 검증 세트 손실: 1.401432 최선의 손실: 0.585442 정확도: 67.44% 11 검증 세트 손실: 0.443632 최선의 손실: 0.443632 정확도: 89.56% 12 검증 세트 손실: 0.638570 최선의 손실: 0.443632 정확도: 76.97% 13 검증 세트 손실: 0.857933 최선의 손실: 0.443632 정확도: 78.23% 14 검증 세트 손실: 0.654789 최선의 손실: 0.443632 정확도: 78.11% 15 검증 세트 손실: 0.625885 최선의 손실: 0.443632 정확도: 79.05% 16 검증 세트 손실: 0.593792 최선의 손실: 0.443632 정확도: 77.80% 17 검증 세트 손실: 0.701244 최선의 손실: 0.443632 정확도: 78.85% 18 검증 세트 손실: 0.526679 최선의 손실: 0.443632 정확도: 79.59% 19 검증 세트 손실: 2.987692 최선의 손실: 0.443632 정확도: 39.91% 20 검증 세트 손실: 1.704102 최선의 손실: 0.443632 정확도: 19.27% 21 검증 세트 손실: 1.624855 최선의 손실: 0.443632 정확도: 22.01% 22 검증 세트 손실: 1.611139 최선의 손실: 0.443632 정확도: 20.91% 23 검증 세트 손실: 1.609448 최선의 손실: 0.443632 정확도: 22.01% 24 검증 세트 손실: 1.616210 최선의 손실: 0.443632 정확도: 22.01% 25 검증 세트 손실: 1.621164 최선의 손실: 0.443632 정확도: 19.27% 26 검증 세트 손실: 1.614155 최선의 손실: 0.443632 정확도: 22.01% 27 검증 세트 손실: 1.628621 최선의 손실: 0.443632 정확도: 18.73% 28 검증 세트 손실: 1.617029 최선의 손실: 0.443632 정확도: 20.91% 29 검증 세트 손실: 1.632013 최선의 손실: 0.443632 정확도: 18.73% 30 검증 세트 손실: 1.626915 최선의 손실: 0.443632 정확도: 19.27% 31 검증 세트 손실: 1.620182 최선의 손실: 0.443632 정확도: 22.01% 32 검증 세트 손실: 1.617947 최선의 손실: 0.443632 정확도: 18.73% 조기 종료! [CV] n_neurons=50, learning_rate=0.1, batch_size=500, activation=<function elu at 0x7f8ec4ceef28>, total= 4.3s [CV] n_neurons=50, learning_rate=0.1, batch_size=500, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 1.705831 최선의 손실: 1.705831 정확도: 37.45% 1 검증 세트 손실: 0.661845 최선의 손실: 0.661845 정확도: 74.67% 2 검증 세트 손실: 0.387982 최선의 손실: 0.387982 정확도: 84.68% 3 검증 세트 손실: 0.289455 최선의 손실: 0.289455 정확도: 90.89% 4 검증 세트 손실: 0.224888 최선의 손실: 0.224888 정확도: 93.51% 5 검증 세트 손실: 0.223294 최선의 손실: 0.223294 정확도: 93.12% 6 검증 세트 손실: 0.230652 최선의 손실: 0.223294 정확도: 93.47% 7 검증 세트 손실: 2.815432 최선의 손실: 0.223294 정확도: 54.93% 8 검증 세트 손실: 0.982214 최선의 손실: 0.223294 정확도: 54.30% 9 검증 세트 손실: 0.883264 최선의 손실: 0.223294 정확도: 60.83% 10 검증 세트 손실: 2.246536 최선의 손실: 0.223294 정확도: 67.24% 11 검증 세트 손실: 0.710642 최선의 손실: 0.223294 정확도: 69.00% 12 검증 세트 손실: 0.580903 최선의 손실: 0.223294 정확도: 75.92% 13 검증 세트 손실: 0.504758 최선의 손실: 0.223294 정확도: 78.89% 14 검증 세트 손실: 0.492412 최선의 손실: 0.223294 정확도: 80.22% 15 검증 세트 손실: 0.557402 최선의 손실: 0.223294 정확도: 78.42% 16 검증 세트 손실: 0.470357 최선의 손실: 0.223294 정확도: 83.07% 17 검증 세트 손실: 0.424118 최선의 손실: 0.223294 정확도: 84.71% 18 검증 세트 손실: 0.507435 최선의 손실: 0.223294 정확도: 80.73% 19 검증 세트 손실: 0.731395 최선의 손실: 0.223294 정확도: 57.90% 20 검증 세트 손실: 0.449223 최선의 손실: 0.223294 정확도: 83.19% 21 검증 세트 손실: 0.406612 최선의 손실: 0.223294 정확도: 85.42% 22 검증 세트 손실: 0.760414 최선의 손실: 0.223294 정확도: 75.14% 23 검증 세트 손실: 0.443632 최선의 손실: 0.223294 정확도: 86.12% 24 검증 세트 손실: 0.391436 최선의 손실: 0.223294 정확도: 88.15% 25 검증 세트 손실: 0.427505 최선의 손실: 0.223294 정확도: 86.04% 26 검증 세트 손실: 0.368003 최선의 손실: 0.223294 정확도: 90.03% 조기 종료! [CV] n_neurons=50, learning_rate=0.1, batch_size=500, activation=<function elu at 0x7f8ec4ceef28>, total= 3.5s [CV] n_neurons=50, learning_rate=0.1, batch_size=500, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 1.719839 최선의 손실: 1.719839 정확도: 22.01% 1 검증 세트 손실: 1.623658 최선의 손실: 1.623658 정확도: 19.08% 2 검증 세트 손실: 1.617375 최선의 손실: 1.617375 정확도: 19.08% 3 검증 세트 손실: 1.626064 최선의 손실: 1.617375 정확도: 19.27% 4 검증 세트 손실: 1.616276 최선의 손실: 1.616276 정확도: 22.01% 5 검증 세트 손실: 1.613683 최선의 손실: 1.613683 정확도: 19.27% 6 검증 세트 손실: 1.615637 최선의 손실: 1.613683 정확도: 19.27% 7 검증 세트 손실: 1.631290 최선의 손실: 1.613683 정확도: 22.01% 8 검증 세트 손실: 1.612280 최선의 손실: 1.612280 정확도: 19.27% 9 검증 세트 손실: 1.613432 최선의 손실: 1.612280 정확도: 18.73% 10 검증 세트 손실: 1.617714 최선의 손실: 1.612280 정확도: 19.27% 11 검증 세트 손실: 1.646660 최선의 손실: 1.612280 정확도: 18.73% 12 검증 세트 손실: 1.614820 최선의 손실: 1.612280 정확도: 20.91% 13 검증 세트 손실: 1.610559 최선의 손실: 1.610559 정확도: 22.01% 14 검증 세트 손실: 1.619380 최선의 손실: 1.610559 정확도: 18.73% 15 검증 세트 손실: 1.635474 최선의 손실: 1.610559 정확도: 19.08% 16 검증 세트 손실: 1.629788 최선의 손실: 1.610559 정확도: 18.73% 17 검증 세트 손실: 1.612352 최선의 손실: 1.610559 정확도: 22.01% 18 검증 세트 손실: 1.614932 최선의 손실: 1.610559 정확도: 22.01% 19 검증 세트 손실: 1.615351 최선의 손실: 1.610559 정확도: 19.08% 20 검증 세트 손실: 1.638466 최선의 손실: 1.610559 정확도: 19.27% 21 검증 세트 손실: 1.638186 최선의 손실: 1.610559 정확도: 19.27% 22 검증 세트 손실: 1.645105 최선의 손실: 1.610559 정확도: 18.73% 23 검증 세트 손실: 1.621164 최선의 손실: 1.610559 정확도: 18.73% 24 검증 세트 손실: 1.644718 최선의 손실: 1.610559 정확도: 19.27% 25 검증 세트 손실: 1.623361 최선의 손실: 1.610559 정확도: 22.01% 26 검증 세트 손실: 1.613383 최선의 손실: 1.610559 정확도: 22.01% 27 검증 세트 손실: 1.636156 최선의 손실: 1.610559 정확도: 19.27% 28 검증 세트 손실: 1.647457 최선의 손실: 1.610559 정확도: 22.01% 29 검증 세트 손실: 1.622684 최선의 손실: 1.610559 정확도: 18.73% 30 검증 세트 손실: 1.634938 최선의 손실: 1.610559 정확도: 19.08% 31 검증 세트 손실: 1.627927 최선의 손실: 1.610559 정확도: 18.73% 32 검증 세트 손실: 1.639017 최선의 손실: 1.610559 정확도: 18.73% 33 검증 세트 손실: 1.621583 최선의 손실: 1.610559 정확도: 19.08% 34 검증 세트 손실: 1.624100 최선의 손실: 1.610559 정확도: 22.01% 조기 종료! [CV] n_neurons=50, learning_rate=0.1, batch_size=500, activation=<function elu at 0x7f8ec4ceef28>, total= 4.6s [CV] n_neurons=100, learning_rate=0.1, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 0 검증 세트 손실: 13068.746094 최선의 손실: 13068.746094 정확도: 20.91% 1 검증 세트 손실: 173.019791 최선의 손실: 173.019791 정확도: 55.98% 2 검증 세트 손실: 138.092865 최선의 손실: 138.092865 정확도: 66.61% 3 검증 세트 손실: 89.267876 최선의 손실: 89.267876 정확도: 74.16% 4 검증 세트 손실: 31.273142 최선의 손실: 31.273142 정확도: 85.07% 5 검증 세트 손실: 61.124371 최선의 손실: 31.273142 정확도: 76.00% 6 검증 세트 손실: 20.100601 최선의 손실: 20.100601 정확도: 90.85% 7 검증 세트 손실: 20.297197 최선의 손실: 20.100601 정확도: 88.47% 8 검증 세트 손실: 17.456469 최선의 손실: 17.456469 정확도: 90.66% 9 검증 세트 손실: 15.774197 최선의 손실: 15.774197 정확도: 94.64% 10 검증 세트 손실: 4106.851074 최선의 손실: 15.774197 정확도: 69.66% 11 검증 세트 손실: 1518.754150 최선의 손실: 15.774197 정확도: 86.55% 12 검증 세트 손실: 50911.367188 최선의 손실: 15.774197 정확도: 54.38% 13 검증 세트 손실: 656669.250000 최선의 손실: 15.774197 정확도: 39.01% 14 검증 세트 손실: 24311.792969 최선의 손실: 15.774197 정확도: 51.13% 15 검증 세트 손실: 17656.449219 최선의 손실: 15.774197 정확도: 65.60% 16 검증 세트 손실: 21729.988281 최선의 손실: 15.774197 정확도: 53.48% 17 검증 세트 손실: 35699.144531 최선의 손실: 15.774197 정확도: 48.79% 18 검증 세트 손실: 5645.808105 최선의 손실: 15.774197 정확도: 87.22% 19 검증 세트 손실: 6794.997559 최선의 손실: 15.774197 정확도: 80.81% 20 검증 세트 손실: 6159.350098 최선의 손실: 15.774197 정확도: 81.67% 21 검증 세트 손실: 19637.652344 최선의 손실: 15.774197 정확도: 76.43% 22 검증 세트 손실: 8213.773438 최선의 손실: 15.774197 정확도: 81.86% 23 검증 세트 손실: 6905.885742 최선의 손실: 15.774197 정확도: 84.83% 24 검증 세트 손실: 7456.993164 최선의 손실: 15.774197 정확도: 85.22% 25 검증 세트 손실: 4240.890625 최선의 손실: 15.774197 정확도: 91.28% 26 검증 세트 손실: 2607.236572 최선의 손실: 15.774197 정확도: 92.53% 27 검증 세트 손실: 3322.704346 최선의 손실: 15.774197 정확도: 91.44% 28 검증 세트 손실: 3628.825684 최선의 손실: 15.774197 정확도: 89.99% 29 검증 세트 손실: 2307.210205 최선의 손실: 15.774197 정확도: 92.65% 30 검증 세트 손실: 2264.366211 최선의 손실: 15.774197 정확도: 91.09% 조기 종료! [CV] n_neurons=100, learning_rate=0.1, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total= 13.4s [CV] n_neurons=100, learning_rate=0.1, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 0 검증 세트 손실: 0.908990 최선의 손실: 0.908990 정확도: 67.59% 1 검증 세트 손실: 0.312177 최선의 손실: 0.312177 정확도: 91.44% 2 검증 세트 손실: 0.192297 최선의 손실: 0.192297 정확도: 94.53% 3 검증 세트 손실: 0.166873 최선의 손실: 0.166873 정확도: 95.62% 4 검증 세트 손실: 0.192419 최선의 손실: 0.166873 정확도: 94.64% 5 검증 세트 손실: 0.171311 최선의 손실: 0.166873 정확도: 96.09% 6 검증 세트 손실: 5671.211426 최선의 손실: 0.166873 정확도: 71.77% 7 검증 세트 손실: 1019.070557 최선의 손실: 0.166873 정확도: 80.10% 8 검증 세트 손실: 761.369446 최선의 손실: 0.166873 정확도: 78.11% 9 검증 세트 손실: 558.659851 최선의 손실: 0.166873 정확도: 89.29% 10 검증 세트 손실: 560.691528 최선의 손실: 0.166873 정확도: 77.83% 11 검증 세트 손실: 256.186035 최선의 손실: 0.166873 정확도: 90.07% 12 검증 세트 손실: 454.642151 최선의 손실: 0.166873 정확도: 84.75% 13 검증 세트 손실: 209.309586 최선의 손실: 0.166873 정확도: 91.28% 14 검증 세트 손실: 566.059509 최선의 손실: 0.166873 정확도: 81.59% 15 검증 세트 손실: 250.336609 최선의 손실: 0.166873 정확도: 89.09% 16 검증 세트 손실: 184.179749 최선의 손실: 0.166873 정확도: 88.19% 17 검증 세트 손실: 3015.023926 최선의 손실: 0.166873 정확도: 87.10% 18 검증 세트 손실: 3456.912354 최선의 손실: 0.166873 정확도: 92.03% 19 검증 세트 손실: 907.970276 최선의 손실: 0.166873 정확도: 88.74% 20 검증 세트 손실: 497.557770 최선의 손실: 0.166873 정확도: 93.71% 21 검증 세트 손실: 279.949585 최선의 손실: 0.166873 정확도: 94.53% 22 검증 세트 손실: 218.020370 최선의 손실: 0.166873 정확도: 95.82% 23 검증 세트 손실: 197.380722 최선의 손실: 0.166873 정확도: 95.35% 24 검증 세트 손실: 639.380310 최선의 손실: 0.166873 정확도: 83.15% 조기 종료! [CV] n_neurons=100, learning_rate=0.1, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total= 11.0s [CV] n_neurons=100, learning_rate=0.1, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 0 검증 세트 손실: 28561.357422 최선의 손실: 28561.357422 정확도: 41.28% 1 검증 세트 손실: 1076.284790 최선의 손실: 1076.284790 정확도: 46.76% 2 검증 세트 손실: 1404.401489 최선의 손실: 1076.284790 정확도: 63.02% 3 검증 세트 손실: 2495.003418 최선의 손실: 1076.284790 정확도: 49.96% 4 검증 세트 손실: 418.948547 최선의 손실: 418.948547 정확도: 74.86% 5 검증 세트 손실: 4745.711914 최선의 손실: 418.948547 정확도: 55.71% 6 검증 세트 손실: 1249.802002 최선의 손실: 418.948547 정확도: 65.21% 7 검증 세트 손실: 619.809814 최선의 손실: 418.948547 정확도: 79.83% 8 검증 세트 손실: 240.740417 최선의 손실: 240.740417 정확도: 90.03% 9 검증 세트 손실: 291.102905 최선의 손실: 240.740417 정확도: 90.34% 10 검증 세트 손실: 622817.000000 최선의 손실: 240.740417 정확도: 27.56% 11 검증 세트 손실: 446596.812500 최선의 손실: 240.740417 정확도: 23.61% 12 검증 세트 손실: 31512.136719 최선의 손실: 240.740417 정확도: 46.09% 13 검증 세트 손실: 38355.648438 최선의 손실: 240.740417 정확도: 41.01% 14 검증 세트 손실: 64157.484375 최선의 손실: 240.740417 정확도: 37.88% 15 검증 세트 손실: 35889.859375 최선의 손실: 240.740417 정확도: 41.63% 16 검증 세트 손실: 55765.531250 최선의 손실: 240.740417 정확도: 40.89% 17 검증 세트 손실: 34041.464844 최선의 손실: 240.740417 정확도: 48.83% 18 검증 세트 손실: 39425.671875 최선의 손실: 240.740417 정확도: 40.46% 19 검증 세트 손실: 12961.490234 최선의 손실: 240.740417 정확도: 49.65% 20 검증 세트 손실: 5841.863770 최선의 손실: 240.740417 정확도: 55.82% 21 검증 세트 손실: 29198.615234 최선의 손실: 240.740417 정확도: 40.23% 22 검증 세트 손실: 26503.925781 최선의 손실: 240.740417 정확도: 37.84% 23 검증 세트 손실: 11956.325195 최선의 손실: 240.740417 정확도: 50.27% 24 검증 세트 손실: 7013481.500000 최선의 손실: 240.740417 정확도: 39.37% 25 검증 세트 손실: 57214.660156 최선의 손실: 240.740417 정확도: 55.24% 26 검증 세트 손실: 23070.476562 최선의 손실: 240.740417 정확도: 68.84% 27 검증 세트 손실: 17963.191406 최선의 손실: 240.740417 정확도: 78.38% 28 검증 세트 손실: 41626.371094 최선의 손실: 240.740417 정확도: 55.79% 29 검증 세트 손실: 18991.974609 최선의 손실: 240.740417 정확도: 76.35% 조기 종료! [CV] n_neurons=100, learning_rate=0.1, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total= 13.0s [CV] n_neurons=70, learning_rate=0.1, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 0 검증 세트 손실: 5.413154 최선의 손실: 5.413154 정확도: 90.23% 1 검증 세트 손실: 2.335205 최선의 손실: 2.335205 정확도: 88.51% 2 검증 세트 손실: 1.865068 최선의 손실: 1.865068 정확도: 91.44% 3 검증 세트 손실: 0.887989 최선의 손실: 0.887989 정확도: 94.10% 4 검증 세트 손실: 1.967932 최선의 손실: 0.887989 정확도: 93.16% 5 검증 세트 손실: 0.691477 최선의 손실: 0.691477 정확도: 95.74% 6 검증 세트 손실: 1.265961 최선의 손실: 0.691477 정확도: 95.31% 7 검증 세트 손실: 8.335981 최선의 손실: 0.691477 정확도: 94.49% 8 검증 세트 손실: 1.733429 최선의 손실: 0.691477 정확도: 91.20% 9 검증 세트 손실: 1.187357 최선의 손실: 0.691477 정확도: 92.81% 10 검증 세트 손실: 0.455939 최선의 손실: 0.455939 정확도: 96.17% 11 검증 세트 손실: 0.313774 최선의 손실: 0.313774 정확도: 96.68% 12 검증 세트 손실: 260030.750000 최선의 손실: 0.313774 정확도: 50.90% 13 검증 세트 손실: 11933.045898 최선의 손실: 0.313774 정확도: 90.73% 14 검증 세트 손실: 6031.375977 최선의 손실: 0.313774 정확도: 92.38% 15 검증 세트 손실: 5064.738770 최선의 손실: 0.313774 정확도: 93.32% 16 검증 세트 손실: 2772.798584 최선의 손실: 0.313774 정확도: 95.11% 17 검증 세트 손실: 2713.607178 최선의 손실: 0.313774 정확도: 95.15% 18 검증 세트 손실: 2480.450928 최선의 손실: 0.313774 정확도: 94.61% 19 검증 세트 손실: 5676.205078 최선의 손실: 0.313774 정확도: 90.62% 20 검증 세트 손실: 3683.535645 최선의 손실: 0.313774 정확도: 94.33% 21 검증 세트 손실: 89547.585938 최선의 손실: 0.313774 정확도: 93.16% 22 검증 세트 손실: 3330.138428 최선의 손실: 0.313774 정확도: 96.17% 23 검증 세트 손실: 4790.824707 최선의 손실: 0.313774 정확도: 93.55% 24 검증 세트 손실: 44094.945312 최선의 손실: 0.313774 정확도: 66.54% 25 검증 세트 손실: 3138.680908 최선의 손실: 0.313774 정확도: 96.05% 26 검증 세트 손실: 2097.746582 최선의 손실: 0.313774 정확도: 96.48% 27 검증 세트 손실: 1685.792969 최선의 손실: 0.313774 정확도: 97.07% 28 검증 세트 손실: 1861.947266 최선의 손실: 0.313774 정확도: 97.46% 29 검증 세트 손실: 1631.026733 최선의 손실: 0.313774 정확도: 96.64% 30 검증 세트 손실: 1523.757080 최선의 손실: 0.313774 정확도: 97.50% 31 검증 세트 손실: 1377.818604 최선의 손실: 0.313774 정확도: 96.48% 32 검증 세트 손실: 1842.982788 최선의 손실: 0.313774 정확도: 96.79% 조기 종료! [CV] n_neurons=70, learning_rate=0.1, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total= 8.5s [CV] n_neurons=70, learning_rate=0.1, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 0 검증 세트 손실: 2546.781738 최선의 손실: 2546.781738 정확도: 50.86% 1 검증 세트 손실: 38.256748 최선의 손실: 38.256748 정확도: 87.22% 2 검증 세트 손실: 37.551113 최선의 손실: 37.551113 정확도: 88.70% 3 검증 세트 손실: 21.225380 최선의 손실: 21.225380 정확도: 88.55% 4 검증 세트 손실: 14.073637 최선의 손실: 14.073637 정확도: 92.81% 5 검증 세트 손실: 8.793891 최선의 손실: 8.793891 정확도: 95.07% 6 검증 세트 손실: 14.796718 최선의 손실: 8.793891 정확도: 93.24% 7 검증 세트 손실: 6.090724 최선의 손실: 6.090724 정확도: 95.93% 8 검증 세트 손실: 8.372476 최선의 손실: 6.090724 정확도: 95.27% 9 검증 세트 손실: 8.692408 최선의 손실: 6.090724 정확도: 95.35% 10 검증 세트 손실: 5.657032 최선의 손실: 5.657032 정확도: 95.43% 11 검증 세트 손실: 11.487044 최선의 손실: 5.657032 정확도: 94.41% 12 검증 세트 손실: 4.641850 최선의 손실: 4.641850 정확도: 96.56% 13 검증 세트 손실: 3.814003 최선의 손실: 3.814003 정확도: 96.87% 14 검증 세트 손실: 70.368889 최선의 손실: 3.814003 정확도: 83.70% 15 검증 세트 손실: 56550.968750 최선의 손실: 3.814003 정확도: 75.25% 16 검증 세트 손실: 13168.267578 최선의 손실: 3.814003 정확도: 85.38% 17 검증 세트 손실: 14821.100586 최선의 손실: 3.814003 정확도: 79.59% 18 검증 세트 손실: 11850.468750 최선의 손실: 3.814003 정확도: 83.35% 19 검증 세트 손실: 8953.185547 최선의 손실: 3.814003 정확도: 85.85% 20 검증 세트 손실: 24498.355469 최선의 손실: 3.814003 정확도: 70.37% 21 검증 세트 손실: 5835.713379 최선의 손실: 3.814003 정확도: 92.73% 22 검증 세트 손실: 7197.416016 최선의 손실: 3.814003 정확도: 86.79% 23 검증 세트 손실: 4070.374023 최선의 손실: 3.814003 정확도: 90.58% 24 검증 세트 손실: 4160.066406 최선의 손실: 3.814003 정확도: 90.30% 25 검증 세트 손실: 3425.521484 최선의 손실: 3.814003 정확도: 92.65% 26 검증 세트 손실: 6447.624512 최선의 손실: 3.814003 정확도: 87.33% 27 검증 세트 손실: 3291.083252 최선의 손실: 3.814003 정확도: 91.63% 28 검증 세트 손실: 3627.269775 최선의 손실: 3.814003 정확도: 91.48% 29 검증 세트 손실: 6319.331055 최선의 손실: 3.814003 정확도: 84.99% 30 검증 세트 손실: 5595.559082 최선의 손실: 3.814003 정확도: 90.11% 31 검증 세트 손실: 3352.125977 최선의 손실: 3.814003 정확도: 91.87% 32 검증 세트 손실: 3492.978516 최선의 손실: 3.814003 정확도: 89.13% 33 검증 세트 손실: 1498.493652 최선의 손실: 3.814003 정확도: 95.35% 34 검증 세트 손실: 2025.615112 최선의 손실: 3.814003 정확도: 94.10% 조기 종료! [CV] n_neurons=70, learning_rate=0.1, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total= 9.0s [CV] n_neurons=70, learning_rate=0.1, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 0 검증 세트 손실: 14428.106445 최선의 손실: 14428.106445 정확도: 18.73% 1 검증 세트 손실: 97.355049 최선의 손실: 97.355049 정확도: 59.34% 2 검증 세트 손실: 17.617222 최선의 손실: 17.617222 정확도: 81.16% 3 검증 세트 손실: 12.494961 최선의 손실: 12.494961 정확도: 88.39% 4 검증 세트 손실: 14.719613 최선의 손실: 12.494961 정확도: 87.53% 5 검증 세트 손실: 12.193923 최선의 손실: 12.193923 정확도: 86.32% 6 검증 세트 손실: 8.901318 최선의 손실: 8.901318 정확도: 88.31% 7 검증 세트 손실: 10.385693 최선의 손실: 8.901318 정확도: 87.92% 8 검증 세트 손실: 20.340471 최선의 손실: 8.901318 정확도: 82.10% 9 검증 세트 손실: 10.751019 최선의 손실: 8.901318 정확도: 88.82% 10 검증 세트 손실: 23.130636 최선의 손실: 8.901318 정확도: 82.37% 11 검증 세트 손실: 5.877099 최선의 손실: 5.877099 정확도: 92.92% 12 검증 세트 손실: 3.927591 최선의 손실: 3.927591 정확도: 93.75% 13 검증 세트 손실: 4.252292 최선의 손실: 3.927591 정확도: 93.24% 14 검증 세트 손실: 4.891749 최선의 손실: 3.927591 정확도: 94.57% 15 검증 세트 손실: 4.837025 최선의 손실: 3.927591 정확도: 93.75% 16 검증 세트 손실: 5.262472 최선의 손실: 3.927591 정확도: 93.08% 17 검증 세트 손실: 3.936181 최선의 손실: 3.927591 정확도: 94.33% 18 검증 세트 손실: 3.127215 최선의 손실: 3.127215 정확도: 94.64% 19 검증 세트 손실: 3.649201 최선의 손실: 3.127215 정확도: 93.94% 20 검증 세트 손실: 3.627139 최선의 손실: 3.127215 정확도: 91.99% 21 검증 세트 손실: 582.599915 최선의 손실: 3.127215 정확도: 33.42% 22 검증 세트 손실: 126555.500000 최선의 손실: 3.127215 정확도: 76.19% 23 검증 세트 손실: 37859.531250 최선의 손실: 3.127215 정확도: 72.63% 24 검증 세트 손실: 35585.226562 최선의 손실: 3.127215 정확도: 80.84% 25 검증 세트 손실: 23134.175781 최선의 손실: 3.127215 정확도: 81.78% 26 검증 세트 손실: 10451.040039 최선의 손실: 3.127215 정확도: 89.01% 27 검증 세트 손실: 6008.763184 최선의 손실: 3.127215 정확도: 92.06% 28 검증 세트 손실: 9381.696289 최선의 손실: 3.127215 정확도: 88.47% 29 검증 세트 손실: 5388.400879 최선의 손실: 3.127215 정확도: 92.22% 30 검증 세트 손실: 26328.181641 최선의 손실: 3.127215 정확도: 73.49% 31 검증 세트 손실: 6009.228516 최선의 손실: 3.127215 정확도: 91.13% 32 검증 세트 손실: 7528.229980 최선의 손실: 3.127215 정확도: 87.14% 33 검증 세트 손실: 3268.595703 최선의 손실: 3.127215 정확도: 94.49% 34 검증 세트 손실: 5617.716797 최선의 손실: 3.127215 정확도: 93.90% 35 검증 세트 손실: 4708.864746 최선의 손실: 3.127215 정확도: 94.06% 36 검증 세트 손실: 24444.380859 최선의 손실: 3.127215 정확도: 88.78% 37 검증 세트 손실: 6551.906738 최선의 손실: 3.127215 정확도: 94.18% 38 검증 세트 손실: 4448.666016 최선의 손실: 3.127215 정확도: 95.47% 39 검증 세트 손실: 3126.424561 최선의 손실: 3.127215 정확도: 94.57% 조기 종료! [CV] n_neurons=70, learning_rate=0.1, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total= 10.1s [CV] n_neurons=100, learning_rate=0.05, batch_size=10, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 2.075023 최선의 손실: 2.075023 정확도: 18.73% 1 검증 세트 손실: 2.392765 최선의 손실: 2.075023 정확도: 18.73% 2 검증 세트 손실: 2.045198 최선의 손실: 2.045198 정확도: 19.27% 3 검증 세트 손실: 2.207034 최선의 손실: 2.045198 정확도: 19.27% 4 검증 세트 손실: 1.794731 최선의 손실: 1.794731 정확도: 22.01% 5 검증 세트 손실: 2.012966 최선의 손실: 1.794731 정확도: 19.08% 6 검증 세트 손실: 1.975259 최선의 손실: 1.794731 정확도: 19.27% 7 검증 세트 손실: 1.949084 최선의 손실: 1.794731 정확도: 18.73% 8 검증 세트 손실: 2.035789 최선의 손실: 1.794731 정확도: 19.08% 9 검증 세트 손실: 2.281121 최선의 손실: 1.794731 정확도: 19.27% 10 검증 세트 손실: 1.806986 최선의 손실: 1.794731 정확도: 19.08% 11 검증 세트 손실: 1.917274 최선의 손실: 1.794731 정확도: 19.08% 12 검증 세트 손실: 2.006843 최선의 손실: 1.794731 정확도: 19.08% 13 검증 세트 손실: 1.773531 최선의 손실: 1.773531 정확도: 19.08% 14 검증 세트 손실: 3.055529 최선의 손실: 1.773531 정확도: 18.73% 15 검증 세트 손실: 1.692753 최선의 손실: 1.692753 정확도: 19.27% 16 검증 세트 손실: 2.644387 최선의 손실: 1.692753 정확도: 20.91% 17 검증 세트 손실: 2.019650 최선의 손실: 1.692753 정확도: 20.91% 18 검증 세트 손실: 2.567739 최선의 손실: 1.692753 정확도: 22.01% 19 검증 세트 손실: 2.833768 최선의 손실: 1.692753 정확도: 22.01% 20 검증 세트 손실: 2.283569 최선의 손실: 1.692753 정확도: 22.01% 21 검증 세트 손실: 2.377184 최선의 손실: 1.692753 정확도: 20.91% 22 검증 세트 손실: 1.983371 최선의 손실: 1.692753 정확도: 18.73% 23 검증 세트 손실: 2.143984 최선의 손실: 1.692753 정확도: 19.27% 24 검증 세트 손실: 2.032387 최선의 손실: 1.692753 정확도: 20.91% 25 검증 세트 손실: 1.828012 최선의 손실: 1.692753 정확도: 20.91% 26 검증 세트 손실: 1.893220 최선의 손실: 1.692753 정확도: 19.08% 27 검증 세트 손실: 2.163724 최선의 손실: 1.692753 정확도: 22.01% 28 검증 세트 손실: 2.621585 최선의 손실: 1.692753 정확도: 19.08% 29 검증 세트 손실: 2.281008 최선의 손실: 1.692753 정확도: 20.91% 30 검증 세트 손실: 1.913917 최선의 손실: 1.692753 정확도: 19.27% 31 검증 세트 손실: 2.141617 최선의 손실: 1.692753 정확도: 19.27% 32 검증 세트 손실: 2.017922 최선의 손실: 1.692753 정확도: 19.27% 33 검증 세트 손실: 1.835147 최선의 손실: 1.692753 정확도: 19.08% 34 검증 세트 손실: 1.877346 최선의 손실: 1.692753 정확도: 19.08% 35 검증 세트 손실: 2.370304 최선의 손실: 1.692753 정확도: 19.27% 36 검증 세트 손실: 2.066645 최선의 손실: 1.692753 정확도: 22.01% 조기 종료! [CV] n_neurons=100, learning_rate=0.05, batch_size=10, activation=<function elu at 0x7f8ec4ceef28>, total= 43.5s [CV] n_neurons=100, learning_rate=0.05, batch_size=10, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 2.086180 최선의 손실: 2.086180 정확도: 19.27% 1 검증 세트 손실: 2.040330 최선의 손실: 2.040330 정확도: 20.91% 2 검증 세트 손실: 2.146819 최선의 손실: 2.040330 정확도: 22.01% 3 검증 세트 손실: 2.180535 최선의 손실: 2.040330 정확도: 22.01% 4 검증 세트 손실: 2.009214 최선의 손실: 2.009214 정확도: 20.91% 5 검증 세트 손실: 2.124437 최선의 손실: 2.009214 정확도: 19.27% 6 검증 세트 손실: 1.798526 최선의 손실: 1.798526 정확도: 19.27% 7 검증 세트 손실: 2.029066 최선의 손실: 1.798526 정확도: 19.08% 8 검증 세트 손실: 2.358270 최선의 손실: 1.798526 정확도: 18.73% 9 검증 세트 손실: 1.772398 최선의 손실: 1.772398 정확도: 19.27% 10 검증 세트 손실: 2.146672 최선의 손실: 1.772398 정확도: 19.08% 11 검증 세트 손실: 2.742556 최선의 손실: 1.772398 정확도: 22.01% 12 검증 세트 손실: 2.154563 최선의 손실: 1.772398 정확도: 19.27% 13 검증 세트 손실: 2.503036 최선의 손실: 1.772398 정확도: 19.27% 14 검증 세트 손실: 2.296438 최선의 손실: 1.772398 정확도: 19.27% 15 검증 세트 손실: 2.037246 최선의 손실: 1.772398 정확도: 18.73% 16 검증 세트 손실: 1.655975 최선의 손실: 1.655975 정확도: 19.08% 17 검증 세트 손실: 1.940822 최선의 손실: 1.655975 정확도: 18.73% 18 검증 세트 손실: 1.873852 최선의 손실: 1.655975 정확도: 19.08% 19 검증 세트 손실: 2.003685 최선의 손실: 1.655975 정확도: 18.73% 20 검증 세트 손실: 2.406449 최선의 손실: 1.655975 정확도: 19.27% 21 검증 세트 손실: 1.857483 최선의 손실: 1.655975 정확도: 19.27% 22 검증 세트 손실: 2.096717 최선의 손실: 1.655975 정확도: 19.27% 23 검증 세트 손실: 2.520994 최선의 손실: 1.655975 정확도: 22.01% 24 검증 세트 손실: 1.893641 최선의 손실: 1.655975 정확도: 19.08% 25 검증 세트 손실: 2.078129 최선의 손실: 1.655975 정확도: 22.01% 26 검증 세트 손실: 2.804221 최선의 손실: 1.655975 정확도: 19.08% 27 검증 세트 손실: 2.394255 최선의 손실: 1.655975 정확도: 20.91% 28 검증 세트 손실: 1.977029 최선의 손실: 1.655975 정확도: 20.91% 29 검증 세트 손실: 1.721668 최선의 손실: 1.655975 정확도: 19.27% 30 검증 세트 손실: 2.203054 최선의 손실: 1.655975 정확도: 19.08% 31 검증 세트 손실: 2.605257 최선의 손실: 1.655975 정확도: 22.01% 32 검증 세트 손실: 2.066093 최선의 손실: 1.655975 정확도: 18.73% 33 검증 세트 손실: 2.527786 최선의 손실: 1.655975 정확도: 19.08% 34 검증 세트 손실: 2.730592 최선의 손실: 1.655975 정확도: 18.73% 35 검증 세트 손실: 2.582781 최선의 손실: 1.655975 정확도: 22.01% 36 검증 세트 손실: 2.845666 최선의 손실: 1.655975 정확도: 19.27% 37 검증 세트 손실: 1.998371 최선의 손실: 1.655975 정확도: 19.27% 조기 종료! [CV] n_neurons=100, learning_rate=0.05, batch_size=10, activation=<function elu at 0x7f8ec4ceef28>, total= 44.4s [CV] n_neurons=100, learning_rate=0.05, batch_size=10, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 1.830006 최선의 손실: 1.830006 정확도: 22.01% 1 검증 세트 손실: 2.131338 최선의 손실: 1.830006 정확도: 22.01% 2 검증 세트 손실: 2.190770 최선의 손실: 1.830006 정확도: 19.08% 3 검증 세트 손실: 2.143046 최선의 손실: 1.830006 정확도: 19.27% 4 검증 세트 손실: 3.100336 최선의 손실: 1.830006 정확도: 20.91% 5 검증 세트 손실: 2.463856 최선의 손실: 1.830006 정확도: 20.91% 6 검증 세트 손실: 2.003280 최선의 손실: 1.830006 정확도: 22.01% 7 검증 세트 손실: 1.763765 최선의 손실: 1.763765 정확도: 22.01% 8 검증 세트 손실: 1.700586 최선의 손실: 1.700586 정확도: 19.27% 9 검증 세트 손실: 2.334467 최선의 손실: 1.700586 정확도: 22.01% 10 검증 세트 손실: 1.853936 최선의 손실: 1.700586 정확도: 18.73% 11 검증 세트 손실: 1.842177 최선의 손실: 1.700586 정확도: 19.27% 12 검증 세트 손실: 2.091001 최선의 손실: 1.700586 정확도: 20.91% 13 검증 세트 손실: 3.280352 최선의 손실: 1.700586 정확도: 19.08% 14 검증 세트 손실: 2.147484 최선의 손실: 1.700586 정확도: 19.08% 15 검증 세트 손실: 1.816309 최선의 손실: 1.700586 정확도: 19.27% 16 검증 세트 손실: 1.802175 최선의 손실: 1.700586 정확도: 18.73% 17 검증 세트 손실: 2.435381 최선의 손실: 1.700586 정확도: 20.91% 18 검증 세트 손실: 1.970497 최선의 손실: 1.700586 정확도: 19.27% 19 검증 세트 손실: 2.368725 최선의 손실: 1.700586 정확도: 22.01% 20 검증 세트 손실: 2.211070 최선의 손실: 1.700586 정확도: 19.27% 21 검증 세트 손실: 2.549927 최선의 손실: 1.700586 정확도: 22.01% 22 검증 세트 손실: 1.926622 최선의 손실: 1.700586 정확도: 19.27% 23 검증 세트 손실: 2.675780 최선의 손실: 1.700586 정확도: 19.08% 24 검증 세트 손실: 2.494112 최선의 손실: 1.700586 정확도: 19.27% 25 검증 세트 손실: 1.703840 최선의 손실: 1.700586 정확도: 22.01% 26 검증 세트 손실: 2.280957 최선의 손실: 1.700586 정확도: 18.73% 27 검증 세트 손실: 1.996817 최선의 손실: 1.700586 정확도: 18.73% 28 검증 세트 손실: 2.451431 최선의 손실: 1.700586 정확도: 19.08% 29 검증 세트 손실: 2.784983 최선의 손실: 1.700586 정확도: 20.91% 조기 종료! [CV] n_neurons=100, learning_rate=0.05, batch_size=10, activation=<function elu at 0x7f8ec4ceef28>, total= 35.0s [CV] n_neurons=90, learning_rate=0.02, batch_size=500, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.153380 최선의 손실: 0.153380 정확도: 94.80% 1 검증 세트 손실: 0.087586 최선의 손실: 0.087586 정확도: 97.50% 2 검증 세트 손실: 0.076680 최선의 손실: 0.076680 정확도: 97.77% 3 검증 세트 손실: 0.081570 최선의 손실: 0.076680 정확도: 97.69% 4 검증 세트 손실: 0.075922 최선의 손실: 0.075922 정확도: 97.93% 5 검증 세트 손실: 0.065010 최선의 손실: 0.065010 정확도: 98.44% 6 검증 세트 손실: 0.065706 최선의 손실: 0.065010 정확도: 98.36% 7 검증 세트 손실: 0.071053 최선의 손실: 0.065010 정확도: 98.32% 8 검증 세트 손실: 0.070527 최선의 손실: 0.065010 정확도: 98.32% 9 검증 세트 손실: 0.073580 최선의 손실: 0.065010 정확도: 98.28% 10 검증 세트 손실: 0.048505 최선의 손실: 0.048505 정확도: 98.94% 11 검증 세트 손실: 0.065689 최선의 손실: 0.048505 정확도: 98.36% 12 검증 세트 손실: 0.071522 최선의 손실: 0.048505 정확도: 98.16% 13 검증 세트 손실: 0.068540 최선의 손실: 0.048505 정확도: 98.51% 14 검증 세트 손실: 0.079861 최선의 손실: 0.048505 정확도: 98.36% 15 검증 세트 손실: 0.075419 최선의 손실: 0.048505 정확도: 98.20% 16 검증 세트 손실: 0.085131 최선의 손실: 0.048505 정확도: 98.20% 17 검증 세트 손실: 0.074155 최선의 손실: 0.048505 정확도: 98.71% 18 검증 세트 손실: 0.067812 최선의 손실: 0.048505 정확도: 98.67% 19 검증 세트 손실: 0.070843 최선의 손실: 0.048505 정확도: 98.75% 20 검증 세트 손실: 0.079976 최선의 손실: 0.048505 정확도: 98.51% 21 검증 세트 손실: 0.067650 최선의 손실: 0.048505 정확도: 98.55% 22 검증 세트 손실: 0.073264 최선의 손실: 0.048505 정확도: 98.48% 23 검증 세트 손실: 0.079828 최선의 손실: 0.048505 정확도: 98.59% 24 검증 세트 손실: 0.069711 최선의 손실: 0.048505 정확도: 98.44% 25 검증 세트 손실: 0.087333 최선의 손실: 0.048505 정확도: 98.71% 26 검증 세트 손실: 0.092510 최선의 손실: 0.048505 정확도: 98.59% 27 검증 세트 손실: 0.104338 최선의 손실: 0.048505 정확도: 98.28% 28 검증 세트 손실: 0.079420 최선의 손실: 0.048505 정확도: 98.75% 29 검증 세트 손실: 0.085931 최선의 손실: 0.048505 정확도: 98.67% 30 검증 세트 손실: 0.081857 최선의 손실: 0.048505 정확도: 98.51% 31 검증 세트 손실: 0.093568 최선의 손실: 0.048505 정확도: 98.28% 조기 종료! [CV] n_neurons=90, learning_rate=0.02, batch_size=500, activation=<function elu at 0x7f8ec4ceef28>, total= 5.7s [CV] n_neurons=90, learning_rate=0.02, batch_size=500, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.142724 최선의 손실: 0.142724 정확도: 96.09% 1 검증 세트 손실: 0.077564 최선의 손실: 0.077564 정확도: 97.54% 2 검증 세트 손실: 0.068069 최선의 손실: 0.068069 정확도: 97.81% 3 검증 세트 손실: 0.056794 최선의 손실: 0.056794 정확도: 98.24% 4 검증 세트 손실: 0.057224 최선의 손실: 0.056794 정확도: 98.32% 5 검증 세트 손실: 0.047567 최선의 손실: 0.047567 정확도: 98.51% 6 검증 세트 손실: 0.064623 최선의 손실: 0.047567 정확도: 97.93% 7 검증 세트 손실: 0.063472 최선의 손실: 0.047567 정확도: 98.12% 8 검증 세트 손실: 0.088332 최선의 손실: 0.047567 정확도: 97.58% 9 검증 세트 손실: 0.055690 최선의 손실: 0.047567 정확도: 98.40% 10 검증 세트 손실: 0.052995 최선의 손실: 0.047567 정확도: 98.71% 11 검증 세트 손실: 0.076544 최선의 손실: 0.047567 정확도: 98.32% 12 검증 세트 손실: 0.061579 최선의 손실: 0.047567 정확도: 98.63% 13 검증 세트 손실: 0.055622 최선의 손실: 0.047567 정확도: 98.83% 14 검증 세트 손실: 0.062736 최선의 손실: 0.047567 정확도: 98.55% 15 검증 세트 손실: 0.090491 최선의 손실: 0.047567 정확도: 98.44% 16 검증 세트 손실: 0.053311 최선의 손실: 0.047567 정확도: 98.55% 17 검증 세트 손실: 0.061010 최선의 손실: 0.047567 정확도: 98.87% 18 검증 세트 손실: 0.068575 최선의 손실: 0.047567 정확도: 98.71% 19 검증 세트 손실: 0.063921 최선의 손실: 0.047567 정확도: 98.67% 20 검증 세트 손실: 0.056553 최선의 손실: 0.047567 정확도: 98.55% 21 검증 세트 손실: 0.064097 최선의 손실: 0.047567 정확도: 98.63% 22 검증 세트 손실: 0.071911 최선의 손실: 0.047567 정확도: 98.71% 23 검증 세트 손실: 0.074017 최선의 손실: 0.047567 정확도: 98.55% 24 검증 세트 손실: 0.065793 최선의 손실: 0.047567 정확도: 98.87% 25 검증 세트 손실: 0.082452 최선의 손실: 0.047567 정확도: 98.55% 26 검증 세트 손실: 0.062957 최선의 손실: 0.047567 정확도: 98.63% 조기 종료! [CV] n_neurons=90, learning_rate=0.02, batch_size=500, activation=<function elu at 0x7f8ec4ceef28>, total= 4.9s [CV] n_neurons=90, learning_rate=0.02, batch_size=500, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.140301 최선의 손실: 0.140301 정확도: 95.31% 1 검증 세트 손실: 0.078181 최선의 손실: 0.078181 정확도: 97.30% 2 검증 세트 손실: 0.067004 최선의 손실: 0.067004 정확도: 97.77% 3 검증 세트 손실: 0.056316 최선의 손실: 0.056316 정확도: 98.24% 4 검증 세트 손실: 0.059319 최선의 손실: 0.056316 정확도: 98.28% 5 검증 세트 손실: 0.053590 최선의 손실: 0.053590 정확도: 98.28% 6 검증 세트 손실: 0.082156 최선의 손실: 0.053590 정확도: 97.85% 7 검증 세트 손실: 0.063492 최선의 손실: 0.053590 정확도: 98.24% 8 검증 세트 손실: 0.054046 최선의 손실: 0.053590 정확도: 98.48% 9 검증 세트 손실: 0.064006 최선의 손실: 0.053590 정확도: 98.48% 10 검증 세트 손실: 0.062416 최선의 손실: 0.053590 정확도: 98.40% 11 검증 세트 손실: 0.062902 최선의 손실: 0.053590 정확도: 98.28% 12 검증 세트 손실: 0.062604 최선의 손실: 0.053590 정확도: 98.32% 13 검증 세트 손실: 0.067877 최선의 손실: 0.053590 정확도: 98.59% 14 검증 세트 손실: 0.067826 최선의 손실: 0.053590 정확도: 98.40% 15 검증 세트 손실: 0.066816 최선의 손실: 0.053590 정확도: 98.55% 16 검증 세트 손실: 0.074994 최선의 손실: 0.053590 정확도: 98.63% 17 검증 세트 손실: 0.077950 최선의 손실: 0.053590 정확도: 98.55% 18 검증 세트 손실: 0.060889 최선의 손실: 0.053590 정확도: 98.83% 19 검증 세트 손실: 0.064673 최선의 손실: 0.053590 정확도: 98.63% 20 검증 세트 손실: 0.064803 최선의 손실: 0.053590 정확도: 98.71% 21 검증 세트 손실: 0.072526 최선의 손실: 0.053590 정확도: 98.59% 22 검증 세트 손실: 0.062641 최선의 손실: 0.053590 정확도: 98.67% 23 검증 세트 손실: 0.044543 최선의 손실: 0.044543 정확도: 99.14% 24 검증 세트 손실: 0.063428 최선의 손실: 0.044543 정확도: 98.75% 25 검증 세트 손실: 0.056027 최선의 손실: 0.044543 정확도: 98.71% 26 검증 세트 손실: 0.074050 최선의 손실: 0.044543 정확도: 98.75% 27 검증 세트 손실: 0.072819 최선의 손실: 0.044543 정확도: 98.40% 28 검증 세트 손실: 0.055905 최선의 손실: 0.044543 정확도: 98.75% 29 검증 세트 손실: 0.064613 최선의 손실: 0.044543 정확도: 98.75% 30 검증 세트 손실: 0.066320 최선의 손실: 0.044543 정확도: 98.71% 31 검증 세트 손실: 0.055651 최선의 손실: 0.044543 정확도: 98.87% 32 검증 세트 손실: 0.066779 최선의 손실: 0.044543 정확도: 98.71% 33 검증 세트 손실: 0.065109 최선의 손실: 0.044543 정확도: 98.71% 34 검증 세트 손실: 0.065098 최선의 손실: 0.044543 정확도: 98.75% 35 검증 세트 손실: 0.060093 최선의 손실: 0.044543 정확도: 98.94% 36 검증 세트 손실: 0.069519 최선의 손실: 0.044543 정확도: 98.91% 37 검증 세트 손실: 0.084380 최선의 손실: 0.044543 정확도: 98.91% 38 검증 세트 손실: 0.109287 최선의 손실: 0.044543 정확도: 98.36% 39 검증 세트 손실: 0.073206 최선의 손실: 0.044543 정확도: 98.83% 40 검증 세트 손실: 0.066892 최선의 손실: 0.044543 정확도: 98.83% 41 검증 세트 손실: 0.054476 최선의 손실: 0.044543 정확도: 98.83% 42 검증 세트 손실: 0.099790 최선의 손실: 0.044543 정확도: 98.55% 43 검증 세트 손실: 0.078520 최선의 손실: 0.044543 정확도: 98.67% 44 검증 세트 손실: 0.059422 최선의 손실: 0.044543 정확도: 98.67% 조기 종료! [CV] n_neurons=90, learning_rate=0.02, batch_size=500, activation=<function elu at 0x7f8ec4ceef28>, total= 7.8s [CV] n_neurons=30, learning_rate=0.05, batch_size=50, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.467548 최선의 손실: 0.467548 정확도: 89.68% 1 검증 세트 손실: 0.252414 최선의 손실: 0.252414 정확도: 92.61% 2 검증 세트 손실: 0.688882 최선의 손실: 0.252414 정확도: 75.18% 3 검증 세트 손실: 1.595843 최선의 손실: 0.252414 정확도: 22.01% 4 검증 세트 손실: 1.617073 최선의 손실: 0.252414 정확도: 22.01% 5 검증 세트 손실: 1.614134 최선의 손실: 0.252414 정확도: 22.01% 6 검증 세트 손실: 1.609219 최선의 손실: 0.252414 정확도: 22.01% 7 검증 세트 손실: 1.614352 최선의 손실: 0.252414 정확도: 22.01% 8 검증 세트 손실: 1.616958 최선의 손실: 0.252414 정확도: 22.01% 9 검증 세트 손실: 1.608661 최선의 손실: 0.252414 정확도: 22.01% 10 검증 세트 손실: 1.608050 최선의 손실: 0.252414 정확도: 22.01% 11 검증 세트 손실: 1.613508 최선의 손실: 0.252414 정확도: 19.27% 12 검증 세트 손실: 1.609078 최선의 손실: 0.252414 정확도: 22.01% 13 검증 세트 손실: 1.615909 최선의 손실: 0.252414 정확도: 19.08% 14 검증 세트 손실: 1.613166 최선의 손실: 0.252414 정확도: 18.73% 15 검증 세트 손실: 1.611266 최선의 손실: 0.252414 정확도: 22.01% 16 검증 세트 손실: 1.609476 최선의 손실: 0.252414 정확도: 19.08% 17 검증 세트 손실: 1.610101 최선의 손실: 0.252414 정확도: 19.27% 18 검증 세트 손실: 1.615433 최선의 손실: 0.252414 정확도: 18.73% 19 검증 세트 손실: 1.608982 최선의 손실: 0.252414 정확도: 22.01% 20 검증 세트 손실: 1.609123 최선의 손실: 0.252414 정확도: 20.91% 21 검증 세트 손실: 1.615655 최선의 손실: 0.252414 정확도: 22.01% 22 검증 세트 손실: 1.613657 최선의 손실: 0.252414 정확도: 19.27% 조기 종료! [CV] n_neurons=30, learning_rate=0.05, batch_size=50, activation=<function relu at 0x7f8ec4c8c510>, total= 5.9s [CV] n_neurons=30, learning_rate=0.05, batch_size=50, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.171215 최선의 손실: 0.171215 정확도: 94.80% 1 검증 세트 손실: 0.276635 최선의 손실: 0.171215 정확도: 93.90% 2 검증 세트 손실: 0.714480 최선의 손실: 0.171215 정확도: 76.58% 3 검증 세트 손실: 1.261391 최선의 손실: 0.171215 정확도: 38.94% 4 검증 세트 손실: 1.207924 최선의 손실: 0.171215 정확도: 39.91% 5 검증 세트 손실: 1.168964 최선의 손실: 0.171215 정확도: 42.42% 6 검증 세트 손실: 1.211761 최선의 손실: 0.171215 정확도: 33.11% 7 검증 세트 손실: 1.655871 최선의 손실: 0.171215 정확도: 22.01% 8 검증 세트 손실: 1.608976 최선의 손실: 0.171215 정확도: 22.01% 9 검증 세트 손실: 1.608349 최선의 손실: 0.171215 정확도: 22.01% 10 검증 세트 손실: 1.614480 최선의 손실: 0.171215 정확도: 22.01% 11 검증 세트 손실: 1.610581 최선의 손실: 0.171215 정확도: 22.01% 12 검증 세트 손실: 1.609118 최선의 손실: 0.171215 정확도: 22.01% 13 검증 세트 손실: 1.612355 최선의 손실: 0.171215 정확도: 19.27% 14 검증 세트 손실: 1.609242 최선의 손실: 0.171215 정확도: 22.01% 15 검증 세트 손실: 1.610152 최선의 손실: 0.171215 정확도: 22.01% 16 검증 세트 손실: 1.613015 최선의 손실: 0.171215 정확도: 22.01% 17 검증 세트 손실: 1.615447 최선의 손실: 0.171215 정확도: 19.08% 18 검증 세트 손실: 1.610247 최선의 손실: 0.171215 정확도: 22.01% 19 검증 세트 손실: 1.609071 최선의 손실: 0.171215 정확도: 22.01% 20 검증 세트 손실: 1.610649 최선의 손실: 0.171215 정확도: 22.01% 21 검증 세트 손실: 1.612858 최선의 손실: 0.171215 정확도: 22.01% 조기 종료! [CV] n_neurons=30, learning_rate=0.05, batch_size=50, activation=<function relu at 0x7f8ec4c8c510>, total= 5.6s [CV] n_neurons=30, learning_rate=0.05, batch_size=50, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.148792 최선의 손실: 0.148792 정확도: 95.74% 1 검증 세트 손실: 0.146185 최선의 손실: 0.146185 정확도: 96.13% 2 검증 세트 손실: 0.332904 최선의 손실: 0.146185 정확도: 92.49% 3 검증 세트 손실: 0.192183 최선의 손실: 0.146185 정확도: 94.72% 4 검증 세트 손실: 0.247676 최선의 손실: 0.146185 정확도: 94.10% 5 검증 세트 손실: 0.617268 최선의 손실: 0.146185 정확도: 75.49% 6 검증 세트 손실: 0.521337 최선의 손실: 0.146185 정확도: 79.52% 7 검증 세트 손실: 0.701716 최선의 손실: 0.146185 정확도: 71.03% 8 검증 세트 손실: 0.645204 최선의 손실: 0.146185 정확도: 74.94% 9 검증 세트 손실: 1.015691 최선의 손실: 0.146185 정확도: 54.46% 10 검증 세트 손실: 1.017543 최선의 손실: 0.146185 정확도: 52.66% 11 검증 세트 손실: 0.885283 최선의 손실: 0.146185 정확도: 57.23% 12 검증 세트 손실: 0.825017 최선의 손실: 0.146185 정확도: 62.59% 13 검증 세트 손실: 0.744610 최선의 손실: 0.146185 정확도: 66.69% 14 검증 세트 손실: 0.783117 최선의 손실: 0.146185 정확도: 63.10% 15 검증 세트 손실: 0.719829 최선의 손실: 0.146185 정확도: 68.18% 16 검증 세트 손실: 0.745726 최선의 손실: 0.146185 정확도: 67.44% 17 검증 세트 손실: 0.831390 최선의 손실: 0.146185 정확도: 63.10% 18 검증 세트 손실: 0.704464 최선의 손실: 0.146185 정확도: 68.37% 19 검증 세트 손실: 0.519329 최선의 손실: 0.146185 정확도: 83.70% 20 검증 세트 손실: 0.706356 최선의 손실: 0.146185 정확도: 69.47% 21 검증 세트 손실: 0.731465 최선의 손실: 0.146185 정확도: 74.28% 22 검증 세트 손실: 0.811508 최선의 손실: 0.146185 정확도: 71.85% 조기 종료! [CV] n_neurons=30, learning_rate=0.05, batch_size=50, activation=<function relu at 0x7f8ec4c8c510>, total= 5.8s [CV] n_neurons=50, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 0 검증 세트 손실: 0.186992 최선의 손실: 0.186992 정확도: 95.07% 1 검증 세트 손실: 0.133227 최선의 손실: 0.133227 정확도: 96.17% 2 검증 세트 손실: 0.155530 최선의 손실: 0.133227 정확도: 96.40% 3 검증 세트 손실: 1222.078613 최선의 손실: 0.133227 정확도: 44.53% 4 검증 세트 손실: 22.377054 최선의 손실: 0.133227 정확도: 83.62% 5 검증 세트 손실: 18.422031 최선의 손실: 0.133227 정확도: 84.09% 6 검증 세트 손실: 12.475811 최선의 손실: 0.133227 정확도: 86.86% 7 검증 세트 손실: 6.948159 최선의 손실: 0.133227 정확도: 90.77% 8 검증 세트 손실: 6.151453 최선의 손실: 0.133227 정확도: 92.34% 9 검증 세트 손실: 5.959032 최선의 손실: 0.133227 정확도: 93.00% 10 검증 세트 손실: 7.751710 최선의 손실: 0.133227 정확도: 92.57% 11 검증 세트 손실: 11.911991 최선의 손실: 0.133227 정확도: 91.40% 12 검증 세트 손실: 14.854826 최선의 손실: 0.133227 정확도: 83.50% 13 검증 세트 손실: 12.104122 최선의 손실: 0.133227 정확도: 87.33% 14 검증 세트 손실: 5.944398 최선의 손실: 0.133227 정확도: 92.57% 15 검증 세트 손실: 4.527845 최선의 손실: 0.133227 정확도: 94.72% 16 검증 세트 손실: 3.968540 최선의 손실: 0.133227 정확도: 94.57% 17 검증 세트 손실: 4.558530 최선의 손실: 0.133227 정확도: 95.11% 18 검증 세트 손실: 2.712705 최선의 손실: 0.133227 정확도: 95.90% 19 검증 세트 손실: 15.300344 최선의 손실: 0.133227 정확도: 82.41% 20 검증 세트 손실: 468.918549 최선의 손실: 0.133227 정확도: 83.62% 21 검증 세트 손실: 118.987038 최선의 손실: 0.133227 정확도: 92.73% 22 검증 세트 손실: 64.619713 최선의 손실: 0.133227 정확도: 94.14% 조기 종료! [CV] n_neurons=50, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total= 4.9s [CV] n_neurons=50, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 0 검증 세트 손실: 0.154682 최선의 손실: 0.154682 정확도: 95.90% 1 검증 세트 손실: 0.094245 최선의 손실: 0.094245 정확도: 97.15% 2 검증 세트 손실: 485.391602 최선의 손실: 0.094245 정확도: 69.04% 3 검증 세트 손실: 20.694063 최선의 손실: 0.094245 정확도: 91.95% 4 검증 세트 손실: 11.762389 최선의 손실: 0.094245 정확도: 92.69% 5 검증 세트 손실: 13.786525 최선의 손실: 0.094245 정확도: 89.29% 6 검증 세트 손실: 5.673931 최선의 손실: 0.094245 정확도: 93.78% 7 검증 세트 손실: 6.248975 최선의 손실: 0.094245 정확도: 93.63% 8 검증 세트 손실: 2.227148 최선의 손실: 0.094245 정확도: 96.25% 9 검증 세트 손실: 3.098826 최선의 손실: 0.094245 정확도: 96.36% 10 검증 세트 손실: 1.799981 최선의 손실: 0.094245 정확도: 96.72% 11 검증 세트 손실: 2.176519 최선의 손실: 0.094245 정확도: 96.21% 12 검증 세트 손실: 1.224813 최선의 손실: 0.094245 정확도: 97.19% 13 검증 세트 손실: 1.304725 최선의 손실: 0.094245 정확도: 96.44% 14 검증 세트 손실: 1.456729 최선의 손실: 0.094245 정확도: 96.13% 15 검증 세트 손실: 1.089426 최선의 손실: 0.094245 정확도: 97.34% 16 검증 세트 손실: 1.918825 최선의 손실: 0.094245 정확도: 95.07% 17 검증 세트 손실: 1.288564 최선의 손실: 0.094245 정확도: 96.17% 18 검증 세트 손실: 1.381156 최선의 손실: 0.094245 정확도: 97.15% 19 검증 세트 손실: 0.806893 최선의 손실: 0.094245 정확도: 96.40% 20 검증 세트 손실: 26.981449 최선의 손실: 0.094245 정확도: 83.62% 21 검증 세트 손실: 4.928243 최선의 손실: 0.094245 정확도: 94.45% 22 검증 세트 손실: 6.141958 최선의 손실: 0.094245 정확도: 91.16% 조기 종료! [CV] n_neurons=50, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total= 5.0s [CV] n_neurons=50, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 0 검증 세트 손실: 0.116965 최선의 손실: 0.116965 정확도: 96.56% 1 검증 세트 손실: 0.153705 최선의 손실: 0.116965 정확도: 95.86% 2 검증 세트 손실: 1047.593994 최선의 손실: 0.116965 정확도: 48.83% 3 검증 세트 손실: 3.903300 최선의 손실: 0.116965 정확도: 91.32% 4 검증 세트 손실: 2.520075 최선의 손실: 0.116965 정확도: 93.55% 5 검증 세트 손실: 2.371787 최선의 손실: 0.116965 정확도: 94.92% 6 검증 세트 손실: 2.089808 최선의 손실: 0.116965 정확도: 93.20% 7 검증 세트 손실: 4.908280 최선의 손실: 0.116965 정확도: 91.24% 8 검증 세트 손실: 1.802907 최선의 손실: 0.116965 정확도: 94.49% 9 검증 세트 손실: 2.673851 최선의 손실: 0.116965 정확도: 93.98% 10 검증 세트 손실: 3.813082 최선의 손실: 0.116965 정확도: 95.39% 11 검증 세트 손실: 4.047690 최선의 손실: 0.116965 정확도: 94.84% 12 검증 세트 손실: 2.102582 최선의 손실: 0.116965 정확도: 90.66% 13 검증 세트 손실: 1.635320 최선의 손실: 0.116965 정확도: 95.66% 14 검증 세트 손실: 1.308619 최선의 손실: 0.116965 정확도: 92.26% 15 검증 세트 손실: 0.540125 최선의 손실: 0.116965 정확도: 96.95% 16 검증 세트 손실: 0.524107 최선의 손실: 0.116965 정확도: 96.83% 17 검증 세트 손실: 1.382948 최선의 손실: 0.116965 정확도: 93.98% 18 검증 세트 손실: 0.452829 최선의 손실: 0.116965 정확도: 96.52% 19 검증 세트 손실: 0.371988 최선의 손실: 0.116965 정확도: 96.72% 20 검증 세트 손실: 0.380312 최선의 손실: 0.116965 정확도: 95.47% 21 검증 세트 손실: 0.427113 최선의 손실: 0.116965 정확도: 95.54% 조기 종료! [CV] n_neurons=50, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total= 4.7s [CV] n_neurons=10, learning_rate=0.02, batch_size=10, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.251900 최선의 손실: 0.251900 정확도: 93.67% 1 검증 세트 손실: 0.203994 최선의 손실: 0.203994 정확도: 94.72% 2 검증 세트 손실: 0.170632 최선의 손실: 0.170632 정확도: 95.47% 3 검증 세트 손실: 0.145789 최선의 손실: 0.145789 정확도: 95.97% 4 검증 세트 손실: 0.111856 최선의 손실: 0.111856 정확도: 96.79% 5 검증 세트 손실: 0.205407 최선의 손실: 0.111856 정확도: 96.13% 6 검증 세트 손실: 0.131561 최선의 손실: 0.111856 정확도: 96.44% 7 검증 세트 손실: 0.138781 최선의 손실: 0.111856 정확도: 96.68% 8 검증 세트 손실: 0.191409 최선의 손실: 0.111856 정확도: 94.57% 9 검증 세트 손실: 0.193376 최선의 손실: 0.111856 정확도: 95.70% 10 검증 세트 손실: 0.193110 최선의 손실: 0.111856 정확도: 94.57% 11 검증 세트 손실: 0.276580 최선의 손실: 0.111856 정확도: 92.89% 12 검증 세트 손실: 0.300255 최선의 손실: 0.111856 정확도: 92.53% 13 검증 세트 손실: 0.243310 최선의 손실: 0.111856 정확도: 95.50% 14 검증 세트 손실: 0.443112 최선의 손실: 0.111856 정확도: 95.86% 15 검증 세트 손실: 0.219680 최선의 손실: 0.111856 정확도: 94.88% 16 검증 세트 손실: 0.199926 최선의 손실: 0.111856 정확도: 96.25% 17 검증 세트 손실: 0.184721 최선의 손실: 0.111856 정확도: 96.29% 18 검증 세트 손실: 0.213894 최선의 손실: 0.111856 정확도: 95.19% 19 검증 세트 손실: 0.335216 최선의 손실: 0.111856 정확도: 93.04% 20 검증 세트 손실: 1.160094 최선의 손실: 0.111856 정확도: 40.46% 21 검증 세트 손실: 1.180431 최선의 손실: 0.111856 정확도: 40.73% 22 검증 세트 손실: 1.199585 최선의 손실: 0.111856 정확도: 40.19% 23 검증 세트 손실: 1.617542 최선의 손실: 0.111856 정확도: 22.01% 24 검증 세트 손실: 1.646355 최선의 손실: 0.111856 정확도: 22.05% 25 검증 세트 손실: 1.655502 최선의 손실: 0.111856 정확도: 22.01% 조기 종료! [CV] n_neurons=10, learning_rate=0.02, batch_size=10, activation=<function elu at 0x7f8ec4ceef28>, total= 18.0s [CV] n_neurons=10, learning_rate=0.02, batch_size=10, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.293539 최선의 손실: 0.293539 정확도: 91.95% 1 검증 세트 손실: 0.201445 최선의 손실: 0.201445 정확도: 95.39% 2 검증 세트 손실: 0.155083 최선의 손실: 0.155083 정확도: 96.05% 3 검증 세트 손실: 0.121911 최선의 손실: 0.121911 정확도: 96.76% 4 검증 세트 손실: 0.106857 최선의 손실: 0.106857 정확도: 97.03% 5 검증 세트 손실: 0.243694 최선의 손실: 0.106857 정확도: 95.58% 6 검증 세트 손실: 0.166254 최선의 손실: 0.106857 정확도: 96.17% 7 검증 세트 손실: 0.197603 최선의 손실: 0.106857 정확도: 96.01% 8 검증 세트 손실: 0.585144 최선의 손실: 0.106857 정확도: 74.71% 9 검증 세트 손실: 0.347678 최선의 손실: 0.106857 정확도: 91.36% 10 검증 세트 손실: 0.304710 최선의 손실: 0.106857 정확도: 93.75% 11 검증 세트 손실: 0.174496 최선의 손실: 0.106857 정확도: 96.56% 12 검증 세트 손실: 0.463943 최선의 손실: 0.106857 정확도: 77.09% 13 검증 세트 손실: 0.758214 최선의 손실: 0.106857 정확도: 63.37% 14 검증 세트 손실: 0.531307 최선의 손실: 0.106857 정확도: 75.45% 15 검증 세트 손실: 0.758179 최선의 손실: 0.106857 정확도: 71.11% 16 검증 세트 손실: 0.627861 최선의 손실: 0.106857 정확도: 73.53% 17 검증 세트 손실: 0.496033 최선의 손실: 0.106857 정확도: 75.41% 18 검증 세트 손실: 0.534288 최선의 손실: 0.106857 정확도: 73.77% 19 검증 세트 손실: 0.934053 최선의 손실: 0.106857 정확도: 57.27% 20 검증 세트 손실: 1.245830 최선의 손실: 0.106857 정확도: 36.75% 21 검증 세트 손실: 1.626114 최선의 손실: 0.106857 정확도: 24.94% 22 검증 세트 손실: 1.328982 최선의 손실: 0.106857 정확도: 36.24% 23 검증 세트 손실: 1.431234 최선의 손실: 0.106857 정확도: 36.63% 24 검증 세트 손실: 1.245528 최선의 손실: 0.106857 정확도: 38.78% 25 검증 세트 손실: 1.199934 최선의 손실: 0.106857 정확도: 41.40% 조기 종료! [CV] n_neurons=10, learning_rate=0.02, batch_size=10, activation=<function elu at 0x7f8ec4ceef28>, total= 17.7s [CV] n_neurons=10, learning_rate=0.02, batch_size=10, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.218326 최선의 손실: 0.218326 정확도: 95.62% 1 검증 세트 손실: 0.139652 최선의 손실: 0.139652 정확도: 96.48% 2 검증 세트 손실: 0.185367 최선의 손실: 0.139652 정확도: 95.97% 3 검증 세트 손실: 0.503665 최선의 손실: 0.139652 정확도: 84.21% 4 검증 세트 손실: 0.306959 최선의 손실: 0.139652 정확도: 92.34% 5 검증 세트 손실: 0.312952 최선의 손실: 0.139652 정확도: 92.65% 6 검증 세트 손실: 0.321531 최선의 손실: 0.139652 정확도: 93.55% 7 검증 세트 손실: 0.217648 최선의 손실: 0.139652 정확도: 95.47% 8 검증 세트 손실: 0.443441 최선의 손실: 0.139652 정확도: 75.53% 9 검증 세트 손실: 0.296745 최선의 손실: 0.139652 정확도: 93.59% 10 검증 세트 손실: 0.235967 최선의 손실: 0.139652 정확도: 95.04% 11 검증 세트 손실: 0.506821 최선의 손실: 0.139652 정확도: 93.90% 12 검증 세트 손실: 0.451871 최선의 손실: 0.139652 정확도: 92.49% 13 검증 세트 손실: 1.391686 최선의 손실: 0.139652 정확도: 93.86% 14 검증 세트 손실: 0.550413 최선의 손실: 0.139652 정확도: 93.39% 15 검증 세트 손실: 0.399842 최선의 손실: 0.139652 정확도: 95.35% 16 검증 세트 손실: 2.315573 최선의 손실: 0.139652 정확도: 94.06% 17 검증 세트 손실: 0.433348 최선의 손실: 0.139652 정확도: 89.25% 18 검증 세트 손실: 0.271465 최선의 손실: 0.139652 정확도: 93.82% 19 검증 세트 손실: 0.309291 최선의 손실: 0.139652 정확도: 94.37% 20 검증 세트 손실: 0.566560 최선의 손실: 0.139652 정확도: 79.63% 21 검증 세트 손실: 0.314433 최선의 손실: 0.139652 정확도: 92.85% 22 검증 세트 손실: 0.250561 최선의 손실: 0.139652 정확도: 94.14% 조기 종료! [CV] n_neurons=10, learning_rate=0.02, batch_size=10, activation=<function elu at 0x7f8ec4ceef28>, total= 16.0s [CV] n_neurons=140, learning_rate=0.05, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 0 검증 세트 손실: 690.126282 최선의 손실: 690.126282 정확도: 18.73% 1 검증 세트 손실: 10985.355469 최선의 손실: 690.126282 정확도: 13.02% 2 검증 세트 손실: 65.520966 최선의 손실: 65.520966 정확도: 73.49% 3 검증 세트 손실: 29.767363 최선의 손실: 29.767363 정확도: 87.10% 4 검증 세트 손실: 6.690353 최선의 손실: 6.690353 정확도: 92.77% 5 검증 세트 손실: 4.564709 최선의 손실: 4.564709 정확도: 92.69% 6 검증 세트 손실: 3.826008 최선의 손실: 3.826008 정확도: 92.42% 7 검증 세트 손실: 3.776085 최선의 손실: 3.776085 정확도: 92.46% 8 검증 세트 손실: 2.571607 최선의 손실: 2.571607 정확도: 94.45% 9 검증 세트 손실: 3.960520 최선의 손실: 2.571607 정확도: 92.42% 10 검증 세트 손실: 1.987760 최선의 손실: 1.987760 정확도: 93.98% 11 검증 세트 손실: 1.603755 최선의 손실: 1.603755 정확도: 95.23% 12 검증 세트 손실: 2.144811 최선의 손실: 1.603755 정확도: 94.37% 13 검증 세트 손실: 1.458449 최선의 손실: 1.458449 정확도: 94.92% 14 검증 세트 손실: 5.154097 최선의 손실: 1.458449 정확도: 84.60% 15 검증 세트 손실: 2.715806 최선의 손실: 1.458449 정확도: 94.61% 16 검증 세트 손실: 3.013890 최선의 손실: 1.458449 정확도: 92.89% 17 검증 세트 손실: 1.571816 최선의 손실: 1.458449 정확도: 95.43% 18 검증 세트 손실: 1.303513 최선의 손실: 1.303513 정확도: 96.40% 19 검증 세트 손실: 1.824095 최선의 손실: 1.303513 정확도: 94.92% 20 검증 세트 손실: 2.066882 최선의 손실: 1.303513 정확도: 93.63% 21 검증 세트 손실: 1.799434 최선의 손실: 1.303513 정확도: 94.37% 22 검증 세트 손실: 1.023286 최선의 손실: 1.023286 정확도: 95.78% 23 검증 세트 손실: 0.801162 최선의 손실: 0.801162 정확도: 97.15% 24 검증 세트 손실: 1.622330 최선의 손실: 0.801162 정확도: 95.50% 25 검증 세트 손실: 1.221080 최선의 손실: 0.801162 정확도: 96.95% 26 검증 세트 손실: 0.726078 최선의 손실: 0.726078 정확도: 97.34% 27 검증 세트 손실: 1.180433 최선의 손실: 0.726078 정확도: 94.25% 28 검증 세트 손실: 0.622583 최선의 손실: 0.622583 정확도: 96.79% 29 검증 세트 손실: 0.597420 최선의 손실: 0.597420 정확도: 96.60% 30 검증 세트 손실: 0.829324 최선의 손실: 0.597420 정확도: 95.93% 31 검증 세트 손실: 0.622161 최선의 손실: 0.597420 정확도: 96.48% 32 검증 세트 손실: 0.717351 최선의 손실: 0.597420 정확도: 96.83% 33 검증 세트 손실: 0.763994 최선의 손실: 0.597420 정확도: 96.21% 34 검증 세트 손실: 0.623744 최선의 손실: 0.597420 정확도: 96.40% 35 검증 세트 손실: 0.638363 최선의 손실: 0.597420 정확도: 96.64% 36 검증 세트 손실: 0.839009 최선의 손실: 0.597420 정확도: 96.21% 37 검증 세트 손실: 3.418992 최선의 손실: 0.597420 정확도: 84.79% 38 검증 세트 손실: 1.179810 최선의 손실: 0.597420 정확도: 96.25% 39 검증 세트 손실: 0.713854 최선의 손실: 0.597420 정확도: 96.87% 40 검증 세트 손실: 1.143013 최선의 손실: 0.597420 정확도: 95.00% 41 검증 세트 손실: 0.770571 최선의 손실: 0.597420 정확도: 96.36% 42 검증 세트 손실: 0.614120 최선의 손실: 0.597420 정확도: 96.48% 43 검증 세트 손실: 0.664119 최선의 손실: 0.597420 정확도: 96.99% 44 검증 세트 손실: 0.572742 최선의 손실: 0.572742 정확도: 97.38% 45 검증 세트 손실: 0.457800 최선의 손실: 0.457800 정확도: 97.54% 46 검증 세트 손실: 0.607914 최선의 손실: 0.457800 정확도: 97.81% 47 검증 세트 손실: 0.586952 최선의 손실: 0.457800 정확도: 96.87% 48 검증 세트 손실: 0.529874 최선의 손실: 0.457800 정확도: 97.46% 49 검증 세트 손실: 0.461592 최선의 손실: 0.457800 정확도: 97.46% 50 검증 세트 손실: 0.639595 최선의 손실: 0.457800 정확도: 97.46% 51 검증 세트 손실: 0.746161 최선의 손실: 0.457800 정확도: 96.52% 52 검증 세트 손실: 0.669263 최선의 손실: 0.457800 정확도: 97.11% 53 검증 세트 손실: 0.697061 최선의 손실: 0.457800 정확도: 97.58% 54 검증 세트 손실: 0.600990 최선의 손실: 0.457800 정확도: 97.15% 55 검증 세트 손실: 0.527703 최선의 손실: 0.457800 정확도: 97.22% 56 검증 세트 손실: 0.450883 최선의 손실: 0.450883 정확도: 97.50% 57 검증 세트 손실: 0.474334 최선의 손실: 0.450883 정확도: 97.19% 58 검증 세트 손실: 0.482776 최선의 손실: 0.450883 정확도: 97.93% 59 검증 세트 손실: 0.443026 최선의 손실: 0.443026 정확도: 97.46% 60 검증 세트 손실: 0.520535 최선의 손실: 0.443026 정확도: 97.15% 61 검증 세트 손실: 0.471838 최선의 손실: 0.443026 정확도: 96.83% 62 검증 세트 손실: 0.491998 최선의 손실: 0.443026 정확도: 97.30% 63 검증 세트 손실: 0.576398 최선의 손실: 0.443026 정확도: 97.30% 64 검증 세트 손실: 0.414311 최선의 손실: 0.414311 정확도: 97.77% 65 검증 세트 손실: 0.514725 최선의 손실: 0.414311 정확도: 96.83% 66 검증 세트 손실: 0.477323 최선의 손실: 0.414311 정확도: 97.03% 67 검증 세트 손실: 0.402293 최선의 손실: 0.402293 정확도: 97.19% 68 검증 세트 손실: 0.446427 최선의 손실: 0.402293 정확도: 97.30% 69 검증 세트 손실: 0.456274 최선의 손실: 0.402293 정확도: 96.72% 70 검증 세트 손실: 0.417880 최선의 손실: 0.402293 정확도: 97.11% 71 검증 세트 손실: 0.375337 최선의 손실: 0.375337 정확도: 97.54% 72 검증 세트 손실: 0.393498 최선의 손실: 0.375337 정확도: 97.50% 73 검증 세트 손실: 0.919915 최선의 손실: 0.375337 정확도: 95.15% 74 검증 세트 손실: 0.486201 최선의 손실: 0.375337 정확도: 97.93% 75 검증 세트 손실: 0.513115 최선의 손실: 0.375337 정확도: 96.60% 76 검증 세트 손실: 0.471187 최선의 손실: 0.375337 정확도: 97.65% 77 검증 세트 손실: 0.412200 최선의 손실: 0.375337 정확도: 97.07% 78 검증 세트 손실: 0.666218 최선의 손실: 0.375337 정확도: 96.29% 79 검증 세트 손실: 0.469811 최선의 손실: 0.375337 정확도: 97.65% 80 검증 세트 손실: 2.055529 최선의 손실: 0.375337 정확도: 96.13% 81 검증 세트 손실: 1.967403 최선의 손실: 0.375337 정확도: 94.96% 82 검증 세트 손실: 2.951912 최선의 손실: 0.375337 정확도: 94.37% 83 검증 세트 손실: 11651673.000000 최선의 손실: 0.375337 정확도: 20.91% 84 검증 세트 손실: 17368434.000000 최선의 손실: 0.375337 정확도: 20.05% 85 검증 세트 손실: 447642.906250 최선의 손실: 0.375337 정확도: 82.33% 86 검증 세트 손실: 97908.468750 최선의 손실: 0.375337 정확도: 91.71% 87 검증 세트 손실: 172383.046875 최선의 손실: 0.375337 정확도: 89.52% 88 검증 세트 손실: 79056.265625 최선의 손실: 0.375337 정확도: 90.77% 89 검증 세트 손실: 61543.378906 최선의 손실: 0.375337 정확도: 89.41% 90 검증 세트 손실: 42715.472656 최선의 손실: 0.375337 정확도: 93.63% 91 검증 세트 손실: 30656.837891 최선의 손실: 0.375337 정확도: 93.47% 92 검증 세트 손실: 89969.890625 최선의 손실: 0.375337 정확도: 87.49% 조기 종료! [CV] n_neurons=140, learning_rate=0.05, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total= 24.8s [CV] n_neurons=140, learning_rate=0.05, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 0 검증 세트 손실: 751.876587 최선의 손실: 751.876587 정확도: 23.34% 1 검증 세트 손실: 7966.148438 최선의 손실: 751.876587 정확도: 14.70% 2 검증 세트 손실: 164.735748 최선의 손실: 164.735748 정확도: 19.59% 3 검증 세트 손실: 8.663122 최선의 손실: 8.663122 정확도: 79.75% 4 검증 세트 손실: 2.519771 최선의 손실: 2.519771 정확도: 90.38% 5 검증 세트 손실: 1.763240 최선의 손실: 1.763240 정확도: 91.05% 6 검증 세트 손실: 1.467391 최선의 손실: 1.467391 정확도: 92.10% 7 검증 세트 손실: 1.235044 최선의 손실: 1.235044 정확도: 91.71% 8 검증 세트 손실: 3.214026 최선의 손실: 1.235044 정확도: 82.02% 9 검증 세트 손실: 1.246960 최선의 손실: 1.235044 정확도: 92.30% 10 검증 세트 손실: 0.743482 최선의 손실: 0.743482 정확도: 94.45% 11 검증 세트 손실: 0.984030 최선의 손실: 0.743482 정확도: 93.67% 12 검증 세트 손실: 0.711798 최선의 손실: 0.711798 정확도: 94.80% 13 검증 세트 손실: 0.634941 최선의 손실: 0.634941 정확도: 94.68% 14 검증 세트 손실: 0.592689 최선의 손실: 0.592689 정확도: 95.00% 15 검증 세트 손실: 2.013277 최선의 손실: 0.592689 정확도: 93.00% 16 검증 세트 손실: 1.237718 최선의 손실: 0.592689 정확도: 94.45% 17 검증 세트 손실: 1.138459 최선의 손실: 0.592689 정확도: 94.10% 18 검증 세트 손실: 0.596466 최선의 손실: 0.592689 정확도: 96.05% 19 검증 세트 손실: 0.555123 최선의 손실: 0.555123 정확도: 95.86% 20 검증 세트 손실: 0.685788 최선의 손실: 0.555123 정확도: 94.57% 21 검증 세트 손실: 0.758175 최선의 손실: 0.555123 정확도: 94.92% 22 검증 세트 손실: 0.522133 최선의 손실: 0.522133 정확도: 94.76% 23 검증 세트 손실: 0.469285 최선의 손실: 0.469285 정확도: 95.74% 24 검증 세트 손실: 0.383536 최선의 손실: 0.383536 정확도: 96.05% 25 검증 세트 손실: 0.328238 최선의 손실: 0.328238 정확도: 96.48% 26 검증 세트 손실: 0.391604 최선의 손실: 0.328238 정확도: 95.47% 27 검증 세트 손실: 0.362059 최선의 손실: 0.328238 정확도: 95.93% 28 검증 세트 손실: 0.316595 최선의 손실: 0.316595 정확도: 96.60% 29 검증 세트 손실: 0.335434 최선의 손실: 0.316595 정확도: 95.86% 30 검증 세트 손실: 0.401593 최선의 손실: 0.316595 정확도: 95.74% 31 검증 세트 손실: 0.304675 최선의 손실: 0.304675 정확도: 96.21% 32 검증 세트 손실: 0.322787 최선의 손실: 0.304675 정확도: 95.86% 33 검증 세트 손실: 0.741534 최선의 손실: 0.304675 정확도: 91.44% 34 검증 세트 손실: 0.293327 최선의 손실: 0.293327 정확도: 96.87% 35 검증 세트 손실: 0.229800 최선의 손실: 0.229800 정확도: 96.83% 36 검증 세트 손실: 0.443321 최선의 손실: 0.229800 정확도: 95.74% 37 검증 세트 손실: 0.319572 최선의 손실: 0.229800 정확도: 96.21% 38 검증 세트 손실: 0.216998 최선의 손실: 0.216998 정확도: 97.22% 39 검증 세트 손실: 0.252087 최선의 손실: 0.216998 정확도: 96.83% 40 검증 세트 손실: 0.234185 최선의 손실: 0.216998 정확도: 97.03% 41 검증 세트 손실: 0.574896 최선의 손실: 0.216998 정확도: 93.63% 42 검증 세트 손실: 0.430997 최선의 손실: 0.216998 정확도: 97.15% 43 검증 세트 손실: 0.397157 최선의 손실: 0.216998 정확도: 96.72% 44 검증 세트 손실: 0.293270 최선의 손실: 0.216998 정확도: 97.15% 45 검증 세트 손실: 0.336327 최선의 손실: 0.216998 정확도: 96.44% 46 검증 세트 손실: 0.387701 최선의 손실: 0.216998 정확도: 95.70% 47 검증 세트 손실: 0.334939 최선의 손실: 0.216998 정확도: 96.52% 48 검증 세트 손실: 0.241557 최선의 손실: 0.216998 정확도: 97.30% 49 검증 세트 손실: 0.268649 최선의 손실: 0.216998 정확도: 97.11% 50 검증 세트 손실: 0.255088 최선의 손실: 0.216998 정확도: 97.07% 51 검증 세트 손실: 0.260927 최선의 손실: 0.216998 정확도: 96.64% 52 검증 세트 손실: 0.267437 최선의 손실: 0.216998 정확도: 96.21% 53 검증 세트 손실: 0.437193 최선의 손실: 0.216998 정확도: 96.52% 54 검증 세트 손실: 0.347985 최선의 손실: 0.216998 정확도: 96.33% 55 검증 세트 손실: 0.222590 최선의 손실: 0.216998 정확도: 97.26% 56 검증 세트 손실: 0.209646 최선의 손실: 0.209646 정확도: 97.58% 57 검증 세트 손실: 0.183275 최선의 손실: 0.183275 정확도: 97.69% 58 검증 세트 손실: 0.214317 최선의 손실: 0.183275 정확도: 97.30% 59 검증 세트 손실: 0.207787 최선의 손실: 0.183275 정확도: 97.34% 60 검증 세트 손실: 0.223133 최선의 손실: 0.183275 정확도: 96.91% 61 검증 세트 손실: 0.230149 최선의 손실: 0.183275 정확도: 96.91% 62 검증 세트 손실: 0.303706 최선의 손실: 0.183275 정확도: 95.23% 63 검증 세트 손실: 0.181842 최선의 손실: 0.181842 정확도: 97.93% 64 검증 세트 손실: 0.207723 최선의 손실: 0.181842 정확도: 97.19% 65 검증 세트 손실: 0.169559 최선의 손실: 0.169559 정확도: 97.69% 66 검증 세트 손실: 0.200212 최선의 손실: 0.169559 정확도: 96.91% 67 검증 세트 손실: 0.184128 최선의 손실: 0.169559 정확도: 97.42% 68 검증 세트 손실: 0.145672 최선의 손실: 0.145672 정확도: 97.38% 69 검증 세트 손실: 0.153731 최선의 손실: 0.145672 정확도: 97.73% 70 검증 세트 손실: 0.732135 최선의 손실: 0.145672 정확도: 93.04% 71 검증 세트 손실: 0.337038 최선의 손실: 0.145672 정확도: 96.72% 72 검증 세트 손실: 0.264949 최선의 손실: 0.145672 정확도: 97.15% 73 검증 세트 손실: 0.229966 최선의 손실: 0.145672 정확도: 97.62% 74 검증 세트 손실: 0.317549 최선의 손실: 0.145672 정확도: 95.97% 75 검증 세트 손실: 0.188669 최선의 손실: 0.145672 정확도: 97.54% 76 검증 세트 손실: 0.191383 최선의 손실: 0.145672 정확도: 97.62% 77 검증 세트 손실: 0.189786 최선의 손실: 0.145672 정확도: 97.58% 78 검증 세트 손실: 0.350416 최선의 손실: 0.145672 정확도: 96.99% 79 검증 세트 손실: 0.239820 최선의 손실: 0.145672 정확도: 97.38% 80 검증 세트 손실: 0.221083 최선의 손실: 0.145672 정확도: 97.50% 81 검증 세트 손실: 0.254571 최선의 손실: 0.145672 정확도: 97.26% 82 검증 세트 손실: 0.171014 최선의 손실: 0.145672 정확도: 97.62% 83 검증 세트 손실: 0.179741 최선의 손실: 0.145672 정확도: 97.81% 84 검증 세트 손실: 0.199969 최선의 손실: 0.145672 정확도: 96.87% 85 검증 세트 손실: 0.306728 최선의 손실: 0.145672 정확도: 97.03% 86 검증 세트 손실: 0.206837 최선의 손실: 0.145672 정확도: 97.69% 87 검증 세트 손실: 0.267688 최선의 손실: 0.145672 정확도: 97.03% 88 검증 세트 손실: 0.203605 최선의 손실: 0.145672 정확도: 97.58% 89 검증 세트 손실: 0.286352 최선의 손실: 0.145672 정확도: 97.07% 조기 종료! [CV] n_neurons=140, learning_rate=0.05, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total= 24.0s [CV] n_neurons=140, learning_rate=0.05, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 0 검증 세트 손실: 5.728026 최선의 손실: 5.728026 정확도: 61.53% 1 검증 세트 손실: 0.636858 최선의 손실: 0.636858 정확도: 93.59% 2 검증 세트 손실: 0.267661 최선의 손실: 0.267661 정확도: 94.53% 3 검증 세트 손실: 0.168073 최선의 손실: 0.168073 정확도: 95.35% 4 검증 세트 손실: 0.225098 최선의 손실: 0.168073 정확도: 94.06% 5 검증 세트 손실: 0.160530 최선의 손실: 0.160530 정확도: 95.90% 6 검증 세트 손실: 0.163593 최선의 손실: 0.160530 정확도: 95.23% 7 검증 세트 손실: 0.145624 최선의 손실: 0.145624 정확도: 96.40% 8 검증 세트 손실: 0.130919 최선의 손실: 0.130919 정확도: 96.83% 9 검증 세트 손실: 0.136875 최선의 손실: 0.130919 정확도: 96.05% 10 검증 세트 손실: 0.117099 최선의 손실: 0.117099 정확도: 96.91% 11 검증 세트 손실: 0.112784 최선의 손실: 0.112784 정확도: 97.34% 12 검증 세트 손실: 0.114994 최선의 손실: 0.112784 정확도: 97.11% 13 검증 세트 손실: 0.116046 최선의 손실: 0.112784 정확도: 97.54% 14 검증 세트 손실: 0.108455 최선의 손실: 0.108455 정확도: 97.07% 15 검증 세트 손실: 0.124856 최선의 손실: 0.108455 정확도: 97.07% 16 검증 세트 손실: 0.101602 최선의 손실: 0.101602 정확도: 97.77% 17 검증 세트 손실: 0.109768 최선의 손실: 0.101602 정확도: 97.15% 18 검증 세트 손실: 0.110131 최선의 손실: 0.101602 정확도: 97.81% 19 검증 세트 손실: 0.089321 최선의 손실: 0.089321 정확도: 97.65% 20 검증 세트 손실: 0.082800 최선의 손실: 0.082800 정확도: 98.08% 21 검증 세트 손실: 0.085954 최선의 손실: 0.082800 정확도: 97.77% 22 검증 세트 손실: 0.099558 최선의 손실: 0.082800 정확도: 97.93% 23 검증 세트 손실: 0.082258 최선의 손실: 0.082258 정확도: 97.54% 24 검증 세트 손실: 0.076333 최선의 손실: 0.076333 정확도: 97.62% 25 검증 세트 손실: 0.080922 최선의 손실: 0.076333 정확도: 98.05% 26 검증 세트 손실: 0.086210 최선의 손실: 0.076333 정확도: 98.08% 27 검증 세트 손실: 0.097129 최선의 손실: 0.076333 정확도: 97.89% 28 검증 세트 손실: 0.081111 최선의 손실: 0.076333 정확도: 97.97% 29 검증 세트 손실: 0.079537 최선의 손실: 0.076333 정확도: 98.28% 30 검증 세트 손실: 0.088455 최선의 손실: 0.076333 정확도: 97.93% 31 검증 세트 손실: 0.084870 최선의 손실: 0.076333 정확도: 98.40% 32 검증 세트 손실: 0.075438 최선의 손실: 0.075438 정확도: 98.28% 33 검증 세트 손실: 0.087953 최선의 손실: 0.075438 정확도: 98.32% 34 검증 세트 손실: 0.098571 최선의 손실: 0.075438 정확도: 98.28% 35 검증 세트 손실: 0.076184 최선의 손실: 0.075438 정확도: 98.08% 36 검증 세트 손실: 0.202228 최선의 손실: 0.075438 정확도: 97.38% 37 검증 세트 손실: 0.098111 최선의 손실: 0.075438 정확도: 97.73% 38 검증 세트 손실: 0.110263 최선의 손실: 0.075438 정확도: 97.30% 39 검증 세트 손실: 0.111694 최선의 손실: 0.075438 정확도: 97.89% 40 검증 세트 손실: 0.126187 최선의 손실: 0.075438 정확도: 97.89% 41 검증 세트 손실: 0.171487 최선의 손실: 0.075438 정확도: 97.58% 42 검증 세트 손실: 0.080683 최선의 손실: 0.075438 정확도: 98.40% 43 검증 세트 손실: 0.074382 최선의 손실: 0.074382 정확도: 98.48% 44 검증 세트 손실: 0.075319 최선의 손실: 0.074382 정확도: 98.63% 45 검증 세트 손실: 0.069824 최선의 손실: 0.069824 정확도: 98.63% 46 검증 세트 손실: 0.078424 최선의 손실: 0.069824 정확도: 98.36% 47 검증 세트 손실: 0.073932 최선의 손실: 0.069824 정확도: 98.48% 48 검증 세트 손실: 0.086350 최선의 손실: 0.069824 정확도: 98.48% 49 검증 세트 손실: 0.082335 최선의 손실: 0.069824 정확도: 98.55% 50 검증 세트 손실: 0.083764 최선의 손실: 0.069824 정확도: 98.40% 51 검증 세트 손실: 0.082354 최선의 손실: 0.069824 정확도: 98.79% 52 검증 세트 손실: 0.101799 최선의 손실: 0.069824 정확도: 98.36% 53 검증 세트 손실: 0.075515 최선의 손실: 0.069824 정확도: 98.91% 54 검증 세트 손실: 0.089485 최선의 손실: 0.069824 정확도: 98.55% 55 검증 세트 손실: 0.095375 최선의 손실: 0.069824 정확도: 98.63% 56 검증 세트 손실: 0.078092 최선의 손실: 0.069824 정확도: 98.59% 57 검증 세트 손실: 0.113737 최선의 손실: 0.069824 정확도: 98.44% 58 검증 세트 손실: 0.113555 최선의 손실: 0.069824 정확도: 97.58% 59 검증 세트 손실: 0.139272 최선의 손실: 0.069824 정확도: 98.01% 60 검증 세트 손실: 0.094155 최선의 손실: 0.069824 정확도: 98.36% 61 검증 세트 손실: 0.103017 최선의 손실: 0.069824 정확도: 98.40% 62 검증 세트 손실: 0.093321 최선의 손실: 0.069824 정확도: 98.59% 63 검증 세트 손실: 0.096376 최선의 손실: 0.069824 정확도: 98.51% 64 검증 세트 손실: 0.098016 최선의 손실: 0.069824 정확도: 98.63% 65 검증 세트 손실: 0.104939 최선의 손실: 0.069824 정확도: 98.75% 66 검증 세트 손실: 0.108317 최선의 손실: 0.069824 정확도: 98.67% 조기 종료! [CV] n_neurons=140, learning_rate=0.05, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total= 18.0s [CV] n_neurons=10, learning_rate=0.05, batch_size=100, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.178874 최선의 손실: 0.178874 정확도: 96.17% 1 검증 세트 손실: 0.168464 최선의 손실: 0.168464 정확도: 95.90% 2 검증 세트 손실: 0.137177 최선의 손실: 0.137177 정확도: 96.52% 3 검증 세트 손실: 0.135009 최선의 손실: 0.135009 정확도: 96.60% 4 검증 세트 손실: 0.136809 최선의 손실: 0.135009 정확도: 96.72% 5 검증 세트 손실: 0.182949 최선의 손실: 0.135009 정확도: 96.76% 6 검증 세트 손실: 0.161491 최선의 손실: 0.135009 정확도: 96.52% 7 검증 세트 손실: 0.149442 최선의 손실: 0.135009 정확도: 96.64% 8 검증 세트 손실: 0.302683 최선의 손실: 0.135009 정확도: 96.56% 9 검증 세트 손실: 0.233316 최선의 손실: 0.135009 정확도: 94.25% 10 검증 세트 손실: 0.320868 최선의 손실: 0.135009 정확도: 93.59% 11 검증 세트 손실: 0.434802 최선의 손실: 0.135009 정확도: 82.60% 12 검증 세트 손실: 0.371503 최선의 손실: 0.135009 정확도: 87.37% 13 검증 세트 손실: 0.581885 최선의 손실: 0.135009 정확도: 85.26% 14 검증 세트 손실: 0.332079 최선의 손실: 0.135009 정확도: 90.34% 15 검증 세트 손실: 0.311369 최선의 손실: 0.135009 정확도: 90.93% 16 검증 세트 손실: 0.343563 최선의 손실: 0.135009 정확도: 89.84% 17 검증 세트 손실: 0.335769 최선의 손실: 0.135009 정확도: 90.73% 18 검증 세트 손실: 0.269528 최선의 손실: 0.135009 정확도: 93.71% 19 검증 세트 손실: 0.485307 최선의 손실: 0.135009 정확도: 79.16% 20 검증 세트 손실: 0.253127 최선의 손실: 0.135009 정확도: 93.20% 21 검증 세트 손실: 0.308981 최선의 손실: 0.135009 정확도: 94.53% 22 검증 세트 손실: 0.290109 최선의 손실: 0.135009 정확도: 94.88% 23 검증 세트 손실: 0.228698 최선의 손실: 0.135009 정확도: 95.47% 24 검증 세트 손실: 0.220054 최선의 손실: 0.135009 정확도: 95.97% 조기 종료! [CV] n_neurons=10, learning_rate=0.05, batch_size=100, activation=<function relu at 0x7f8ec4c8c510>, total= 3.3s [CV] n_neurons=10, learning_rate=0.05, batch_size=100, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.566352 최선의 손실: 0.566352 정확도: 74.59% 1 검증 세트 손실: 0.570032 최선의 손실: 0.566352 정확도: 75.14% 2 검증 세트 손실: 0.541036 최선의 손실: 0.541036 정확도: 76.35% 3 검증 세트 손실: 0.555777 최선의 손실: 0.541036 정확도: 79.20% 4 검증 세트 손실: 0.548118 최선의 손실: 0.541036 정확도: 76.90% 5 검증 세트 손실: 0.593899 최선의 손실: 0.541036 정확도: 75.72% 6 검증 세트 손실: 0.487665 최선의 손실: 0.487665 정확도: 81.90% 7 검증 세트 손실: 0.473824 최선의 손실: 0.473824 정확도: 83.78% 8 검증 세트 손실: 0.424803 최선의 손실: 0.424803 정확도: 87.29% 9 검증 세트 손실: 0.365355 최선의 손실: 0.365355 정확도: 89.68% 10 검증 세트 손실: 0.353226 최선의 손실: 0.353226 정확도: 88.82% 11 검증 세트 손실: 0.758854 최선의 손실: 0.353226 정확도: 60.56% 12 검증 세트 손실: 0.764915 최선의 손실: 0.353226 정확도: 60.56% 13 검증 세트 손실: 0.774055 최선의 손실: 0.353226 정확도: 60.20% 14 검증 세트 손실: 0.742843 최선의 손실: 0.353226 정확도: 60.36% 15 검증 세트 손실: 0.752301 최선의 손실: 0.353226 정확도: 59.77% 16 검증 세트 손실: 0.764330 최선의 손실: 0.353226 정확도: 59.54% 17 검증 세트 손실: 0.799040 최선의 손실: 0.353226 정확도: 58.60% 18 검증 세트 손실: 0.748442 최선의 손실: 0.353226 정확도: 60.16% 19 검증 세트 손실: 0.744866 최선의 손실: 0.353226 정확도: 59.81% 20 검증 세트 손실: 0.753063 최선의 손실: 0.353226 정확도: 59.70% 21 검증 세트 손실: 0.763252 최선의 손실: 0.353226 정확도: 60.75% 22 검증 세트 손실: 0.750028 최선의 손실: 0.353226 정확도: 60.36% 23 검증 세트 손실: 0.745839 최선의 손실: 0.353226 정확도: 60.40% 24 검증 세트 손실: 0.756703 최선의 손실: 0.353226 정확도: 59.62% 25 검증 세트 손실: 0.760251 최선의 손실: 0.353226 정확도: 59.38% 26 검증 세트 손실: 0.765373 최선의 손실: 0.353226 정확도: 59.30% 27 검증 세트 손실: 0.780413 최선의 손실: 0.353226 정확도: 59.54% 28 검증 세트 손실: 0.772096 최선의 손실: 0.353226 정확도: 59.15% 29 검증 세트 손실: 0.817674 최선의 손실: 0.353226 정확도: 59.30% 30 검증 세트 손실: 1.183463 최선의 손실: 0.353226 정확도: 41.63% 31 검증 세트 손실: 1.183334 최선의 손실: 0.353226 정확도: 38.74% 조기 종료! [CV] n_neurons=10, learning_rate=0.05, batch_size=100, activation=<function relu at 0x7f8ec4c8c510>, total= 4.2s [CV] n_neurons=10, learning_rate=0.05, batch_size=100, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.586215 최선의 손실: 0.586215 정확도: 70.33% 1 검증 세트 손실: 0.614080 최선의 손실: 0.586215 정확도: 70.80% 2 검증 세트 손실: 0.509042 최선의 손실: 0.509042 정확도: 74.20% 3 검증 세트 손실: 0.414994 최선의 손실: 0.414994 정확도: 88.58% 4 검증 세트 손실: 0.563855 최선의 손실: 0.414994 정확도: 84.95% 5 검증 세트 손실: 0.474266 최선의 손실: 0.414994 정확도: 84.83% 6 검증 세트 손실: 0.335126 최선의 손실: 0.335126 정확도: 89.87% 7 검증 세트 손실: 0.384594 최선의 손실: 0.335126 정확도: 86.63% 8 검증 세트 손실: 0.554683 최선의 손실: 0.335126 정확도: 83.23% 9 검증 세트 손실: 0.394285 최선의 손실: 0.335126 정확도: 87.65% 10 검증 세트 손실: 0.522484 최선의 손실: 0.335126 정확도: 85.97% 11 검증 세트 손실: 0.848857 최선의 손실: 0.335126 정확도: 55.59% 12 검증 세트 손실: 1.144138 최선의 손실: 0.335126 정확도: 42.22% 13 검증 세트 손실: 1.184581 최선의 손실: 0.335126 정확도: 40.58% 14 검증 세트 손실: 1.135363 최선의 손실: 0.335126 정확도: 40.27% 15 검증 세트 손실: 1.174794 최선의 손실: 0.335126 정확도: 39.60% 16 검증 세트 손실: 1.215346 최선의 손실: 0.335126 정확도: 40.46% 17 검증 세트 손실: 1.246966 최선의 손실: 0.335126 정확도: 40.46% 18 검증 세트 손실: 1.206455 최선의 손실: 0.335126 정확도: 41.91% 19 검증 세트 손실: 1.206769 최선의 손실: 0.335126 정확도: 40.46% 20 검증 세트 손실: 1.213995 최선의 손실: 0.335126 정확도: 40.03% 21 검증 세트 손실: 1.206895 최선의 손실: 0.335126 정확도: 41.91% 22 검증 세트 손실: 1.209544 최선의 손실: 0.335126 정확도: 40.03% 23 검증 세트 손실: 1.207423 최선의 손실: 0.335126 정확도: 40.46% 24 검증 세트 손실: 1.205273 최선의 손실: 0.335126 정확도: 41.91% 25 검증 세트 손실: 1.208551 최선의 손실: 0.335126 정확도: 40.03% 26 검증 세트 손실: 1.205681 최선의 손실: 0.335126 정확도: 40.46% 27 검증 세트 손실: 1.209201 최선의 손실: 0.335126 정확도: 40.03% 조기 종료! [CV] n_neurons=10, learning_rate=0.05, batch_size=100, activation=<function relu at 0x7f8ec4c8c510>, total= 3.6s [CV] n_neurons=10, learning_rate=0.02, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 0 검증 세트 손실: 0.207486 최선의 손실: 0.207486 정확도: 94.53% 1 검증 세트 손실: 0.130800 최선의 손실: 0.130800 정확도: 96.01% 2 검증 세트 손실: 0.107869 최선의 손실: 0.107869 정확도: 97.22% 3 검증 세트 손실: 0.092574 최선의 손실: 0.092574 정확도: 97.54% 4 검증 세트 손실: 0.100508 최선의 손실: 0.092574 정확도: 96.83% 5 검증 세트 손실: 0.084469 최선의 손실: 0.084469 정확도: 97.69% 6 검증 세트 손실: 0.083164 최선의 손실: 0.083164 정확도: 97.69% 7 검증 세트 손실: 0.075947 최선의 손실: 0.075947 정확도: 97.73% 8 검증 세트 손실: 0.075357 최선의 손실: 0.075357 정확도: 97.58% 9 검증 세트 손실: 0.080147 최선의 손실: 0.075357 정확도: 97.97% 10 검증 세트 손실: 0.089389 최선의 손실: 0.075357 정확도: 97.81% 11 검증 세트 손실: 0.097586 최선의 손실: 0.075357 정확도: 97.54% 12 검증 세트 손실: 0.082163 최선의 손실: 0.075357 정확도: 98.01% 13 검증 세트 손실: 0.079640 최선의 손실: 0.075357 정확도: 97.85% 14 검증 세트 손실: 0.076942 최선의 손실: 0.075357 정확도: 97.89% 15 검증 세트 손실: 0.074154 최선의 손실: 0.074154 정확도: 97.77% 16 검증 세트 손실: 0.099050 최선의 손실: 0.074154 정확도: 97.26% 17 검증 세트 손실: 0.097326 최선의 손실: 0.074154 정확도: 97.77% 18 검증 세트 손실: 0.093988 최선의 손실: 0.074154 정확도: 97.62% 19 검증 세트 손실: 0.090262 최선의 손실: 0.074154 정확도: 97.54% 20 검증 세트 손실: 0.081459 최선의 손실: 0.074154 정확도: 97.73% 21 검증 세트 손실: 0.089478 최선의 손실: 0.074154 정확도: 97.73% 22 검증 세트 손실: 0.079805 최선의 손실: 0.074154 정확도: 98.01% 23 검증 세트 손실: 0.108147 최선의 손실: 0.074154 정확도: 97.85% 24 검증 세트 손실: 0.105120 최선의 손실: 0.074154 정확도: 97.54% 25 검증 세트 손실: 0.096132 최선의 손실: 0.074154 정확도: 97.54% 26 검증 세트 손실: 0.097558 최선의 손실: 0.074154 정확도: 97.89% 27 검증 세트 손실: 0.105943 최선의 손실: 0.074154 정확도: 97.69% 28 검증 세트 손실: 0.089630 최선의 손실: 0.074154 정확도: 97.81% 29 검증 세트 손실: 0.107367 최선의 손실: 0.074154 정확도: 97.89% 30 검증 세트 손실: 0.087503 최선의 손실: 0.074154 정확도: 98.08% 31 검증 세트 손실: 0.111345 최선의 손실: 0.074154 정확도: 98.01% 32 검증 세트 손실: 0.093124 최선의 손실: 0.074154 정확도: 97.89% 33 검증 세트 손실: 0.119177 최선의 손실: 0.074154 정확도: 97.69% 34 검증 세트 손실: 0.102487 최선의 손실: 0.074154 정확도: 97.58% 35 검증 세트 손실: 0.115130 최선의 손실: 0.074154 정확도: 97.69% 36 검증 세트 손실: 0.098754 최선의 손실: 0.074154 정확도: 97.69% 조기 종료! [CV] n_neurons=10, learning_rate=0.02, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total= 2.7s [CV] n_neurons=10, learning_rate=0.02, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 0 검증 세트 손실: 0.213791 최선의 손실: 0.213791 정확도: 93.98% 1 검증 세트 손실: 0.134713 최선의 손실: 0.134713 정확도: 96.36% 2 검증 세트 손실: 0.122060 최선의 손실: 0.122060 정확도: 96.44% 3 검증 세트 손실: 0.105862 최선의 손실: 0.105862 정확도: 97.34% 4 검증 세트 손실: 0.097588 최선의 손실: 0.097588 정확도: 97.34% 5 검증 세트 손실: 0.094758 최선의 손실: 0.094758 정확도: 97.26% 6 검증 세트 손실: 0.101506 최선의 손실: 0.094758 정확도: 96.99% 7 검증 세트 손실: 0.105163 최선의 손실: 0.094758 정확도: 96.95% 8 검증 세트 손실: 0.094037 최선의 손실: 0.094037 정확도: 97.65% 9 검증 세트 손실: 0.097605 최선의 손실: 0.094037 정확도: 97.11% 10 검증 세트 손실: 0.113056 최선의 손실: 0.094037 정확도: 97.22% 11 검증 세트 손실: 0.095446 최선의 손실: 0.094037 정확도: 97.38% 12 검증 세트 손실: 0.098122 최선의 손실: 0.094037 정확도: 97.26% 13 검증 세트 손실: 0.088003 최선의 손실: 0.088003 정확도: 97.65% 14 검증 세트 손실: 0.100637 최선의 손실: 0.088003 정확도: 97.30% 15 검증 세트 손실: 0.087943 최선의 손실: 0.087943 정확도: 97.54% 16 검증 세트 손실: 0.090365 최선의 손실: 0.087943 정확도: 97.65% 17 검증 세트 손실: 0.090855 최선의 손실: 0.087943 정확도: 97.54% 18 검증 세트 손실: 0.102127 최선의 손실: 0.087943 정확도: 97.65% 19 검증 세트 손실: 0.127125 최선의 손실: 0.087943 정확도: 96.95% 20 검증 세트 손실: 0.095296 최선의 손실: 0.087943 정확도: 97.46% 21 검증 세트 손실: 0.126552 최선의 손실: 0.087943 정확도: 96.83% 22 검증 세트 손실: 0.096040 최선의 손실: 0.087943 정확도: 97.54% 23 검증 세트 손실: 0.097918 최선의 손실: 0.087943 정확도: 97.69% 24 검증 세트 손실: 0.089013 최선의 손실: 0.087943 정확도: 97.69% 25 검증 세트 손실: 0.081795 최선의 손실: 0.081795 정확도: 97.81% 26 검증 세트 손실: 0.099960 최선의 손실: 0.081795 정확도: 97.50% 27 검증 세트 손실: 0.106775 최선의 손실: 0.081795 정확도: 97.50% 28 검증 세트 손실: 0.101248 최선의 손실: 0.081795 정확도: 97.65% 29 검증 세트 손실: 0.104577 최선의 손실: 0.081795 정확도: 98.20% 30 검증 세트 손실: 0.103716 최선의 손실: 0.081795 정확도: 97.73% 31 검증 세트 손실: 0.100573 최선의 손실: 0.081795 정확도: 97.89% 32 검증 세트 손실: 0.114881 최선의 손실: 0.081795 정확도: 97.81% 33 검증 세트 손실: 0.090023 최선의 손실: 0.081795 정확도: 97.85% 34 검증 세트 손실: 0.147444 최선의 손실: 0.081795 정확도: 97.30% 35 검증 세트 손실: 0.093965 최선의 손실: 0.081795 정확도: 97.85% 36 검증 세트 손실: 0.114427 최선의 손실: 0.081795 정확도: 97.65% 37 검증 세트 손실: 0.107856 최선의 손실: 0.081795 정확도: 97.69% 38 검증 세트 손실: 0.112271 최선의 손실: 0.081795 정확도: 97.89% 39 검증 세트 손실: 0.129546 최선의 손실: 0.081795 정확도: 97.58% 40 검증 세트 손실: 0.125476 최선의 손실: 0.081795 정확도: 97.11% 41 검증 세트 손실: 0.126041 최선의 손실: 0.081795 정확도: 97.77% 42 검증 세트 손실: 0.102021 최선의 손실: 0.081795 정확도: 97.50% 43 검증 세트 손실: 0.107025 최선의 손실: 0.081795 정확도: 97.81% 44 검증 세트 손실: 0.111732 최선의 손실: 0.081795 정확도: 97.65% 45 검증 세트 손실: 0.153487 최선의 손실: 0.081795 정확도: 97.22% 46 검증 세트 손실: 0.130821 최선의 손실: 0.081795 정확도: 97.73% 조기 종료! [CV] n_neurons=10, learning_rate=0.02, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total= 3.4s [CV] n_neurons=10, learning_rate=0.02, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 0 검증 세트 손실: 0.394790 최선의 손실: 0.394790 정확도: 92.77% 1 검증 세트 손실: 0.149463 최선의 손실: 0.149463 정확도: 95.86% 2 검증 세트 손실: 0.117006 최선의 손실: 0.117006 정확도: 96.52% 3 검증 세트 손실: 0.110410 최선의 손실: 0.110410 정확도: 96.60% 4 검증 세트 손실: 0.101255 최선의 손실: 0.101255 정확도: 96.87% 5 검증 세트 손실: 0.093461 최선의 손실: 0.093461 정확도: 97.42% 6 검증 세트 손실: 0.092672 최선의 손실: 0.092672 정확도: 97.03% 7 검증 세트 손실: 0.085061 최선의 손실: 0.085061 정확도: 97.50% 8 검증 세트 손실: 0.092167 최선의 손실: 0.085061 정확도: 97.34% 9 검증 세트 손실: 0.103642 최선의 손실: 0.085061 정확도: 96.95% 10 검증 세트 손실: 0.090204 최선의 손실: 0.085061 정확도: 97.54% 11 검증 세트 손실: 0.086944 최선의 손실: 0.085061 정확도: 97.58% 12 검증 세트 손실: 0.076301 최선의 손실: 0.076301 정확도: 97.81% 13 검증 세트 손실: 0.080905 최선의 손실: 0.076301 정확도: 97.81% 14 검증 세트 손실: 0.102347 최선의 손실: 0.076301 정확도: 97.34% 15 검증 세트 손실: 0.083201 최선의 손실: 0.076301 정확도: 97.93% 16 검증 세트 손실: 0.089948 최선의 손실: 0.076301 정확도: 97.46% 17 검증 세트 손실: 0.098370 최선의 손실: 0.076301 정확도: 97.30% 18 검증 세트 손실: 0.090863 최선의 손실: 0.076301 정확도: 97.46% 19 검증 세트 손실: 0.099144 최선의 손실: 0.076301 정확도: 97.54% 20 검증 세트 손실: 0.091318 최선의 손실: 0.076301 정확도: 97.54% 21 검증 세트 손실: 0.092398 최선의 손실: 0.076301 정확도: 97.81% 22 검증 세트 손실: 0.104217 최선의 손실: 0.076301 정확도: 97.50% 23 검증 세트 손실: 0.092128 최선의 손실: 0.076301 정확도: 97.58% 24 검증 세트 손실: 0.097106 최선의 손실: 0.076301 정확도: 97.81% 25 검증 세트 손실: 0.112606 최선의 손실: 0.076301 정확도: 97.34% 26 검증 세트 손실: 0.097347 최선의 손실: 0.076301 정확도: 97.46% 27 검증 세트 손실: 0.116242 최선의 손실: 0.076301 정확도: 97.30% 28 검증 세트 손실: 0.103642 최선의 손실: 0.076301 정확도: 97.81% 29 검증 세트 손실: 0.115101 최선의 손실: 0.076301 정확도: 97.58% 30 검증 세트 손실: 0.104617 최선의 손실: 0.076301 정확도: 97.77% 31 검증 세트 손실: 0.106787 최선의 손실: 0.076301 정확도: 97.46% 32 검증 세트 손실: 0.112354 최선의 손실: 0.076301 정확도: 97.34% 33 검증 세트 손실: 0.110330 최선의 손실: 0.076301 정확도: 97.77% 조기 종료! [CV] n_neurons=10, learning_rate=0.02, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total= 2.6s [CV] n_neurons=70, learning_rate=0.02, batch_size=100, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.098629 최선의 손실: 0.098629 정확도: 97.46% 1 검증 세트 손실: 0.160645 최선의 손실: 0.098629 정확도: 96.95% 2 검증 세트 손실: 0.118853 최선의 손실: 0.098629 정확도: 97.62% 3 검증 세트 손실: 0.120856 최선의 손실: 0.098629 정확도: 97.34% 4 검증 세트 손실: 0.088769 최선의 손실: 0.088769 정확도: 97.65% 5 검증 세트 손실: 0.340726 최선의 손실: 0.088769 정확도: 95.27% 6 검증 세트 손실: 1.652843 최선의 손실: 0.088769 정확도: 19.27% 7 검증 세트 손실: 1.637792 최선의 손실: 0.088769 정확도: 19.27% 8 검증 세트 손실: 1.697906 최선의 손실: 0.088769 정확도: 19.27% 9 검증 세트 손실: 1.747859 최선의 손실: 0.088769 정확도: 19.08% 10 검증 세트 손실: 1.634763 최선의 손실: 0.088769 정확도: 20.91% 11 검증 세트 손실: 1.628972 최선의 손실: 0.088769 정확도: 22.01% 12 검증 세트 손실: 1.618302 최선의 손실: 0.088769 정확도: 22.01% 13 검증 세트 손실: 1.609168 최선의 손실: 0.088769 정확도: 20.91% 14 검증 세트 손실: 1.646181 최선의 손실: 0.088769 정확도: 19.08% 15 검증 세트 손실: 1.625818 최선의 손실: 0.088769 정확도: 22.01% 16 검증 세트 손실: 1.632980 최선의 손실: 0.088769 정확도: 22.01% 17 검증 세트 손실: 1.629138 최선의 손실: 0.088769 정확도: 19.27% 18 검증 세트 손실: 1.687351 최선의 손실: 0.088769 정확도: 22.01% 19 검증 세트 손실: 1.623718 최선의 손실: 0.088769 정확도: 22.01% 20 검증 세트 손실: 1.652336 최선의 손실: 0.088769 정확도: 19.27% 21 검증 세트 손실: 1.650169 최선의 손실: 0.088769 정확도: 19.08% 22 검증 세트 손실: 1.633536 최선의 손실: 0.088769 정확도: 22.01% 23 검증 세트 손실: 1.614805 최선의 손실: 0.088769 정확도: 19.08% 24 검증 세트 손실: 1.662865 최선의 손실: 0.088769 정확도: 19.27% 25 검증 세트 손실: 1.664499 최선의 손실: 0.088769 정확도: 22.01% 조기 종료! [CV] n_neurons=70, learning_rate=0.02, batch_size=100, activation=<function elu at 0x7f8ec4ceef28>, total= 6.5s [CV] n_neurons=70, learning_rate=0.02, batch_size=100, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.117705 최선의 손실: 0.117705 정확도: 97.22% 1 검증 세트 손실: 0.074115 최선의 손실: 0.074115 정확도: 98.05% 2 검증 세트 손실: 0.102854 최선의 손실: 0.074115 정확도: 97.34% 3 검증 세트 손실: 0.766439 최선의 손실: 0.074115 정확도: 82.80% 4 검증 세트 손실: 0.127101 최선의 손실: 0.074115 정확도: 96.83% 5 검증 세트 손실: 0.104400 최선의 손실: 0.074115 정확도: 97.42% 6 검증 세트 손실: 0.057533 최선의 손실: 0.057533 정확도: 98.36% 7 검증 세트 손실: 0.122922 최선의 손실: 0.057533 정확도: 97.85% 8 검증 세트 손실: 0.090492 최선의 손실: 0.057533 정확도: 98.16% 9 검증 세트 손실: 0.298647 최선의 손실: 0.057533 정확도: 91.32% 10 검증 세트 손실: 0.081541 최선의 손실: 0.057533 정확도: 97.77% 11 검증 세트 손실: 0.490874 최선의 손실: 0.057533 정확도: 88.90% 12 검증 세트 손실: 0.469737 최선의 손실: 0.057533 정확도: 93.51% 13 검증 세트 손실: 0.203566 최선의 손실: 0.057533 정확도: 96.25% 14 검증 세트 손실: 0.126177 최선의 손실: 0.057533 정확도: 97.50% 15 검증 세트 손실: 0.091925 최선의 손실: 0.057533 정확도: 97.50% 16 검증 세트 손실: 0.115791 최선의 손실: 0.057533 정확도: 97.42% 17 검증 세트 손실: 0.362830 최선의 손실: 0.057533 정확도: 90.23% 18 검증 세트 손실: 0.118158 최선의 손실: 0.057533 정확도: 97.19% 19 검증 세트 손실: 0.139162 최선의 손실: 0.057533 정확도: 96.79% 20 검증 세트 손실: 0.336435 최선의 손실: 0.057533 정확도: 96.76% 21 검증 세트 손실: 0.111332 최선의 손실: 0.057533 정확도: 97.73% 22 검증 세트 손실: 8.772380 최선의 손실: 0.057533 정확도: 74.24% 23 검증 세트 손실: 1.675194 최선의 손실: 0.057533 정확도: 22.20% 24 검증 세트 손실: 1.775376 최선의 손실: 0.057533 정확도: 18.92% 25 검증 세트 손실: 1.644954 최선의 손실: 0.057533 정확도: 18.92% 26 검증 세트 손실: 1.634844 최선의 손실: 0.057533 정확도: 19.27% 27 검증 세트 손실: 1.640786 최선의 손실: 0.057533 정확도: 19.47% 조기 종료! [CV] n_neurons=70, learning_rate=0.02, batch_size=100, activation=<function elu at 0x7f8ec4ceef28>, total= 7.0s [CV] n_neurons=70, learning_rate=0.02, batch_size=100, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.120756 최선의 손실: 0.120756 정확도: 96.33% 1 검증 세트 손실: 0.134354 최선의 손실: 0.120756 정확도: 97.50% 2 검증 세트 손실: 0.178365 최선의 손실: 0.120756 정확도: 95.93% 3 검증 세트 손실: 0.064231 최선의 손실: 0.064231 정확도: 98.51% 4 검증 세트 손실: 0.090468 최선의 손실: 0.064231 정확도: 98.05% 5 검증 세트 손실: 0.089283 최선의 손실: 0.064231 정확도: 97.97% 6 검증 세트 손실: 0.063750 최선의 손실: 0.063750 정확도: 98.55% 7 검증 세트 손실: 0.138512 최선의 손실: 0.063750 정확도: 98.32% 8 검증 세트 손실: 0.825524 최선의 손실: 0.063750 정확도: 94.18% 9 검증 세트 손실: 0.396089 최선의 손실: 0.063750 정확도: 92.14% 10 검증 세트 손실: 0.261599 최선의 손실: 0.063750 정확도: 94.14% 11 검증 세트 손실: 0.171289 최선의 손실: 0.063750 정확도: 96.01% 12 검증 세트 손실: 0.121224 최선의 손실: 0.063750 정확도: 97.34% 13 검증 세트 손실: 0.148863 최선의 손실: 0.063750 정확도: 97.11% 14 검증 세트 손실: 0.108797 최선의 손실: 0.063750 정확도: 97.50% 15 검증 세트 손실: 0.098000 최선의 손실: 0.063750 정확도: 97.81% 16 검증 세트 손실: 0.102723 최선의 손실: 0.063750 정확도: 97.81% 17 검증 세트 손실: 0.099556 최선의 손실: 0.063750 정확도: 97.85% 18 검증 세트 손실: 0.143722 최선의 손실: 0.063750 정확도: 97.89% 19 검증 세트 손실: 0.140191 최선의 손실: 0.063750 정확도: 97.62% 20 검증 세트 손실: 0.529107 최선의 손실: 0.063750 정확도: 94.88% 21 검증 세트 손실: 0.103748 최선의 손실: 0.063750 정확도: 98.08% 22 검증 세트 손실: 0.121067 최선의 손실: 0.063750 정확도: 97.19% 23 검증 세트 손실: 0.091932 최선의 손실: 0.063750 정확도: 98.16% 24 검증 세트 손실: 0.152030 최선의 손실: 0.063750 정확도: 98.05% 25 검증 세트 손실: 0.118690 최선의 손실: 0.063750 정확도: 98.20% 26 검증 세트 손실: 0.123812 최선의 손실: 0.063750 정확도: 98.36% 27 검증 세트 손실: 0.108752 최선의 손실: 0.063750 정확도: 98.36% 조기 종료! [CV] n_neurons=70, learning_rate=0.02, batch_size=100, activation=<function elu at 0x7f8ec4ceef28>, total= 7.1s [CV] n_neurons=30, learning_rate=0.02, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 0 검증 세트 손실: 0.124028 최선의 손실: 0.124028 정확도: 96.99% 1 검증 세트 손실: 0.105041 최선의 손실: 0.105041 정확도: 97.19% 2 검증 세트 손실: 0.086250 최선의 손실: 0.086250 정확도: 97.65% 3 검증 세트 손실: 0.094049 최선의 손실: 0.086250 정확도: 97.50% 4 검증 세트 손실: 0.087575 최선의 손실: 0.086250 정확도: 97.85% 5 검증 세트 손실: 0.077451 최선의 손실: 0.077451 정확도: 97.93% 6 검증 세트 손실: 0.415449 최선의 손실: 0.077451 정확도: 93.67% 7 검증 세트 손실: 0.160814 최선의 손실: 0.077451 정확도: 96.87% 8 검증 세트 손실: 0.162500 최선의 손실: 0.077451 정확도: 97.54% 9 검증 세트 손실: 0.266064 최선의 손실: 0.077451 정확도: 97.58% 10 검증 세트 손실: 0.299668 최선의 손실: 0.077451 정확도: 97.69% 11 검증 세트 손실: 0.338111 최선의 손실: 0.077451 정확도: 97.65% 12 검증 세트 손실: 0.379714 최선의 손실: 0.077451 정확도: 97.42% 13 검증 세트 손실: 0.377035 최선의 손실: 0.077451 정확도: 97.54% 14 검증 세트 손실: 0.484574 최선의 손실: 0.077451 정확도: 97.46% 15 검증 세트 손실: 0.194351 최선의 손실: 0.077451 정확도: 97.22% 16 검증 세트 손실: 0.238746 최선의 손실: 0.077451 정확도: 97.89% 17 검증 세트 손실: 0.337602 최선의 손실: 0.077451 정확도: 97.81% 18 검증 세트 손실: 0.592396 최선의 손실: 0.077451 정확도: 97.65% 19 검증 세트 손실: 0.304590 최선의 손실: 0.077451 정확도: 97.69% 20 검증 세트 손실: 0.350255 최선의 손실: 0.077451 정확도: 97.89% 21 검증 세트 손실: 0.319910 최선의 손실: 0.077451 정확도: 98.28% 22 검증 세트 손실: 0.418130 최선의 손실: 0.077451 정확도: 97.97% 23 검증 세트 손실: 0.247930 최선의 손실: 0.077451 정확도: 98.40% 24 검증 세트 손실: 0.396137 최선의 손실: 0.077451 정확도: 97.65% 25 검증 세트 손실: 0.480483 최선의 손실: 0.077451 정확도: 95.54% 26 검증 세트 손실: 1.306810 최선의 손실: 0.077451 정확도: 94.29% 조기 종료! [CV] n_neurons=30, learning_rate=0.02, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total= 4.7s [CV] n_neurons=30, learning_rate=0.02, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 0 검증 세트 손실: 0.158430 최선의 손실: 0.158430 정확도: 96.44% 1 검증 세트 손실: 0.085704 최선의 손실: 0.085704 정확도: 97.77% 2 검증 세트 손실: 0.108427 최선의 손실: 0.085704 정확도: 97.03% 3 검증 세트 손실: 0.076443 최선의 손실: 0.076443 정확도: 98.01% 4 검증 세트 손실: 0.071128 최선의 손실: 0.071128 정확도: 98.16% 5 검증 세트 손실: 0.123939 최선의 손실: 0.071128 정확도: 97.34% 6 검증 세트 손실: 0.126308 최선의 손실: 0.071128 정확도: 96.29% 7 검증 세트 손실: 0.108919 최선의 손실: 0.071128 정확도: 96.91% 8 검증 세트 손실: 0.081721 최선의 손실: 0.071128 정확도: 97.81% 9 검증 세트 손실: 0.119417 최선의 손실: 0.071128 정확도: 97.26% 10 검증 세트 손실: 0.087401 최선의 손실: 0.071128 정확도: 97.93% 11 검증 세트 손실: 0.082822 최선의 손실: 0.071128 정확도: 97.65% 12 검증 세트 손실: 0.139534 최선의 손실: 0.071128 정확도: 97.77% 13 검증 세트 손실: 0.075277 최선의 손실: 0.071128 정확도: 98.12% 14 검증 세트 손실: 0.095059 최선의 손실: 0.071128 정확도: 98.05% 15 검증 세트 손실: 0.083915 최선의 손실: 0.071128 정확도: 98.36% 16 검증 세트 손실: 0.097499 최선의 손실: 0.071128 정확도: 97.62% 17 검증 세트 손실: 0.091903 최선의 손실: 0.071128 정확도: 98.01% 18 검증 세트 손실: 0.578454 최선의 손실: 0.071128 정확도: 93.39% 19 검증 세트 손실: 0.104725 최선의 손실: 0.071128 정확도: 97.81% 20 검증 세트 손실: 0.113461 최선의 손실: 0.071128 정확도: 97.54% 21 검증 세트 손실: 0.138661 최선의 손실: 0.071128 정확도: 97.65% 22 검증 세트 손실: 0.160091 최선의 손실: 0.071128 정확도: 97.50% 23 검증 세트 손실: 0.190161 최선의 손실: 0.071128 정확도: 97.38% 24 검증 세트 손실: 0.153419 최선의 손실: 0.071128 정확도: 97.89% 25 검증 세트 손실: 0.177787 최선의 손실: 0.071128 정확도: 97.93% 조기 종료! [CV] n_neurons=30, learning_rate=0.02, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total= 4.6s [CV] n_neurons=30, learning_rate=0.02, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 0 검증 세트 손실: 0.104343 최선의 손실: 0.104343 정확도: 97.50% 1 검증 세트 손실: 0.091037 최선의 손실: 0.091037 정확도: 97.58% 2 검증 세트 손실: 0.224616 최선의 손실: 0.091037 정확도: 96.29% 3 검증 세트 손실: 0.436669 최선의 손실: 0.091037 정확도: 95.66% 4 검증 세트 손실: 0.113760 최선의 손실: 0.091037 정확도: 96.83% 5 검증 세트 손실: 0.079982 최선의 손실: 0.079982 정확도: 97.97% 6 검증 세트 손실: 0.073724 최선의 손실: 0.073724 정확도: 97.93% 7 검증 세트 손실: 0.070780 최선의 손실: 0.070780 정확도: 98.24% 8 검증 세트 손실: 0.086831 최선의 손실: 0.070780 정확도: 97.54% 9 검증 세트 손실: 0.065515 최선의 손실: 0.065515 정확도: 98.12% 10 검증 세트 손실: 0.086769 최선의 손실: 0.065515 정확도: 97.62% 11 검증 세트 손실: 0.073929 최선의 손실: 0.065515 정확도: 97.93% 12 검증 세트 손실: 0.065510 최선의 손실: 0.065510 정확도: 98.44% 13 검증 세트 손실: 0.078231 최선의 손실: 0.065510 정확도: 98.16% 14 검증 세트 손실: 0.072493 최선의 손실: 0.065510 정확도: 98.05% 15 검증 세트 손실: 0.096357 최선의 손실: 0.065510 정확도: 97.77% 16 검증 세트 손실: 0.104474 최선의 손실: 0.065510 정확도: 97.73% 17 검증 세트 손실: 0.088071 최선의 손실: 0.065510 정확도: 97.77% 18 검증 세트 손실: 0.085734 최선의 손실: 0.065510 정확도: 98.24% 19 검증 세트 손실: 0.092710 최선의 손실: 0.065510 정확도: 98.08% 20 검증 세트 손실: 0.076570 최선의 손실: 0.065510 정확도: 98.05% 21 검증 세트 손실: 0.077357 최선의 손실: 0.065510 정확도: 98.36% 22 검증 세트 손실: 0.089391 최선의 손실: 0.065510 정확도: 98.32% 23 검증 세트 손실: 0.078522 최선의 손실: 0.065510 정확도: 98.05% 24 검증 세트 손실: 0.141950 최선의 손실: 0.065510 정확도: 97.77% 25 검증 세트 손실: 0.098782 최선의 손실: 0.065510 정확도: 97.81% 26 검증 세트 손실: 0.118327 최선의 손실: 0.065510 정확도: 98.08% 27 검증 세트 손실: 5.636372 최선의 손실: 0.065510 정확도: 87.84% 28 검증 세트 손실: 1.696772 최선의 손실: 0.065510 정확도: 89.99% 29 검증 세트 손실: 0.314153 최선의 손실: 0.065510 정확도: 96.25% 30 검증 세트 손실: 0.242097 최선의 손실: 0.065510 정확도: 96.72% 31 검증 세트 손실: 0.178663 최선의 손실: 0.065510 정확도: 96.99% 32 검증 세트 손실: 0.180681 최선의 손실: 0.065510 정확도: 97.46% 33 검증 세트 손실: 0.159723 최선의 손실: 0.065510 정확도: 97.34% 조기 종료! [CV] n_neurons=30, learning_rate=0.02, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total= 5.9s [CV] n_neurons=100, learning_rate=0.1, batch_size=10, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 2.087434 최선의 손실: 2.087434 정확도: 19.27% 1 검증 세트 손실: 1.908950 최선의 손실: 1.908950 정확도: 22.01% 2 검증 세트 손실: 2.399851 최선의 손실: 1.908950 정확도: 19.27% 3 검증 세트 손실: 2.329918 최선의 손실: 1.908950 정확도: 22.01% 4 검증 세트 손실: 2.813124 최선의 손실: 1.908950 정확도: 18.73% 5 검증 세트 손실: 1.788857 최선의 손실: 1.788857 정확도: 19.27% 6 검증 세트 손실: 2.586871 최선의 손실: 1.788857 정확도: 18.73% 7 검증 세트 손실: 2.335348 최선의 손실: 1.788857 정확도: 18.73% 8 검증 세트 손실: 2.733963 최선의 손실: 1.788857 정확도: 19.08% 9 검증 세트 손실: 3.051122 최선의 손실: 1.788857 정확도: 22.01% 10 검증 세트 손실: 2.424796 최선의 손실: 1.788857 정확도: 19.27% 11 검증 세트 손실: 2.792954 최선의 손실: 1.788857 정확도: 19.08% 12 검증 세트 손실: 2.119969 최선의 손실: 1.788857 정확도: 19.08% 13 검증 세트 손실: 1.997621 최선의 손실: 1.788857 정확도: 19.27% 14 검증 세트 손실: 4.296135 최선의 손실: 1.788857 정확도: 18.73% 15 검증 세트 손실: 2.671153 최선의 손실: 1.788857 정확도: 22.01% 16 검증 세트 손실: 3.082329 최선의 손실: 1.788857 정확도: 20.91% 17 검증 세트 손실: 3.032700 최선의 손실: 1.788857 정확도: 20.91% 18 검증 세트 손실: 2.500189 최선의 손실: 1.788857 정확도: 20.91% 19 검증 세트 손실: 3.373904 최선의 손실: 1.788857 정확도: 22.01% 20 검증 세트 손실: 3.018165 최선의 손실: 1.788857 정확도: 20.91% 21 검증 세트 손실: 2.359832 최선의 손실: 1.788857 정확도: 20.91% 22 검증 세트 손실: 1.775837 최선의 손실: 1.775837 정확도: 22.01% 23 검증 세트 손실: 2.021168 최선의 손실: 1.775837 정확도: 20.91% 24 검증 세트 손실: 2.938191 최선의 손실: 1.775837 정확도: 19.08% 25 검증 세트 손실: 3.343242 최선의 손실: 1.775837 정확도: 19.27% 26 검증 세트 손실: 2.519327 최선의 손실: 1.775837 정확도: 20.91% 27 검증 세트 손실: 2.366913 최선의 손실: 1.775837 정확도: 19.08% 28 검증 세트 손실: 3.581156 최선의 손실: 1.775837 정확도: 19.08% 29 검증 세트 손실: 3.505234 최선의 손실: 1.775837 정확도: 20.91% 30 검증 세트 손실: 2.071998 최선의 손실: 1.775837 정확도: 22.01% 31 검증 세트 손실: 3.687669 최선의 손실: 1.775837 정확도: 19.08% 32 검증 세트 손실: 2.071436 최선의 손실: 1.775837 정확도: 20.91% 33 검증 세트 손실: 2.781656 최선의 손실: 1.775837 정확도: 19.08% 34 검증 세트 손실: 1.631321 최선의 손실: 1.631321 정확도: 22.01% 35 검증 세트 손실: 2.686703 최선의 손실: 1.631321 정확도: 18.73% 36 검증 세트 손실: 3.073051 최선의 손실: 1.631321 정확도: 22.01% 37 검증 세트 손실: 2.643429 최선의 손실: 1.631321 정확도: 20.91% 38 검증 세트 손실: 2.137609 최선의 손실: 1.631321 정확도: 19.08% 39 검증 세트 손실: 3.021153 최선의 손실: 1.631321 정확도: 19.08% 40 검증 세트 손실: 2.709573 최선의 손실: 1.631321 정확도: 18.73% 41 검증 세트 손실: 2.258729 최선의 손실: 1.631321 정확도: 19.27% 42 검증 세트 손실: 3.737108 최선의 손실: 1.631321 정확도: 22.01% 43 검증 세트 손실: 2.650852 최선의 손실: 1.631321 정확도: 19.27% 44 검증 세트 손실: 2.797873 최선의 손실: 1.631321 정확도: 19.08% 45 검증 세트 손실: 2.693038 최선의 손실: 1.631321 정확도: 18.73% 46 검증 세트 손실: 3.000969 최선의 손실: 1.631321 정확도: 18.73% 47 검증 세트 손실: 3.582025 최선의 손실: 1.631321 정확도: 19.27% 48 검증 세트 손실: 3.139403 최선의 손실: 1.631321 정확도: 18.73% 49 검증 세트 손실: 3.971894 최선의 손실: 1.631321 정확도: 19.27% 50 검증 세트 손실: 2.952584 최선의 손실: 1.631321 정확도: 19.27% 51 검증 세트 손실: 2.712203 최선의 손실: 1.631321 정확도: 22.01% 52 검증 세트 손실: 3.130972 최선의 손실: 1.631321 정확도: 19.27% 53 검증 세트 손실: 2.222214 최선의 손실: 1.631321 정확도: 19.08% 54 검증 세트 손실: 2.964400 최선의 손실: 1.631321 정확도: 19.27% 55 검증 세트 손실: 3.681787 최선의 손실: 1.631321 정확도: 19.27% 조기 종료! [CV] n_neurons=100, learning_rate=0.1, batch_size=10, activation=<function elu at 0x7f8ec4ceef28>, total= 1.1min [CV] n_neurons=100, learning_rate=0.1, batch_size=10, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 1.666739 최선의 손실: 1.666739 정확도: 19.08% 1 검증 세트 손실: 2.039531 최선의 손실: 1.666739 정확도: 20.91% 2 검증 세트 손실: 1.904579 최선의 손실: 1.666739 정확도: 22.01% 3 검증 세트 손실: 2.727735 최선의 손실: 1.666739 정확도: 22.01% 4 검증 세트 손실: 1.837169 최선의 손실: 1.666739 정확도: 22.01% 5 검증 세트 손실: 2.607653 최선의 손실: 1.666739 정확도: 18.73% 6 검증 세트 손실: 2.757694 최선의 손실: 1.666739 정확도: 18.73% 7 검증 세트 손실: 2.429045 최선의 손실: 1.666739 정확도: 19.08% 8 검증 세트 손실: 3.118255 최선의 손실: 1.666739 정확도: 19.08% 9 검증 세트 손실: 2.238760 최선의 손실: 1.666739 정확도: 19.27% 10 검증 세트 손실: 2.540496 최선의 손실: 1.666739 정확도: 20.91% 11 검증 세트 손실: 4.024342 최선의 손실: 1.666739 정확도: 19.08% 12 검증 세트 손실: 2.217903 최선의 손실: 1.666739 정확도: 20.91% 13 검증 세트 손실: 2.776817 최선의 손실: 1.666739 정확도: 22.01% 14 검증 세트 손실: 2.959257 최선의 손실: 1.666739 정확도: 20.91% 15 검증 세트 손실: 2.762816 최선의 손실: 1.666739 정확도: 20.91% 16 검증 세트 손실: 2.245259 최선의 손실: 1.666739 정확도: 22.01% 17 검증 세트 손실: 2.643824 최선의 손실: 1.666739 정확도: 19.08% 18 검증 세트 손실: 3.454876 최선의 손실: 1.666739 정확도: 22.01% 19 검증 세트 손실: 3.536183 최선의 손실: 1.666739 정확도: 19.27% 20 검증 세트 손실: 2.250038 최선의 손실: 1.666739 정확도: 18.73% 21 검증 세트 손실: 2.961766 최선의 손실: 1.666739 정확도: 22.01% 조기 종료! [CV] n_neurons=100, learning_rate=0.1, batch_size=10, activation=<function elu at 0x7f8ec4ceef28>, total= 25.8s [CV] n_neurons=100, learning_rate=0.1, batch_size=10, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 1.752184 최선의 손실: 1.752184 정확도: 20.91% 1 검증 세트 손실: 2.232301 최선의 손실: 1.752184 정확도: 22.01% 2 검증 세트 손실: 2.635562 최선의 손실: 1.752184 정확도: 19.08% 3 검증 세트 손실: 3.032478 최선의 손실: 1.752184 정확도: 22.01% 4 검증 세트 손실: 2.674482 최선의 손실: 1.752184 정확도: 20.91% 5 검증 세트 손실: 3.170716 최선의 손실: 1.752184 정확도: 20.91% 6 검증 세트 손실: 2.329651 최선의 손실: 1.752184 정확도: 20.91% 7 검증 세트 손실: 2.229480 최선의 손실: 1.752184 정확도: 19.27% 8 검증 세트 손실: 2.274400 최선의 손실: 1.752184 정확도: 22.01% 9 검증 세트 손실: 2.208699 최선의 손실: 1.752184 정확도: 22.01% 10 검증 세트 손실: 2.130490 최선의 손실: 1.752184 정확도: 18.73% 11 검증 세트 손실: 2.541695 최선의 손실: 1.752184 정확도: 19.08% 12 검증 세트 손실: 4.161201 최선의 손실: 1.752184 정확도: 20.91% 13 검증 세트 손실: 2.705544 최선의 손실: 1.752184 정확도: 22.01% 14 검증 세트 손실: 2.812274 최선의 손실: 1.752184 정확도: 19.27% 15 검증 세트 손실: 2.892021 최선의 손실: 1.752184 정확도: 18.73% 16 검증 세트 손실: 2.830200 최선의 손실: 1.752184 정확도: 20.91% 17 검증 세트 손실: 2.845695 최선의 손실: 1.752184 정확도: 20.91% 18 검증 세트 손실: 3.050031 최선의 손실: 1.752184 정확도: 20.91% 19 검증 세트 손실: 1.988322 최선의 손실: 1.752184 정확도: 22.01% 20 검증 세트 손실: 2.268836 최선의 손실: 1.752184 정확도: 19.08% 21 검증 세트 손실: 3.946499 최선의 손실: 1.752184 정확도: 19.27% 조기 종료! [CV] n_neurons=100, learning_rate=0.1, batch_size=10, activation=<function elu at 0x7f8ec4ceef28>, total= 25.6s [CV] n_neurons=90, learning_rate=0.1, batch_size=100, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 3.830313 최선의 손실: 3.830313 정확도: 19.08% 1 검증 세트 손실: 1.650776 최선의 손실: 1.650776 정확도: 22.01% 2 검증 세트 손실: 1.617856 최선의 손실: 1.617856 정확도: 19.08% 3 검증 세트 손실: 1.650861 최선의 손실: 1.617856 정확도: 19.08% 4 검증 세트 손실: 1.683475 최선의 손실: 1.617856 정확도: 19.27% 5 검증 세트 손실: 1.649877 최선의 손실: 1.617856 정확도: 18.73% 6 검증 세트 손실: 1.639223 최선의 손실: 1.617856 정확도: 19.27% 7 검증 세트 손실: 1.632789 최선의 손실: 1.617856 정확도: 19.08% 8 검증 세트 손실: 1.708920 최선의 손실: 1.617856 정확도: 19.27% 9 검증 세트 손실: 1.831940 최선의 손실: 1.617856 정확도: 19.08% 10 검증 세트 손실: 1.676429 최선의 손실: 1.617856 정확도: 19.08% 11 검증 세트 손실: 1.683612 최선의 손실: 1.617856 정확도: 18.73% 12 검증 세트 손실: 1.693113 최선의 손실: 1.617856 정확도: 19.08% 13 검증 세트 손실: 1.672475 최선의 손실: 1.617856 정확도: 22.01% 14 검증 세트 손실: 1.727265 최선의 손실: 1.617856 정확도: 19.08% 15 검증 세트 손실: 1.654443 최선의 손실: 1.617856 정확도: 22.01% 16 검증 세트 손실: 1.699802 최선의 손실: 1.617856 정확도: 18.73% 17 검증 세트 손실: 1.705097 최선의 손실: 1.617856 정확도: 18.73% 18 검증 세트 손실: 1.749858 최선의 손실: 1.617856 정확도: 20.91% 19 검증 세트 손실: 1.812719 최선의 손실: 1.617856 정확도: 20.91% 20 검증 세트 손실: 1.623283 최선의 손실: 1.617856 정확도: 19.08% 21 검증 세트 손실: 1.690679 최선의 손실: 1.617856 정확도: 22.01% 22 검증 세트 손실: 1.661573 최선의 손실: 1.617856 정확도: 19.27% 23 검증 세트 손실: 1.762110 최선의 손실: 1.617856 정확도: 22.01% 조기 종료! [CV] n_neurons=90, learning_rate=0.1, batch_size=100, activation=<function elu at 0x7f8ec4ceef28>, total= 7.3s [CV] n_neurons=90, learning_rate=0.1, batch_size=100, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.323893 최선의 손실: 0.323893 정확도: 91.16% 1 검증 세트 손실: 0.176155 최선의 손실: 0.176155 정확도: 95.23% 2 검증 세트 손실: 0.135404 최선의 손실: 0.135404 정확도: 96.25% 3 검증 세트 손실: 0.154597 최선의 손실: 0.135404 정확도: 95.82% 4 검증 세트 손실: 0.132032 최선의 손실: 0.132032 정확도: 96.01% 5 검증 세트 손실: 0.198237 최선의 손실: 0.132032 정확도: 94.45% 6 검증 세트 손실: 0.179919 최선의 손실: 0.132032 정확도: 95.15% 7 검증 세트 손실: 0.112613 최선의 손실: 0.112613 정확도: 97.07% 8 검증 세트 손실: 0.127910 최선의 손실: 0.112613 정확도: 97.03% 9 검증 세트 손실: 0.179741 최선의 손실: 0.112613 정확도: 95.31% 10 검증 세트 손실: 0.097553 최선의 손실: 0.097553 정확도: 97.38% 11 검증 세트 손실: 0.093191 최선의 손실: 0.093191 정확도: 97.73% 12 검증 세트 손실: 0.112318 최선의 손실: 0.093191 정확도: 97.26% 13 검증 세트 손실: 0.095564 최선의 손실: 0.093191 정확도: 97.38% 14 검증 세트 손실: 0.253895 최선의 손실: 0.093191 정확도: 91.75% 15 검증 세트 손실: 0.140040 최선의 손실: 0.093191 정확도: 96.95% 16 검증 세트 손실: 3837240.750000 최선의 손실: 0.093191 정확도: 22.01% 17 검증 세트 손실: 1.638530 최선의 손실: 0.093191 정확도: 20.91% 18 검증 세트 손실: 1.658970 최선의 손실: 0.093191 정확도: 22.01% 19 검증 세트 손실: 1.640542 최선의 손실: 0.093191 정확도: 20.91% 20 검증 세트 손실: 1.624574 최선의 손실: 0.093191 정확도: 20.91% 21 검증 세트 손실: 1.679665 최선의 손실: 0.093191 정확도: 18.73% 22 검증 세트 손실: 1.623782 최선의 손실: 0.093191 정확도: 19.08% 23 검증 세트 손실: 1.680036 최선의 손실: 0.093191 정확도: 22.01% 24 검증 세트 손실: 1.695089 최선의 손실: 0.093191 정확도: 20.91% 25 검증 세트 손실: 1.652078 최선의 손실: 0.093191 정확도: 20.91% 26 검증 세트 손실: 1.613163 최선의 손실: 0.093191 정확도: 22.01% 27 검증 세트 손실: 1.611891 최선의 손실: 0.093191 정확도: 20.91% 28 검증 세트 손실: 1.768672 최선의 손실: 0.093191 정확도: 19.08% 29 검증 세트 손실: 1.630288 최선의 손실: 0.093191 정확도: 22.01% 30 검증 세트 손실: 1.685753 최선의 손실: 0.093191 정확도: 19.27% 31 검증 세트 손실: 1.760716 최선의 손실: 0.093191 정확도: 18.73% 32 검증 세트 손실: 1.724452 최선의 손실: 0.093191 정확도: 20.91% 조기 종료! [CV] n_neurons=90, learning_rate=0.1, batch_size=100, activation=<function elu at 0x7f8ec4ceef28>, total= 9.9s [CV] n_neurons=90, learning_rate=0.1, batch_size=100, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 1.161498 최선의 손실: 1.161498 정확도: 63.25% 1 검증 세트 손실: 1.106220 최선의 손실: 1.106220 정확도: 57.94% 2 검증 세트 손실: 0.613850 최선의 손실: 0.613850 정확도: 69.94% 3 검증 세트 손실: 0.393908 최선의 손실: 0.393908 정확도: 87.61% 4 검증 세트 손실: 0.469406 최선의 손실: 0.393908 정확도: 85.73% 5 검증 세트 손실: 0.615940 최선의 손실: 0.393908 정확도: 73.57% 6 검증 세트 손실: 0.594170 최선의 손실: 0.393908 정확도: 74.63% 7 검증 세트 손실: 0.448402 최선의 손실: 0.393908 정확도: 85.38% 8 검증 세트 손실: 0.413376 최선의 손실: 0.393908 정확도: 87.65% 9 검증 세트 손실: 0.483879 최선의 손실: 0.393908 정확도: 86.32% 10 검증 세트 손실: 0.522526 최선의 손실: 0.393908 정확도: 90.30% 11 검증 세트 손실: 0.427490 최선의 손실: 0.393908 정확도: 90.93% 12 검증 세트 손실: 0.401578 최선의 손실: 0.393908 정확도: 92.10% 13 검증 세트 손실: 0.790456 최선의 손실: 0.393908 정확도: 75.29% 14 검증 세트 손실: 1.691996 최선의 손실: 0.393908 정확도: 19.08% 15 검증 세트 손실: 1.686038 최선의 손실: 0.393908 정확도: 20.91% 16 검증 세트 손실: 1.669205 최선의 손실: 0.393908 정확도: 18.73% 17 검증 세트 손실: 1.656164 최선의 손실: 0.393908 정확도: 20.91% 18 검증 세트 손실: 1.700728 최선의 손실: 0.393908 정확도: 18.73% 19 검증 세트 손실: 1.649013 최선의 손실: 0.393908 정확도: 18.73% 20 검증 세트 손실: 1.659578 최선의 손실: 0.393908 정확도: 20.91% 21 검증 세트 손실: 1.735483 최선의 손실: 0.393908 정확도: 22.01% 22 검증 세트 손실: 1.628036 최선의 손실: 0.393908 정확도: 18.73% 23 검증 세트 손실: 1.744426 최선의 손실: 0.393908 정확도: 22.01% 24 검증 세트 손실: 1.620579 최선의 손실: 0.393908 정확도: 22.01% 조기 종료! [CV] n_neurons=90, learning_rate=0.1, batch_size=100, activation=<function elu at 0x7f8ec4ceef28>, total= 7.6s [CV] n_neurons=50, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 0 검증 세트 손실: 1.807269 최선의 손실: 1.807269 정확도: 22.01% 1 검증 세트 손실: 0.911535 최선의 손실: 0.911535 정확도: 66.42% 2 검증 세트 손실: 0.710055 최선의 손실: 0.710055 정확도: 76.19% 3 검증 세트 손실: 0.404699 최선의 손실: 0.404699 정확도: 86.43% 4 검증 세트 손실: 0.352462 최선의 손실: 0.352462 정확도: 89.41% 5 검증 세트 손실: 0.289252 최선의 손실: 0.289252 정확도: 91.24% 6 검증 세트 손실: 0.259428 최선의 손실: 0.259428 정확도: 92.14% 7 검증 세트 손실: 0.245226 최선의 손실: 0.245226 정확도: 93.28% 8 검증 세트 손실: 0.267662 최선의 손실: 0.245226 정확도: 91.91% 9 검증 세트 손실: 0.217012 최선의 손실: 0.217012 정확도: 94.02% 10 검증 세트 손실: 0.284637 최선의 손실: 0.217012 정확도: 91.67% 11 검증 세트 손실: 0.200155 최선의 손실: 0.200155 정확도: 94.53% 12 검증 세트 손실: 0.205396 최선의 손실: 0.200155 정확도: 94.06% 13 검증 세트 손실: 0.165258 최선의 손실: 0.165258 정확도: 95.70% 14 검증 세트 손실: 0.268083 최선의 손실: 0.165258 정확도: 92.53% 15 검증 세트 손실: 0.222046 최선의 손실: 0.165258 정확도: 94.68% 16 검증 세트 손실: 0.190499 최선의 손실: 0.165258 정확도: 94.96% 17 검증 세트 손실: 0.183101 최선의 손실: 0.165258 정확도: 95.50% 18 검증 세트 손실: 0.182017 최선의 손실: 0.165258 정확도: 95.27% 19 검증 세트 손실: 0.165296 최선의 손실: 0.165258 정확도: 96.01% 20 검증 세트 손실: 0.183133 최선의 손실: 0.165258 정확도: 95.31% 21 검증 세트 손실: 0.170318 최선의 손실: 0.165258 정확도: 95.58% 22 검증 세트 손실: 0.143872 최선의 손실: 0.143872 정확도: 96.40% 23 검증 세트 손실: 0.181190 최선의 손실: 0.143872 정확도: 96.09% 24 검증 세트 손실: 0.153716 최선의 손실: 0.143872 정확도: 96.29% 25 검증 세트 손실: 0.138413 최선의 손실: 0.138413 정확도: 96.17% 26 검증 세트 손실: 0.142351 최선의 손실: 0.138413 정확도: 96.44% 27 검증 세트 손실: 0.151613 최선의 손실: 0.138413 정확도: 96.79% 28 검증 세트 손실: 0.142824 최선의 손실: 0.138413 정확도: 96.33% 29 검증 세트 손실: 0.178391 최선의 손실: 0.138413 정확도: 96.21% 30 검증 세트 손실: 0.164442 최선의 손실: 0.138413 정확도: 96.40% 31 검증 세트 손실: 146359.328125 최선의 손실: 0.138413 정확도: 19.27% 32 검증 세트 손실: 39845.687500 최선의 손실: 0.138413 정확도: 32.72% 33 검증 세트 손실: 49817.398438 최선의 손실: 0.138413 정확도: 18.73% 34 검증 세트 손실: 2817.191650 최선의 손실: 0.138413 정확도: 52.89% 35 검증 세트 손실: 629.332947 최선의 손실: 0.138413 정확도: 64.82% 36 검증 세트 손실: 470.566895 최선의 손실: 0.138413 정확도: 67.08% 37 검증 세트 손실: 289.060455 최선의 손실: 0.138413 정확도: 70.29% 38 검증 세트 손실: 354.870422 최선의 손실: 0.138413 정확도: 67.90% 39 검증 세트 손실: 571.651794 최선의 손실: 0.138413 정확도: 54.93% 40 검증 세트 손실: 367.481293 최선의 손실: 0.138413 정확도: 72.05% 41 검증 세트 손실: 232.462540 최선의 손실: 0.138413 정확도: 74.16% 42 검증 세트 손실: 221.746948 최선의 손실: 0.138413 정확도: 74.04% 43 검증 세트 손실: 317.330841 최선의 손실: 0.138413 정확도: 66.93% 44 검증 세트 손실: 416.549988 최선의 손실: 0.138413 정확도: 70.88% 45 검증 세트 손실: 209.800720 최선의 손실: 0.138413 정확도: 74.04% 46 검증 세트 손실: 291.509277 최선의 손실: 0.138413 정확도: 64.11% 조기 종료! [CV] n_neurons=50, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total= 6.1s [CV] n_neurons=50, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 0 검증 세트 손실: 20.778124 최선의 손실: 20.778124 정확도: 23.46% 1 검증 세트 손실: 0.841452 최선의 손실: 0.841452 정확도: 60.20% 2 검증 세트 손실: 38.603653 최선의 손실: 0.841452 정확도: 19.51% 3 검증 세트 손실: 46.469101 최선의 손실: 0.841452 정확도: 38.31% 4 검증 세트 손실: 56.912247 최선의 손실: 0.841452 정확도: 41.75% 5 검증 세트 손실: 65.621674 최선의 손실: 0.841452 정확도: 25.06% 6 검증 세트 손실: 52.181984 최선의 손실: 0.841452 정확도: 29.05% 7 검증 세트 손실: 16.714733 최선의 손실: 0.841452 정확도: 39.72% 8 검증 세트 손실: 38.031467 최선의 손실: 0.841452 정확도: 38.19% 9 검증 세트 손실: 66.451088 최선의 손실: 0.841452 정확도: 20.91% 10 검증 세트 손실: 250.794937 최선의 손실: 0.841452 정확도: 30.57% 11 검증 세트 손실: 274.370941 최선의 손실: 0.841452 정확도: 41.32% 12 검증 세트 손실: 139.683319 최선의 손실: 0.841452 정확도: 37.22% 13 검증 세트 손실: 257.156525 최선의 손실: 0.841452 정확도: 38.70% 14 검증 세트 손실: 58.699226 최선의 손실: 0.841452 정확도: 39.80% 15 검증 세트 손실: 9.395611 최선의 손실: 0.841452 정확도: 52.81% 16 검증 세트 손실: 2.514303 최선의 손실: 0.841452 정확도: 57.66% 17 검증 세트 손실: 1.732949 최선의 손실: 0.841452 정확도: 58.17% 18 검증 세트 손실: 1.582303 최선의 손실: 0.841452 정확도: 62.39% 19 검증 세트 손실: 1.452186 최선의 손실: 0.841452 정확도: 60.16% 20 검증 세트 손실: 1.944729 최선의 손실: 0.841452 정확도: 53.32% 21 검증 세트 손실: 1.658557 최선의 손실: 0.841452 정확도: 57.31% 22 검증 세트 손실: 1.190262 최선의 손실: 0.841452 정확도: 64.74% 조기 종료! [CV] n_neurons=50, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total= 3.2s [CV] n_neurons=50, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 0 검증 세트 손실: 1.287868 최선의 손실: 1.287868 정확도: 36.59% 1 검증 세트 손실: 0.790487 최선의 손실: 0.790487 정확도: 77.37% 2 검증 세트 손실: 0.254012 최선의 손실: 0.254012 정확도: 92.89% 3 검증 세트 손실: 0.162328 최선의 손실: 0.162328 정확도: 95.54% 4 검증 세트 손실: 0.143176 최선의 손실: 0.143176 정확도: 95.93% 5 검증 세트 손실: 0.135789 최선의 손실: 0.135789 정확도: 96.52% 6 검증 세트 손실: 0.114483 최선의 손실: 0.114483 정확도: 96.95% 7 검증 세트 손실: 0.120295 최선의 손실: 0.114483 정확도: 97.03% 8 검증 세트 손실: 0.140572 최선의 손실: 0.114483 정확도: 96.21% 9 검증 세트 손실: 0.118083 최선의 손실: 0.114483 정확도: 96.95% 10 검증 세트 손실: 0.108246 최선의 손실: 0.108246 정확도: 96.76% 11 검증 세트 손실: 0.106903 최선의 손실: 0.106903 정확도: 97.22% 12 검증 세트 손실: 0.116481 최선의 손실: 0.106903 정확도: 96.83% 13 검증 세트 손실: 0.102811 최선의 손실: 0.102811 정확도: 97.19% 14 검증 세트 손실: 1104.990967 최선의 손실: 0.102811 정확도: 13.53% 15 검증 세트 손실: 37721.363281 최선의 손실: 0.102811 정확도: 20.91% 16 검증 세트 손실: 10684.943359 최선의 손실: 0.102811 정확도: 19.00% 17 검증 세트 손실: 2338.797363 최선의 손실: 0.102811 정확도: 29.91% 18 검증 세트 손실: 613.114563 최선의 손실: 0.102811 정확도: 26.62% 19 검증 세트 손실: 78.562546 최선의 손실: 0.102811 정확도: 50.31% 20 검증 세트 손실: 71.951393 최선의 손실: 0.102811 정확도: 37.41% 21 검증 세트 손실: 104.248756 최선의 손실: 0.102811 정확도: 46.52% 22 검증 세트 손실: 29.271074 최선의 손실: 0.102811 정확도: 43.28% 23 검증 세트 손실: 44.263405 최선의 손실: 0.102811 정확도: 41.05% 24 검증 세트 손실: 20.849890 최선의 손실: 0.102811 정확도: 59.97% 25 검증 세트 손실: 13.023427 최선의 손실: 0.102811 정확도: 62.67% 26 검증 세트 손실: 25.583759 최선의 손실: 0.102811 정확도: 50.27% 27 검증 세트 손실: 19.600494 최선의 손실: 0.102811 정확도: 49.02% 28 검증 세트 손실: 15.171478 최선의 손실: 0.102811 정확도: 48.94% 29 검증 세트 손실: 17.203144 최선의 손실: 0.102811 정확도: 55.67% 30 검증 세트 손실: 73.088692 최선의 손실: 0.102811 정확도: 38.39% 31 검증 세트 손실: 15.996584 최선의 손실: 0.102811 정확도: 65.72% 32 검증 세트 손실: 35.748741 최선의 손실: 0.102811 정확도: 46.76% 33 검증 세트 손실: 16.192059 최선의 손실: 0.102811 정확도: 60.91% 34 검증 세트 손실: 9.493767 최선의 손실: 0.102811 정확도: 70.37% 조기 종료! [CV] n_neurons=50, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total= 4.7s [CV] n_neurons=140, learning_rate=0.02, batch_size=500, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.258346 최선의 손실: 0.258346 정확도: 92.92% 1 검증 세트 손실: 0.115569 최선의 손실: 0.115569 정확도: 96.13% 2 검증 세트 손실: 0.093414 최선의 손실: 0.093414 정확도: 96.83% 3 검증 세트 손실: 0.082853 최선의 손실: 0.082853 정확도: 97.62% 4 검증 세트 손실: 0.082376 최선의 손실: 0.082376 정확도: 97.58% 5 검증 세트 손실: 0.098352 최선의 손실: 0.082376 정확도: 97.38% 6 검증 세트 손실: 0.080265 최선의 손실: 0.080265 정확도: 97.69% 7 검증 세트 손실: 0.060859 최선의 손실: 0.060859 정확도: 98.24% 8 검증 세트 손실: 0.076406 최선의 손실: 0.060859 정확도: 97.81% 9 검증 세트 손실: 0.050390 최선의 손실: 0.050390 정확도: 98.28% 10 검증 세트 손실: 0.063549 최선의 손실: 0.050390 정확도: 98.36% 11 검증 세트 손실: 0.041948 최선의 손실: 0.041948 정확도: 98.71% 12 검증 세트 손실: 0.055138 최선의 손실: 0.041948 정확도: 98.55% 13 검증 세트 손실: 0.063095 최선의 손실: 0.041948 정확도: 98.28% 14 검증 세트 손실: 0.057324 최선의 손실: 0.041948 정확도: 98.36% 15 검증 세트 손실: 0.067169 최선의 손실: 0.041948 정확도: 98.24% 16 검증 세트 손실: 0.051719 최선의 손실: 0.041948 정확도: 98.55% 17 검증 세트 손실: 0.077193 최선의 손실: 0.041948 정확도: 98.32% 18 검증 세트 손실: 0.058704 최선의 손실: 0.041948 정확도: 98.59% 19 검증 세트 손실: 0.064403 최선의 손실: 0.041948 정확도: 98.59% 20 검증 세트 손실: 0.062971 최선의 손실: 0.041948 정확도: 98.63% 21 검증 세트 손실: 0.066842 최선의 손실: 0.041948 정확도: 98.59% 22 검증 세트 손실: 0.050229 최선의 손실: 0.041948 정확도: 98.91% 23 검증 세트 손실: 0.056101 최선의 손실: 0.041948 정확도: 98.75% 24 검증 세트 손실: 0.057269 최선의 손실: 0.041948 정확도: 98.71% 25 검증 세트 손실: 0.051091 최선의 손실: 0.041948 정확도: 98.83% 26 검증 세트 손실: 0.067612 최선의 손실: 0.041948 정확도: 98.67% 27 검증 세트 손실: 0.048603 최선의 손실: 0.041948 정확도: 98.79% 28 검증 세트 손실: 0.072469 최선의 손실: 0.041948 정확도: 98.67% 29 검증 세트 손실: 0.054817 최선의 손실: 0.041948 정확도: 98.98% 30 검증 세트 손실: 0.069431 최선의 손실: 0.041948 정확도: 98.67% 31 검증 세트 손실: 0.066136 최선의 손실: 0.041948 정확도: 98.48% 32 검증 세트 손실: 0.062417 최선의 손실: 0.041948 정확도: 98.75% 조기 종료! [CV] n_neurons=140, learning_rate=0.02, batch_size=500, activation=<function elu at 0x7f8ec4ceef28>, total= 8.5s [CV] n_neurons=140, learning_rate=0.02, batch_size=500, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.195872 최선의 손실: 0.195872 정확도: 94.41% 1 검증 세트 손실: 0.101573 최선의 손실: 0.101573 정확도: 96.87% 2 검증 세트 손실: 0.073405 최선의 손실: 0.073405 정확도: 97.62% 3 검증 세트 손실: 0.072313 최선의 손실: 0.072313 정확도: 97.77% 4 검증 세트 손실: 0.081940 최선의 손실: 0.072313 정확도: 97.62% 5 검증 세트 손실: 0.068814 최선의 손실: 0.068814 정확도: 97.97% 6 검증 세트 손실: 0.055325 최선의 손실: 0.055325 정확도: 98.20% 7 검증 세트 손실: 0.052300 최선의 손실: 0.052300 정확도: 98.51% 8 검증 세트 손실: 0.072461 최선의 손실: 0.052300 정확도: 98.01% 9 검증 세트 손실: 0.057561 최선의 손실: 0.052300 정확도: 98.51% 10 검증 세트 손실: 0.070066 최선의 손실: 0.052300 정확도: 98.32% 11 검증 세트 손실: 0.059997 최선의 손실: 0.052300 정확도: 98.51% 12 검증 세트 손실: 0.068310 최선의 손실: 0.052300 정확도: 98.48% 13 검증 세트 손실: 0.061924 최선의 손실: 0.052300 정확도: 98.32% 14 검증 세트 손실: 0.082505 최선의 손실: 0.052300 정확도: 98.24% 15 검증 세트 손실: 0.055486 최선의 손실: 0.052300 정확도: 98.63% 16 검증 세트 손실: 0.073439 최선의 손실: 0.052300 정확도: 98.48% 17 검증 세트 손실: 0.076521 최선의 손실: 0.052300 정확도: 98.20% 18 검증 세트 손실: 0.076692 최선의 손실: 0.052300 정확도: 98.48% 19 검증 세트 손실: 0.050850 최선의 손실: 0.050850 정확도: 98.87% 20 검증 세트 손실: 0.059829 최선의 손실: 0.050850 정확도: 98.71% 21 검증 세트 손실: 0.091174 최선의 손실: 0.050850 정확도: 98.36% 22 검증 세트 손실: 0.094306 최선의 손실: 0.050850 정확도: 98.12% 23 검증 세트 손실: 0.060996 최선의 손실: 0.050850 정확도: 98.79% 24 검증 세트 손실: 0.064586 최선의 손실: 0.050850 정확도: 98.55% 25 검증 세트 손실: 0.054206 최선의 손실: 0.050850 정확도: 98.71% 26 검증 세트 손실: 0.065694 최선의 손실: 0.050850 정확도: 98.67% 27 검증 세트 손실: 0.066808 최선의 손실: 0.050850 정확도: 98.75% 28 검증 세트 손실: 0.070468 최선의 손실: 0.050850 정확도: 98.71% 29 검증 세트 손실: 0.074899 최선의 손실: 0.050850 정확도: 98.71% 30 검증 세트 손실: 0.071318 최선의 손실: 0.050850 정확도: 98.59% 31 검증 세트 손실: 0.055325 최선의 손실: 0.050850 정확도: 98.79% 32 검증 세트 손실: 0.054561 최선의 손실: 0.050850 정확도: 98.79% 33 검증 세트 손실: 0.061971 최선의 손실: 0.050850 정확도: 98.91% 34 검증 세트 손실: 0.055827 최선의 손실: 0.050850 정확도: 98.87% 35 검증 세트 손실: 0.070484 최선의 손실: 0.050850 정확도: 98.67% 36 검증 세트 손실: 0.103618 최선의 손실: 0.050850 정확도: 98.51% 37 검증 세트 손실: 0.105434 최선의 손실: 0.050850 정확도: 98.40% 38 검증 세트 손실: 0.077507 최선의 손실: 0.050850 정확도: 98.79% 39 검증 세트 손실: 0.068305 최선의 손실: 0.050850 정확도: 98.59% 40 검증 세트 손실: 0.089939 최선의 손실: 0.050850 정확도: 98.63% 조기 종료! [CV] n_neurons=140, learning_rate=0.02, batch_size=500, activation=<function elu at 0x7f8ec4ceef28>, total= 10.2s [CV] n_neurons=140, learning_rate=0.02, batch_size=500, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.196188 최선의 손실: 0.196188 정확도: 95.04% 1 검증 세트 손실: 0.106764 최선의 손실: 0.106764 정확도: 96.44% 2 검증 세트 손실: 0.080421 최선의 손실: 0.080421 정확도: 97.34% 3 검증 세트 손실: 0.070176 최선의 손실: 0.070176 정확도: 97.93% 4 검증 세트 손실: 0.060331 최선의 손실: 0.060331 정확도: 98.24% 5 검증 세트 손실: 0.058828 최선의 손실: 0.058828 정확도: 98.28% 6 검증 세트 손실: 0.085333 최선의 손실: 0.058828 정확도: 97.81% 7 검증 세트 손실: 0.082869 최선의 손실: 0.058828 정확도: 97.62% 8 검증 세트 손실: 0.074095 최선의 손실: 0.058828 정확도: 97.81% 9 검증 세트 손실: 0.063897 최선의 손실: 0.058828 정확도: 98.32% 10 검증 세트 손실: 0.088539 최선의 손실: 0.058828 정확도: 98.08% 11 검증 세트 손실: 0.087619 최선의 손실: 0.058828 정확도: 98.87% 12 검증 세트 손실: 0.064403 최선의 손실: 0.058828 정확도: 98.75% 13 검증 세트 손실: 0.093617 최선의 손실: 0.058828 정확도: 98.51% 14 검증 세트 손실: 0.128280 최선의 손실: 0.058828 정확도: 98.20% 15 검증 세트 손실: 0.148228 최선의 손실: 0.058828 정확도: 98.63% 16 검증 세트 손실: 0.131943 최선의 손실: 0.058828 정확도: 97.93% 17 검증 세트 손실: 0.161355 최선의 손실: 0.058828 정확도: 98.67% 18 검증 세트 손실: 0.141140 최선의 손실: 0.058828 정확도: 98.98% 19 검증 세트 손실: 0.104495 최선의 손실: 0.058828 정확도: 98.79% 20 검증 세트 손실: 0.164517 최선의 손실: 0.058828 정확도: 98.63% 21 검증 세트 손실: 0.151339 최선의 손실: 0.058828 정확도: 98.67% 22 검증 세트 손실: 0.224617 최선의 손실: 0.058828 정확도: 98.75% 23 검증 세트 손실: 0.090235 최선의 손실: 0.058828 정확도: 98.91% 24 검증 세트 손실: 0.073771 최선의 손실: 0.058828 정확도: 98.91% 25 검증 세트 손실: 0.210827 최선의 손실: 0.058828 정확도: 98.28% 26 검증 세트 손실: 0.136752 최선의 손실: 0.058828 정확도: 98.55% 조기 종료! [CV] n_neurons=140, learning_rate=0.02, batch_size=500, activation=<function elu at 0x7f8ec4ceef28>, total= 6.9s [CV] n_neurons=30, learning_rate=0.01, batch_size=100, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.101546 최선의 손실: 0.101546 정확도: 97.03% 1 검증 세트 손실: 0.082136 최선의 손실: 0.082136 정확도: 97.97% 2 검증 세트 손실: 0.072097 최선의 손실: 0.072097 정확도: 97.77% 3 검증 세트 손실: 0.076751 최선의 손실: 0.072097 정확도: 97.77% 4 검증 세트 손실: 0.086610 최선의 손실: 0.072097 정확도: 98.01% 5 검증 세트 손실: 0.109313 최선의 손실: 0.072097 정확도: 97.38% 6 검증 세트 손실: 0.084512 최선의 손실: 0.072097 정확도: 97.81% 7 검증 세트 손실: 0.053906 최선의 손실: 0.053906 정확도: 98.51% 8 검증 세트 손실: 0.072115 최선의 손실: 0.053906 정확도: 98.32% 9 검증 세트 손실: 0.049249 최선의 손실: 0.049249 정확도: 98.67% 10 검증 세트 손실: 0.053867 최선의 손실: 0.049249 정확도: 98.67% 11 검증 세트 손실: 0.073971 최선의 손실: 0.049249 정확도: 98.51% 12 검증 세트 손실: 0.085170 최선의 손실: 0.049249 정확도: 97.89% 13 검증 세트 손실: 0.055490 최선의 손실: 0.049249 정확도: 98.40% 14 검증 세트 손실: 0.091008 최선의 손실: 0.049249 정확도: 98.01% 15 검증 세트 손실: 0.086047 최선의 손실: 0.049249 정확도: 98.51% 16 검증 세트 손실: 0.077619 최선의 손실: 0.049249 정확도: 98.08% 17 검증 세트 손실: 0.071642 최선의 손실: 0.049249 정확도: 98.32% 18 검증 세트 손실: 0.074711 최선의 손실: 0.049249 정확도: 98.48% 19 검증 세트 손실: 0.075567 최선의 손실: 0.049249 정확도: 98.16% 20 검증 세트 손실: 0.081512 최선의 손실: 0.049249 정확도: 98.71% 21 검증 세트 손실: 0.090575 최선의 손실: 0.049249 정확도: 98.67% 22 검증 세트 손실: 0.078730 최선의 손실: 0.049249 정확도: 98.44% 23 검증 세트 손실: 0.068170 최선의 손실: 0.049249 정확도: 98.67% 24 검증 세트 손실: 0.084520 최선의 손실: 0.049249 정확도: 98.83% 25 검증 세트 손실: 0.097886 최선의 손실: 0.049249 정확도: 98.44% 26 검증 세트 손실: 0.078767 최선의 손실: 0.049249 정확도: 98.40% 27 검증 세트 손실: 0.098270 최선의 손실: 0.049249 정확도: 98.12% 28 검증 세트 손실: 0.102802 최선의 손실: 0.049249 정확도: 98.55% 29 검증 세트 손실: 0.093235 최선의 손실: 0.049249 정확도: 98.05% 30 검증 세트 손실: 0.188131 최선의 손실: 0.049249 정확도: 98.08% 조기 종료! [CV] n_neurons=30, learning_rate=0.01, batch_size=100, activation=<function relu at 0x7f8ec4c8c510>, total= 4.9s [CV] n_neurons=30, learning_rate=0.01, batch_size=100, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.117540 최선의 손실: 0.117540 정확도: 96.29% 1 검증 세트 손실: 0.087592 최선의 손실: 0.087592 정확도: 97.46% 2 검증 세트 손실: 0.068490 최선의 손실: 0.068490 정확도: 97.97% 3 검증 세트 손실: 0.064289 최선의 손실: 0.064289 정확도: 98.20% 4 검증 세트 손실: 0.067965 최선의 손실: 0.064289 정확도: 98.08% 5 검증 세트 손실: 0.063595 최선의 손실: 0.063595 정확도: 98.12% 6 검증 세트 손실: 0.053204 최선의 손실: 0.053204 정확도: 98.59% 7 검증 세트 손실: 0.054387 최선의 손실: 0.053204 정확도: 98.28% 8 검증 세트 손실: 0.060520 최선의 손실: 0.053204 정확도: 98.40% 9 검증 세트 손실: 0.063563 최선의 손실: 0.053204 정확도: 98.28% 10 검증 세트 손실: 0.061216 최선의 손실: 0.053204 정확도: 98.55% 11 검증 세트 손실: 0.063242 최선의 손실: 0.053204 정확도: 98.40% 12 검증 세트 손실: 0.047236 최선의 손실: 0.047236 정확도: 98.63% 13 검증 세트 손실: 0.063282 최선의 손실: 0.047236 정확도: 98.63% 14 검증 세트 손실: 0.076994 최선의 손실: 0.047236 정확도: 98.40% 15 검증 세트 손실: 0.053452 최선의 손실: 0.047236 정확도: 98.83% 16 검증 세트 손실: 0.048381 최선의 손실: 0.047236 정확도: 98.79% 17 검증 세트 손실: 0.062976 최선의 손실: 0.047236 정확도: 98.48% 18 검증 세트 손실: 0.052734 최선의 손실: 0.047236 정확도: 98.75% 19 검증 세트 손실: 0.074565 최선의 손실: 0.047236 정확도: 98.20% 20 검증 세트 손실: 0.075304 최선의 손실: 0.047236 정확도: 98.48% 21 검증 세트 손실: 0.058000 최선의 손실: 0.047236 정확도: 98.67% 22 검증 세트 손실: 0.057406 최선의 손실: 0.047236 정확도: 98.55% 23 검증 세트 손실: 0.107294 최선의 손실: 0.047236 정확도: 98.12% 24 검증 세트 손실: 0.085174 최선의 손실: 0.047236 정확도: 98.67% 25 검증 세트 손실: 0.062431 최선의 손실: 0.047236 정확도: 98.83% 26 검증 세트 손실: 0.089923 최선의 손실: 0.047236 정확도: 98.59% 27 검증 세트 손실: 0.064975 최선의 손실: 0.047236 정확도: 98.75% 28 검증 세트 손실: 0.081977 최선의 손실: 0.047236 정확도: 98.40% 29 검증 세트 손실: 0.112734 최선의 손실: 0.047236 정확도: 98.28% 30 검증 세트 손실: 0.075127 최선의 손실: 0.047236 정확도: 98.55% 31 검증 세트 손실: 0.070647 최선의 손실: 0.047236 정확도: 98.71% 32 검증 세트 손실: 0.088370 최선의 손실: 0.047236 정확도: 98.36% 33 검증 세트 손실: 0.090565 최선의 손실: 0.047236 정확도: 98.40% 조기 종료! [CV] n_neurons=30, learning_rate=0.01, batch_size=100, activation=<function relu at 0x7f8ec4c8c510>, total= 5.3s [CV] n_neurons=30, learning_rate=0.01, batch_size=100, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.080869 최선의 손실: 0.080869 정확도: 97.65% 1 검증 세트 손실: 0.084524 최선의 손실: 0.080869 정확도: 97.54% 2 검증 세트 손실: 0.074250 최선의 손실: 0.074250 정확도: 97.77% 3 검증 세트 손실: 0.069767 최선의 손실: 0.069767 정확도: 98.01% 4 검증 세트 손실: 0.057988 최선의 손실: 0.057988 정확도: 98.24% 5 검증 세트 손실: 0.053651 최선의 손실: 0.053651 정확도: 98.63% 6 검증 세트 손실: 0.056923 최선의 손실: 0.053651 정확도: 98.44% 7 검증 세트 손실: 0.070807 최선의 손실: 0.053651 정확도: 98.24% 8 검증 세트 손실: 0.069595 최선의 손실: 0.053651 정확도: 98.24% 9 검증 세트 손실: 0.048992 최선의 손실: 0.048992 정확도: 98.55% 10 검증 세트 손실: 0.078665 최선의 손실: 0.048992 정확도: 98.40% 11 검증 세트 손실: 0.104213 최선의 손실: 0.048992 정확도: 97.50% 12 검증 세트 손실: 0.087808 최선의 손실: 0.048992 정확도: 98.44% 13 검증 세트 손실: 0.067442 최선의 손실: 0.048992 정확도: 98.44% 14 검증 세트 손실: 0.046367 최선의 손실: 0.046367 정확도: 98.71% 15 검증 세트 손실: 0.063746 최선의 손실: 0.046367 정확도: 98.44% 16 검증 세트 손실: 0.098996 최선의 손실: 0.046367 정확도: 97.85% 17 검증 세트 손실: 0.057366 최선의 손실: 0.046367 정확도: 98.79% 18 검증 세트 손실: 0.053537 최선의 손실: 0.046367 정확도: 98.59% 19 검증 세트 손실: 0.058873 최선의 손실: 0.046367 정확도: 98.67% 20 검증 세트 손실: 0.055933 최선의 손실: 0.046367 정확도: 98.51% 21 검증 세트 손실: 0.088518 최선의 손실: 0.046367 정확도: 98.12% 22 검증 세트 손실: 0.058719 최선의 손실: 0.046367 정확도: 98.79% 23 검증 세트 손실: 0.069045 최선의 손실: 0.046367 정확도: 98.48% 24 검증 세트 손실: 0.068237 최선의 손실: 0.046367 정확도: 98.94% 25 검증 세트 손실: 0.059698 최선의 손실: 0.046367 정확도: 98.55% 26 검증 세트 손실: 0.074621 최선의 손실: 0.046367 정확도: 98.48% 27 검증 세트 손실: 0.070647 최선의 손실: 0.046367 정확도: 98.71% 28 검증 세트 손실: 0.080725 최선의 손실: 0.046367 정확도: 98.63% 29 검증 세트 손실: 0.081091 최선의 손실: 0.046367 정확도: 98.75% 30 검증 세트 손실: 0.082911 최선의 손실: 0.046367 정확도: 98.87% 31 검증 세트 손실: 0.086343 최선의 손실: 0.046367 정확도: 98.87% 32 검증 세트 손실: 0.103251 최선의 손실: 0.046367 정확도: 98.79% 33 검증 세트 손실: 0.088668 최선의 손실: 0.046367 정확도: 98.67% 34 검증 세트 손실: 0.109706 최선의 손실: 0.046367 정확도: 98.12% 35 검증 세트 손실: 0.145077 최선의 손실: 0.046367 정확도: 98.20% 조기 종료! [CV] n_neurons=30, learning_rate=0.01, batch_size=100, activation=<function relu at 0x7f8ec4c8c510>, total= 5.5s [CV] n_neurons=50, learning_rate=0.05, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 0 검증 세트 손실: 0.212875 최선의 손실: 0.212875 정확도: 95.23% 1 검증 세트 손실: 0.113960 최선의 손실: 0.113960 정확도: 96.79% 2 검증 세트 손실: 0.097396 최선의 손실: 0.097396 정확도: 97.34% 3 검증 세트 손실: 0.080144 최선의 손실: 0.080144 정확도: 97.58% 4 검증 세트 손실: 0.074924 최선의 손실: 0.074924 정확도: 97.69% 5 검증 세트 손실: 0.067560 최선의 손실: 0.067560 정확도: 97.85% 6 검증 세트 손실: 0.072236 최선의 손실: 0.067560 정확도: 97.73% 7 검증 세트 손실: 0.074215 최선의 손실: 0.067560 정확도: 97.97% 8 검증 세트 손실: 0.088533 최선의 손실: 0.067560 정확도: 97.85% 9 검증 세트 손실: 0.074745 최선의 손실: 0.067560 정확도: 98.20% 10 검증 세트 손실: 0.077253 최선의 손실: 0.067560 정확도: 98.01% 11 검증 세트 손실: 0.090083 최선의 손실: 0.067560 정확도: 97.93% 12 검증 세트 손실: 0.074602 최선의 손실: 0.067560 정확도: 98.05% 13 검증 세트 손실: 0.085689 최선의 손실: 0.067560 정확도: 97.93% 14 검증 세트 손실: 0.089099 최선의 손실: 0.067560 정확도: 97.85% 15 검증 세트 손실: 0.103719 최선의 손실: 0.067560 정확도: 97.42% 16 검증 세트 손실: 0.080579 최선의 손실: 0.067560 정확도: 97.81% 17 검증 세트 손실: 0.087162 최선의 손실: 0.067560 정확도: 97.65% 18 검증 세트 손실: 0.082101 최선의 손실: 0.067560 정확도: 98.16% 19 검증 세트 손실: 0.084787 최선의 손실: 0.067560 정확도: 97.93% 20 검증 세트 손실: 0.096990 최선의 손실: 0.067560 정확도: 97.65% 21 검증 세트 손실: 0.103908 최선의 손실: 0.067560 정확도: 97.69% 22 검증 세트 손실: 0.109099 최선의 손실: 0.067560 정확도: 97.69% 23 검증 세트 손실: 0.102675 최선의 손실: 0.067560 정확도: 97.77% 24 검증 세트 손실: 0.101835 최선의 손실: 0.067560 정확도: 98.05% 25 검증 세트 손실: 0.110644 최선의 손실: 0.067560 정확도: 97.65% 26 검증 세트 손실: 0.100249 최선의 손실: 0.067560 정확도: 97.89% 조기 종료! [CV] n_neurons=50, learning_rate=0.05, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total= 3.8s [CV] n_neurons=50, learning_rate=0.05, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 0 검증 세트 손실: 0.213180 최선의 손실: 0.213180 정확도: 93.59% 1 검증 세트 손실: 0.124260 최선의 손실: 0.124260 정확도: 96.17% 2 검증 세트 손실: 0.085883 최선의 손실: 0.085883 정확도: 97.15% 3 검증 세트 손실: 0.092605 최선의 손실: 0.085883 정확도: 97.30% 4 검증 세트 손실: 0.089042 최선의 손실: 0.085883 정확도: 97.38% 5 검증 세트 손실: 0.078863 최선의 손실: 0.078863 정확도: 97.46% 6 검증 세트 손실: 0.082750 최선의 손실: 0.078863 정확도: 97.42% 7 검증 세트 손실: 0.083143 최선의 손실: 0.078863 정확도: 97.77% 8 검증 세트 손실: 0.107170 최선의 손실: 0.078863 정확도: 96.87% 9 검증 세트 손실: 0.069031 최선의 손실: 0.069031 정확도: 97.85% 10 검증 세트 손실: 0.077893 최선의 손실: 0.069031 정확도: 97.85% 11 검증 세트 손실: 0.085357 최선의 손실: 0.069031 정확도: 97.46% 12 검증 세트 손실: 0.084824 최선의 손실: 0.069031 정확도: 97.62% 13 검증 세트 손실: 0.079653 최선의 손실: 0.069031 정확도: 97.97% 14 검증 세트 손실: 0.073391 최선의 손실: 0.069031 정확도: 97.93% 15 검증 세트 손실: 0.078991 최선의 손실: 0.069031 정확도: 97.65% 16 검증 세트 손실: 0.078874 최선의 손실: 0.069031 정확도: 98.01% 17 검증 세트 손실: 0.103181 최선의 손실: 0.069031 정확도: 97.69% 18 검증 세트 손실: 0.070365 최선의 손실: 0.069031 정확도: 97.93% 19 검증 세트 손실: 0.081235 최선의 손실: 0.069031 정확도: 97.81% 20 검증 세트 손실: 0.126838 최선의 손실: 0.069031 정확도: 97.38% 21 검증 세트 손실: 0.095968 최선의 손실: 0.069031 정확도: 97.69% 22 검증 세트 손실: 0.078708 최선의 손실: 0.069031 정확도: 98.28% 23 검증 세트 손실: 0.088696 최선의 손실: 0.069031 정확도: 98.05% 24 검증 세트 손실: 0.091864 최선의 손실: 0.069031 정확도: 97.77% 25 검증 세트 손실: 0.080878 최선의 손실: 0.069031 정확도: 98.28% 26 검증 세트 손실: 0.103983 최선의 손실: 0.069031 정확도: 98.05% 27 검증 세트 손실: 0.103126 최선의 손실: 0.069031 정확도: 98.32% 28 검증 세트 손실: 0.101387 최선의 손실: 0.069031 정확도: 98.32% 29 검증 세트 손실: 0.106423 최선의 손실: 0.069031 정확도: 98.01% 30 검증 세트 손실: 0.072576 최선의 손실: 0.069031 정확도: 98.24% 조기 종료! [CV] n_neurons=50, learning_rate=0.05, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total= 4.2s [CV] n_neurons=50, learning_rate=0.05, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 0 검증 세트 손실: 0.166428 최선의 손실: 0.166428 정확도: 95.43% 1 검증 세트 손실: 0.121890 최선의 손실: 0.121890 정확도: 96.72% 2 검증 세트 손실: 0.095715 최선의 손실: 0.095715 정확도: 97.34% 3 검증 세트 손실: 0.097156 최선의 손실: 0.095715 정확도: 97.15% 4 검증 세트 손실: 0.092978 최선의 손실: 0.092978 정확도: 97.34% 5 검증 세트 손실: 0.077669 최선의 손실: 0.077669 정확도: 97.93% 6 검증 세트 손실: 0.079195 최선의 손실: 0.077669 정확도: 97.58% 7 검증 세트 손실: 0.120522 최선의 손실: 0.077669 정확도: 96.60% 8 검증 세트 손실: 0.091598 최선의 손실: 0.077669 정확도: 98.05% 9 검증 세트 손실: 0.069478 최선의 손실: 0.069478 정확도: 98.12% 10 검증 세트 손실: 0.077665 최선의 손실: 0.069478 정확도: 98.20% 11 검증 세트 손실: 0.112279 최선의 손실: 0.069478 정확도: 97.11% 12 검증 세트 손실: 0.073951 최선의 손실: 0.069478 정확도: 98.44% 13 검증 세트 손실: 0.080725 최선의 손실: 0.069478 정확도: 98.32% 14 검증 세트 손실: 0.085754 최선의 손실: 0.069478 정확도: 98.28% 15 검증 세트 손실: 0.086104 최선의 손실: 0.069478 정확도: 98.71% 16 검증 세트 손실: 0.071641 최선의 손실: 0.069478 정확도: 98.32% 17 검증 세트 손실: 0.076974 최선의 손실: 0.069478 정확도: 98.16% 18 검증 세트 손실: 0.077270 최선의 손실: 0.069478 정확도: 98.51% 19 검증 세트 손실: 0.075749 최선의 손실: 0.069478 정확도: 98.67% 20 검증 세트 손실: 0.075004 최선의 손실: 0.069478 정확도: 98.55% 21 검증 세트 손실: 0.088684 최선의 손실: 0.069478 정확도: 98.55% 22 검증 세트 손실: 0.073580 최선의 손실: 0.069478 정확도: 98.36% 23 검증 세트 손실: 0.085322 최선의 손실: 0.069478 정확도: 98.44% 24 검증 세트 손실: 0.094158 최선의 손실: 0.069478 정확도: 98.24% 25 검증 세트 손실: 0.083997 최선의 손실: 0.069478 정확도: 97.97% 26 검증 세트 손실: 0.086031 최선의 손실: 0.069478 정확도: 98.55% 27 검증 세트 손실: 0.116207 최선의 손실: 0.069478 정확도: 98.05% 28 검증 세트 손실: 0.108292 최선의 손실: 0.069478 정확도: 98.28% 29 검증 세트 손실: 0.119581 최선의 손실: 0.069478 정확도: 98.40% 30 검증 세트 손실: 0.080126 최선의 손실: 0.069478 정확도: 98.44% 조기 종료! [CV] n_neurons=50, learning_rate=0.05, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total= 4.2s [CV] n_neurons=70, learning_rate=0.02, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 0 검증 세트 손실: 0.104764 최선의 손실: 0.104764 정확도: 96.91% 1 검증 세트 손실: 0.110970 최선의 손실: 0.104764 정확도: 96.76% 2 검증 세트 손실: 0.115587 최선의 손실: 0.104764 정확도: 96.79% 3 검증 세트 손실: 0.116857 최선의 손실: 0.104764 정확도: 97.62% 4 검증 세트 손실: 0.123063 최선의 손실: 0.104764 정확도: 98.32% 5 검증 세트 손실: 0.952959 최선의 손실: 0.104764 정확도: 95.47% 6 검증 세트 손실: 0.451843 최선의 손실: 0.104764 정확도: 97.22% 7 검증 세트 손실: 0.316619 최선의 손실: 0.104764 정확도: 97.62% 8 검증 세트 손실: 0.338952 최선의 손실: 0.104764 정확도: 97.73% 9 검증 세트 손실: 0.365099 최선의 손실: 0.104764 정확도: 97.73% 10 검증 세트 손실: 0.302474 최선의 손실: 0.104764 정확도: 97.85% 11 검증 세트 손실: 0.300077 최선의 손실: 0.104764 정확도: 98.16% 12 검증 세트 손실: 0.330472 최선의 손실: 0.104764 정확도: 97.77% 13 검증 세트 손실: 0.297387 최선의 손실: 0.104764 정확도: 98.01% 14 검증 세트 손실: 0.390530 최선의 손실: 0.104764 정확도: 98.01% 15 검증 세트 손실: 0.370889 최선의 손실: 0.104764 정확도: 97.81% 16 검증 세트 손실: 0.382760 최선의 손실: 0.104764 정확도: 97.38% 17 검증 세트 손실: 0.489265 최선의 손실: 0.104764 정확도: 98.05% 18 검증 세트 손실: 0.457509 최선의 손실: 0.104764 정확도: 97.77% 19 검증 세트 손실: 0.555101 최선의 손실: 0.104764 정확도: 97.97% 20 검증 세트 손실: 0.411939 최선의 손실: 0.104764 정확도: 97.81% 21 검증 세트 손실: 0.248465 최선의 손실: 0.104764 정확도: 98.20% 조기 종료! [CV] n_neurons=70, learning_rate=0.02, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total= 5.9s [CV] n_neurons=70, learning_rate=0.02, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 0 검증 세트 손실: 0.121848 최선의 손실: 0.121848 정확도: 97.03% 1 검증 세트 손실: 0.106237 최선의 손실: 0.106237 정확도: 97.11% 2 검증 세트 손실: 29.268187 최선의 손실: 0.106237 정확도: 74.20% 3 검증 세트 손실: 0.971927 최선의 손실: 0.106237 정확도: 95.04% 4 검증 세트 손실: 0.813555 최선의 손실: 0.106237 정확도: 96.17% 5 검증 세트 손실: 0.823636 최선의 손실: 0.106237 정확도: 95.19% 6 검증 세트 손실: 0.744390 최선의 손실: 0.106237 정확도: 95.97% 7 검증 세트 손실: 0.296253 최선의 손실: 0.106237 정확도: 96.68% 8 검증 세트 손실: 0.440452 최선의 손실: 0.106237 정확도: 97.07% 9 검증 세트 손실: 0.358504 최선의 손실: 0.106237 정확도: 96.72% 10 검증 세트 손실: 0.463130 최선의 손실: 0.106237 정확도: 97.30% 11 검증 세트 손실: 0.406218 최선의 손실: 0.106237 정확도: 97.15% 12 검증 세트 손실: 0.403257 최선의 손실: 0.106237 정확도: 96.79% 13 검증 세트 손실: 0.490214 최선의 손실: 0.106237 정확도: 97.11% 14 검증 세트 손실: 0.533155 최선의 손실: 0.106237 정확도: 96.99% 15 검증 세트 손실: 0.461475 최선의 손실: 0.106237 정확도: 97.11% 16 검증 세트 손실: 0.186743 최선의 손실: 0.106237 정확도: 97.22% 17 검증 세트 손실: 0.355679 최선의 손실: 0.106237 정확도: 97.54% 18 검증 세트 손실: 0.415325 최선의 손실: 0.106237 정확도: 97.58% 19 검증 세트 손실: 0.402398 최선의 손실: 0.106237 정확도: 97.62% 20 검증 세트 손실: 0.425782 최선의 손실: 0.106237 정확도: 97.46% 21 검증 세트 손실: 0.724683 최선의 손실: 0.106237 정확도: 97.97% 22 검증 세트 손실: 0.431599 최선의 손실: 0.106237 정확도: 97.93% 조기 종료! [CV] n_neurons=70, learning_rate=0.02, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total= 6.1s [CV] n_neurons=70, learning_rate=0.02, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 0 검증 세트 손실: 0.147452 최선의 손실: 0.147452 정확도: 96.56% 1 검증 세트 손실: 0.131744 최선의 손실: 0.131744 정확도: 96.52% 2 검증 세트 손실: 49.168221 최선의 손실: 0.131744 정확도: 72.75% 3 검증 세트 손실: 0.826743 최선의 손실: 0.131744 정확도: 91.16% 4 검증 세트 손실: 0.480151 최선의 손실: 0.131744 정확도: 93.75% 5 검증 세트 손실: 0.258057 최선의 손실: 0.131744 정확도: 94.57% 6 검증 세트 손실: 0.244983 최선의 손실: 0.131744 정확도: 95.47% 7 검증 세트 손실: 0.196643 최선의 손실: 0.131744 정확도: 96.25% 8 검증 세트 손실: 0.204151 최선의 손실: 0.131744 정확도: 96.21% 9 검증 세트 손실: 0.149058 최선의 손실: 0.131744 정확도: 96.76% 10 검증 세트 손실: 0.188256 최선의 손실: 0.131744 정확도: 95.82% 11 검증 세트 손실: 0.125892 최선의 손실: 0.125892 정확도: 96.91% 12 검증 세트 손실: 0.141992 최선의 손실: 0.125892 정확도: 96.83% 13 검증 세트 손실: 0.121019 최선의 손실: 0.121019 정확도: 96.99% 14 검증 세트 손실: 0.138222 최선의 손실: 0.121019 정확도: 96.95% 15 검증 세트 손실: 0.140306 최선의 손실: 0.121019 정확도: 97.42% 16 검증 세트 손실: 0.150200 최선의 손실: 0.121019 정확도: 97.07% 17 검증 세트 손실: 0.109025 최선의 손실: 0.109025 정확도: 97.42% 18 검증 세트 손실: 0.104251 최선의 손실: 0.104251 정확도: 97.58% 19 검증 세트 손실: 0.121654 최선의 손실: 0.104251 정확도: 97.42% 20 검증 세트 손실: 0.112447 최선의 손실: 0.104251 정확도: 97.81% 21 검증 세트 손실: 0.123894 최선의 손실: 0.104251 정확도: 97.69% 22 검증 세트 손실: 0.099557 최선의 손실: 0.099557 정확도: 97.89% 23 검증 세트 손실: 0.159849 최선의 손실: 0.099557 정확도: 96.91% 24 검증 세트 손실: 0.148704 최선의 손실: 0.099557 정확도: 97.15% 25 검증 세트 손실: 0.125386 최선의 손실: 0.099557 정확도: 97.73% 26 검증 세트 손실: 0.134735 최선의 손실: 0.099557 정확도: 97.42% 27 검증 세트 손실: 0.080927 최선의 손실: 0.080927 정확도: 98.08% 28 검증 세트 손실: 0.105084 최선의 손실: 0.080927 정확도: 98.05% 29 검증 세트 손실: 0.144913 최선의 손실: 0.080927 정확도: 98.01% 30 검증 세트 손실: 0.153863 최선의 손실: 0.080927 정확도: 98.20% 31 검증 세트 손실: 0.173227 최선의 손실: 0.080927 정확도: 96.44% 32 검증 세트 손실: 0.148350 최선의 손실: 0.080927 정확도: 97.54% 33 검증 세트 손실: 53.899048 최선의 손실: 0.080927 정확도: 93.47% 34 검증 세트 손실: 8.181740 최선의 손실: 0.080927 정확도: 93.43% 35 검증 세트 손실: 1.644172 최선의 손실: 0.080927 정확도: 96.52% 36 검증 세트 손실: 5.560501 최선의 손실: 0.080927 정확도: 89.01% 37 검증 세트 손실: 2.844989 최선의 손실: 0.080927 정확도: 95.39% 38 검증 세트 손실: 1.567148 최선의 손실: 0.080927 정확도: 97.03% 39 검증 세트 손실: 0.928165 최선의 손실: 0.080927 정확도: 96.91% 40 검증 세트 손실: 1.197466 최선의 손실: 0.080927 정확도: 96.83% 41 검증 세트 손실: 1.261754 최선의 손실: 0.080927 정확도: 97.11% 42 검증 세트 손실: 0.942041 최선의 손실: 0.080927 정확도: 97.34% 43 검증 세트 손실: 0.874590 최선의 손실: 0.080927 정확도: 97.15% 44 검증 세트 손실: 3.794028 최선의 손실: 0.080927 정확도: 94.06% 45 검증 세트 손실: 2.195916 최선의 손실: 0.080927 정확도: 96.87% 46 검증 세트 손실: 2.110135 최선의 손실: 0.080927 정확도: 97.03% 47 검증 세트 손실: 1.546300 최선의 손실: 0.080927 정확도: 97.07% 48 검증 세트 손실: 1.424338 최선의 손실: 0.080927 정확도: 97.19% 조기 종료! [CV] n_neurons=70, learning_rate=0.02, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total= 12.3s [CV] n_neurons=90, learning_rate=0.01, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 0 검증 세트 손실: 0.475466 최선의 손실: 0.475466 정확도: 93.59% 1 검증 세트 손실: 0.302092 최선의 손실: 0.302092 정확도: 96.01% 2 검증 세트 손실: 10.128198 최선의 손실: 0.302092 정확도: 92.73% 3 검증 세트 손실: 5.049921 최선의 손실: 0.302092 정확도: 90.19% 4 검증 세트 손실: 1.259876 최선의 손실: 0.302092 정확도: 96.83% 5 검증 세트 손실: 0.825007 최선의 손실: 0.302092 정확도: 93.75% 6 검증 세트 손실: 8.117816 최선의 손실: 0.302092 정확도: 97.30% 7 검증 세트 손실: 3.077305 최선의 손실: 0.302092 정확도: 97.58% 8 검증 세트 손실: 8.266293 최선의 손실: 0.302092 정확도: 94.33% 9 검증 세트 손실: 1.739522 최선의 손실: 0.302092 정확도: 97.46% 10 검증 세트 손실: 130.548615 최선의 손실: 0.302092 정확도: 87.26% 11 검증 세트 손실: 4.166711 최선의 손실: 0.302092 정확도: 96.91% 12 검증 세트 손실: 9.805109 최선의 손실: 0.302092 정확도: 88.12% 13 검증 세트 손실: 8.978096 최선의 손실: 0.302092 정확도: 97.34% 14 검증 세트 손실: 2.830909 최선의 손실: 0.302092 정확도: 97.89% 15 검증 세트 손실: 8.124592 최선의 손실: 0.302092 정확도: 96.29% 16 검증 세트 손실: 30.275734 최선의 손실: 0.302092 정확도: 94.53% 17 검증 세트 손실: 16.806889 최선의 손실: 0.302092 정확도: 97.15% 18 검증 세트 손실: 10.392700 최선의 손실: 0.302092 정확도: 97.15% 19 검증 세트 손실: 76.933311 최선의 손실: 0.302092 정확도: 97.19% 20 검증 세트 손실: 8.496105 최선의 손실: 0.302092 정확도: 97.85% 21 검증 세트 손실: 54.145645 최선의 손실: 0.302092 정확도: 96.52% 22 검증 세트 손실: 9.423366 최선의 손실: 0.302092 정확도: 97.85% 조기 종료! [CV] n_neurons=90, learning_rate=0.01, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total= 28.6s [CV] n_neurons=90, learning_rate=0.01, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 0 검증 세트 손실: 0.322664 최선의 손실: 0.322664 정확도: 95.27% 1 검증 세트 손실: 0.239424 최선의 손실: 0.239424 정확도: 96.44% 2 검증 세트 손실: 4.080631 최선의 손실: 0.239424 정확도: 86.63% 3 검증 세트 손실: 2.127025 최선의 손실: 0.239424 정확도: 95.27% 4 검증 세트 손실: 1224.474976 최선의 손실: 0.239424 정확도: 81.51% 5 검증 세트 손실: 11.318857 최선의 손실: 0.239424 정확도: 94.10% 6 검증 세트 손실: 7.605726 최선의 손실: 0.239424 정확도: 95.97% 7 검증 세트 손실: 9.102454 최선의 손실: 0.239424 정확도: 95.58% 8 검증 세트 손실: 5.329578 최선의 손실: 0.239424 정확도: 96.29% 9 검증 세트 손실: 4.898393 최선의 손실: 0.239424 정확도: 97.19% 10 검증 세트 손실: 5.767895 최선의 손실: 0.239424 정확도: 92.42% 11 검증 세트 손실: 38.172001 최선의 손실: 0.239424 정확도: 96.60% 12 검증 세트 손실: 24.067675 최선의 손실: 0.239424 정확도: 96.83% 13 검증 세트 손실: 27.473158 최선의 손실: 0.239424 정확도: 96.17% 14 검증 세트 손실: 13.990355 최선의 손실: 0.239424 정확도: 96.87% 15 검증 세트 손실: 65.843689 최선의 손실: 0.239424 정확도: 94.92% 16 검증 세트 손실: 42.763481 최선의 손실: 0.239424 정확도: 86.16% 17 검증 세트 손실: 21.726654 최선의 손실: 0.239424 정확도: 95.35% 18 검증 세트 손실: 19.359486 최선의 손실: 0.239424 정확도: 97.46% 19 검증 세트 손실: 16.141985 최선의 손실: 0.239424 정확도: 97.46% 20 검증 세트 손실: 1991.519165 최선의 손실: 0.239424 정확도: 88.15% 21 검증 세트 손실: 84.043564 최선의 손실: 0.239424 정확도: 97.50% 22 검증 세트 손실: 73.727104 최선의 손실: 0.239424 정확도: 96.95% 조기 종료! [CV] n_neurons=90, learning_rate=0.01, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total= 28.6s [CV] n_neurons=90, learning_rate=0.01, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 0 검증 세트 손실: 0.188516 최선의 손실: 0.188516 정확도: 94.92% 1 검증 세트 손실: 10.295843 최선의 손실: 0.188516 정확도: 93.63% 2 검증 세트 손실: 0.635980 최선의 손실: 0.188516 정확도: 94.25% 3 검증 세트 손실: 0.334137 최선의 손실: 0.188516 정확도: 95.43% 4 검증 세트 손실: 0.229747 최선의 손실: 0.188516 정확도: 96.05% 5 검증 세트 손실: 3.329450 최선의 손실: 0.188516 정확도: 96.05% 6 검증 세트 손실: 3.178295 최선의 손실: 0.188516 정확도: 95.74% 7 검증 세트 손실: 1.098882 최선의 손실: 0.188516 정확도: 94.64% 8 검증 세트 손실: 195.374496 최선의 손실: 0.188516 정확도: 86.04% 9 검증 세트 손실: 14.428573 최선의 손실: 0.188516 정확도: 96.52% 10 검증 세트 손실: 7.824399 최선의 손실: 0.188516 정확도: 96.21% 11 검증 세트 손실: 26.915749 최선의 손실: 0.188516 정확도: 96.52% 12 검증 세트 손실: 10.239435 최선의 손실: 0.188516 정확도: 97.03% 13 검증 세트 손실: 11.052656 최선의 손실: 0.188516 정확도: 95.07% 14 검증 세트 손실: 103.122841 최선의 손실: 0.188516 정확도: 89.33% 15 검증 세트 손실: 19.128649 최선의 손실: 0.188516 정확도: 97.22% 16 검증 세트 손실: 25.325024 최선의 손실: 0.188516 정확도: 96.48% 17 검증 세트 손실: 39.080345 최선의 손실: 0.188516 정확도: 94.53% 18 검증 세트 손실: 10.191827 최선의 손실: 0.188516 정확도: 97.85% 19 검증 세트 손실: 10.222118 최선의 손실: 0.188516 정확도: 97.93% 20 검증 세트 손실: 18.783682 최선의 손실: 0.188516 정확도: 96.79% 21 검증 세트 손실: 35.674007 최선의 손실: 0.188516 정확도: 97.34% 조기 종료! [CV] n_neurons=90, learning_rate=0.01, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total= 27.4s [CV] n_neurons=160, learning_rate=0.1, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 0 검증 세트 손실: 229.776566 최선의 손실: 229.776566 정확도: 79.48% 1 검증 세트 손실: 20.699251 최선의 손실: 20.699251 정확도: 86.59% 2 검증 세트 손실: 17.141878 최선의 손실: 17.141878 정확도: 88.58% 3 검증 세트 손실: 7.321049 최선의 손실: 7.321049 정확도: 95.27% 4 검증 세트 손실: 6.495243 최선의 손실: 6.495243 정확도: 95.82% 5 검증 세트 손실: 6.825683 최선의 손실: 6.495243 정확도: 95.58% 6 검증 세트 손실: 8.297174 최선의 손실: 6.495243 정확도: 94.64% 7 검증 세트 손실: 538466304.000000 최선의 손실: 6.495243 정확도: 20.91% 8 검증 세트 손실: 1529012.125000 최선의 손실: 6.495243 정확도: 80.73% 9 검증 세트 손실: 623438.562500 최선의 손실: 6.495243 정확도: 88.00% 10 검증 세트 손실: 266087.625000 최선의 손실: 6.495243 정확도: 92.42% 11 검증 세트 손실: 337267.781250 최선의 손실: 6.495243 정확도: 90.11% 12 검증 세트 손실: 342276.218750 최선의 손실: 6.495243 정확도: 88.90% 13 검증 세트 손실: 184370.015625 최선의 손실: 6.495243 정확도: 94.45% 14 검증 세트 손실: 181424.718750 최선의 손실: 6.495243 정확도: 94.80% 15 검증 세트 손실: 176432.640625 최선의 손실: 6.495243 정확도: 93.75% 16 검증 세트 손실: 222241.796875 최선의 손실: 6.495243 정확도: 92.53% 17 검증 세트 손실: 269230.437500 최선의 손실: 6.495243 정확도: 90.50% 18 검증 세트 손실: 132893.265625 최선의 손실: 6.495243 정확도: 95.39% 19 검증 세트 손실: 140754.015625 최선의 손실: 6.495243 정확도: 94.88% 20 검증 세트 손실: 102696.468750 최선의 손실: 6.495243 정확도: 94.88% 21 검증 세트 손실: 123749.492188 최선의 손실: 6.495243 정확도: 94.06% 22 검증 세트 손실: 69386.281250 최선의 손실: 6.495243 정확도: 97.03% 23 검증 세트 손실: 113141.664062 최선의 손실: 6.495243 정확도: 94.92% 24 검증 세트 손실: 104763.382812 최선의 손실: 6.495243 정확도: 95.70% 25 검증 세트 손실: 62012.835938 최선의 손실: 6.495243 정확도: 96.09% 조기 종료! [CV] n_neurons=160, learning_rate=0.1, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total= 14.5s [CV] n_neurons=160, learning_rate=0.1, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 0 검증 세트 손실: 21.073196 최선의 손실: 21.073196 정확도: 95.62% 1 검증 세트 손실: 21.004370 최선의 손실: 21.004370 정확도: 94.45% 2 검증 세트 손실: 9.828447 최선의 손실: 9.828447 정확도: 95.86% 3 검증 세트 손실: 10.499786 최선의 손실: 9.828447 정확도: 94.25% 4 검증 세트 손실: 5.722643 최선의 손실: 5.722643 정확도: 95.35% 5 검증 세트 손실: 11.052079 최선의 손실: 5.722643 정확도: 94.57% 6 검증 세트 손실: 7.833131 최선의 손실: 5.722643 정확도: 95.62% 7 검증 세트 손실: 4.466578 최선의 손실: 4.466578 정확도: 96.91% 8 검증 세트 손실: 7.031312 최선의 손실: 4.466578 정확도: 97.34% 9 검증 세트 손실: 8.615594 최선의 손실: 4.466578 정확도: 97.77% 10 검증 세트 손실: 12.335620 최선의 손실: 4.466578 정확도: 97.54% 11 검증 세트 손실: 3.977342 최선의 손실: 3.977342 정확도: 97.30% 12 검증 세트 손실: 42.028915 최선의 손실: 3.977342 정확도: 91.28% 13 검증 세트 손실: 7242921.500000 최선의 손실: 3.977342 정확도: 66.54% 14 검증 세트 손실: 1070739.250000 최선의 손실: 3.977342 정확도: 88.19% 15 검증 세트 손실: 318424.156250 최선의 손실: 3.977342 정확도: 94.33% 16 검증 세트 손실: 288400.718750 최선의 손실: 3.977342 정확도: 94.02% 17 검증 세트 손실: 326722.187500 최선의 손실: 3.977342 정확도: 93.59% 18 검증 세트 손실: 192223.671875 최선의 손실: 3.977342 정확도: 95.70% 19 검증 세트 손실: 175696.234375 최선의 손실: 3.977342 정확도: 94.88% 20 검증 세트 손실: 152586.484375 최선의 손실: 3.977342 정확도: 95.62% 21 검증 세트 손실: 195839.125000 최선의 손실: 3.977342 정확도: 94.49% 22 검증 세트 손실: 244862.031250 최선의 손실: 3.977342 정확도: 93.67% 23 검증 세트 손실: 121826.914062 최선의 손실: 3.977342 정확도: 96.56% 24 검증 세트 손실: 426404.468750 최선의 손실: 3.977342 정확도: 92.61% 25 검증 세트 손실: 586206.625000 최선의 손실: 3.977342 정확도: 95.15% 26 검증 세트 손실: 169520.093750 최선의 손실: 3.977342 정확도: 96.36% 27 검증 세트 손실: 258327.968750 최선의 손실: 3.977342 정확도: 91.52% 28 검증 세트 손실: 88482.695312 최선의 손실: 3.977342 정확도: 96.64% 29 검증 세트 손실: 92769.328125 최선의 손실: 3.977342 정확도: 96.40% 30 검증 세트 손실: 73152.312500 최선의 손실: 3.977342 정확도: 96.68% 31 검증 세트 손실: 4868630.500000 최선의 손실: 3.977342 정확도: 75.92% 32 검증 세트 손실: 295372.562500 최선의 손실: 3.977342 정확도: 96.44% 조기 종료! [CV] n_neurons=160, learning_rate=0.1, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total= 17.4s [CV] n_neurons=160, learning_rate=0.1, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 0 검증 세트 손실: 25.031332 최선의 손실: 25.031332 정확도: 92.30% 1 검증 세트 손실: 7.950551 최선의 손실: 7.950551 정확도: 96.17% 2 검증 세트 손실: 10.695778 최선의 손실: 7.950551 정확도: 94.06% 3 검증 세트 손실: 5.013413 최선의 손실: 5.013413 정확도: 95.54% 4 검증 세트 손실: 19.368286 최선의 손실: 5.013413 정확도: 95.82% 5 검증 세트 손실: 5.899230 최선의 손실: 5.013413 정확도: 95.00% 6 검증 세트 손실: 3.887156 최선의 손실: 3.887156 정확도: 96.40% 7 검증 세트 손실: 2.915875 최선의 손실: 2.915875 정확도: 96.40% 8 검증 세트 손실: 2.438939 최선의 손실: 2.438939 정확도: 96.48% 9 검증 세트 손실: 1.821742 최선의 손실: 1.821742 정확도: 95.11% 10 검증 세트 손실: 2.350601 최선의 손실: 1.821742 정확도: 97.03% 11 검증 세트 손실: 1.594784 최선의 손실: 1.594784 정확도: 96.99% 12 검증 세트 손실: 2.739270 최선의 손실: 1.594784 정확도: 97.03% 13 검증 세트 손실: 1.659018 최선의 손실: 1.594784 정확도: 96.87% 14 검증 세트 손실: 229213136.000000 최선의 손실: 1.594784 정확도: 20.88% 15 검증 세트 손실: 1176500.750000 최선의 손실: 1.594784 정확도: 87.53% 16 검증 세트 손실: 520692.687500 최선의 손실: 1.594784 정확도: 91.09% 17 검증 세트 손실: 538571.062500 최선의 손실: 1.594784 정확도: 88.70% 18 검증 세트 손실: 518620.125000 최선의 손실: 1.594784 정확도: 90.30% 19 검증 세트 손실: 359306.968750 최선의 손실: 1.594784 정확도: 93.47% 20 검증 세트 손실: 403564.500000 최선의 손실: 1.594784 정확도: 91.13% 21 검증 세트 손실: 293534.312500 최선의 손실: 1.594784 정확도: 92.92% 22 검증 세트 손실: 363580.656250 최선의 손실: 1.594784 정확도: 90.66% 23 검증 세트 손실: 214087.906250 최선의 손실: 1.594784 정확도: 95.00% 24 검증 세트 손실: 178531.484375 최선의 손실: 1.594784 정확도: 94.64% 25 검증 세트 손실: 125044.140625 최선의 손실: 1.594784 정확도: 96.25% 26 검증 세트 손실: 142592.296875 최선의 손실: 1.594784 정확도: 95.19% 27 검증 세트 손실: 100110.757812 최선의 손실: 1.594784 정확도: 96.05% 28 검증 세트 손실: 133092.531250 최선의 손실: 1.594784 정확도: 95.54% 29 검증 세트 손실: 120479.914062 최선의 손실: 1.594784 정확도: 95.90% 30 검증 세트 손실: 169424.984375 최선의 손실: 1.594784 정확도: 94.21% 31 검증 세트 손실: 135970.203125 최선의 손실: 1.594784 정확도: 95.39% 32 검증 세트 손실: 190387.937500 최선의 손실: 1.594784 정확도: 94.88% 조기 종료! [CV] n_neurons=160, learning_rate=0.1, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total= 18.0s [CV] n_neurons=50, learning_rate=0.02, batch_size=100, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.128125 최선의 손실: 0.128125 정확도: 96.21% 1 검증 세트 손실: 0.076847 최선의 손실: 0.076847 정확도: 97.77% 2 검증 세트 손실: 0.081225 최선의 손실: 0.076847 정확도: 98.01% 3 검증 세트 손실: 0.259084 최선의 손실: 0.076847 정확도: 94.53% 4 검증 세트 손실: 0.092201 최선의 손실: 0.076847 정확도: 97.46% 5 검증 세트 손실: 0.080498 최선의 손실: 0.076847 정확도: 98.01% 6 검증 세트 손실: 0.071261 최선의 손실: 0.071261 정확도: 98.20% 7 검증 세트 손실: 0.077360 최선의 손실: 0.071261 정확도: 97.77% 8 검증 세트 손실: 0.075587 최선의 손실: 0.071261 정확도: 98.48% 9 검증 세트 손실: 0.084049 최선의 손실: 0.071261 정확도: 97.93% 10 검증 세트 손실: 0.083736 최선의 손실: 0.071261 정확도: 98.32% 11 검증 세트 손실: 0.081517 최선의 손실: 0.071261 정확도: 98.28% 12 검증 세트 손실: 0.154429 최선의 손실: 0.071261 정확도: 98.05% 13 검증 세트 손실: 0.094747 최선의 손실: 0.071261 정확도: 97.97% 14 검증 세트 손실: 0.087996 최선의 손실: 0.071261 정확도: 98.24% 15 검증 세트 손실: 0.100009 최선의 손실: 0.071261 정확도: 98.16% 16 검증 세트 손실: 0.127307 최선의 손실: 0.071261 정확도: 98.20% 17 검증 세트 손실: 0.124522 최선의 손실: 0.071261 정확도: 98.20% 18 검증 세트 손실: 0.154355 최선의 손실: 0.071261 정확도: 97.77% 19 검증 세트 손실: 0.181520 최선의 손실: 0.071261 정확도: 97.22% 20 검증 세트 손실: 2.379292 최선의 손실: 0.071261 정확도: 23.06% 21 검증 세트 손실: 1.633029 최선의 손실: 0.071261 정확도: 19.27% 22 검증 세트 손실: 1.680514 최선의 손실: 0.071261 정확도: 18.73% 23 검증 세트 손실: 1.614563 최선의 손실: 0.071261 정확도: 18.73% 24 검증 세트 손실: 1.652274 최선의 손실: 0.071261 정확도: 22.01% 25 검증 세트 손실: 1.642487 최선의 손실: 0.071261 정확도: 19.08% 26 검증 세트 손실: 1.619384 최선의 손실: 0.071261 정확도: 18.73% 27 검증 세트 손실: 1.628378 최선의 손실: 0.071261 정확도: 22.01% 조기 종료! [CV] n_neurons=50, learning_rate=0.02, batch_size=100, activation=<function elu at 0x7f8ec4ceef28>, total= 5.6s [CV] n_neurons=50, learning_rate=0.02, batch_size=100, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.097519 최선의 손실: 0.097519 정확도: 97.38% 1 검증 세트 손실: 0.073545 최선의 손실: 0.073545 정확도: 97.93% 2 검증 세트 손실: 0.081690 최선의 손실: 0.073545 정확도: 98.12% 3 검증 세트 손실: 0.091164 최선의 손실: 0.073545 정확도: 97.19% 4 검증 세트 손실: 0.090690 최선의 손실: 0.073545 정확도: 98.20% 5 검증 세트 손실: 0.075847 최선의 손실: 0.073545 정확도: 98.28% 6 검증 세트 손실: 0.161183 최선의 손실: 0.073545 정확도: 95.58% 7 검증 세트 손실: 1.242745 최선의 손실: 0.073545 정확도: 40.70% 8 검증 세트 손실: 1.626086 최선의 손실: 0.073545 정확도: 19.27% 9 검증 세트 손실: 1.644277 최선의 손실: 0.073545 정확도: 22.01% 10 검증 세트 손실: 1.616003 최선의 손실: 0.073545 정확도: 19.27% 11 검증 세트 손실: 1.639876 최선의 손실: 0.073545 정확도: 19.27% 12 검증 세트 손실: 1.612612 최선의 손실: 0.073545 정확도: 22.01% 13 검증 세트 손실: 1.619093 최선의 손실: 0.073545 정확도: 18.73% 14 검증 세트 손실: 1.622101 최선의 손실: 0.073545 정확도: 20.91% 15 검증 세트 손실: 1.612316 최선의 손실: 0.073545 정확도: 19.08% 16 검증 세트 손실: 1.621943 최선의 손실: 0.073545 정확도: 18.73% 17 검증 세트 손실: 1.621764 최선의 손실: 0.073545 정확도: 20.91% 18 검증 세트 손실: 1.650773 최선의 손실: 0.073545 정확도: 22.01% 19 검증 세트 손실: 1.627065 최선의 손실: 0.073545 정확도: 20.91% 20 검증 세트 손실: 1.635777 최선의 손실: 0.073545 정확도: 19.27% 21 검증 세트 손실: 1.706719 최선의 손실: 0.073545 정확도: 22.01% 22 검증 세트 손실: 1.654456 최선의 손실: 0.073545 정확도: 19.27% 조기 종료! [CV] n_neurons=50, learning_rate=0.02, batch_size=100, activation=<function elu at 0x7f8ec4ceef28>, total= 4.6s [CV] n_neurons=50, learning_rate=0.02, batch_size=100, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.093366 최선의 손실: 0.093366 정확도: 97.62% 1 검증 세트 손실: 0.074509 최선의 손실: 0.074509 정확도: 98.16% 2 검증 세트 손실: 0.081435 최선의 손실: 0.074509 정확도: 97.73% 3 검증 세트 손실: 0.080707 최선의 손실: 0.074509 정확도: 98.28% 4 검증 세트 손실: 0.233169 최선의 손실: 0.074509 정확도: 94.25% 5 검증 세트 손실: 0.730965 최선의 손실: 0.074509 정확도: 68.53% 6 검증 세트 손실: 0.226025 최선의 손실: 0.074509 정확도: 93.98% 7 검증 세트 손실: 0.144147 최선의 손실: 0.074509 정확도: 96.44% 8 검증 세트 손실: 0.240434 최선의 손실: 0.074509 정확도: 93.71% 9 검증 세트 손실: 0.111681 최선의 손실: 0.074509 정확도: 96.95% 10 검증 세트 손실: 0.130078 최선의 손실: 0.074509 정확도: 97.15% 11 검증 세트 손실: 0.114416 최선의 손실: 0.074509 정확도: 97.07% 12 검증 세트 손실: 0.106231 최선의 손실: 0.074509 정확도: 97.46% 13 검증 세트 손실: 0.115389 최선의 손실: 0.074509 정확도: 97.22% 14 검증 세트 손실: 1.350455 최선의 손실: 0.074509 정확도: 42.22% 15 검증 세트 손실: 1.169615 최선의 손실: 0.074509 정확도: 38.98% 16 검증 세트 손실: 0.762143 최선의 손실: 0.074509 정확도: 60.48% 17 검증 세트 손실: 0.738644 최선의 손실: 0.074509 정확도: 56.96% 18 검증 세트 손실: 0.741815 최선의 손실: 0.074509 정확도: 59.46% 19 검증 세트 손실: 0.548005 최선의 손실: 0.074509 정확도: 76.08% 20 검증 세트 손실: 0.486599 최선의 손실: 0.074509 정확도: 88.39% 21 검증 세트 손실: 0.279082 최선의 손실: 0.074509 정확도: 93.90% 22 검증 세트 손실: 0.207288 최선의 손실: 0.074509 정확도: 95.62% 조기 종료! [CV] n_neurons=50, learning_rate=0.02, batch_size=100, activation=<function elu at 0x7f8ec4ceef28>, total= 4.6s [CV] n_neurons=10, learning_rate=0.02, batch_size=100, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.105743 최선의 손실: 0.105743 정확도: 96.99% 1 검증 세트 손실: 0.116263 최선의 손실: 0.105743 정확도: 96.68% 2 검증 세트 손실: 0.129429 최선의 손실: 0.105743 정확도: 96.91% 3 검증 세트 손실: 0.120343 최선의 손실: 0.105743 정확도: 96.36% 4 검증 세트 손실: 0.117303 최선의 손실: 0.105743 정확도: 97.07% 5 검증 세트 손실: 0.128803 최선의 손실: 0.105743 정확도: 97.07% 6 검증 세트 손실: 0.133219 최선의 손실: 0.105743 정확도: 96.44% 7 검증 세트 손실: 0.135619 최선의 손실: 0.105743 정확도: 96.72% 8 검증 세트 손실: 0.134518 최선의 손실: 0.105743 정확도: 96.79% 9 검증 세트 손실: 0.109813 최선의 손실: 0.105743 정확도: 97.62% 10 검증 세트 손실: 0.128924 최선의 손실: 0.105743 정확도: 97.34% 11 검증 세트 손실: 0.158304 최선의 손실: 0.105743 정확도: 96.79% 12 검증 세트 손실: 0.123416 최선의 손실: 0.105743 정확도: 96.83% 13 검증 세트 손실: 0.135163 최선의 손실: 0.105743 정확도: 96.33% 14 검증 세트 손실: 0.145279 최선의 손실: 0.105743 정확도: 96.68% 15 검증 세트 손실: 0.120019 최선의 손실: 0.105743 정확도: 97.11% 16 검증 세트 손실: 0.120676 최선의 손실: 0.105743 정확도: 96.99% 17 검증 세트 손실: 0.126129 최선의 손실: 0.105743 정확도: 97.15% 18 검증 세트 손실: 0.117159 최선의 손실: 0.105743 정확도: 97.42% 19 검증 세트 손실: 0.116228 최선의 손실: 0.105743 정확도: 97.42% 20 검증 세트 손실: 0.127836 최선의 손실: 0.105743 정확도: 96.91% 21 검증 세트 손실: 0.121806 최선의 손실: 0.105743 정확도: 97.34% 조기 종료! [CV] n_neurons=10, learning_rate=0.02, batch_size=100, activation=<function relu at 0x7f8ec4c8c510>, total= 3.0s [CV] n_neurons=10, learning_rate=0.02, batch_size=100, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.205078 최선의 손실: 0.205078 정확도: 94.41% 1 검증 세트 손실: 0.177834 최선의 손실: 0.177834 정확도: 95.27% 2 검증 세트 손실: 0.175616 최선의 손실: 0.175616 정확도: 95.35% 3 검증 세트 손실: 0.173348 최선의 손실: 0.173348 정확도: 95.47% 4 검증 세트 손실: 0.148174 최선의 손실: 0.148174 정확도: 95.47% 5 검증 세트 손실: 0.147101 최선의 손실: 0.147101 정확도: 95.86% 6 검증 세트 손실: 0.133235 최선의 손실: 0.133235 정확도: 96.36% 7 검증 세트 손실: 0.122361 최선의 손실: 0.122361 정확도: 96.33% 8 검증 세트 손실: 0.120778 최선의 손실: 0.120778 정확도: 96.56% 9 검증 세트 손실: 0.127373 최선의 손실: 0.120778 정확도: 96.44% 10 검증 세트 손실: 0.133204 최선의 손실: 0.120778 정확도: 96.36% 11 검증 세트 손실: 0.133598 최선의 손실: 0.120778 정확도: 96.64% 12 검증 세트 손실: 0.139547 최선의 손실: 0.120778 정확도: 96.29% 13 검증 세트 손실: 0.127319 최선의 손실: 0.120778 정확도: 96.01% 14 검증 세트 손실: 0.129422 최선의 손실: 0.120778 정확도: 96.95% 15 검증 세트 손실: 0.125028 최선의 손실: 0.120778 정확도: 96.36% 16 검증 세트 손실: 0.129063 최선의 손실: 0.120778 정확도: 96.36% 17 검증 세트 손실: 0.137604 최선의 손실: 0.120778 정확도: 96.33% 18 검증 세트 손실: 0.135213 최선의 손실: 0.120778 정확도: 96.17% 19 검증 세트 손실: 0.132013 최선의 손실: 0.120778 정확도: 96.48% 20 검증 세트 손실: 0.125327 최선의 손실: 0.120778 정확도: 96.36% 21 검증 세트 손실: 0.138782 최선의 손실: 0.120778 정확도: 96.25% 22 검증 세트 손실: 0.165192 최선의 손실: 0.120778 정확도: 95.70% 23 검증 세트 손실: 0.123123 최선의 손실: 0.120778 정확도: 96.83% 24 검증 세트 손실: 0.156955 최선의 손실: 0.120778 정확도: 96.48% 25 검증 세트 손실: 0.132729 최선의 손실: 0.120778 정확도: 96.40% 26 검증 세트 손실: 0.136676 최선의 손실: 0.120778 정확도: 96.56% 27 검증 세트 손실: 0.163499 최선의 손실: 0.120778 정확도: 96.13% 28 검증 세트 손실: 0.157212 최선의 손실: 0.120778 정확도: 96.13% 29 검증 세트 손실: 0.145529 최선의 손실: 0.120778 정확도: 96.52% 조기 종료! [CV] n_neurons=10, learning_rate=0.02, batch_size=100, activation=<function relu at 0x7f8ec4c8c510>, total= 3.8s [CV] n_neurons=10, learning_rate=0.02, batch_size=100, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.126185 최선의 손실: 0.126185 정확도: 96.40% 1 검증 세트 손실: 0.159818 최선의 손실: 0.126185 정확도: 95.62% 2 검증 세트 손실: 0.133942 최선의 손실: 0.126185 정확도: 96.09% 3 검증 세트 손실: 0.121002 최선의 손실: 0.121002 정확도: 96.64% 4 검증 세트 손실: 0.125002 최선의 손실: 0.121002 정확도: 96.95% 5 검증 세트 손실: 0.118410 최선의 손실: 0.118410 정확도: 96.91% 6 검증 세트 손실: 0.102481 최선의 손실: 0.102481 정확도: 97.15% 7 검증 세트 손실: 0.125537 최선의 손실: 0.102481 정확도: 96.91% 8 검증 세트 손실: 0.114726 최선의 손실: 0.102481 정확도: 97.07% 9 검증 세트 손실: 0.109566 최선의 손실: 0.102481 정확도: 96.79% 10 검증 세트 손실: 0.109199 최선의 손실: 0.102481 정확도: 96.56% 11 검증 세트 손실: 0.116124 최선의 손실: 0.102481 정확도: 96.83% 12 검증 세트 손실: 0.149495 최선의 손실: 0.102481 정확도: 96.56% 13 검증 세트 손실: 0.109874 최선의 손실: 0.102481 정확도: 97.03% 14 검증 세트 손실: 0.120062 최선의 손실: 0.102481 정확도: 96.95% 15 검증 세트 손실: 0.106172 최선의 손실: 0.102481 정확도: 97.38% 16 검증 세트 손실: 0.126584 최선의 손실: 0.102481 정확도: 96.76% 17 검증 세트 손실: 0.089111 최선의 손실: 0.089111 정확도: 97.50% 18 검증 세트 손실: 0.122468 최선의 손실: 0.089111 정확도: 97.54% 19 검증 세트 손실: 0.134081 최선의 손실: 0.089111 정확도: 96.56% 20 검증 세트 손실: 0.123148 최선의 손실: 0.089111 정확도: 96.79% 21 검증 세트 손실: 0.132268 최선의 손실: 0.089111 정확도: 96.99% 22 검증 세트 손실: 0.106595 최선의 손실: 0.089111 정확도: 97.38% 23 검증 세트 손실: 0.103340 최선의 손실: 0.089111 정확도: 97.26% 24 검증 세트 손실: 0.087171 최선의 손실: 0.087171 정확도: 97.46% 25 검증 세트 손실: 0.099652 최선의 손실: 0.087171 정확도: 97.81% 26 검증 세트 손실: 0.139918 최선의 손실: 0.087171 정확도: 95.47% 27 검증 세트 손실: 0.090692 최선의 손실: 0.087171 정확도: 97.62% 28 검증 세트 손실: 0.093938 최선의 손실: 0.087171 정확도: 97.54% 29 검증 세트 손실: 0.121995 최선의 손실: 0.087171 정확도: 97.73% 30 검증 세트 손실: 0.140460 최선의 손실: 0.087171 정확도: 97.34% 31 검증 세트 손실: 0.091696 최선의 손실: 0.087171 정확도: 97.69% 32 검증 세트 손실: 0.123331 최선의 손실: 0.087171 정확도: 97.69% 33 검증 세트 손실: 0.095594 최선의 손실: 0.087171 정확도: 97.46% 34 검증 세트 손실: 0.124214 최선의 손실: 0.087171 정확도: 97.07% 35 검증 세트 손실: 0.130664 최선의 손실: 0.087171 정확도: 97.22% 36 검증 세트 손실: 0.107884 최선의 손실: 0.087171 정확도: 97.30% 37 검증 세트 손실: 0.118614 최선의 손실: 0.087171 정확도: 97.58% 38 검증 세트 손실: 0.107883 최선의 손실: 0.087171 정확도: 97.69% 39 검증 세트 손실: 0.126352 최선의 손실: 0.087171 정확도: 97.34% 40 검증 세트 손실: 0.103935 최선의 손실: 0.087171 정확도: 97.69% 41 검증 세트 손실: 0.090888 최선의 손실: 0.087171 정확도: 97.89% 42 검증 세트 손실: 0.102644 최선의 손실: 0.087171 정확도: 97.65% 43 검증 세트 손실: 0.098611 최선의 손실: 0.087171 정확도: 97.69% 44 검증 세트 손실: 0.114765 최선의 손실: 0.087171 정확도: 97.30% 45 검증 세트 손실: 0.116323 최선의 손실: 0.087171 정확도: 97.38% 조기 종료! [CV] n_neurons=10, learning_rate=0.02, batch_size=100, activation=<function relu at 0x7f8ec4c8c510>, total= 5.7s [CV] n_neurons=30, learning_rate=0.02, batch_size=10, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.164784 최선의 손실: 0.164784 정확도: 95.90% 1 검증 세트 손실: 0.393070 최선의 손실: 0.164784 정확도: 88.98% 2 검증 세트 손실: 0.193971 최선의 손실: 0.164784 정확도: 95.39% 3 검증 세트 손실: 0.382710 최선의 손실: 0.164784 정확도: 95.27% 4 검증 세트 손실: 0.172598 최선의 손실: 0.164784 정확도: 95.62% 5 검증 세트 손실: 0.220875 최선의 손실: 0.164784 정확도: 94.49% 6 검증 세트 손실: 0.261813 최선의 손실: 0.164784 정확도: 94.61% 7 검증 세트 손실: 0.569741 최선의 손실: 0.164784 정확도: 81.47% 8 검증 세트 손실: 0.646094 최선의 손실: 0.164784 정확도: 72.13% 9 검증 세트 손실: 0.626084 최선의 손실: 0.164784 정확도: 73.61% 10 검증 세트 손실: 1.148254 최선의 손실: 0.164784 정확도: 45.62% 11 검증 세트 손실: 1.605580 최선의 손실: 0.164784 정확도: 22.44% 12 검증 세트 손실: 1.602822 최선의 손실: 0.164784 정확도: 22.40% 13 검증 세트 손실: 1.606532 최선의 손실: 0.164784 정확도: 19.08% 14 검증 세트 손실: 1.604871 최선의 손실: 0.164784 정확도: 22.40% 15 검증 세트 손실: 1.603492 최선의 손실: 0.164784 정확도: 22.40% 16 검증 세트 손실: 1.602391 최선의 손실: 0.164784 정확도: 22.40% 17 검증 세트 손실: 1.605263 최선의 손실: 0.164784 정확도: 19.66% 18 검증 세트 손실: 1.608718 최선의 손실: 0.164784 정확도: 22.40% 19 검증 세트 손실: 1.604215 최선의 손실: 0.164784 정확도: 19.08% 20 검증 세트 손실: 1.605054 최선의 손실: 0.164784 정확도: 21.31% 21 검증 세트 손실: 1.611725 최선의 손실: 0.164784 정확도: 19.66% 조기 종료! [CV] n_neurons=30, learning_rate=0.02, batch_size=10, activation=<function relu at 0x7f8ec4c8c510>, total= 17.4s [CV] n_neurons=30, learning_rate=0.02, batch_size=10, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.322729 최선의 손실: 0.322729 정확도: 92.22% 1 검증 세트 손실: 0.175447 최선의 손실: 0.175447 정확도: 95.19% 2 검증 세트 손실: 0.488897 최선의 손실: 0.175447 정확도: 74.86% 3 검증 세트 손실: 0.921867 최선의 손실: 0.175447 정확도: 63.92% 4 검증 세트 손실: 0.650850 최선의 손실: 0.175447 정확도: 80.06% 5 검증 세트 손실: 0.497511 최선의 손실: 0.175447 정확도: 87.92% 6 검증 세트 손실: 0.672267 최선의 손실: 0.175447 정확도: 73.22% 7 검증 세트 손실: 0.392059 최선의 손실: 0.175447 정확도: 91.13% 8 검증 세트 손실: 0.329278 최선의 손실: 0.175447 정확도: 95.07% 9 검증 세트 손실: 0.444679 최선의 손실: 0.175447 정확도: 89.13% 10 검증 세트 손실: 0.353014 최선의 손실: 0.175447 정확도: 92.46% 11 검증 세트 손실: 0.367487 최선의 손실: 0.175447 정확도: 91.24% 12 검증 세트 손실: 0.330715 최선의 손실: 0.175447 정확도: 94.88% 13 검증 세트 손실: 0.555855 최선의 손실: 0.175447 정확도: 89.21% 14 검증 세트 손실: 0.504962 최선의 손실: 0.175447 정확도: 87.96% 15 검증 세트 손실: 0.350783 최선의 손실: 0.175447 정확도: 94.92% 16 검증 세트 손실: 0.461362 최선의 손실: 0.175447 정확도: 87.18% 17 검증 세트 손실: 0.398294 최선의 손실: 0.175447 정확도: 93.94% 18 검증 세트 손실: 0.368053 최선의 손실: 0.175447 정확도: 96.60% 19 검증 세트 손실: 0.443209 최선의 손실: 0.175447 정확도: 90.54% 20 검증 세트 손실: 0.411704 최선의 손실: 0.175447 정확도: 93.35% 21 검증 세트 손실: 0.712801 최선의 손실: 0.175447 정확도: 82.02% 22 검증 세트 손실: 0.437240 최선의 손실: 0.175447 정확도: 90.81% 조기 종료! [CV] n_neurons=30, learning_rate=0.02, batch_size=10, activation=<function relu at 0x7f8ec4c8c510>, total= 18.3s [CV] n_neurons=30, learning_rate=0.02, batch_size=10, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.207515 최선의 손실: 0.207515 정확도: 94.96% 1 검증 세트 손실: 0.176637 최선의 손실: 0.176637 정확도: 95.66% 2 검증 세트 손실: 0.335180 최선의 손실: 0.176637 정확도: 90.81% 3 검증 세트 손실: 0.293437 최선의 손실: 0.176637 정확도: 92.30% 4 검증 세트 손실: 0.170755 최선의 손실: 0.170755 정확도: 95.39% 5 검증 세트 손실: 0.489114 최선의 손실: 0.170755 정확도: 76.39% 6 검증 세트 손실: 0.446404 최선의 손실: 0.170755 정확도: 85.65% 7 검증 세트 손실: 0.296574 최선의 손실: 0.170755 정확도: 93.04% 8 검증 세트 손실: 0.229575 최선의 손실: 0.170755 정확도: 95.39% 9 검증 세트 손실: 0.283897 최선의 손실: 0.170755 정확도: 93.28% 10 검증 세트 손실: 0.222595 최선의 손실: 0.170755 정확도: 94.18% 11 검증 세트 손실: 0.390861 최선의 손실: 0.170755 정확도: 89.80% 12 검증 세트 손실: 0.541708 최선의 손실: 0.170755 정확도: 75.10% 13 검증 세트 손실: 0.511386 최선의 손실: 0.170755 정확도: 77.37% 14 검증 세트 손실: 0.408998 최선의 손실: 0.170755 정확도: 84.21% 15 검증 세트 손실: 1.193759 최선의 손실: 0.170755 정확도: 41.99% 16 검증 세트 손실: 1.173714 최선의 손실: 0.170755 정확도: 42.57% 17 검증 세트 손실: 1.178119 최선의 손실: 0.170755 정확도: 38.51% 18 검증 세트 손실: 1.158817 최선의 손실: 0.170755 정확도: 42.34% 19 검증 세트 손실: 1.161195 최선의 손실: 0.170755 정확도: 39.41% 20 검증 세트 손실: 1.155494 최선의 손실: 0.170755 정확도: 42.73% 21 검증 세트 손실: 1.167830 최선의 손실: 0.170755 정확도: 42.73% 22 검증 세트 손실: 1.159312 최선의 손실: 0.170755 정확도: 39.41% 23 검증 세트 손실: 1.166471 최선의 손실: 0.170755 정확도: 42.73% 24 검증 세트 손실: 1.156795 최선의 손실: 0.170755 정확도: 42.73% 25 검증 세트 손실: 1.150899 최선의 손실: 0.170755 정확도: 42.73% 조기 종료! [CV] n_neurons=30, learning_rate=0.02, batch_size=10, activation=<function relu at 0x7f8ec4c8c510>, total= 20.3s [CV] n_neurons=120, learning_rate=0.01, batch_size=100, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.075344 최선의 손실: 0.075344 정확도: 97.65% 1 검증 세트 손실: 0.073830 최선의 손실: 0.073830 정확도: 98.08% 2 검증 세트 손실: 0.059857 최선의 손실: 0.059857 정확도: 98.44% 3 검증 세트 손실: 0.094209 최선의 손실: 0.059857 정확도: 98.20% 4 검증 세트 손실: 0.075635 최선의 손실: 0.059857 정확도: 98.28% 5 검증 세트 손실: 0.084996 최선의 손실: 0.059857 정확도: 98.12% 6 검증 세트 손실: 0.294046 최선의 손실: 0.059857 정확도: 97.46% 7 검증 세트 손실: 0.165618 최선의 손실: 0.059857 정확도: 96.95% 8 검증 세트 손실: 0.098870 최선의 손실: 0.059857 정확도: 97.34% 9 검증 세트 손실: 0.065961 최선의 손실: 0.059857 정확도: 98.32% 10 검증 세트 손실: 0.073386 최선의 손실: 0.059857 정확도: 98.40% 11 검증 세트 손실: 0.164333 최선의 손실: 0.059857 정확도: 96.05% 12 검증 세트 손실: 0.123105 최선의 손실: 0.059857 정확도: 98.32% 13 검증 세트 손실: 0.146339 최선의 손실: 0.059857 정확도: 97.34% 14 검증 세트 손실: 0.114013 최선의 손실: 0.059857 정확도: 98.16% 15 검증 세트 손실: 0.114416 최선의 손실: 0.059857 정확도: 97.77% 16 검증 세트 손실: 0.077662 최선의 손실: 0.059857 정확도: 98.36% 17 검증 세트 손실: 0.110555 최선의 손실: 0.059857 정확도: 98.28% 18 검증 세트 손실: 0.118245 최선의 손실: 0.059857 정확도: 98.36% 19 검증 세트 손실: 0.075816 최선의 손실: 0.059857 정확도: 98.48% 20 검증 세트 손실: 0.077546 최선의 손실: 0.059857 정확도: 98.40% 21 검증 세트 손실: 0.116682 최선의 손실: 0.059857 정확도: 98.16% 22 검증 세트 손실: 2.854653 최선의 손실: 0.059857 정확도: 80.81% 23 검증 세트 손실: 0.140482 최선의 손실: 0.059857 정확도: 98.83% 조기 종료! [CV] n_neurons=120, learning_rate=0.01, batch_size=100, activation=<function relu at 0x7f8ec4c8c510>, total= 8.7s [CV] n_neurons=120, learning_rate=0.01, batch_size=100, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.098573 최선의 손실: 0.098573 정확도: 97.65% 1 검증 세트 손실: 0.068084 최선의 손실: 0.068084 정확도: 98.16% 2 검증 세트 손실: 0.067996 최선의 손실: 0.067996 정확도: 98.12% 3 검증 세트 손실: 0.057274 최선의 손실: 0.057274 정확도: 98.20% 4 검증 세트 손실: 0.044082 최선의 손실: 0.044082 정확도: 98.51% 5 검증 세트 손실: 0.049112 최선의 손실: 0.044082 정확도: 98.71% 6 검증 세트 손실: 1.106520 최선의 손실: 0.044082 정확도: 88.98% 7 검증 세트 손실: 0.076707 최선의 손실: 0.044082 정확도: 97.85% 8 검증 세트 손실: 0.066381 최선의 손실: 0.044082 정확도: 98.44% 9 검증 세트 손실: 0.071855 최선의 손실: 0.044082 정확도: 98.40% 10 검증 세트 손실: 0.062106 최선의 손실: 0.044082 정확도: 98.55% 11 검증 세트 손실: 0.077370 최선의 손실: 0.044082 정확도: 98.48% 12 검증 세트 손실: 0.095278 최선의 손실: 0.044082 정확도: 98.16% 13 검증 세트 손실: 0.063336 최선의 손실: 0.044082 정확도: 98.51% 14 검증 세트 손실: 0.069274 최선의 손실: 0.044082 정확도: 98.83% 15 검증 세트 손실: 0.075871 최선의 손실: 0.044082 정확도: 98.48% 16 검증 세트 손실: 0.080395 최선의 손실: 0.044082 정확도: 98.67% 17 검증 세트 손실: 0.073136 최선의 손실: 0.044082 정확도: 98.55% 18 검증 세트 손실: 0.071227 최선의 손실: 0.044082 정확도: 98.83% 19 검증 세트 손실: 0.138496 최선의 손실: 0.044082 정확도: 98.20% 20 검증 세트 손실: 0.103102 최선의 손실: 0.044082 정확도: 98.63% 21 검증 세트 손실: 0.130320 최선의 손실: 0.044082 정확도: 98.83% 22 검증 세트 손실: 0.428272 최선의 손실: 0.044082 정확도: 97.93% 23 검증 세트 손실: 0.347639 최선의 손실: 0.044082 정확도: 98.55% 24 검증 세트 손실: 0.101881 최선의 손실: 0.044082 정확도: 98.71% 25 검증 세트 손실: 0.052243 최선의 손실: 0.044082 정확도: 99.02% 조기 종료! [CV] n_neurons=120, learning_rate=0.01, batch_size=100, activation=<function relu at 0x7f8ec4c8c510>, total= 9.3s [CV] n_neurons=120, learning_rate=0.01, batch_size=100, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.078001 최선의 손실: 0.078001 정확도: 97.85% 1 검증 세트 손실: 0.072618 최선의 손실: 0.072618 정확도: 98.05% 2 검증 세트 손실: 0.070087 최선의 손실: 0.070087 정확도: 98.08% 3 검증 세트 손실: 0.071379 최선의 손실: 0.070087 정확도: 98.16% 4 검증 세트 손실: 0.075052 최선의 손실: 0.070087 정확도: 97.58% 5 검증 세트 손실: 0.119483 최선의 손실: 0.070087 정확도: 97.65% 6 검증 세트 손실: 0.095994 최선의 손실: 0.070087 정확도: 97.69% 7 검증 세트 손실: 0.065574 최선의 손실: 0.065574 정확도: 98.59% 8 검증 세트 손실: 0.074721 최선의 손실: 0.065574 정확도: 98.16% 9 검증 세트 손실: 0.057990 최선의 손실: 0.057990 정확도: 98.55% 10 검증 세트 손실: 0.107921 최선의 손실: 0.057990 정확도: 98.63% 11 검증 세트 손실: 0.058926 최선의 손실: 0.057990 정확도: 98.87% 12 검증 세트 손실: 0.162880 최선의 손실: 0.057990 정확도: 97.26% 13 검증 세트 손실: 0.067843 최선의 손실: 0.057990 정확도: 98.71% 14 검증 세트 손실: 0.130447 최선의 손실: 0.057990 정확도: 98.71% 15 검증 세트 손실: 0.062617 최선의 손실: 0.057990 정확도: 98.59% 16 검증 세트 손실: 0.085667 최선의 손실: 0.057990 정확도: 98.55% 17 검증 세트 손실: 0.064317 최선의 손실: 0.057990 정확도: 98.83% 18 검증 세트 손실: 0.058387 최선의 손실: 0.057990 정확도: 98.75% 19 검증 세트 손실: 0.067949 최선의 손실: 0.057990 정확도: 98.83% 20 검증 세트 손실: 0.184325 최선의 손실: 0.057990 정확도: 97.42% 21 검증 세트 손실: 0.121191 최선의 손실: 0.057990 정확도: 98.36% 22 검증 세트 손실: 0.155771 최선의 손실: 0.057990 정확도: 96.79% 23 검증 세트 손실: 0.122737 최선의 손실: 0.057990 정확도: 96.99% 24 검증 세트 손실: 0.103095 최선의 손실: 0.057990 정확도: 98.55% 25 검증 세트 손실: 0.080420 최선의 손실: 0.057990 정확도: 98.79% 26 검증 세트 손실: 0.051451 최선의 손실: 0.051451 정확도: 98.71% 27 검증 세트 손실: 0.057824 최선의 손실: 0.051451 정확도: 98.98% 28 검증 세트 손실: 0.068738 최선의 손실: 0.051451 정확도: 99.18% 29 검증 세트 손실: 0.076596 최선의 손실: 0.051451 정확도: 99.10% 30 검증 세트 손실: 0.063843 최선의 손실: 0.051451 정확도: 99.10% 31 검증 세트 손실: 0.066339 최선의 손실: 0.051451 정확도: 98.87% 32 검증 세트 손실: 0.090036 최선의 손실: 0.051451 정확도: 98.87% 33 검증 세트 손실: 0.082966 최선의 손실: 0.051451 정확도: 98.08% 34 검증 세트 손실: 0.115264 최선의 손실: 0.051451 정확도: 98.36% 35 검증 세트 손실: 0.198582 최선의 손실: 0.051451 정확도: 97.97% 36 검증 세트 손실: 0.122167 최선의 손실: 0.051451 정확도: 98.63% 37 검증 세트 손실: 0.078618 최선의 손실: 0.051451 정확도: 98.83% 38 검증 세트 손실: 0.088503 최선의 손실: 0.051451 정확도: 98.98% 39 검증 세트 손실: 0.169790 최선의 손실: 0.051451 정확도: 99.06% 40 검증 세트 손실: 0.340368 최선의 손실: 0.051451 정확도: 98.24% 41 검증 세트 손실: 0.140925 최선의 손실: 0.051451 정확도: 97.65% 42 검증 세트 손실: 0.300344 최선의 손실: 0.051451 정확도: 95.11% 43 검증 세트 손실: 0.150650 최선의 손실: 0.051451 정확도: 97.11% 44 검증 세트 손실: 0.688458 최선의 손실: 0.051451 정확도: 86.16% 45 검증 세트 손실: 0.196016 최선의 손실: 0.051451 정확도: 97.65% 46 검증 세트 손실: 0.180504 최선의 손실: 0.051451 정확도: 95.23% 47 검증 세트 손실: 0.460098 최선의 손실: 0.051451 정확도: 97.58% 조기 종료! [CV] n_neurons=120, learning_rate=0.01, batch_size=100, activation=<function relu at 0x7f8ec4c8c510>, total= 16.9s [CV] n_neurons=120, learning_rate=0.01, batch_size=10, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.201966 최선의 손실: 0.201966 정확도: 94.57% 1 검증 세트 손실: 0.234719 최선의 손실: 0.201966 정확도: 94.10% 2 검증 세트 손실: 0.445972 최선의 손실: 0.201966 정확도: 83.58% 3 검증 세트 손실: 1.192057 최선의 손실: 0.201966 정확도: 44.29% 4 검증 세트 손실: 0.567835 최선의 손실: 0.201966 정확도: 74.00% 5 검증 세트 손실: 0.680432 최선의 손실: 0.201966 정확도: 72.36% 6 검증 세트 손실: 0.499933 최선의 손실: 0.201966 정확도: 75.06% 7 검증 세트 손실: 0.282034 최선의 손실: 0.201966 정확도: 94.96% 8 검증 세트 손실: 0.460329 최선의 손실: 0.201966 정확도: 86.59% 9 검증 세트 손실: 0.466551 최선의 손실: 0.201966 정확도: 77.09% 10 검증 세트 손실: 0.535966 최선의 손실: 0.201966 정확도: 94.18% 11 검증 세트 손실: 0.792121 최선의 손실: 0.201966 정확도: 59.23% 12 검증 세트 손실: 0.845066 최선의 손실: 0.201966 정확도: 61.85% 13 검증 세트 손실: 1.231377 최선의 손실: 0.201966 정확도: 53.87% 14 검증 세트 손실: 1.029100 최선의 손실: 0.201966 정확도: 40.23% 15 검증 세트 손실: 1.028726 최선의 손실: 0.201966 정확도: 39.84% 16 검증 세트 손실: 1.027991 최선의 손실: 0.201966 정확도: 39.84% 17 검증 세트 손실: 1.029007 최선의 손실: 0.201966 정확도: 38.90% 18 검증 세트 손실: 1.029122 최선의 손실: 0.201966 정확도: 40.23% 19 검증 세트 손실: 1.031220 최선의 손실: 0.201966 정확도: 39.29% 20 검증 세트 손실: 1.024060 최선의 손실: 0.201966 정확도: 39.29% 21 검증 세트 손실: 1.029693 최선의 손실: 0.201966 정확도: 39.84% 조기 종료! [CV] n_neurons=120, learning_rate=0.01, batch_size=10, activation=<function relu at 0x7f8ec4c8c510>, total= 28.5s [CV] n_neurons=120, learning_rate=0.01, batch_size=10, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.171695 최선의 손실: 0.171695 정확도: 96.21% 1 검증 세트 손실: 1.612393 최선의 손실: 0.171695 정확도: 19.27% 2 검증 세트 손실: 1.609583 최선의 손실: 0.171695 정확도: 22.01% 3 검증 세트 손실: 1.614159 최선의 손실: 0.171695 정확도: 22.01% 4 검증 세트 손실: 1.611102 최선의 손실: 0.171695 정확도: 22.01% 5 검증 세트 손실: 1.608539 최선의 손실: 0.171695 정확도: 22.01% 6 검증 세트 손실: 1.614227 최선의 손실: 0.171695 정확도: 19.08% 7 검증 세트 손실: 1.610501 최선의 손실: 0.171695 정확도: 22.01% 8 검증 세트 손실: 1.608937 최선의 손실: 0.171695 정확도: 22.01% 9 검증 세트 손실: 1.607984 최선의 손실: 0.171695 정확도: 22.01% 10 검증 세트 손실: 1.611025 최선의 손실: 0.171695 정확도: 22.01% 11 검증 세트 손실: 1.610161 최선의 손실: 0.171695 정확도: 22.01% 12 검증 세트 손실: 1.609380 최선의 손실: 0.171695 정확도: 22.01% 13 검증 세트 손실: 1.610887 최선의 손실: 0.171695 정확도: 19.27% 14 검증 세트 손실: 1.608783 최선의 손실: 0.171695 정확도: 22.01% 15 검증 세트 손실: 1.609201 최선의 손실: 0.171695 정확도: 22.01% 16 검증 세트 손실: 1.610897 최선의 손실: 0.171695 정확도: 22.01% 17 검증 세트 손실: 1.611614 최선의 손실: 0.171695 정확도: 18.73% 18 검증 세트 손실: 1.610137 최선의 손실: 0.171695 정확도: 22.01% 19 검증 세트 손실: 1.609074 최선의 손실: 0.171695 정확도: 22.01% 20 검증 세트 손실: 1.609576 최선의 손실: 0.171695 정확도: 22.01% 21 검증 세트 손실: 1.612212 최선의 손실: 0.171695 정확도: 22.01% 조기 종료! [CV] n_neurons=120, learning_rate=0.01, batch_size=10, activation=<function relu at 0x7f8ec4c8c510>, total= 28.4s [CV] n_neurons=120, learning_rate=0.01, batch_size=10, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.158174 최선의 손실: 0.158174 정확도: 96.44% 1 검증 세트 손실: 0.135459 최선의 손실: 0.135459 정확도: 96.79% 2 검증 세트 손실: 0.165871 최선의 손실: 0.135459 정확도: 95.50% 3 검증 세트 손실: 0.302005 최선의 손실: 0.135459 정확도: 95.43% 4 검증 세트 손실: 1.278549 최선의 손실: 0.135459 정확도: 36.79% 5 검증 세트 손실: 1.225286 최선의 손실: 0.135459 정확도: 40.07% 6 검증 세트 손실: 1.175152 최선의 손실: 0.135459 정확도: 40.07% 7 검증 세트 손실: 1.565100 최선의 손실: 0.135459 정확도: 40.30% 8 검증 세트 손실: 1.312375 최선의 손실: 0.135459 정확도: 40.58% 9 검증 세트 손실: 1.134378 최선의 손실: 0.135459 정확도: 40.03% 10 검증 세트 손실: 1.133411 최선의 손실: 0.135459 정확도: 40.30% 11 검증 세트 손실: 1.153915 최선의 손실: 0.135459 정확도: 40.54% 12 검증 세트 손실: 1.305280 최선의 손실: 0.135459 정확도: 42.34% 13 검증 세트 손실: 0.843906 최선의 손실: 0.135459 정확도: 58.44% 14 검증 세트 손실: 1.220675 최선의 손실: 0.135459 정확도: 42.34% 15 검증 세트 손실: 1.317513 최선의 손실: 0.135459 정확도: 40.62% 16 검증 세트 손실: 1.238394 최선의 손실: 0.135459 정확도: 40.19% 17 검증 세트 손실: 1.390628 최선의 손실: 0.135459 정확도: 39.68% 18 검증 세트 손실: 1.660865 최선의 손실: 0.135459 정확도: 40.27% 19 검증 세트 손실: 2.691817 최선의 손실: 0.135459 정확도: 39.84% 20 검증 세트 손실: 1.434890 최선의 손실: 0.135459 정확도: 29.48% 21 검증 세트 손실: 1.410185 최선의 손실: 0.135459 정확도: 30.81% 22 검증 세트 손실: 1.415740 최선의 손실: 0.135459 정확도: 30.30% 조기 종료! [CV] n_neurons=120, learning_rate=0.01, batch_size=10, activation=<function relu at 0x7f8ec4c8c510>, total= 29.7s [CV] n_neurons=100, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 0 검증 세트 손실: 63.504795 최선의 손실: 63.504795 정확도: 67.12% 1 검증 세트 손실: 5.052154 최선의 손실: 5.052154 정확도: 89.17% 2 검증 세트 손실: 1.723089 최선의 손실: 1.723089 정확도: 92.96% 3 검증 세트 손실: 1.294373 최선의 손실: 1.294373 정확도: 94.49% 4 검증 세트 손실: 1.210073 최선의 손실: 1.210073 정확도: 94.02% 5 검증 세트 손실: 0.806669 최선의 손실: 0.806669 정확도: 94.68% 6 검증 세트 손실: 0.902203 최선의 손실: 0.806669 정확도: 93.32% 7 검증 세트 손실: 0.669576 최선의 손실: 0.669576 정확도: 96.13% 8 검증 세트 손실: 0.542437 최선의 손실: 0.542437 정확도: 95.43% 9 검증 세트 손실: 3.754392 최선의 손실: 0.542437 정확도: 91.71% 10 검증 세트 손실: 1.267429 최선의 손실: 0.542437 정확도: 95.70% 11 검증 세트 손실: 1.807939 최선의 손실: 0.542437 정확도: 96.60% 12 검증 세트 손실: 2.557299 최선의 손실: 0.542437 정확도: 95.43% 13 검증 세트 손실: 3.509970 최선의 손실: 0.542437 정확도: 95.27% 14 검증 세트 손실: 3.459355 최선의 손실: 0.542437 정확도: 95.74% 15 검증 세트 손실: 4.305189 최선의 손실: 0.542437 정확도: 95.07% 16 검증 세트 손실: 5.428687 최선의 손실: 0.542437 정확도: 96.56% 17 검증 세트 손실: 4.720324 최선의 손실: 0.542437 정확도: 96.68% 18 검증 세트 손실: 4.834424 최선의 손실: 0.542437 정확도: 96.99% 19 검증 세트 손실: 5.703214 최선의 손실: 0.542437 정확도: 96.76% 20 검증 세트 손실: 9.607757 최선의 손실: 0.542437 정확도: 91.52% 21 검증 세트 손실: 0.600676 최선의 손실: 0.542437 정확도: 96.33% 22 검증 세트 손실: 0.485585 최선의 손실: 0.485585 정확도: 95.00% 23 검증 세트 손실: 0.372879 최선의 손실: 0.372879 정확도: 97.19% 24 검증 세트 손실: 0.717935 최선의 손실: 0.372879 정확도: 93.78% 25 검증 세트 손실: 3.083488 최선의 손실: 0.372879 정확도: 90.70% 26 검증 세트 손실: 2.418745 최선의 손실: 0.372879 정확도: 95.47% 27 검증 세트 손실: 9806.400391 최선의 손실: 0.372879 정확도: 18.73% 28 검증 세트 손실: 148620160.000000 최선의 손실: 0.372879 정확도: 18.73% 29 검증 세트 손실: 1553446.000000 최선의 손실: 0.372879 정확도: 59.27% 30 검증 세트 손실: 158051.531250 최선의 손실: 0.372879 정확도: 81.35% 31 검증 세트 손실: 67265.742188 최선의 손실: 0.372879 정확도: 87.65% 32 검증 세트 손실: 52441.339844 최선의 손실: 0.372879 정확도: 88.74% 33 검증 세트 손실: 46493.886719 최선의 손실: 0.372879 정확도: 88.66% 34 검증 세트 손실: 37422.031250 최선의 손실: 0.372879 정확도: 89.01% 35 검증 세트 손실: 35695.710938 최선의 손실: 0.372879 정확도: 88.27% 36 검증 세트 손실: 28254.783203 최선의 손실: 0.372879 정확도: 89.44% 37 검증 세트 손실: 34913.843750 최선의 손실: 0.372879 정확도: 86.12% 38 검증 세트 손실: 21439.865234 최선의 손실: 0.372879 정확도: 90.81% 39 검증 세트 손실: 19290.638672 최선의 손실: 0.372879 정확도: 90.62% 40 검증 세트 손실: 17720.156250 최선의 손실: 0.372879 정확도: 91.24% 41 검증 세트 손실: 23895.902344 최선의 손실: 0.372879 정확도: 84.75% 42 검증 세트 손실: 22137.406250 최선의 손실: 0.372879 정확도: 87.10% 43 검증 세트 손실: 16311.849609 최선의 손실: 0.372879 정확도: 91.99% 44 검증 세트 손실: 17495.769531 최선의 손실: 0.372879 정확도: 92.77% 조기 종료! [CV] n_neurons=100, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total= 9.1s [CV] n_neurons=100, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 0 검증 세트 손실: 1046.745483 최선의 손실: 1046.745483 정확도: 51.56% 1 검증 세트 손실: 118.676224 최선의 손실: 118.676224 정확도: 70.25% 2 검증 세트 손실: 7.759680 최선의 손실: 7.759680 정확도: 91.83% 3 검증 세트 손실: 1.760084 최선의 손실: 1.760084 정확도: 94.29% 4 검증 세트 손실: 1.759238 최선의 손실: 1.759238 정확도: 94.64% 5 검증 세트 손실: 1.340536 최선의 손실: 1.340536 정확도: 94.37% 6 검증 세트 손실: 1.187283 최선의 손실: 1.187283 정확도: 94.72% 7 검증 세트 손실: 1.499387 최선의 손실: 1.187283 정확도: 92.61% 8 검증 세트 손실: 1.725356 최선의 손실: 1.187283 정확도: 91.59% 9 검증 세트 손실: 1.049225 최선의 손실: 1.049225 정확도: 95.39% 10 검증 세트 손실: 1.079078 최선의 손실: 1.049225 정확도: 95.27% 11 검증 세트 손실: 0.918480 최선의 손실: 0.918480 정확도: 94.61% 12 검증 세트 손실: 1.073662 최선의 손실: 0.918480 정확도: 93.32% 13 검증 세트 손실: 2.326349 최선의 손실: 0.918480 정확도: 94.57% 14 검증 세트 손실: 1.316089 최선의 손실: 0.918480 정확도: 94.41% 15 검증 세트 손실: 1.265519 최선의 손실: 0.918480 정확도: 93.98% 16 검증 세트 손실: 0.596224 최선의 손실: 0.596224 정확도: 96.56% 17 검증 세트 손실: 1.225945 최선의 손실: 0.596224 정확도: 93.78% 18 검증 세트 손실: 0.839632 최선의 손실: 0.596224 정확도: 94.10% 19 검증 세트 손실: 0.627583 최선의 손실: 0.596224 정확도: 96.17% 20 검증 세트 손실: 0.573615 최선의 손실: 0.573615 정확도: 96.48% 21 검증 세트 손실: 0.706544 최선의 손실: 0.573615 정확도: 95.39% 22 검증 세트 손실: 0.651824 최선의 손실: 0.573615 정확도: 96.36% 23 검증 세트 손실: 0.593484 최선의 손실: 0.573615 정확도: 95.04% 24 검증 세트 손실: 0.761043 최선의 손실: 0.573615 정확도: 95.00% 25 검증 세트 손실: 0.358924 최선의 손실: 0.358924 정확도: 96.44% 26 검증 세트 손실: 0.333070 최선의 손실: 0.333070 정확도: 96.56% 27 검증 세트 손실: 0.285043 최선의 손실: 0.285043 정확도: 96.79% 28 검증 세트 손실: 0.507448 최선의 손실: 0.285043 정확도: 95.70% 29 검증 세트 손실: 0.774901 최선의 손실: 0.285043 정확도: 92.03% 30 검증 세트 손실: 0.397582 최선의 손실: 0.285043 정확도: 96.52% 31 검증 세트 손실: 0.480633 최선의 손실: 0.285043 정확도: 96.79% 32 검증 세트 손실: 0.430192 최선의 손실: 0.285043 정확도: 96.40% 33 검증 세트 손실: 0.403741 최선의 손실: 0.285043 정확도: 97.15% 34 검증 세트 손실: 0.368596 최선의 손실: 0.285043 정확도: 97.26% 35 검증 세트 손실: 0.378595 최선의 손실: 0.285043 정확도: 96.99% 36 검증 세트 손실: 0.454858 최선의 손실: 0.285043 정확도: 96.48% 37 검증 세트 손실: 0.369779 최선의 손실: 0.285043 정확도: 97.03% 38 검증 세트 손실: 0.446258 최선의 손실: 0.285043 정확도: 95.54% 39 검증 세트 손실: 0.389079 최선의 손실: 0.285043 정확도: 97.34% 40 검증 세트 손실: 0.451859 최선의 손실: 0.285043 정확도: 96.01% 41 검증 세트 손실: 0.383268 최선의 손실: 0.285043 정확도: 96.95% 42 검증 세트 손실: 0.437539 최선의 손실: 0.285043 정확도: 96.56% 43 검증 세트 손실: 0.433877 최선의 손실: 0.285043 정확도: 96.29% 44 검증 세트 손실: 0.388926 최선의 손실: 0.285043 정확도: 97.50% 45 검증 세트 손실: 0.451208 최선의 손실: 0.285043 정확도: 96.40% 46 검증 세트 손실: 0.383426 최선의 손실: 0.285043 정확도: 96.56% 47 검증 세트 손실: 0.376542 최선의 손실: 0.285043 정확도: 96.68% 48 검증 세트 손실: 0.409561 최선의 손실: 0.285043 정확도: 96.72% 조기 종료! [CV] n_neurons=100, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total= 9.8s [CV] n_neurons=100, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 0 검증 세트 손실: 508.033661 최선의 손실: 508.033661 정확도: 35.65% 1 검증 세트 손실: 77.860954 최선의 손실: 77.860954 정확도: 76.66% 2 검증 세트 손실: 7.454078 최선의 손실: 7.454078 정확도: 89.37% 3 검증 세트 손실: 8.283775 최선의 손실: 7.454078 정확도: 80.38% 4 검증 세트 손실: 2.203256 최선의 손실: 2.203256 정확도: 95.39% 5 검증 세트 손실: 1.508655 최선의 손실: 1.508655 정확도: 94.96% 6 검증 세트 손실: 1.029555 최선의 손실: 1.029555 정확도: 95.39% 7 검증 세트 손실: 0.830592 최선의 손실: 0.830592 정확도: 94.84% 8 검증 세트 손실: 0.731862 최선의 손실: 0.731862 정확도: 95.50% 9 검증 세트 손실: 0.688742 최선의 손실: 0.688742 정확도: 95.43% 10 검증 세트 손실: 0.520653 최선의 손실: 0.520653 정확도: 96.44% 11 검증 세트 손실: 0.747843 최선의 손실: 0.520653 정확도: 94.92% 12 검증 세트 손실: 0.582237 최선의 손실: 0.520653 정확도: 94.49% 13 검증 세트 손실: 0.977322 최선의 손실: 0.520653 정확도: 94.37% 14 검증 세트 손실: 0.977657 최선의 손실: 0.520653 정확도: 92.69% 15 검증 세트 손실: 0.538623 최선의 손실: 0.520653 정확도: 96.33% 16 검증 세트 손실: 0.449942 최선의 손실: 0.449942 정확도: 96.87% 17 검증 세트 손실: 0.723675 최선의 손실: 0.449942 정확도: 91.44% 18 검증 세트 손실: 0.425682 최선의 손실: 0.425682 정확도: 96.48% 19 검증 세트 손실: 0.435550 최선의 손실: 0.425682 정확도: 96.40% 20 검증 세트 손실: 0.433513 최선의 손실: 0.425682 정확도: 96.09% 21 검증 세트 손실: 0.412725 최선의 손실: 0.412725 정확도: 96.44% 22 검증 세트 손실: 0.378843 최선의 손실: 0.378843 정확도: 97.26% 23 검증 세트 손실: 0.473851 최선의 손실: 0.378843 정확도: 94.37% 24 검증 세트 손실: 0.440041 최선의 손실: 0.378843 정확도: 96.05% 25 검증 세트 손실: 1.048303 최선의 손실: 0.378843 정확도: 92.10% 26 검증 세트 손실: 0.559052 최선의 손실: 0.378843 정확도: 96.29% 27 검증 세트 손실: 0.497070 최선의 손실: 0.378843 정확도: 95.97% 28 검증 세트 손실: 0.509400 최선의 손실: 0.378843 정확도: 95.62% 29 검증 세트 손실: 0.381642 최선의 손실: 0.378843 정확도: 97.19% 30 검증 세트 손실: 0.318084 최선의 손실: 0.318084 정확도: 96.76% 31 검증 세트 손실: 0.381882 최선의 손실: 0.318084 정확도: 95.47% 32 검증 세트 손실: 0.320674 최선의 손실: 0.318084 정확도: 97.22% 33 검증 세트 손실: 0.333089 최선의 손실: 0.318084 정확도: 95.50% 34 검증 세트 손실: 0.263068 최선의 손실: 0.263068 정확도: 96.79% 35 검증 세트 손실: 0.411878 최선의 손실: 0.263068 정확도: 96.79% 36 검증 세트 손실: 0.422032 최선의 손실: 0.263068 정확도: 97.11% 37 검증 세트 손실: 0.332708 최선의 손실: 0.263068 정확도: 97.34% 38 검증 세트 손실: 0.634995 최선의 손실: 0.263068 정확도: 94.21% 39 검증 세트 손실: 0.423280 최선의 손실: 0.263068 정확도: 96.40% 40 검증 세트 손실: 0.405578 최선의 손실: 0.263068 정확도: 95.74% 41 검증 세트 손실: 0.328063 최선의 손실: 0.263068 정확도: 97.22% 42 검증 세트 손실: 0.302149 최선의 손실: 0.263068 정확도: 97.22% 43 검증 세트 손실: 0.295138 최선의 손실: 0.263068 정확도: 97.07% 44 검증 세트 손실: 0.308027 최선의 손실: 0.263068 정확도: 97.07% 45 검증 세트 손실: 0.272290 최선의 손실: 0.263068 정확도: 97.46% 46 검증 세트 손실: 0.260330 최선의 손실: 0.260330 정확도: 97.54% 47 검증 세트 손실: 0.254518 최선의 손실: 0.254518 정확도: 97.73% 48 검증 세트 손실: 0.273957 최선의 손실: 0.254518 정확도: 96.95% 49 검증 세트 손실: 0.294691 최선의 손실: 0.254518 정확도: 97.22% 50 검증 세트 손실: 0.266778 최선의 손실: 0.254518 정확도: 97.89% 51 검증 세트 손실: 0.242479 최선의 손실: 0.242479 정확도: 97.77% 52 검증 세트 손실: 0.278007 최선의 손실: 0.242479 정확도: 97.50% 53 검증 세트 손실: 0.271276 최선의 손실: 0.242479 정확도: 97.50% 54 검증 세트 손실: 0.293423 최선의 손실: 0.242479 정확도: 96.91% 55 검증 세트 손실: 0.283898 최선의 손실: 0.242479 정확도: 97.62% 56 검증 세트 손실: 0.285030 최선의 손실: 0.242479 정확도: 97.38% 57 검증 세트 손실: 0.302241 최선의 손실: 0.242479 정확도: 97.22% 58 검증 세트 손실: 0.304259 최선의 손실: 0.242479 정확도: 96.79% 59 검증 세트 손실: 0.376649 최선의 손실: 0.242479 정확도: 96.99% 60 검증 세트 손실: 0.383960 최선의 손실: 0.242479 정확도: 96.79% 61 검증 세트 손실: 0.351119 최선의 손실: 0.242479 정확도: 97.26% 62 검증 세트 손실: 0.280588 최선의 손실: 0.242479 정확도: 97.58% 63 검증 세트 손실: 0.270688 최선의 손실: 0.242479 정확도: 97.85% 64 검증 세트 손실: 0.381684 최선의 손실: 0.242479 정확도: 96.60% 65 검증 세트 손실: 0.285757 최선의 손실: 0.242479 정확도: 97.46% 66 검증 세트 손실: 0.280456 최선의 손실: 0.242479 정확도: 97.26% 67 검증 세트 손실: 0.271998 최선의 손실: 0.242479 정확도: 97.58% 68 검증 세트 손실: 0.344882 최선의 손실: 0.242479 정확도: 97.54% 69 검증 세트 손실: 0.306499 최선의 손실: 0.242479 정확도: 96.95% 70 검증 세트 손실: 0.282075 최선의 손실: 0.242479 정확도: 97.69% 71 검증 세트 손실: 0.347276 최선의 손실: 0.242479 정확도: 97.30% 72 검증 세트 손실: 0.307301 최선의 손실: 0.242479 정확도: 97.42% 조기 종료! [CV] n_neurons=100, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total= 14.3s [CV] n_neurons=140, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 0 검증 세트 손실: 0.106298 최선의 손실: 0.106298 정확도: 96.76% 1 검증 세트 손실: 0.062642 최선의 손실: 0.062642 정확도: 98.28% 2 검증 세트 손실: 0.060083 최선의 손실: 0.060083 정확도: 98.05% 3 검증 세트 손실: 0.064581 최선의 손실: 0.060083 정확도: 98.28% 4 검증 세트 손실: 0.056122 최선의 손실: 0.056122 정확도: 98.20% 5 검증 세트 손실: 0.069689 최선의 손실: 0.056122 정확도: 98.32% 6 검증 세트 손실: 0.046615 최선의 손실: 0.046615 정확도: 98.67% 7 검증 세트 손실: 0.053433 최선의 손실: 0.046615 정확도: 98.83% 8 검증 세트 손실: 0.058376 최선의 손실: 0.046615 정확도: 98.51% 9 검증 세트 손실: 0.062615 최선의 손실: 0.046615 정확도: 98.63% 10 검증 세트 손실: 0.066868 최선의 손실: 0.046615 정확도: 98.40% 11 검증 세트 손실: 0.067680 최선의 손실: 0.046615 정확도: 98.51% 12 검증 세트 손실: 0.059356 최선의 손실: 0.046615 정확도: 98.87% 13 검증 세트 손실: 0.074744 최선의 손실: 0.046615 정확도: 98.44% 14 검증 세트 손실: 0.079049 최선의 손실: 0.046615 정확도: 98.59% 15 검증 세트 손실: 0.074987 최선의 손실: 0.046615 정확도: 98.59% 16 검증 세트 손실: 0.060130 최선의 손실: 0.046615 정확도: 98.67% 17 검증 세트 손실: 0.083335 최선의 손실: 0.046615 정확도: 98.36% 18 검증 세트 손실: 0.104511 최선의 손실: 0.046615 정확도: 98.83% 19 검증 세트 손실: 0.108278 최선의 손실: 0.046615 정확도: 98.20% 20 검증 세트 손실: 0.078940 최선의 손실: 0.046615 정확도: 98.32% 21 검증 세트 손실: 0.065107 최선의 손실: 0.046615 정확도: 98.87% 22 검증 세트 손실: 0.054712 최선의 손실: 0.046615 정확도: 98.71% 23 검증 세트 손실: 0.093591 최선의 손실: 0.046615 정확도: 98.12% 24 검증 세트 손실: 0.102512 최선의 손실: 0.046615 정확도: 98.44% 25 검증 세트 손실: 0.057025 최선의 손실: 0.046615 정확도: 98.87% 26 검증 세트 손실: 0.102751 최선의 손실: 0.046615 정확도: 98.63% 27 검증 세트 손실: 0.086250 최선의 손실: 0.046615 정확도: 98.48% 조기 종료! [CV] n_neurons=140, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total= 7.8s [CV] n_neurons=140, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 0 검증 세트 손실: 0.086457 최선의 손실: 0.086457 정확도: 97.30% 1 검증 세트 손실: 0.060466 최선의 손실: 0.060466 정확도: 98.32% 2 검증 세트 손실: 0.057832 최선의 손실: 0.057832 정확도: 98.40% 3 검증 세트 손실: 0.050015 최선의 손실: 0.050015 정확도: 98.44% 4 검증 세트 손실: 0.059918 최선의 손실: 0.050015 정확도: 98.59% 5 검증 세트 손실: 0.061310 최선의 손실: 0.050015 정확도: 98.05% 6 검증 세트 손실: 0.045503 최선의 손실: 0.045503 정확도: 98.67% 7 검증 세트 손실: 0.069905 최선의 손실: 0.045503 정확도: 98.05% 8 검증 세트 손실: 0.074877 최선의 손실: 0.045503 정확도: 98.16% 9 검증 세트 손실: 0.038914 최선의 손실: 0.038914 정확도: 98.79% 10 검증 세트 손실: 0.050341 최선의 손실: 0.038914 정확도: 98.71% 11 검증 세트 손실: 0.072224 최선의 손실: 0.038914 정확도: 98.75% 12 검증 세트 손실: 0.052401 최선의 손실: 0.038914 정확도: 98.91% 13 검증 세트 손실: 0.049612 최선의 손실: 0.038914 정확도: 98.55% 14 검증 세트 손실: 0.060295 최선의 손실: 0.038914 정확도: 98.79% 15 검증 세트 손실: 0.064208 최선의 손실: 0.038914 정확도: 98.67% 16 검증 세트 손실: 0.051375 최선의 손실: 0.038914 정확도: 99.22% 17 검증 세트 손실: 0.049331 최선의 손실: 0.038914 정확도: 98.94% 18 검증 세트 손실: 0.067461 최선의 손실: 0.038914 정확도: 98.94% 19 검증 세트 손실: 0.063362 최선의 손실: 0.038914 정확도: 98.91% 20 검증 세트 손실: 0.056202 최선의 손실: 0.038914 정확도: 98.83% 21 검증 세트 손실: 0.068848 최선의 손실: 0.038914 정확도: 99.10% 22 검증 세트 손실: 0.066839 최선의 손실: 0.038914 정확도: 98.94% 23 검증 세트 손실: 0.080844 최선의 손실: 0.038914 정확도: 98.98% 24 검증 세트 손실: 0.033566 최선의 손실: 0.033566 정확도: 99.22% 25 검증 세트 손실: 0.053485 최선의 손실: 0.033566 정확도: 98.98% 26 검증 세트 손실: 0.065793 최선의 손실: 0.033566 정확도: 98.91% 27 검증 세트 손실: 0.061346 최선의 손실: 0.033566 정확도: 98.79% 28 검증 세트 손실: 0.078744 최선의 손실: 0.033566 정확도: 98.79% 29 검증 세트 손실: 0.095004 최선의 손실: 0.033566 정확도: 98.94% 30 검증 세트 손실: 0.094228 최선의 손실: 0.033566 정확도: 98.59% 31 검증 세트 손실: 0.180432 최선의 손실: 0.033566 정확도: 98.48% 32 검증 세트 손실: 0.078169 최선의 손실: 0.033566 정확도: 98.98% 33 검증 세트 손실: 0.209027 최선의 손실: 0.033566 정확도: 90.89% 34 검증 세트 손실: 18.271706 최선의 손실: 0.033566 정확도: 94.41% 35 검증 세트 손실: 3.992936 최선의 손실: 0.033566 정확도: 97.34% 36 검증 세트 손실: 0.975922 최선의 손실: 0.033566 정확도: 97.77% 37 검증 세트 손실: 0.821661 최선의 손실: 0.033566 정확도: 98.05% 38 검증 세트 손실: 0.597372 최선의 손실: 0.033566 정확도: 98.24% 39 검증 세트 손실: 0.599902 최선의 손실: 0.033566 정확도: 97.65% 40 검증 세트 손실: 0.517793 최선의 손실: 0.033566 정확도: 98.36% 41 검증 세트 손실: 0.501182 최선의 손실: 0.033566 정확도: 98.32% 42 검증 세트 손실: 0.469662 최선의 손실: 0.033566 정확도: 98.24% 43 검증 세트 손실: 0.459965 최선의 손실: 0.033566 정확도: 98.48% 44 검증 세트 손실: 0.459645 최선의 손실: 0.033566 정확도: 98.16% 45 검증 세트 손실: 0.455448 최선의 손실: 0.033566 정확도: 98.40% 조기 종료! [CV] n_neurons=140, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total= 12.5s [CV] n_neurons=140, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 0 검증 세트 손실: 0.082524 최선의 손실: 0.082524 정확도: 97.50% 1 검증 세트 손실: 0.058572 최선의 손실: 0.058572 정확도: 98.36% 2 검증 세트 손실: 0.056426 최선의 손실: 0.056426 정확도: 98.24% 3 검증 세트 손실: 0.046784 최선의 손실: 0.046784 정확도: 98.48% 4 검증 세트 손실: 0.043390 최선의 손실: 0.043390 정확도: 98.51% 5 검증 세트 손실: 0.058186 최선의 손실: 0.043390 정확도: 98.40% 6 검증 세트 손실: 0.059133 최선의 손실: 0.043390 정확도: 98.40% 7 검증 세트 손실: 0.067209 최선의 손실: 0.043390 정확도: 98.32% 8 검증 세트 손실: 0.047232 최선의 손실: 0.043390 정확도: 98.71% 9 검증 세트 손실: 0.051077 최선의 손실: 0.043390 정확도: 98.75% 10 검증 세트 손실: 0.054516 최선의 손실: 0.043390 정확도: 98.63% 11 검증 세트 손실: 0.083684 최선의 손실: 0.043390 정확도: 98.05% 12 검증 세트 손실: 0.048853 최선의 손실: 0.043390 정확도: 98.87% 13 검증 세트 손실: 0.059731 최선의 손실: 0.043390 정확도: 98.67% 14 검증 세트 손실: 0.045459 최선의 손실: 0.043390 정확도: 98.91% 15 검증 세트 손실: 0.040755 최선의 손실: 0.040755 정확도: 99.18% 16 검증 세트 손실: 0.087764 최선의 손실: 0.040755 정확도: 98.79% 17 검증 세트 손실: 0.064897 최선의 손실: 0.040755 정확도: 98.83% 18 검증 세트 손실: 0.063251 최선의 손실: 0.040755 정확도: 98.67% 19 검증 세트 손실: 0.053084 최선의 손실: 0.040755 정확도: 98.91% 20 검증 세트 손실: 0.078288 최선의 손실: 0.040755 정확도: 98.48% 21 검증 세트 손실: 0.068242 최선의 손실: 0.040755 정확도: 98.87% 22 검증 세트 손실: 0.085484 최선의 손실: 0.040755 정확도: 98.71% 23 검증 세트 손실: 0.067786 최선의 손실: 0.040755 정확도: 98.75% 24 검증 세트 손실: 0.073786 최선의 손실: 0.040755 정확도: 98.51% 25 검증 세트 손실: 39.568306 최선의 손실: 0.040755 정확도: 63.37% 26 검증 세트 손실: 86.484024 최선의 손실: 0.040755 정확도: 51.92% 27 검증 세트 손실: 2.605725 최선의 손실: 0.040755 정확도: 87.41% 28 검증 세트 손실: 0.705630 최선의 손실: 0.040755 정확도: 93.51% 29 검증 세트 손실: 0.343942 최선의 손실: 0.040755 정확도: 95.62% 30 검증 세트 손실: 0.350043 최선의 손실: 0.040755 정확도: 95.47% 31 검증 세트 손실: 0.334493 최선의 손실: 0.040755 정확도: 93.94% 32 검증 세트 손실: 0.241222 최선의 손실: 0.040755 정확도: 95.90% 33 검증 세트 손실: 0.238252 최선의 손실: 0.040755 정확도: 95.66% 34 검증 세트 손실: 0.210346 최선의 손실: 0.040755 정확도: 96.33% 35 검증 세트 손실: 0.165647 최선의 손실: 0.040755 정확도: 96.99% 36 검증 세트 손실: 0.154940 최선의 손실: 0.040755 정확도: 96.95% 조기 종료! [CV] n_neurons=140, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total= 10.1s [CV] n_neurons=30, learning_rate=0.05, batch_size=10, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 1.675113 최선의 손실: 1.675113 정확도: 18.73% 1 검증 세트 손실: 1.624442 최선의 손실: 1.624442 정확도: 20.91% 2 검증 세트 손실: 1.754289 최선의 손실: 1.624442 정확도: 18.73% 3 검증 세트 손실: 1.679264 최선의 손실: 1.624442 정확도: 19.27% 4 검증 세트 손실: 1.640295 최선의 손실: 1.624442 정확도: 22.01% 5 검증 세트 손실: 1.907819 최선의 손실: 1.624442 정확도: 19.08% 6 검증 세트 손실: 1.861127 최선의 손실: 1.624442 정확도: 22.01% 7 검증 세트 손실: 1.646454 최선의 손실: 1.624442 정확도: 19.27% 8 검증 세트 손실: 1.682898 최선의 손실: 1.624442 정확도: 22.01% 9 검증 세트 손실: 1.800020 최선의 손실: 1.624442 정확도: 18.73% 10 검증 세트 손실: 1.787576 최선의 손실: 1.624442 정확도: 22.01% 11 검증 세트 손실: 1.982575 최선의 손실: 1.624442 정확도: 22.01% 12 검증 세트 손실: 1.943093 최선의 손실: 1.624442 정확도: 20.91% 13 검증 세트 손실: 1.777603 최선의 손실: 1.624442 정확도: 19.27% 14 검증 세트 손실: 1.791737 최선의 손실: 1.624442 정확도: 19.08% 15 검증 세트 손실: 1.913679 최선의 손실: 1.624442 정확도: 22.01% 16 검증 세트 손실: 1.850441 최선의 손실: 1.624442 정확도: 19.08% 17 검증 세트 손실: 1.676424 최선의 손실: 1.624442 정확도: 20.91% 18 검증 세트 손실: 1.803297 최선의 손실: 1.624442 정확도: 22.01% 19 검증 세트 손실: 1.727336 최선의 손실: 1.624442 정확도: 22.01% 20 검증 세트 손실: 1.709795 최선의 손실: 1.624442 정확도: 18.73% 21 검증 세트 손실: 1.744466 최선의 손실: 1.624442 정확도: 18.73% 22 검증 세트 손실: 1.651262 최선의 손실: 1.624442 정확도: 20.91% 조기 종료! [CV] n_neurons=30, learning_rate=0.05, batch_size=10, activation=<function elu at 0x7f8ec4ceef28>, total= 18.2s [CV] n_neurons=30, learning_rate=0.05, batch_size=10, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 1.823046 최선의 손실: 1.823046 정확도: 20.91% 1 검증 세트 손실: 1.680561 최선의 손실: 1.680561 정확도: 22.01% 2 검증 세트 손실: 1.646679 최선의 손실: 1.646679 정확도: 19.08% 3 검증 세트 손실: 1.725673 최선의 손실: 1.646679 정확도: 19.27% 4 검증 세트 손실: 1.825907 최선의 손실: 1.646679 정확도: 19.08% 5 검증 세트 손실: 1.658193 최선의 손실: 1.646679 정확도: 18.73% 6 검증 세트 손실: 1.851260 최선의 손실: 1.646679 정확도: 19.08% 7 검증 세트 손실: 1.647425 최선의 손실: 1.646679 정확도: 19.27% 8 검증 세트 손실: 1.898423 최선의 손실: 1.646679 정확도: 20.91% 9 검증 세트 손실: 1.914732 최선의 손실: 1.646679 정확도: 19.27% 10 검증 세트 손실: 1.686114 최선의 손실: 1.646679 정확도: 22.01% 11 검증 세트 손실: 1.647474 최선의 손실: 1.646679 정확도: 20.91% 12 검증 세트 손실: 1.853961 최선의 손실: 1.646679 정확도: 20.91% 13 검증 세트 손실: 1.669572 최선의 손실: 1.646679 정확도: 22.01% 14 검증 세트 손실: 1.703599 최선의 손실: 1.646679 정확도: 19.27% 15 검증 세트 손실: 1.998328 최선의 손실: 1.646679 정확도: 19.08% 16 검증 세트 손실: 1.656300 최선의 손실: 1.646679 정확도: 20.91% 17 검증 세트 손실: 1.947685 최선의 손실: 1.646679 정확도: 20.91% 18 검증 세트 손실: 2.143587 최선의 손실: 1.646679 정확도: 20.91% 19 검증 세트 손실: 1.900220 최선의 손실: 1.646679 정확도: 20.91% 20 검증 세트 손실: 1.930351 최선의 손실: 1.646679 정확도: 18.73% 21 검증 세트 손실: 1.900987 최선의 손실: 1.646679 정확도: 22.01% 22 검증 세트 손실: 1.750338 최선의 손실: 1.646679 정확도: 19.27% 23 검증 세트 손실: 2.205183 최선의 손실: 1.646679 정확도: 18.73% 조기 종료! [CV] n_neurons=30, learning_rate=0.05, batch_size=10, activation=<function elu at 0x7f8ec4ceef28>, total= 19.1s [CV] n_neurons=30, learning_rate=0.05, batch_size=10, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 1.644496 최선의 손실: 1.644496 정확도: 19.27% 1 검증 세트 손실: 1.849557 최선의 손실: 1.644496 정확도: 19.08% 2 검증 세트 손실: 1.726734 최선의 손실: 1.644496 정확도: 18.73% 3 검증 세트 손실: 1.915495 최선의 손실: 1.644496 정확도: 19.08% 4 검증 세트 손실: 2.044655 최선의 손실: 1.644496 정확도: 19.08% 5 검증 세트 손실: 1.818795 최선의 손실: 1.644496 정확도: 19.27% 6 검증 세트 손실: 1.747826 최선의 손실: 1.644496 정확도: 19.08% 7 검증 세트 손실: 1.830650 최선의 손실: 1.644496 정확도: 18.73% 8 검증 세트 손실: 1.649762 최선의 손실: 1.644496 정확도: 22.01% 9 검증 세트 손실: 2.048925 최선의 손실: 1.644496 정확도: 22.01% 10 검증 세트 손실: 1.832475 최선의 손실: 1.644496 정확도: 18.73% 11 검증 세트 손실: 1.816110 최선의 손실: 1.644496 정확도: 19.27% 12 검증 세트 손실: 1.836797 최선의 손실: 1.644496 정확도: 18.73% 13 검증 세트 손실: 1.796182 최선의 손실: 1.644496 정확도: 19.08% 14 검증 세트 손실: 1.792562 최선의 손실: 1.644496 정확도: 22.01% 15 검증 세트 손실: 1.879795 최선의 손실: 1.644496 정확도: 20.91% 16 검증 세트 손실: 1.704598 최선의 손실: 1.644496 정확도: 18.73% 17 검증 세트 손실: 1.803578 최선의 손실: 1.644496 정확도: 19.08% 18 검증 세트 손실: 2.113098 최선의 손실: 1.644496 정확도: 19.08% 19 검증 세트 손실: 1.628994 최선의 손실: 1.628994 정확도: 19.27% 20 검증 세트 손실: 1.801368 최선의 손실: 1.628994 정확도: 19.27% 21 검증 세트 손실: 1.647704 최선의 손실: 1.628994 정확도: 22.01% 22 검증 세트 손실: 1.653073 최선의 손실: 1.628994 정확도: 20.91% 23 검증 세트 손실: 1.739612 최선의 손실: 1.628994 정확도: 22.01% 24 검증 세트 손실: 1.861977 최선의 손실: 1.628994 정확도: 22.01% 25 검증 세트 손실: 1.744549 최선의 손실: 1.628994 정확도: 19.27% 26 검증 세트 손실: 1.719067 최선의 손실: 1.628994 정확도: 19.08% 27 검증 세트 손실: 1.685107 최선의 손실: 1.628994 정확도: 22.01% 28 검증 세트 손실: 2.323920 최선의 손실: 1.628994 정확도: 19.08% 29 검증 세트 손실: 2.050604 최선의 손실: 1.628994 정확도: 18.73% 30 검증 세트 손실: 1.854670 최선의 손실: 1.628994 정확도: 19.27% 31 검증 세트 손실: 1.956273 최선의 손실: 1.628994 정확도: 18.73% 32 검증 세트 손실: 1.666341 최선의 손실: 1.628994 정확도: 19.08% 33 검증 세트 손실: 1.684591 최선의 손실: 1.628994 정확도: 20.91% 34 검증 세트 손실: 1.747720 최선의 손실: 1.628994 정확도: 19.08% 35 검증 세트 손실: 1.761388 최선의 손실: 1.628994 정확도: 22.01% 36 검증 세트 손실: 1.971676 최선의 손실: 1.628994 정확도: 22.01% 37 검증 세트 손실: 1.921871 최선의 손실: 1.628994 정확도: 22.01% 38 검증 세트 손실: 1.989987 최선의 손실: 1.628994 정확도: 18.73% 39 검증 세트 손실: 1.904658 최선의 손실: 1.628994 정확도: 19.08% 40 검증 세트 손실: 1.730788 최선의 손실: 1.628994 정확도: 19.08% 조기 종료! [CV] n_neurons=30, learning_rate=0.05, batch_size=10, activation=<function elu at 0x7f8ec4ceef28>, total= 32.7s [CV] n_neurons=100, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 0 검증 세트 손실: 0.157414 최선의 손실: 0.157414 정확도: 95.27% 1 검증 세트 손실: 978.903076 최선의 손실: 0.157414 정확도: 18.73% 2 검증 세트 손실: 9.070212 최선의 손실: 0.157414 정확도: 46.60% 3 검증 세트 손실: 2.248569 최선의 손실: 0.157414 정확도: 67.36% 4 검증 세트 손실: 1.798182 최선의 손실: 0.157414 정확도: 69.78% 5 검증 세트 손실: 4.502388 최선의 손실: 0.157414 정확도: 53.71% 6 검증 세트 손실: 1.355072 최선의 손실: 0.157414 정확도: 75.02% 7 검증 세트 손실: 0.942957 최선의 손실: 0.157414 정확도: 80.84% 8 검증 세트 손실: 1.216302 최선의 손실: 0.157414 정확도: 78.77% 9 검증 세트 손실: 0.909291 최선의 손실: 0.157414 정확도: 82.06% 10 검증 세트 손실: 0.908842 최선의 손실: 0.157414 정확도: 80.77% 11 검증 세트 손실: 0.660176 최선의 손실: 0.157414 정확도: 86.47% 12 검증 세트 손실: 0.524754 최선의 손실: 0.157414 정확도: 89.64% 13 검증 세트 손실: 0.491662 최선의 손실: 0.157414 정확도: 88.19% 14 검증 세트 손실: 0.476809 최선의 손실: 0.157414 정확도: 89.87% 15 검증 세트 손실: 0.990491 최선의 손실: 0.157414 정확도: 80.92% 16 검증 세트 손실: 2.099900 최선의 손실: 0.157414 정확도: 90.58% 17 검증 세트 손실: 0.424807 최선의 손실: 0.157414 정확도: 89.99% 18 검증 세트 손실: 0.564467 최선의 손실: 0.157414 정확도: 87.84% 19 검증 세트 손실: 10.939535 최선의 손실: 0.157414 정확도: 44.72% 20 검증 세트 손실: 0.499434 최선의 손실: 0.157414 정확도: 89.99% 21 검증 세트 손실: 0.503215 최선의 손실: 0.157414 정확도: 90.54% 조기 종료! [CV] n_neurons=100, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total= 7.5s [CV] n_neurons=100, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 0 검증 세트 손실: 0.141715 최선의 손실: 0.141715 정확도: 95.97% 1 검증 세트 손실: 0.213246 최선의 손실: 0.141715 정확도: 94.57% 2 검증 세트 손실: 0.163034 최선의 손실: 0.141715 정확도: 94.92% 3 검증 세트 손실: 6830.126465 최선의 손실: 0.141715 정확도: 20.52% 4 검증 세트 손실: 9.483843 최선의 손실: 0.141715 정확도: 85.11% 5 검증 세트 손실: 3.915693 최선의 손실: 0.141715 정확도: 86.36% 6 검증 세트 손실: 2.473406 최선의 손실: 0.141715 정확도: 86.67% 7 검증 세트 손실: 4.477513 최선의 손실: 0.141715 정확도: 77.99% 8 검증 세트 손실: 1.985460 최선의 손실: 0.141715 정확도: 87.45% 9 검증 세트 손실: 1.955487 최선의 손실: 0.141715 정확도: 90.77% 10 검증 세트 손실: 2.128275 최선의 손실: 0.141715 정확도: 88.00% 11 검증 세트 손실: 2.887089 최선의 손실: 0.141715 정확도: 82.96% 12 검증 세트 손실: 1.951568 최선의 손실: 0.141715 정확도: 90.11% 13 검증 세트 손실: 2.789868 최선의 손실: 0.141715 정확도: 82.60% 14 검증 세트 손실: 1.353006 최선의 손실: 0.141715 정확도: 92.53% 15 검증 세트 손실: 1.838794 최선의 손실: 0.141715 정확도: 85.18% 16 검증 세트 손실: 1.680750 최선의 손실: 0.141715 정확도: 88.82% 17 검증 세트 손실: 1.520696 최선의 손실: 0.141715 정확도: 92.10% 18 검증 세트 손실: 1.439293 최선의 손실: 0.141715 정확도: 92.26% 19 검증 세트 손실: 2.032712 최선의 손실: 0.141715 정확도: 92.30% 20 검증 세트 손실: 1.230209 최선의 손실: 0.141715 정확도: 92.53% 21 검증 세트 손실: 1.348697 최선의 손실: 0.141715 정확도: 91.91% 조기 종료! [CV] n_neurons=100, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total= 7.6s [CV] n_neurons=100, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 0 검증 세트 손실: 0.176284 최선의 손실: 0.176284 정확도: 95.15% 1 검증 세트 손실: 0.280130 최선의 손실: 0.176284 정확도: 93.94% 2 검증 세트 손실: 406.837738 최선의 손실: 0.176284 정확도: 26.08% 3 검증 세트 손실: 6.406219 최선의 손실: 0.176284 정확도: 71.27% 4 검증 세트 손실: 4.300102 최선의 손실: 0.176284 정확도: 72.87% 5 검증 세트 손실: 1.963602 최선의 손실: 0.176284 정확도: 79.59% 6 검증 세트 손실: 1.499174 최선의 손실: 0.176284 정확도: 81.47% 7 검증 세트 손실: 1.323041 최선의 손실: 0.176284 정확도: 83.42% 8 검증 세트 손실: 1.200879 최선의 손실: 0.176284 정확도: 82.80% 9 검증 세트 손실: 1.375555 최선의 손실: 0.176284 정확도: 78.54% 10 검증 세트 손실: 0.868348 최선의 손실: 0.176284 정확도: 88.51% 11 검증 세트 손실: 1.421240 최선의 손실: 0.176284 정확도: 83.74% 12 검증 세트 손실: 0.914606 최선의 손실: 0.176284 정확도: 87.37% 13 검증 세트 손실: 1.826244 최선의 손실: 0.176284 정확도: 84.44% 14 검증 세트 손실: 2.013771 최선의 손실: 0.176284 정확도: 78.03% 15 검증 세트 손실: 0.990790 최선의 손실: 0.176284 정확도: 87.72% 16 검증 세트 손실: 0.792205 최선의 손실: 0.176284 정확도: 86.55% 17 검증 세트 손실: 0.775267 최선의 손실: 0.176284 정확도: 87.72% 18 검증 세트 손실: 47723.910156 최선의 손실: 0.176284 정확도: 18.73% 19 검증 세트 손실: 356.327148 최선의 손실: 0.176284 정확도: 54.61% 20 검증 세트 손실: 234.051437 최선의 손실: 0.176284 정확도: 70.21% 21 검증 세트 손실: 132.854446 최선의 손실: 0.176284 정확도: 60.52% 조기 종료! [CV] n_neurons=100, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total= 7.5s [CV] n_neurons=100, learning_rate=0.02, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 0 검증 세트 손실: 0.836267 최선의 손실: 0.836267 정확도: 88.58% 1 검증 세트 손실: 0.148278 최선의 손실: 0.148278 정확도: 95.54% 2 검증 세트 손실: 0.096579 최선의 손실: 0.096579 정확도: 97.34% 3 검증 세트 손실: 0.081980 최선의 손실: 0.081980 정확도: 97.50% 4 검증 세트 손실: 1.456338 최선의 손실: 0.081980 정확도: 73.92% 5 검증 세트 손실: 0.324469 최선의 손실: 0.081980 정확도: 91.44% 6 검증 세트 손실: 0.225403 최선의 손실: 0.081980 정확도: 93.82% 7 검증 세트 손실: 0.147738 최선의 손실: 0.081980 정확도: 95.93% 8 검증 세트 손실: 0.139093 최선의 손실: 0.081980 정확도: 96.40% 9 검증 세트 손실: 1.721742 최선의 손실: 0.081980 정확도: 95.97% 10 검증 세트 손실: 0.210029 최선의 손실: 0.081980 정확도: 95.86% 11 검증 세트 손실: 0.141892 최선의 손실: 0.081980 정확도: 96.83% 12 검증 세트 손실: 0.112585 최선의 손실: 0.081980 정확도: 96.76% 13 검증 세트 손실: 0.128034 최선의 손실: 0.081980 정확도: 96.36% 14 검증 세트 손실: 0.192407 최선의 손실: 0.081980 정확도: 96.48% 15 검증 세트 손실: 0.109096 최선의 손실: 0.081980 정확도: 97.42% 16 검증 세트 손실: 0.103622 최선의 손실: 0.081980 정확도: 97.38% 17 검증 세트 손실: 0.179908 최선의 손실: 0.081980 정확도: 96.40% 18 검증 세트 손실: 0.528444 최선의 손실: 0.081980 정확도: 97.19% 19 검증 세트 손실: 1.595581 최선의 손실: 0.081980 정확도: 97.69% 20 검증 세트 손실: 8.501369 최선의 손실: 0.081980 정확도: 93.59% 21 검증 세트 손실: 4.592917 최선의 손실: 0.081980 정확도: 94.53% 22 검증 세트 손실: 3.081390 최선의 손실: 0.081980 정확도: 93.75% 23 검증 세트 손실: 2.115669 최선의 손실: 0.081980 정확도: 95.62% 24 검증 세트 손실: 3.504742 최선의 손실: 0.081980 정확도: 93.24% 조기 종료! [CV] n_neurons=100, learning_rate=0.02, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total= 10.9s [CV] n_neurons=100, learning_rate=0.02, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 0 검증 세트 손실: 0.263095 최선의 손실: 0.263095 정확도: 96.01% 1 검증 세트 손실: 0.136195 최선의 손실: 0.136195 정확도: 96.09% 2 검증 세트 손실: 0.154422 최선의 손실: 0.136195 정확도: 95.54% 3 검증 세트 손실: 0.355536 최선의 손실: 0.136195 정확도: 94.57% 4 검증 세트 손실: 83.930191 최선의 손실: 0.136195 정확도: 54.53% 5 검증 세트 손실: 1.744786 최선의 손실: 0.136195 정확도: 92.61% 6 검증 세트 손실: 3.615491 최선의 손실: 0.136195 정확도: 88.04% 7 검증 세트 손실: 0.991760 최선의 손실: 0.136195 정확도: 94.45% 8 검증 세트 손실: 1.740187 최선의 손실: 0.136195 정확도: 92.73% 9 검증 세트 손실: 1.196644 최선의 손실: 0.136195 정확도: 94.10% 10 검증 세트 손실: 165.308197 최선의 손실: 0.136195 정확도: 49.30% 11 검증 세트 손실: 13.732984 최선의 손실: 0.136195 정확도: 90.70% 12 검증 세트 손실: 5.094893 최선의 손실: 0.136195 정확도: 94.76% 13 검증 세트 손실: 9.978399 최선의 손실: 0.136195 정확도: 89.91% 14 검증 세트 손실: 4.584772 최선의 손실: 0.136195 정확도: 94.33% 15 검증 세트 손실: 3.182966 최선의 손실: 0.136195 정확도: 95.39% 16 검증 세트 손실: 3.601617 최선의 손실: 0.136195 정확도: 92.85% 17 검증 세트 손실: 3.216586 최선의 손실: 0.136195 정확도: 93.67% 18 검증 세트 손실: 3.008424 최선의 손실: 0.136195 정확도: 94.88% 19 검증 세트 손실: 1.530130 최선의 손실: 0.136195 정확도: 96.01% 20 검증 세트 손실: 1.529864 최선의 손실: 0.136195 정확도: 96.44% 21 검증 세트 손실: 2.185052 최선의 손실: 0.136195 정확도: 95.86% 22 검증 세트 손실: 1.124366 최선의 손실: 0.136195 정확도: 95.97% 조기 종료! [CV] n_neurons=100, learning_rate=0.02, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total= 10.1s [CV] n_neurons=100, learning_rate=0.02, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 0 검증 세트 손실: 0.167140 최선의 손실: 0.167140 정확도: 95.27% 1 검증 세트 손실: 0.727413 최선의 손실: 0.167140 정확도: 92.81% 2 검증 세트 손실: 1.347072 최선의 손실: 0.167140 정확도: 94.72% 3 검증 세트 손실: 0.134592 최선의 손실: 0.134592 정확도: 96.36% 4 검증 세트 손실: 0.120858 최선의 손실: 0.120858 정확도: 97.22% 5 검증 세트 손실: 0.151599 최선의 손실: 0.120858 정확도: 96.44% 6 검증 세트 손실: 0.158023 최선의 손실: 0.120858 정확도: 96.60% 7 검증 세트 손실: 0.160928 최선의 손실: 0.120858 정확도: 97.07% 8 검증 세트 손실: 0.135218 최선의 손실: 0.120858 정확도: 97.58% 9 검증 세트 손실: 0.112320 최선의 손실: 0.112320 정확도: 97.54% 10 검증 세트 손실: 111.508469 최선의 손실: 0.112320 정확도: 17.71% 11 검증 세트 손실: 4.634261 최선의 손실: 0.112320 정확도: 66.50% 12 검증 세트 손실: 1.034088 최선의 손실: 0.112320 정확도: 80.73% 13 검증 세트 손실: 0.788938 최선의 손실: 0.112320 정확도: 86.04% 14 검증 세트 손실: 0.703921 최선의 손실: 0.112320 정확도: 87.72% 15 검증 세트 손실: 0.908712 최선의 손실: 0.112320 정확도: 85.57% 16 검증 세트 손실: 0.442157 최선의 손실: 0.112320 정확도: 93.71% 17 검증 세트 손실: 0.661416 최선의 손실: 0.112320 정확도: 85.46% 18 검증 세트 손실: 0.583134 최선의 손실: 0.112320 정확도: 93.39% 19 검증 세트 손실: 0.332413 최선의 손실: 0.112320 정확도: 95.43% 20 검증 세트 손실: 1.228956 최선의 손실: 0.112320 정확도: 90.93% 21 검증 세트 손실: 0.932863 최선의 손실: 0.112320 정확도: 91.52% 22 검증 세트 손실: 0.579647 최선의 손실: 0.112320 정확도: 92.92% 23 검증 세트 손실: 0.390184 최선의 손실: 0.112320 정확도: 94.53% 24 검증 세트 손실: 0.303948 최선의 손실: 0.112320 정확도: 95.31% 25 검증 세트 손실: 0.327582 최선의 손실: 0.112320 정확도: 93.71% 26 검증 세트 손실: 0.421843 최선의 손실: 0.112320 정확도: 93.32% 27 검증 세트 손실: 213.164459 최선의 손실: 0.112320 정확도: 87.57% 28 검증 세트 손실: 2.471107 최선의 손실: 0.112320 정확도: 87.22% 29 검증 세트 손실: 1.226172 최선의 손실: 0.112320 정확도: 80.18% 30 검증 세트 손실: 1.196105 최선의 손실: 0.112320 정확도: 93.16% 조기 종료! [CV] n_neurons=100, learning_rate=0.02, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total= 13.6s [CV] n_neurons=70, learning_rate=0.05, batch_size=10, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 2.137889 최선의 손실: 2.137889 정확도: 19.27% 1 검증 세트 손실: 1.829909 최선의 손실: 1.829909 정확도: 22.01% 2 검증 세트 손실: 1.797175 최선의 손실: 1.797175 정확도: 18.73% 3 검증 세트 손실: 1.872716 최선의 손실: 1.797175 정확도: 19.08% 4 검증 세트 손실: 1.731649 최선의 손실: 1.731649 정확도: 19.27% 5 검증 세트 손실: 1.666483 최선의 손실: 1.666483 정확도: 19.08% 6 검증 세트 손실: 2.220948 최선의 손실: 1.666483 정확도: 19.27% 7 검증 세트 손실: 2.015727 최선의 손실: 1.666483 정확도: 19.08% 8 검증 세트 손실: 2.090927 최선의 손실: 1.666483 정확도: 19.08% 9 검증 세트 손실: 1.947276 최선의 손실: 1.666483 정확도: 22.01% 10 검증 세트 손실: 1.792381 최선의 손실: 1.666483 정확도: 19.08% 11 검증 세트 손실: 1.672827 최선의 손실: 1.666483 정확도: 19.08% 12 검증 세트 손실: 1.912346 최선의 손실: 1.666483 정확도: 18.73% 13 검증 세트 손실: 2.118673 최선의 손실: 1.666483 정확도: 19.08% 14 검증 세트 손실: 2.516825 최선의 손실: 1.666483 정확도: 20.91% 15 검증 세트 손실: 1.914143 최선의 손실: 1.666483 정확도: 22.01% 16 검증 세트 손실: 2.225626 최선의 손실: 1.666483 정확도: 18.73% 17 검증 세트 손실: 1.658233 최선의 손실: 1.658233 정확도: 20.91% 18 검증 세트 손실: 2.221774 최선의 손실: 1.658233 정확도: 19.08% 19 검증 세트 손실: 2.665048 최선의 손실: 1.658233 정확도: 22.01% 20 검증 세트 손실: 2.008373 최선의 손실: 1.658233 정확도: 22.01% 21 검증 세트 손실: 2.444499 최선의 손실: 1.658233 정확도: 20.91% 22 검증 세트 손실: 2.119730 최선의 손실: 1.658233 정확도: 22.01% 23 검증 세트 손실: 2.245321 최선의 손실: 1.658233 정확도: 19.27% 24 검증 세트 손실: 1.920225 최선의 손실: 1.658233 정확도: 20.91% 25 검증 세트 손실: 1.993324 최선의 손실: 1.658233 정확도: 20.91% 26 검증 세트 손실: 1.718372 최선의 손실: 1.658233 정확도: 19.08% 27 검증 세트 손실: 2.015469 최선의 손실: 1.658233 정확도: 18.73% 28 검증 세트 손실: 2.296116 최선의 손실: 1.658233 정확도: 19.08% 29 검증 세트 손실: 1.739967 최선의 손실: 1.658233 정확도: 20.91% 30 검증 세트 손실: 1.709734 최선의 손실: 1.658233 정확도: 18.73% 31 검증 세트 손실: 1.664722 최선의 손실: 1.658233 정확도: 20.91% 32 검증 세트 손실: 1.779048 최선의 손실: 1.658233 정확도: 22.01% 33 검증 세트 손실: 1.714502 최선의 손실: 1.658233 정확도: 19.08% 34 검증 세트 손실: 2.160548 최선의 손실: 1.658233 정확도: 19.08% 35 검증 세트 손실: 2.389713 최선의 손실: 1.658233 정확도: 19.27% 36 검증 세트 손실: 1.843754 최선의 손실: 1.658233 정확도: 18.73% 37 검증 세트 손실: 1.860699 최선의 손실: 1.658233 정확도: 19.08% 38 검증 세트 손실: 2.205716 최선의 손실: 1.658233 정확도: 19.08% 조기 종료! [CV] n_neurons=70, learning_rate=0.05, batch_size=10, activation=<function elu at 0x7f8ec4ceef28>, total= 40.0s [CV] n_neurons=70, learning_rate=0.05, batch_size=10, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 1.843515 최선의 손실: 1.843515 정확도: 19.27% 1 검증 세트 손실: 1.861793 최선의 손실: 1.843515 정확도: 22.01% 2 검증 세트 손실: 2.011513 최선의 손실: 1.843515 정확도: 18.73% 3 검증 세트 손실: 2.016104 최선의 손실: 1.843515 정확도: 22.01% 4 검증 세트 손실: 1.970925 최선의 손실: 1.843515 정확도: 19.08% 5 검증 세트 손실: 1.647395 최선의 손실: 1.647395 정확도: 20.91% 6 검증 세트 손실: 1.701503 최선의 손실: 1.647395 정확도: 19.27% 7 검증 세트 손실: 2.395791 최선의 손실: 1.647395 정확도: 19.08% 8 검증 세트 손실: 1.941442 최선의 손실: 1.647395 정확도: 18.73% 9 검증 세트 손실: 1.963344 최선의 손실: 1.647395 정확도: 20.91% 10 검증 세트 손실: 1.835824 최선의 손실: 1.647395 정확도: 19.08% 11 검증 세트 손실: 1.930026 최선의 손실: 1.647395 정확도: 22.01% 12 검증 세트 손실: 1.885898 최선의 손실: 1.647395 정확도: 20.91% 13 검증 세트 손실: 2.390905 최선의 손실: 1.647395 정확도: 19.08% 14 검증 세트 손실: 1.961101 최선의 손실: 1.647395 정확도: 19.27% 15 검증 세트 손실: 1.962756 최선의 손실: 1.647395 정확도: 20.91% 16 검증 세트 손실: 1.886139 최선의 손실: 1.647395 정확도: 18.73% 17 검증 세트 손실: 1.892859 최선의 손실: 1.647395 정확도: 19.08% 18 검증 세트 손실: 1.981896 최선의 손실: 1.647395 정확도: 19.08% 19 검증 세트 손실: 1.750127 최선의 손실: 1.647395 정확도: 22.01% 20 검증 세트 손실: 2.134342 최선의 손실: 1.647395 정확도: 19.27% 21 검증 세트 손실: 1.879302 최선의 손실: 1.647395 정확도: 22.01% 22 검증 세트 손실: 2.148499 최선의 손실: 1.647395 정확도: 19.08% 23 검증 세트 손실: 2.088907 최선의 손실: 1.647395 정확도: 22.01% 24 검증 세트 손실: 1.838559 최선의 손실: 1.647395 정확도: 20.91% 25 검증 세트 손실: 1.905606 최선의 손실: 1.647395 정확도: 19.08% 26 검증 세트 손실: 2.406297 최선의 손실: 1.647395 정확도: 19.08% 조기 종료! [CV] n_neurons=70, learning_rate=0.05, batch_size=10, activation=<function elu at 0x7f8ec4ceef28>, total= 27.7s [CV] n_neurons=70, learning_rate=0.05, batch_size=10, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 1.752011 최선의 손실: 1.752011 정확도: 20.91% 1 검증 세트 손실: 1.948996 최선의 손실: 1.752011 정확도: 19.27% 2 검증 세트 손실: 1.933385 최선의 손실: 1.752011 정확도: 19.08% 3 검증 세트 손실: 1.852088 최선의 손실: 1.752011 정확도: 19.27% 4 검증 세트 손실: 2.686836 최선의 손실: 1.752011 정확도: 19.08% 5 검증 세트 손실: 1.852322 최선의 손실: 1.752011 정확도: 20.91% 6 검증 세트 손실: 1.812496 최선의 손실: 1.752011 정확도: 22.01% 7 검증 세트 손실: 1.757772 최선의 손실: 1.752011 정확도: 19.08% 8 검증 세트 손실: 1.902279 최선의 손실: 1.752011 정확도: 19.27% 9 검증 세트 손실: 2.087055 최선의 손실: 1.752011 정확도: 19.27% 10 검증 세트 손실: 1.779781 최선의 손실: 1.752011 정확도: 18.73% 11 검증 세트 손실: 2.227393 최선의 손실: 1.752011 정확도: 19.27% 12 검증 세트 손실: 1.950020 최선의 손실: 1.752011 정확도: 20.91% 13 검증 세트 손실: 3.099459 최선의 손실: 1.752011 정확도: 19.08% 14 검증 세트 손실: 1.830344 최선의 손실: 1.752011 정확도: 22.01% 15 검증 세트 손실: 1.733784 최선의 손실: 1.733784 정확도: 20.91% 16 검증 세트 손실: 2.189534 최선의 손실: 1.733784 정확도: 18.73% 17 검증 세트 손실: 1.943922 최선의 손실: 1.733784 정확도: 18.73% 18 검증 세트 손실: 1.848899 최선의 손실: 1.733784 정확도: 19.08% 19 검증 세트 손실: 1.984283 최선의 손실: 1.733784 정확도: 18.73% 20 검증 세트 손실: 1.919438 최선의 손실: 1.733784 정확도: 19.27% 21 검증 세트 손실: 2.156086 최선의 손실: 1.733784 정확도: 22.01% 22 검증 세트 손실: 1.834820 최선의 손실: 1.733784 정확도: 19.27% 23 검증 세트 손실: 2.444076 최선의 손실: 1.733784 정확도: 19.08% 24 검증 세트 손실: 1.866027 최선의 손실: 1.733784 정확도: 19.27% 25 검증 세트 손실: 1.884747 최선의 손실: 1.733784 정확도: 22.01% 26 검증 세트 손실: 1.738111 최선의 손실: 1.733784 정확도: 18.73% 27 검증 세트 손실: 1.679296 최선의 손실: 1.679296 정확도: 20.91% 28 검증 세트 손실: 2.567140 최선의 손실: 1.679296 정확도: 19.08% 29 검증 세트 손실: 2.661166 최선의 손실: 1.679296 정확도: 20.91% 30 검증 세트 손실: 2.013063 최선의 손실: 1.679296 정확도: 19.27% 31 검증 세트 손실: 1.886540 최선의 손실: 1.679296 정확도: 22.01% 32 검증 세트 손실: 1.891881 최선의 손실: 1.679296 정확도: 19.08% 33 검증 세트 손실: 2.216810 최선의 손실: 1.679296 정확도: 22.01% 34 검증 세트 손실: 2.191178 최선의 손실: 1.679296 정확도: 19.27% 35 검증 세트 손실: 1.704169 최선의 손실: 1.679296 정확도: 19.08% 36 검증 세트 손실: 1.731653 최선의 손실: 1.679296 정확도: 19.27% 37 검증 세트 손실: 1.813348 최선의 손실: 1.679296 정확도: 22.01% 38 검증 세트 손실: 3.032766 최선의 손실: 1.679296 정확도: 18.73% 39 검증 세트 손실: 2.401290 최선의 손실: 1.679296 정확도: 19.27% 40 검증 세트 손실: 1.645941 최선의 손실: 1.645941 정확도: 19.08% 41 검증 세트 손실: 2.166194 최선의 손실: 1.645941 정확도: 22.01% 42 검증 세트 손실: 2.384703 최선의 손실: 1.645941 정확도: 22.01% 43 검증 세트 손실: 2.204781 최선의 손실: 1.645941 정확도: 20.91% 44 검증 세트 손실: 1.765177 최선의 손실: 1.645941 정확도: 18.73% 45 검증 세트 손실: 1.696825 최선의 손실: 1.645941 정확도: 18.73% 46 검증 세트 손실: 2.521089 최선의 손실: 1.645941 정확도: 20.91% 47 검증 세트 손실: 2.133252 최선의 손실: 1.645941 정확도: 19.08% 48 검증 세트 손실: 1.695984 최선의 손실: 1.645941 정확도: 22.01% 49 검증 세트 손실: 1.936505 최선의 손실: 1.645941 정확도: 19.08% 50 검증 세트 손실: 2.176909 최선의 손실: 1.645941 정확도: 18.73% 51 검증 세트 손실: 2.179087 최선의 손실: 1.645941 정확도: 19.27% 52 검증 세트 손실: 2.013386 최선의 손실: 1.645941 정확도: 20.91% 53 검증 세트 손실: 2.239873 최선의 손실: 1.645941 정확도: 19.27% 54 검증 세트 손실: 1.942735 최선의 손실: 1.645941 정확도: 20.91% 55 검증 세트 손실: 1.686158 최선의 손실: 1.645941 정확도: 20.91% 56 검증 세트 손실: 2.281741 최선의 손실: 1.645941 정확도: 19.08% 57 검증 세트 손실: 2.154370 최선의 손실: 1.645941 정확도: 22.01% 58 검증 세트 손실: 1.815147 최선의 손실: 1.645941 정확도: 19.27% 59 검증 세트 손실: 1.998514 최선의 손실: 1.645941 정확도: 19.27% 60 검증 세트 손실: 1.969455 최선의 손실: 1.645941 정확도: 19.08% 61 검증 세트 손실: 2.026055 최선의 손실: 1.645941 정확도: 19.27% 조기 종료! [CV] n_neurons=70, learning_rate=0.05, batch_size=10, activation=<function elu at 0x7f8ec4ceef28>, total= 1.1min [CV] n_neurons=50, learning_rate=0.01, batch_size=500, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.103133 최선의 손실: 0.103133 정확도: 96.83% 1 검증 세트 손실: 0.062310 최선의 손실: 0.062310 정확도: 98.01% 2 검증 세트 손실: 0.067127 최선의 손실: 0.062310 정확도: 98.01% 3 검증 세트 손실: 0.067752 최선의 손실: 0.062310 정확도: 98.08% 4 검증 세트 손실: 0.052678 최선의 손실: 0.052678 정확도: 98.32% 5 검증 세트 손실: 0.050404 최선의 손실: 0.050404 정확도: 98.40% 6 검증 세트 손실: 0.047800 최선의 손실: 0.047800 정확도: 98.79% 7 검증 세트 손실: 0.051627 최선의 손실: 0.047800 정확도: 98.63% 8 검증 세트 손실: 0.042786 최선의 손실: 0.042786 정확도: 98.79% 9 검증 세트 손실: 0.051910 최선의 손실: 0.042786 정확도: 98.63% 10 검증 세트 손실: 0.052383 최선의 손실: 0.042786 정확도: 98.83% 11 검증 세트 손실: 0.054208 최선의 손실: 0.042786 정확도: 98.55% 12 검증 세트 손실: 0.055605 최선의 손실: 0.042786 정확도: 98.63% 13 검증 세트 손실: 0.058243 최선의 손실: 0.042786 정확도: 98.32% 14 검증 세트 손실: 0.054449 최선의 손실: 0.042786 정확도: 98.63% 15 검증 세트 손실: 0.103491 최선의 손실: 0.042786 정확도: 97.65% 16 검증 세트 손실: 0.046664 최선의 손실: 0.042786 정확도: 99.06% 17 검증 세트 손실: 0.061874 최선의 손실: 0.042786 정확도: 98.83% 18 검증 세트 손실: 0.063453 최선의 손실: 0.042786 정확도: 98.55% 19 검증 세트 손실: 0.064143 최선의 손실: 0.042786 정확도: 98.79% 20 검증 세트 손실: 0.085926 최선의 손실: 0.042786 정확도: 98.67% 21 검증 세트 손실: 0.066995 최선의 손실: 0.042786 정확도: 98.63% 22 검증 세트 손실: 0.071505 최선의 손실: 0.042786 정확도: 98.48% 23 검증 세트 손실: 0.076318 최선의 손실: 0.042786 정확도: 98.67% 24 검증 세트 손실: 0.068449 최선의 손실: 0.042786 정확도: 98.79% 25 검증 세트 손실: 0.066985 최선의 손실: 0.042786 정확도: 98.98% 26 검증 세트 손실: 0.064507 최선의 손실: 0.042786 정확도: 99.06% 27 검증 세트 손실: 0.069215 최선의 손실: 0.042786 정확도: 99.10% 28 검증 세트 손실: 0.069443 최선의 손실: 0.042786 정확도: 99.10% 29 검증 세트 손실: 0.070032 최선의 손실: 0.042786 정확도: 99.10% 조기 종료! [CV] n_neurons=50, learning_rate=0.01, batch_size=500, activation=<function relu at 0x7f8ec4c8c510>, total= 4.1s [CV] n_neurons=50, learning_rate=0.01, batch_size=500, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.102200 최선의 손실: 0.102200 정확도: 96.60% 1 검증 세트 손실: 0.073656 최선의 손실: 0.073656 정확도: 97.85% 2 검증 세트 손실: 0.055486 최선의 손실: 0.055486 정확도: 98.08% 3 검증 세트 손실: 0.061788 최선의 손실: 0.055486 정확도: 98.24% 4 검증 세트 손실: 0.067512 최선의 손실: 0.055486 정확도: 98.32% 5 검증 세트 손실: 0.045744 최선의 손실: 0.045744 정확도: 98.36% 6 검증 세트 손실: 0.073225 최선의 손실: 0.045744 정확도: 98.12% 7 검증 세트 손실: 0.057333 최선의 손실: 0.045744 정확도: 98.36% 8 검증 세트 손실: 0.049836 최선의 손실: 0.045744 정확도: 98.59% 9 검증 세트 손실: 0.057928 최선의 손실: 0.045744 정확도: 98.59% 10 검증 세트 손실: 0.052565 최선의 손실: 0.045744 정확도: 98.59% 11 검증 세트 손실: 0.050716 최선의 손실: 0.045744 정확도: 98.63% 12 검증 세트 손실: 0.058732 최선의 손실: 0.045744 정확도: 98.44% 13 검증 세트 손실: 0.051241 최선의 손실: 0.045744 정확도: 98.55% 14 검증 세트 손실: 0.065893 최선의 손실: 0.045744 정확도: 98.44% 15 검증 세트 손실: 0.067208 최선의 손실: 0.045744 정확도: 98.40% 16 검증 세트 손실: 0.056171 최선의 손실: 0.045744 정확도: 98.44% 17 검증 세트 손실: 0.044505 최선의 손실: 0.044505 정확도: 98.83% 18 검증 세트 손실: 0.049979 최선의 손실: 0.044505 정확도: 98.91% 19 검증 세트 손실: 0.065124 최선의 손실: 0.044505 정확도: 98.79% 20 검증 세트 손실: 0.050391 최선의 손실: 0.044505 정확도: 98.91% 21 검증 세트 손실: 0.045792 최선의 손실: 0.044505 정확도: 98.98% 22 검증 세트 손실: 0.046056 최선의 손실: 0.044505 정확도: 98.98% 23 검증 세트 손실: 0.077483 최선의 손실: 0.044505 정확도: 98.59% 24 검증 세트 손실: 0.047800 최선의 손실: 0.044505 정확도: 99.02% 25 검증 세트 손실: 0.050856 최선의 손실: 0.044505 정확도: 98.94% 26 검증 세트 손실: 0.062638 최선의 손실: 0.044505 정확도: 98.79% 27 검증 세트 손실: 0.053903 최선의 손실: 0.044505 정확도: 99.02% 28 검증 세트 손실: 0.066323 최선의 손실: 0.044505 정확도: 98.83% 29 검증 세트 손실: 0.056546 최선의 손실: 0.044505 정확도: 98.59% 30 검증 세트 손실: 0.053804 최선의 손실: 0.044505 정확도: 98.71% 31 검증 세트 손실: 0.076923 최선의 손실: 0.044505 정확도: 98.87% 32 검증 세트 손실: 0.070938 최선의 손실: 0.044505 정확도: 98.87% 33 검증 세트 손실: 0.050773 최선의 손실: 0.044505 정확도: 99.10% 34 검증 세트 손실: 0.069816 최선의 손실: 0.044505 정확도: 98.94% 35 검증 세트 손실: 0.060871 최선의 손실: 0.044505 정확도: 98.87% 36 검증 세트 손실: 0.068617 최선의 손실: 0.044505 정확도: 98.63% 37 검증 세트 손실: 0.058134 최선의 손실: 0.044505 정확도: 98.67% 38 검증 세트 손실: 0.063458 최선의 손실: 0.044505 정확도: 98.83% 조기 종료! [CV] n_neurons=50, learning_rate=0.01, batch_size=500, activation=<function relu at 0x7f8ec4c8c510>, total= 5.0s [CV] n_neurons=50, learning_rate=0.01, batch_size=500, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.088652 최선의 손실: 0.088652 정확도: 97.46% 1 검증 세트 손실: 0.063386 최선의 손실: 0.063386 정확도: 97.97% 2 검증 세트 손실: 0.070248 최선의 손실: 0.063386 정확도: 97.69% 3 검증 세트 손실: 0.049080 최선의 손실: 0.049080 정확도: 98.28% 4 검증 세트 손실: 0.040359 최선의 손실: 0.040359 정확도: 98.51% 5 검증 세트 손실: 0.047063 최선의 손실: 0.040359 정확도: 98.44% 6 검증 세트 손실: 0.044241 최선의 손실: 0.040359 정확도: 98.63% 7 검증 세트 손실: 0.051566 최선의 손실: 0.040359 정확도: 98.63% 8 검증 세트 손실: 0.058459 최선의 손실: 0.040359 정확도: 98.55% 9 검증 세트 손실: 0.065071 최선의 손실: 0.040359 정확도: 98.44% 10 검증 세트 손실: 0.072557 최선의 손실: 0.040359 정확도: 98.28% 11 검증 세트 손실: 0.055834 최선의 손실: 0.040359 정확도: 98.36% 12 검증 세트 손실: 0.048406 최선의 손실: 0.040359 정확도: 98.91% 13 검증 세트 손실: 0.068891 최선의 손실: 0.040359 정확도: 98.59% 14 검증 세트 손실: 0.089196 최선의 손실: 0.040359 정확도: 98.24% 15 검증 세트 손실: 0.059608 최선의 손실: 0.040359 정확도: 98.51% 16 검증 세트 손실: 0.064101 최선의 손실: 0.040359 정확도: 98.40% 17 검증 세트 손실: 0.069591 최선의 손실: 0.040359 정확도: 98.67% 18 검증 세트 손실: 0.065699 최선의 손실: 0.040359 정확도: 98.44% 19 검증 세트 손실: 0.077917 최선의 손실: 0.040359 정확도: 98.32% 20 검증 세트 손실: 0.065017 최선의 손실: 0.040359 정확도: 98.67% 21 검증 세트 손실: 0.072292 최선의 손실: 0.040359 정확도: 98.55% 22 검증 세트 손실: 0.056671 최선의 손실: 0.040359 정확도: 98.63% 23 검증 세트 손실: 0.058666 최선의 손실: 0.040359 정확도: 98.59% 24 검증 세트 손실: 0.072209 최선의 손실: 0.040359 정확도: 98.79% 25 검증 세트 손실: 0.056222 최선의 손실: 0.040359 정확도: 98.83% 조기 종료! [CV] n_neurons=50, learning_rate=0.01, batch_size=500, activation=<function relu at 0x7f8ec4c8c510>, total= 3.5s [CV] n_neurons=70, learning_rate=0.1, batch_size=50, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.239394 최선의 손실: 0.239394 정확도: 94.88% 1 검증 세트 손실: 1.697466 최선의 손실: 0.239394 정확도: 19.27% 2 검증 세트 손실: 1.896986 최선의 손실: 0.239394 정확도: 19.27% 3 검증 세트 손실: 1.839737 최선의 손실: 0.239394 정확도: 19.27% 4 검증 세트 손실: 1.650887 최선의 손실: 0.239394 정확도: 22.01% 5 검증 세트 손실: 1.641779 최선의 손실: 0.239394 정확도: 22.01% 6 검증 세트 손실: 1.879864 최선의 손실: 0.239394 정확도: 18.73% 7 검증 세트 손실: 1.777996 최선의 손실: 0.239394 정확도: 20.91% 8 검증 세트 손실: 1.684156 최선의 손실: 0.239394 정확도: 19.27% 9 검증 세트 손실: 1.909088 최선의 손실: 0.239394 정확도: 19.27% 10 검증 세트 손실: 1.838670 최선의 손실: 0.239394 정확도: 19.08% 11 검증 세트 손실: 2.018031 최선의 손실: 0.239394 정확도: 18.73% 12 검증 세트 손실: 1.861453 최선의 손실: 0.239394 정확도: 20.91% 13 검증 세트 손실: 1.690053 최선의 손실: 0.239394 정확도: 22.01% 14 검증 세트 손실: 1.830808 최선의 손실: 0.239394 정확도: 22.01% 15 검증 세트 손실: 1.887623 최선의 손실: 0.239394 정확도: 18.73% 16 검증 세트 손실: 1.724566 최선의 손실: 0.239394 정확도: 20.91% 17 검증 세트 손실: 2.260877 최선의 손실: 0.239394 정확도: 19.08% 18 검증 세트 손실: 1.828262 최선의 손실: 0.239394 정확도: 19.08% 19 검증 세트 손실: 1.695243 최선의 손실: 0.239394 정확도: 19.08% 20 검증 세트 손실: 1.684204 최선의 손실: 0.239394 정확도: 19.08% 21 검증 세트 손실: 2.550787 최선의 손실: 0.239394 정확도: 20.91% 조기 종료! [CV] n_neurons=70, learning_rate=0.1, batch_size=50, activation=<function elu at 0x7f8ec4ceef28>, total= 7.5s [CV] n_neurons=70, learning_rate=0.1, batch_size=50, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.574669 최선의 손실: 0.574669 정확도: 71.27% 1 검증 세트 손실: 1.722952 최선의 손실: 0.574669 정확도: 19.08% 2 검증 세트 손실: 1.620864 최선의 손실: 0.574669 정확도: 19.27% 3 검증 세트 손실: 1.662199 최선의 손실: 0.574669 정확도: 22.01% 4 검증 세트 손실: 1.711977 최선의 손실: 0.574669 정확도: 19.27% 5 검증 세트 손실: 1.700430 최선의 손실: 0.574669 정확도: 20.91% 6 검증 세트 손실: 1.687299 최선의 손실: 0.574669 정확도: 19.27% 7 검증 세트 손실: 1.691046 최선의 손실: 0.574669 정확도: 20.91% 8 검증 세트 손실: 1.855987 최선의 손실: 0.574669 정확도: 18.73% 9 검증 세트 손실: 1.773640 최선의 손실: 0.574669 정확도: 18.73% 10 검증 세트 손실: 1.765967 최선의 손실: 0.574669 정확도: 22.01% 11 검증 세트 손실: 1.758446 최선의 손실: 0.574669 정확도: 22.01% 12 검증 세트 손실: 1.716678 최선의 손실: 0.574669 정확도: 19.27% 13 검증 세트 손실: 1.941795 최선의 손실: 0.574669 정확도: 18.73% 14 검증 세트 손실: 1.790469 최선의 손실: 0.574669 정확도: 18.73% 15 검증 세트 손실: 1.746728 최선의 손실: 0.574669 정확도: 18.73% 16 검증 세트 손실: 1.722070 최선의 손실: 0.574669 정확도: 22.01% 17 검증 세트 손실: 2.549336 최선의 손실: 0.574669 정확도: 19.27% 18 검증 세트 손실: 1.803717 최선의 손실: 0.574669 정확도: 22.01% 19 검증 세트 손실: 1.764155 최선의 손실: 0.574669 정확도: 19.27% 20 검증 세트 손실: 1.773882 최선의 손실: 0.574669 정확도: 20.91% 21 검증 세트 손실: 1.836756 최선의 손실: 0.574669 정확도: 22.01% 조기 종료! [CV] n_neurons=70, learning_rate=0.1, batch_size=50, activation=<function elu at 0x7f8ec4ceef28>, total= 7.5s [CV] n_neurons=70, learning_rate=0.1, batch_size=50, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.356685 최선의 손실: 0.356685 정확도: 91.91% 1 검증 세트 손실: 1.642673 최선의 손실: 0.356685 정확도: 19.27% 2 검증 세트 손실: 1.699573 최선의 손실: 0.356685 정확도: 19.27% 3 검증 세트 손실: 1.665852 최선의 손실: 0.356685 정확도: 22.01% 4 검증 세트 손실: 1.657502 최선의 손실: 0.356685 정확도: 19.27% 5 검증 세트 손실: 1.801235 최선의 손실: 0.356685 정확도: 20.91% 6 검증 세트 손실: 1.676748 최선의 손실: 0.356685 정확도: 22.01% 7 검증 세트 손실: 1.640031 최선의 손실: 0.356685 정확도: 22.01% 8 검증 세트 손실: 1.659681 최선의 손실: 0.356685 정확도: 18.73% 9 검증 세트 손실: 1.806045 최선의 손실: 0.356685 정확도: 22.01% 10 검증 세트 손실: 1.682167 최선의 손실: 0.356685 정확도: 18.73% 11 검증 세트 손실: 1.914684 최선의 손실: 0.356685 정확도: 20.91% 12 검증 세트 손실: 1.975878 최선의 손실: 0.356685 정확도: 19.08% 13 검증 세트 손실: 2.063880 최선의 손실: 0.356685 정확도: 22.01% 14 검증 세트 손실: 1.743524 최선의 손실: 0.356685 정확도: 22.01% 15 검증 세트 손실: 1.859362 최선의 손실: 0.356685 정확도: 18.73% 16 검증 세트 손실: 1.884803 최선의 손실: 0.356685 정확도: 19.08% 17 검증 세트 손실: 2.281230 최선의 손실: 0.356685 정확도: 20.91% 18 검증 세트 손실: 1.765699 최선의 손실: 0.356685 정확도: 19.08% 19 검증 세트 손실: 1.714262 최선의 손실: 0.356685 정확도: 18.73% 20 검증 세트 손실: 1.854556 최선의 손실: 0.356685 정확도: 20.91% 21 검증 세트 손실: 1.802664 최선의 손실: 0.356685 정확도: 22.01% 조기 종료! [CV] n_neurons=70, learning_rate=0.1, batch_size=50, activation=<function elu at 0x7f8ec4ceef28>, total= 7.5s [CV] n_neurons=120, learning_rate=0.02, batch_size=50, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.103364 최선의 손실: 0.103364 정확도: 96.91% 1 검증 세트 손실: 0.117780 최선의 손실: 0.103364 정확도: 97.58% 2 검증 세트 손실: 1.748227 최선의 손실: 0.103364 정확도: 19.27% 3 검증 세트 손실: 1.764585 최선의 손실: 0.103364 정확도: 19.27% 4 검증 세트 손실: 1.730052 최선의 손실: 0.103364 정확도: 22.01% 5 검증 세트 손실: 1.688807 최선의 손실: 0.103364 정확도: 22.01% 6 검증 세트 손실: 1.644408 최선의 손실: 0.103364 정확도: 19.27% 7 검증 세트 손실: 1.728350 최선의 손실: 0.103364 정확도: 19.08% 8 검증 세트 손실: 1.744880 최선의 손실: 0.103364 정확도: 19.27% 9 검증 세트 손실: 1.860127 최선의 손실: 0.103364 정확도: 19.27% 10 검증 세트 손실: 1.741698 최선의 손실: 0.103364 정확도: 22.01% 11 검증 세트 손실: 1.788564 최선의 손실: 0.103364 정확도: 22.01% 12 검증 세트 손실: 1.688021 최선의 손실: 0.103364 정확도: 19.08% 13 검증 세트 손실: 1.777156 최선의 손실: 0.103364 정확도: 20.91% 14 검증 세트 손실: 1.688098 최선의 손실: 0.103364 정확도: 22.01% 15 검증 세트 손실: 1.670809 최선의 손실: 0.103364 정확도: 19.08% 16 검증 세트 손실: 1.814223 최선의 손실: 0.103364 정확도: 18.73% 17 검증 세트 손실: 1.641677 최선의 손실: 0.103364 정확도: 19.27% 18 검증 세트 손실: 1.687328 최선의 손실: 0.103364 정확도: 19.27% 19 검증 세트 손실: 1.632576 최선의 손실: 0.103364 정확도: 22.01% 20 검증 세트 손실: 1.659901 최선의 손실: 0.103364 정확도: 19.27% 21 검증 세트 손실: 1.728564 최선의 손실: 0.103364 정확도: 19.27% 조기 종료! [CV] n_neurons=120, learning_rate=0.02, batch_size=50, activation=<function elu at 0x7f8ec4ceef28>, total= 10.7s [CV] n_neurons=120, learning_rate=0.02, batch_size=50, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.144120 최선의 손실: 0.144120 정확도: 95.66% 1 검증 세트 손실: 0.179906 최선의 손실: 0.144120 정확도: 96.95% 2 검증 세트 손실: 1.619519 최선의 손실: 0.144120 정확도: 20.91% 3 검증 세트 손실: 1.650959 최선의 손실: 0.144120 정확도: 18.73% 4 검증 세트 손실: 1.683343 최선의 손실: 0.144120 정확도: 19.27% 5 검증 세트 손실: 1.629446 최선의 손실: 0.144120 정확도: 20.91% 6 검증 세트 손실: 1.688083 최선의 손실: 0.144120 정확도: 19.27% 7 검증 세트 손실: 1.794846 최선의 손실: 0.144120 정확도: 18.73% 8 검증 세트 손실: 1.818188 최선의 손실: 0.144120 정확도: 18.73% 9 검증 세트 손실: 1.779035 최선의 손실: 0.144120 정확도: 20.91% 10 검증 세트 손실: 1.752034 최선의 손실: 0.144120 정확도: 19.08% 11 검증 세트 손실: 1.668493 최선의 손실: 0.144120 정확도: 22.01% 12 검증 세트 손실: 1.798548 최선의 손실: 0.144120 정확도: 20.91% 13 검증 세트 손실: 1.665784 최선의 손실: 0.144120 정확도: 19.08% 14 검증 세트 손실: 1.667941 최선의 손실: 0.144120 정확도: 19.08% 15 검증 세트 손실: 1.722474 최선의 손실: 0.144120 정확도: 19.08% 16 검증 세트 손실: 1.665960 최선의 손실: 0.144120 정확도: 18.73% 17 검증 세트 손실: 1.664144 최선의 손실: 0.144120 정확도: 19.27% 18 검증 세트 손실: 1.635750 최선의 손실: 0.144120 정확도: 20.91% 19 검증 세트 손실: 1.647937 최선의 손실: 0.144120 정확도: 19.27% 20 검증 세트 손실: 1.685323 최선의 손실: 0.144120 정확도: 18.73% 21 검증 세트 손실: 1.772377 최선의 손실: 0.144120 정확도: 22.01% 조기 종료! [CV] n_neurons=120, learning_rate=0.02, batch_size=50, activation=<function elu at 0x7f8ec4ceef28>, total= 10.7s [CV] n_neurons=120, learning_rate=0.02, batch_size=50, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.169614 최선의 손실: 0.169614 정확도: 96.36% 1 검증 세트 손실: 0.096813 최선의 손실: 0.096813 정확도: 98.01% 2 검증 세트 손실: 1.807329 최선의 손실: 0.096813 정확도: 20.95% 3 검증 세트 손실: 1.655641 최선의 손실: 0.096813 정확도: 22.01% 4 검증 세트 손실: 1.780968 최선의 손실: 0.096813 정확도: 22.01% 5 검증 세트 손실: 1.803367 최선의 손실: 0.096813 정확도: 20.91% 6 검증 세트 손실: 1.651199 최선의 손실: 0.096813 정확도: 19.27% 7 검증 세트 손실: 1.740432 최선의 손실: 0.096813 정확도: 18.73% 8 검증 세트 손실: 1.717787 최선의 손실: 0.096813 정확도: 22.01% 9 검증 세트 손실: 1.861843 최선의 손실: 0.096813 정확도: 20.91% 10 검증 세트 손실: 1.655336 최선의 손실: 0.096813 정확도: 18.73% 11 검증 세트 손실: 1.926109 최선의 손실: 0.096813 정확도: 18.73% 12 검증 세트 손실: 1.788128 최선의 손실: 0.096813 정확도: 19.08% 13 검증 세트 손실: 1.620300 최선의 손실: 0.096813 정확도: 22.01% 14 검증 세트 손실: 1.684744 최선의 손실: 0.096813 정확도: 19.08% 15 검증 세트 손실: 1.629924 최선의 손실: 0.096813 정확도: 22.01% 16 검증 세트 손실: 1.631005 최선의 손실: 0.096813 정확도: 22.01% 17 검증 세트 손실: 1.662570 최선의 손실: 0.096813 정확도: 18.73% 18 검증 세트 손실: 1.638200 최선의 손실: 0.096813 정확도: 19.08% 19 검증 세트 손실: 1.751941 최선의 손실: 0.096813 정확도: 18.73% 20 검증 세트 손실: 1.718865 최선의 손실: 0.096813 정확도: 18.73% 21 검증 세트 손실: 1.827940 최선의 손실: 0.096813 정확도: 22.01% 22 검증 세트 손실: 1.673173 최선의 손실: 0.096813 정확도: 22.01% 조기 종료! [CV] n_neurons=120, learning_rate=0.02, batch_size=50, activation=<function elu at 0x7f8ec4ceef28>, total= 11.3s [CV] n_neurons=140, learning_rate=0.1, batch_size=50, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 1.162470 최선의 손실: 1.162470 정확도: 50.12% 1 검증 세트 손실: 1.628713 최선의 손실: 1.162470 정확도: 22.01% 2 검증 세트 손실: 1.631232 최선의 손실: 1.162470 정확도: 18.73% 3 검증 세트 손실: 1.609332 최선의 손실: 1.162470 정확도: 19.27% 4 검증 세트 손실: 1.617427 최선의 손실: 1.162470 정확도: 22.01% 5 검증 세트 손실: 1.616056 최선의 손실: 1.162470 정확도: 22.01% 6 검증 세트 손실: 1.616715 최선의 손실: 1.162470 정확도: 22.01% 7 검증 세트 손실: 1.617523 최선의 손실: 1.162470 정확도: 22.01% 8 검증 세트 손실: 1.617067 최선의 손실: 1.162470 정확도: 19.27% 9 검증 세트 손실: 1.608678 최선의 손실: 1.162470 정확도: 22.01% 10 검증 세트 손실: 1.609206 최선의 손실: 1.162470 정확도: 22.01% 11 검증 세트 손실: 1.608795 최선의 손실: 1.162470 정확도: 22.01% 12 검증 세트 손실: 1.616532 최선의 손실: 1.162470 정확도: 22.01% 13 검증 세트 손실: 1.625388 최선의 손실: 1.162470 정확도: 18.73% 14 검증 세트 손실: 1.614410 최선의 손실: 1.162470 정확도: 18.73% 15 검증 세트 손실: 1.612102 최선의 손실: 1.162470 정확도: 22.01% 16 검증 세트 손실: 1.608084 최선의 손실: 1.162470 정확도: 22.01% 17 검증 세트 손실: 1.615091 최선의 손실: 1.162470 정확도: 19.27% 18 검증 세트 손실: 1.616778 최선의 손실: 1.162470 정확도: 18.73% 19 검증 세트 손실: 1.612287 최선의 손실: 1.162470 정확도: 22.01% 20 검증 세트 손실: 1.615540 최선의 손실: 1.162470 정확도: 19.08% 21 검증 세트 손실: 1.619599 최선의 손실: 1.162470 정확도: 19.27% 조기 종료! [CV] n_neurons=140, learning_rate=0.1, batch_size=50, activation=<function relu at 0x7f8ec4c8c510>, total= 11.1s [CV] n_neurons=140, learning_rate=0.1, batch_size=50, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 1.591977 최선의 손실: 1.591977 정확도: 24.47% 1 검증 세트 손실: 1.632177 최선의 손실: 1.591977 정확도: 19.27% 2 검증 세트 손실: 1.609692 최선의 손실: 1.591977 정확도: 19.08% 3 검증 세트 손실: 1.616961 최선의 손실: 1.591977 정확도: 18.73% 4 검증 세트 손실: 1.611154 최선의 손실: 1.591977 정확도: 22.01% 5 검증 세트 손실: 1.611874 최선의 손실: 1.591977 정확도: 22.01% 6 검증 세트 손실: 1.630985 최선의 손실: 1.591977 정확도: 19.08% 7 검증 세트 손실: 1.622768 최선의 손실: 1.591977 정확도: 18.73% 8 검증 세트 손실: 1.613116 최선의 손실: 1.591977 정확도: 22.01% 9 검증 세트 손실: 1.611212 최선의 손실: 1.591977 정확도: 22.01% 10 검증 세트 손실: 1.610324 최선의 손실: 1.591977 정확도: 22.01% 11 검증 세트 손실: 1.611938 최선의 손실: 1.591977 정확도: 22.01% 12 검증 세트 손실: 1.615608 최선의 손실: 1.591977 정확도: 19.27% 13 검증 세트 손실: 1.617278 최선의 손실: 1.591977 정확도: 19.08% 14 검증 세트 손실: 1.610541 최선의 손실: 1.591977 정확도: 22.01% 15 검증 세트 손실: 1.612049 최선의 손실: 1.591977 정확도: 22.01% 16 검증 세트 손실: 1.619841 최선의 손실: 1.591977 정확도: 22.01% 17 검증 세트 손실: 1.614758 최선의 손실: 1.591977 정확도: 19.08% 18 검증 세트 손실: 1.611527 최선의 손실: 1.591977 정확도: 22.01% 19 검증 세트 손실: 1.609969 최선의 손실: 1.591977 정확도: 22.01% 20 검증 세트 손실: 1.608911 최선의 손실: 1.591977 정확도: 22.01% 21 검증 세트 손실: 1.629898 최선의 손실: 1.591977 정확도: 22.01% 조기 종료! [CV] n_neurons=140, learning_rate=0.1, batch_size=50, activation=<function relu at 0x7f8ec4c8c510>, total= 11.1s [CV] n_neurons=140, learning_rate=0.1, batch_size=50, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 5.114789 최선의 손실: 5.114789 정확도: 22.01% 1 검증 세트 손실: 1.616550 최선의 손실: 1.616550 정확도: 19.27% 2 검증 세트 손실: 1.613455 최선의 손실: 1.613455 정확도: 22.01% 3 검증 세트 손실: 1.630151 최선의 손실: 1.613455 정확도: 18.73% 4 검증 세트 손실: 1.608664 최선의 손실: 1.608664 정확도: 22.01% 5 검증 세트 손실: 1.615857 최선의 손실: 1.608664 정확도: 22.01% 6 검증 세트 손실: 1.615343 최선의 손실: 1.608664 정확도: 22.01% 7 검증 세트 손실: 1.615426 최선의 손실: 1.608664 정확도: 18.73% 8 검증 세트 손실: 1.612331 최선의 손실: 1.608664 정확도: 22.01% 9 검증 세트 손실: 1.610826 최선의 손실: 1.608664 정확도: 22.01% 10 검증 세트 손실: 1.611880 최선의 손실: 1.608664 정확도: 22.01% 11 검증 세트 손실: 1.612862 최선의 손실: 1.608664 정확도: 22.01% 12 검증 세트 손실: 1.610811 최선의 손실: 1.608664 정확도: 20.91% 13 검증 세트 손실: 1.620053 최선의 손실: 1.608664 정확도: 19.27% 14 검증 세트 손실: 1.612821 최선의 손실: 1.608664 정확도: 22.01% 15 검증 세트 손실: 1.615504 최선의 손실: 1.608664 정확도: 22.01% 16 검증 세트 손실: 1.628741 최선의 손실: 1.608664 정확도: 18.73% 17 검증 세트 손실: 1.625352 최선의 손실: 1.608664 정확도: 19.08% 18 검증 세트 손실: 1.609349 최선의 손실: 1.608664 정확도: 20.91% 19 검증 세트 손실: 1.613124 최선의 손실: 1.608664 정확도: 19.08% 20 검증 세트 손실: 1.613291 최선의 손실: 1.608664 정확도: 19.27% 21 검증 세트 손실: 1.623134 최선의 손실: 1.608664 정확도: 22.01% 22 검증 세트 손실: 1.617783 최선의 손실: 1.608664 정확도: 22.01% 23 검증 세트 손실: 1.617091 최선의 손실: 1.608664 정확도: 22.01% 24 검증 세트 손실: 1.608748 최선의 손실: 1.608664 정확도: 20.91% 25 검증 세트 손실: 1.615597 최선의 손실: 1.608664 정확도: 18.73% 조기 종료! [CV] n_neurons=140, learning_rate=0.1, batch_size=50, activation=<function relu at 0x7f8ec4c8c510>, total= 13.2s [CV] n_neurons=90, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 0 검증 세트 손실: 103.046265 최선의 손실: 103.046265 정확도: 44.68% 1 검증 세트 손실: 3894.037598 최선의 손실: 103.046265 정확도: 38.15% 2 검증 세트 손실: 188743.156250 최선의 손실: 103.046265 정확도: 34.01% 3 검증 세트 손실: 103245.507812 최선의 손실: 103.046265 정확도: 39.91% 4 검증 세트 손실: 3615.712158 최선의 손실: 103.046265 정확도: 72.28% 5 검증 세트 손실: 602.530762 최선의 손실: 103.046265 정확도: 78.38% 6 검증 세트 손실: 292.432465 최선의 손실: 103.046265 정확도: 88.35% 7 검증 세트 손실: 175.339432 최선의 손실: 103.046265 정확도: 88.23% 8 검증 세트 손실: 621.894958 최선의 손실: 103.046265 정확도: 84.56% 9 검증 세트 손실: 205.935623 최선의 손실: 103.046265 정확도: 86.90% 10 검증 세트 손실: 574.563599 최선의 손실: 103.046265 정확도: 78.77% 11 검증 세트 손실: 147.283981 최선의 손실: 103.046265 정확도: 91.48% 12 검증 세트 손실: 119.081154 최선의 손실: 103.046265 정확도: 92.65% 13 검증 세트 손실: 72.598778 최선의 손실: 72.598778 정확도: 93.59% 14 검증 세트 손실: 128.097794 최선의 손실: 72.598778 정확도: 89.56% 15 검증 세트 손실: 58.919201 최선의 손실: 58.919201 정확도: 93.78% 16 검증 세트 손실: 605.112488 최선의 손실: 58.919201 정확도: 86.24% 17 검증 세트 손실: 242.258499 최선의 손실: 58.919201 정확도: 93.82% 18 검증 세트 손실: 152.493088 최선의 손실: 58.919201 정확도: 90.58% 19 검증 세트 손실: 98.061996 최선의 손실: 58.919201 정확도: 94.76% 20 검증 세트 손실: 103.558617 최선의 손실: 58.919201 정확도: 95.11% 21 검증 세트 손실: 87.303940 최선의 손실: 58.919201 정확도: 95.47% 22 검증 세트 손실: 79.762535 최선의 손실: 58.919201 정확도: 95.78% 23 검증 세트 손실: 109.392105 최선의 손실: 58.919201 정확도: 90.58% 24 검증 세트 손실: 117.719948 최선의 손실: 58.919201 정확도: 93.59% 25 검증 세트 손실: 74.542526 최선의 손실: 58.919201 정확도: 95.35% 26 검증 세트 손실: 76.486061 최선의 손실: 58.919201 정확도: 95.19% 27 검증 세트 손실: 142.724625 최선의 손실: 58.919201 정확도: 93.94% 28 검증 세트 손실: 70.466728 최선의 손실: 58.919201 정확도: 96.13% 29 검증 세트 손실: 51.892567 최선의 손실: 51.892567 정확도: 95.43% 30 검증 세트 손실: 59.593994 최선의 손실: 51.892567 정확도: 96.13% 31 검증 세트 손실: 73.466835 최선의 손실: 51.892567 정확도: 95.23% 32 검증 세트 손실: 63.206081 최선의 손실: 51.892567 정확도: 95.19% 33 검증 세트 손실: 47.820358 최선의 손실: 47.820358 정확도: 95.86% 34 검증 세트 손실: 54.510078 최선의 손실: 47.820358 정확도: 96.01% 35 검증 세트 손실: 38.793087 최선의 손실: 38.793087 정확도: 95.90% 36 검증 세트 손실: 176.525970 최선의 손실: 38.793087 정확도: 92.69% 37 검증 세트 손실: 79.613518 최선의 손실: 38.793087 정확도: 96.29% 38 검증 세트 손실: 61.727535 최선의 손실: 38.793087 정확도: 96.40% 39 검증 세트 손실: 54.707413 최선의 손실: 38.793087 정확도: 94.25% 40 검증 세트 손실: 75.661720 최선의 손실: 38.793087 정확도: 94.45% 41 검증 세트 손실: 46.641033 최선의 손실: 38.793087 정확도: 96.17% 42 검증 세트 손실: 76.022224 최선의 손실: 38.793087 정확도: 95.62% 43 검증 세트 손실: 48.577057 최선의 손실: 38.793087 정확도: 96.56% 44 검증 세트 손실: 63.571896 최선의 손실: 38.793087 정확도: 96.33% 45 검증 세트 손실: 45.548710 최선의 손실: 38.793087 정확도: 96.05% 46 검증 세트 손실: 43.737740 최선의 손실: 38.793087 정확도: 95.66% 47 검증 세트 손실: 96.476509 최선의 손실: 38.793087 정확도: 92.42% 48 검증 세트 손실: 52.450016 최선의 손실: 38.793087 정확도: 95.82% 49 검증 세트 손실: 27.196903 최선의 손실: 27.196903 정확도: 96.79% 50 검증 세트 손실: 35.557030 최선의 손실: 27.196903 정확도: 96.52% 51 검증 세트 손실: 40.110378 최선의 손실: 27.196903 정확도: 96.44% 52 검증 세트 손실: 41.037018 최선의 손실: 27.196903 정확도: 95.58% 53 검증 세트 손실: 86.323654 최선의 손실: 27.196903 정확도: 95.62% 54 검증 세트 손실: 53.789570 최선의 손실: 27.196903 정확도: 95.47% 55 검증 세트 손실: 42.549725 최선의 손실: 27.196903 정확도: 95.97% 56 검증 세트 손실: 41.087799 최선의 손실: 27.196903 정확도: 96.40% 57 검증 세트 손실: 41.495644 최선의 손실: 27.196903 정확도: 95.50% 58 검증 세트 손실: 40.575272 최선의 손실: 27.196903 정확도: 95.74% 59 검증 세트 손실: 48.021423 최선의 손실: 27.196903 정확도: 95.74% 60 검증 세트 손실: 31.978600 최선의 손실: 27.196903 정확도: 95.23% 61 검증 세트 손실: 38.560455 최선의 손실: 27.196903 정확도: 96.91% 62 검증 세트 손실: 28.967424 최선의 손실: 27.196903 정확도: 96.91% 63 검증 세트 손실: 34.467991 최선의 손실: 27.196903 정확도: 96.99% 64 검증 세트 손실: 32.570118 최선의 손실: 27.196903 정확도: 97.07% 65 검증 세트 손실: 25.310200 최선의 손실: 25.310200 정확도: 96.79% 66 검증 세트 손실: 31.085363 최선의 손실: 25.310200 정확도: 95.47% 67 검증 세트 손실: 30.213619 최선의 손실: 25.310200 정확도: 96.68% 68 검증 세트 손실: 26.330477 최선의 손실: 25.310200 정확도: 96.09% 69 검증 세트 손실: 28.598707 최선의 손실: 25.310200 정확도: 95.90% 70 검증 세트 손실: 44.617134 최선의 손실: 25.310200 정확도: 95.00% 71 검증 세트 손실: 49.255375 최선의 손실: 25.310200 정확도: 96.09% 72 검증 세트 손실: 530.126038 최선의 손실: 25.310200 정확도: 77.80% 73 검증 세트 손실: 190.072098 최선의 손실: 25.310200 정확도: 96.01% 74 검증 세트 손실: 175.621170 최선의 손실: 25.310200 정확도: 93.82% 75 검증 세트 손실: 70.428238 최선의 손실: 25.310200 정확도: 95.93% 76 검증 세트 손실: 153.392426 최선의 손실: 25.310200 정확도: 93.90% 77 검증 세트 손실: 74.481873 최선의 손실: 25.310200 정확도: 95.90% 78 검증 세트 손실: 61.736233 최선의 손실: 25.310200 정확도: 96.36% 79 검증 세트 손실: 68.976669 최선의 손실: 25.310200 정확도: 95.78% 80 검증 세트 손실: 54.382133 최선의 손실: 25.310200 정확도: 97.07% 81 검증 세트 손실: 47.077751 최선의 손실: 25.310200 정확도: 96.60% 82 검증 세트 손실: 60.803265 최선의 손실: 25.310200 정확도: 96.64% 83 검증 세트 손실: 49.738022 최선의 손실: 25.310200 정확도: 95.78% 84 검증 세트 손실: 47.083115 최선의 손실: 25.310200 정확도: 96.36% 85 검증 세트 손실: 30.865932 최선의 손실: 25.310200 정확도: 96.91% 86 검증 세트 손실: 45.440506 최선의 손실: 25.310200 정확도: 96.36% 조기 종료! [CV] n_neurons=90, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total= 16.0s [CV] n_neurons=90, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 0 검증 세트 손실: 589.323425 최선의 손실: 589.323425 정확도: 20.99% 1 검증 세트 손실: 25.155005 최선의 손실: 25.155005 정확도: 70.37% 2 검증 세트 손실: 13.491067 최선의 손실: 13.491067 정확도: 87.76% 3 검증 세트 손실: 2.126667 최선의 손실: 2.126667 정확도: 93.39% 4 검증 세트 손실: 1.007962 최선의 손실: 1.007962 정확도: 95.00% 5 검증 세트 손실: 0.997625 최선의 손실: 0.997625 정확도: 94.96% 6 검증 세트 손실: 0.552859 최선의 손실: 0.552859 정확도: 94.88% 7 검증 세트 손실: 3.341693 최선의 손실: 0.552859 정확도: 89.48% 8 검증 세트 손실: 1.695049 최선의 손실: 0.552859 정확도: 94.76% 9 검증 세트 손실: 0.755585 최선의 손실: 0.552859 정확도: 95.47% 10 검증 세트 손실: 0.480568 최선의 손실: 0.480568 정확도: 96.21% 11 검증 세트 손실: 0.400577 최선의 손실: 0.400577 정확도: 95.62% 12 검증 세트 손실: 0.358413 최선의 손실: 0.358413 정확도: 96.13% 13 검증 세트 손실: 0.334970 최선의 손실: 0.334970 정확도: 96.09% 14 검증 세트 손실: 0.281449 최선의 손실: 0.281449 정확도: 96.17% 15 검증 세트 손실: 0.412877 최선의 손실: 0.281449 정확도: 95.35% 16 검증 세트 손실: 0.248879 최선의 손실: 0.248879 정확도: 96.56% 17 검증 세트 손실: 0.330963 최선의 손실: 0.248879 정확도: 95.97% 18 검증 세트 손실: 0.298042 최선의 손실: 0.248879 정확도: 96.68% 19 검증 세트 손실: 0.262646 최선의 손실: 0.248879 정확도: 96.64% 20 검증 세트 손실: 0.247243 최선의 손실: 0.247243 정확도: 96.60% 21 검증 세트 손실: 0.210414 최선의 손실: 0.210414 정확도: 96.83% 22 검증 세트 손실: 0.206849 최선의 손실: 0.206849 정확도: 97.26% 23 검증 세트 손실: 0.906183 최선의 손실: 0.206849 정확도: 95.47% 24 검증 세트 손실: 0.370097 최선의 손실: 0.206849 정확도: 97.26% 25 검증 세트 손실: 0.255660 최선의 손실: 0.206849 정확도: 97.15% 26 검증 세트 손실: 0.306962 최선의 손실: 0.206849 정확도: 96.09% 27 검증 세트 손실: 0.238086 최선의 손실: 0.206849 정확도: 96.72% 28 검증 세트 손실: 0.235990 최선의 손실: 0.206849 정확도: 97.38% 29 검증 세트 손실: 0.222535 최선의 손실: 0.206849 정확도: 97.34% 30 검증 세트 손실: 0.224703 최선의 손실: 0.206849 정확도: 97.42% 31 검증 세트 손실: 0.226848 최선의 손실: 0.206849 정확도: 97.58% 32 검증 세트 손실: 0.281135 최선의 손실: 0.206849 정확도: 97.03% 33 검증 세트 손실: 0.232221 최선의 손실: 0.206849 정확도: 97.19% 34 검증 세트 손실: 0.229852 최선의 손실: 0.206849 정확도: 97.30% 35 검증 세트 손실: 0.263981 최선의 손실: 0.206849 정확도: 97.19% 36 검증 세트 손실: 0.617203 최선의 손실: 0.206849 정확도: 96.64% 37 검증 세트 손실: 0.268421 최선의 손실: 0.206849 정확도: 97.42% 38 검증 세트 손실: 0.232858 최선의 손실: 0.206849 정확도: 97.46% 39 검증 세트 손실: 0.224501 최선의 손실: 0.206849 정확도: 97.42% 40 검증 세트 손실: 0.209760 최선의 손실: 0.206849 정확도: 97.81% 41 검증 세트 손실: 0.224317 최선의 손실: 0.206849 정확도: 97.42% 42 검증 세트 손실: 0.245268 최선의 손실: 0.206849 정확도: 97.42% 43 검증 세트 손실: 0.217127 최선의 손실: 0.206849 정확도: 97.58% 조기 종료! [CV] n_neurons=90, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total= 8.4s [CV] n_neurons=90, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 0 검증 세트 손실: 819.340881 최선의 손실: 819.340881 정확도: 19.27% 1 검증 세트 손실: 19.642662 최선의 손실: 19.642662 정확도: 84.91% 2 검증 세트 손실: 4.462388 최선의 손실: 4.462388 정확도: 91.83% 3 검증 세트 손실: 3.357640 최선의 손실: 3.357640 정확도: 87.96% 4 검증 세트 손실: 1.479010 최선의 손실: 1.479010 정확도: 96.25% 5 검증 세트 손실: 1.345724 최선의 손실: 1.345724 정확도: 94.84% 6 검증 세트 손실: 1.323037 최선의 손실: 1.323037 정확도: 93.24% 7 검증 세트 손실: 0.720926 최선의 손실: 0.720926 정확도: 96.36% 8 검증 세트 손실: 0.599578 최선의 손실: 0.599578 정확도: 95.90% 9 검증 세트 손실: 0.516076 최선의 손실: 0.516076 정확도: 95.86% 10 검증 세트 손실: 0.427521 최선의 손실: 0.427521 정확도: 96.05% 11 검증 세트 손실: 0.385268 최선의 손실: 0.385268 정확도: 96.17% 12 검증 세트 손실: 0.382610 최선의 손실: 0.382610 정확도: 96.44% 13 검증 세트 손실: 0.385694 최선의 손실: 0.382610 정확도: 96.29% 14 검증 세트 손실: 0.364813 최선의 손실: 0.364813 정확도: 95.70% 15 검증 세트 손실: 0.696420 최선의 손실: 0.364813 정확도: 94.10% 16 검증 세트 손실: 0.374868 최선의 손실: 0.364813 정확도: 95.23% 17 검증 세트 손실: 0.382000 최선의 손실: 0.364813 정확도: 95.93% 18 검증 세트 손실: 0.282846 최선의 손실: 0.282846 정확도: 97.38% 19 검증 세트 손실: 0.359906 최선의 손실: 0.282846 정확도: 95.11% 20 검증 세트 손실: 0.269732 최선의 손실: 0.269732 정확도: 97.42% 21 검증 세트 손실: 0.288407 최선의 손실: 0.269732 정확도: 96.33% 22 검증 세트 손실: 0.225962 최선의 손실: 0.225962 정확도: 97.30% 23 검증 세트 손실: 0.201227 최선의 손실: 0.201227 정확도: 97.54% 24 검증 세트 손실: 0.273083 최선의 손실: 0.201227 정확도: 96.13% 25 검증 세트 손실: 0.228911 최선의 손실: 0.201227 정확도: 97.46% 26 검증 세트 손실: 0.225587 최선의 손실: 0.201227 정확도: 96.56% 27 검증 세트 손실: 0.184601 최선의 손실: 0.184601 정확도: 97.22% 28 검증 세트 손실: 0.182162 최선의 손실: 0.182162 정확도: 97.65% 29 검증 세트 손실: 0.182933 최선의 손실: 0.182162 정확도: 97.38% 30 검증 세트 손실: 0.188017 최선의 손실: 0.182162 정확도: 97.19% 31 검증 세트 손실: 0.181837 최선의 손실: 0.181837 정확도: 97.38% 32 검증 세트 손실: 0.236452 최선의 손실: 0.181837 정확도: 96.40% 33 검증 세트 손실: 0.175292 최선의 손실: 0.175292 정확도: 97.58% 34 검증 세트 손실: 0.155509 최선의 손실: 0.155509 정확도: 97.65% 35 검증 세트 손실: 0.212295 최선의 손실: 0.155509 정확도: 97.07% 36 검증 세트 손실: 0.156537 최선의 손실: 0.155509 정확도: 97.50% 37 검증 세트 손실: 0.181029 최선의 손실: 0.155509 정확도: 97.30% 38 검증 세트 손실: 0.239246 최선의 손실: 0.155509 정확도: 97.07% 39 검증 세트 손실: 0.196605 최선의 손실: 0.155509 정확도: 97.50% 40 검증 세트 손실: 0.233737 최선의 손실: 0.155509 정확도: 96.56% 41 검증 세트 손실: 0.155307 최선의 손실: 0.155307 정확도: 97.77% 42 검증 세트 손실: 0.204377 최선의 손실: 0.155307 정확도: 97.50% 43 검증 세트 손실: 0.164538 최선의 손실: 0.155307 정확도: 97.58% 44 검증 세트 손실: 0.184751 최선의 손실: 0.155307 정확도: 97.69% 45 검증 세트 손실: 0.269245 최선의 손실: 0.155307 정확도: 96.87% 46 검증 세트 손실: 0.294787 최선의 손실: 0.155307 정확도: 97.07% 47 검증 세트 손실: 0.227743 최선의 손실: 0.155307 정확도: 97.62% 48 검증 세트 손실: 0.169297 최선의 손실: 0.155307 정확도: 98.01% 49 검증 세트 손실: 0.220376 최선의 손실: 0.155307 정확도: 97.73% 50 검증 세트 손실: 0.242634 최선의 손실: 0.155307 정확도: 96.76% 51 검증 세트 손실: 0.188290 최선의 손실: 0.155307 정확도: 97.77% 52 검증 세트 손실: 0.219997 최선의 손실: 0.155307 정확도: 97.30% 53 검증 세트 손실: 0.189377 최선의 손실: 0.155307 정확도: 98.01% 54 검증 세트 손실: 0.187721 최선의 손실: 0.155307 정확도: 98.08% 55 검증 세트 손실: 0.175944 최선의 손실: 0.155307 정확도: 97.85% 56 검증 세트 손실: 0.178270 최선의 손실: 0.155307 정확도: 98.01% 57 검증 세트 손실: 0.191847 최선의 손실: 0.155307 정확도: 97.58% 58 검증 세트 손실: 0.237384 최선의 손실: 0.155307 정확도: 97.62% 59 검증 세트 손실: 0.172149 최선의 손실: 0.155307 정확도: 98.12% 60 검증 세트 손실: 0.224177 최선의 손실: 0.155307 정확도: 97.97% 61 검증 세트 손실: 0.195187 최선의 손실: 0.155307 정확도: 97.69% 62 검증 세트 손실: 0.199786 최선의 손실: 0.155307 정확도: 98.01% 조기 종료! [CV] n_neurons=90, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total= 11.9s
[Parallel(n_jobs=1)]: Done 150 out of 150 | elapsed: 31.8min finished
0 검증 세트 손실: 0.068968 최선의 손실: 0.068968 정확도: 97.85% 1 검증 세트 손실: 0.050188 최선의 손실: 0.050188 정확도: 98.55% 2 검증 세트 손실: 0.064402 최선의 손실: 0.050188 정확도: 98.28% 3 검증 세트 손실: 0.046623 최선의 손실: 0.046623 정확도: 98.59% 4 검증 세트 손실: 0.045708 최선의 손실: 0.045708 정확도: 98.59% 5 검증 세트 손실: 0.034994 최선의 손실: 0.034994 정확도: 99.02% 6 검증 세트 손실: 0.040954 최선의 손실: 0.034994 정확도: 98.94% 7 검증 세트 손실: 0.037508 최선의 손실: 0.034994 정확도: 99.14% 8 검증 세트 손실: 0.038701 최선의 손실: 0.034994 정확도: 99.06% 9 검증 세트 손실: 0.049342 최선의 손실: 0.034994 정확도: 98.55% 10 검증 세트 손실: 0.048750 최선의 손실: 0.034994 정확도: 98.87% 11 검증 세트 손실: 0.058452 최선의 손실: 0.034994 정확도: 98.94% 12 검증 세트 손실: 0.042305 최선의 손실: 0.034994 정확도: 98.83% 13 검증 세트 손실: 0.059438 최선의 손실: 0.034994 정확도: 98.94% 14 검증 세트 손실: 0.058639 최선의 손실: 0.034994 정확도: 99.02% 15 검증 세트 손실: 0.065809 최선의 손실: 0.034994 정확도: 98.75% 16 검증 세트 손실: 0.048589 최선의 손실: 0.034994 정확도: 98.91% 17 검증 세트 손실: 0.041296 최선의 손실: 0.034994 정확도: 99.06% 18 검증 세트 손실: 0.047819 최선의 손실: 0.034994 정확도: 99.02% 19 검증 세트 손실: 0.059732 최선의 손실: 0.034994 정확도: 98.94% 20 검증 세트 손실: 0.045060 최선의 손실: 0.034994 정확도: 98.67% 21 검증 세트 손실: 0.052282 최선의 손실: 0.034994 정확도: 99.34% 22 검증 세트 손실: 0.066738 최선의 손실: 0.034994 정확도: 99.02% 23 검증 세트 손실: 0.562932 최선의 손실: 0.034994 정확도: 82.29% 24 검증 세트 손실: 0.141875 최선의 손실: 0.034994 정확도: 96.99% 25 검증 세트 손실: 0.081134 최선의 손실: 0.034994 정확도: 98.40% 26 검증 세트 손실: 0.054021 최선의 손실: 0.034994 정확도: 98.55% 조기 종료!
RandomizedSearchCV(cv=3, error_score='raise-deprecating', estimator=DNNClassifier(activation=<function elu at 0x7f8ec4ceef28>, batch_norm_momentum=None, batch_size=20, dropout_rate=None, initializer=<tensorflow.python.ops.init_ops.VarianceScaling object at 0x7f8eb8842e80>, learning_rate=0.01, n_hidden_layers=5, n_neurons=100, optimizer_class=<class 'tensorflow.python.training.adam.AdamOptimizer'>, random_state=42), fit_params=None, iid='warn', n_iter=50, n_jobs=None, param_distributions={'n_neurons': [10, 30, 50, 70, 90, 100, 120, 140, 160], 'batch_size': [10, 50, 100, 500], 'learning_rate': [0.01, 0.02, 0.05, 0.1], 'activation': [<function relu at 0x7f8ec4c8c510>, <function elu at 0x7f8ec4ceef28>, <function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, <function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>]}, pre_dispatch='2*n_jobs', random_state=42, refit=True, return_train_score='warn', scoring=None, verbose=2)
rnd_search.best_params_
{'n_neurons': 120, 'learning_rate': 0.01, 'batch_size': 500, 'activation': <function __main__.leaky_relu.<locals>.parametrized_leaky_relu(z, name=None)>}
y_pred = rnd_search.predict(X_test1)
accuracy_score(y_test1, y_pred)
0.9918272037361354
아주 좋습니다! 하이퍼파라미터 튜닝을 하니 정확도가 99.2%까지 올라갔습니다! 98%에서 99.2%로 향상된 것이 크게 느껴지지 않을지 모르지만 오류 비율을 생각해 보면 대략 2%에서 0.8%로 줄어든 것입니다. 이는 모델이 만든 에러의 개수를 60%가 감소시킨 것입니다!
모델은 저장하는 것이 좋습니다:
rnd_search.best_estimator_.save("./my_best_mnist_model_0_to_4")
문제: 배치 정규화를 추가한 다음 학습 곡선을 비교해보세요. 이전보다 수렴이 빨라졌나요? 모델의 성능이 더 나아졌나요?
앞서 찾은 최상의 모델이 얼마나 빠르게 수렴하는지 보기 위해 다시 훈련시켜 보겠습니다(다른 방법으로는 텐서보드에서 학습 곡선을 그리기 위해 서머리를 저장하도록 코드를 조금 바꿀 수 있습니다):
dnn_clf = DNNClassifier(activation=leaky_relu(alpha=0.1), batch_size=500, learning_rate=0.01,
n_neurons=120, random_state=42)
dnn_clf.fit(X_train1, y_train1, n_epochs=1000, X_valid=X_valid1, y_valid=y_valid1)
0 검증 세트 손실: 0.070358 최선의 손실: 0.070358 정확도: 97.81% 1 검증 세트 손실: 0.048955 최선의 손실: 0.048955 정확도: 98.63% 2 검증 세트 손실: 0.038444 최선의 손실: 0.038444 정확도: 98.87% 3 검증 세트 손실: 0.065622 최선의 손실: 0.038444 정확도: 98.16% 4 검증 세트 손실: 0.047307 최선의 손실: 0.038444 정확도: 98.51% 5 검증 세트 손실: 0.039177 최선의 손실: 0.038444 정확도: 98.87% 6 검증 세트 손실: 0.042407 최선의 손실: 0.038444 정확도: 98.94% 7 검증 세트 손실: 0.028610 최선의 손실: 0.028610 정확도: 99.02% 8 검증 세트 손실: 0.040722 최선의 손실: 0.028610 정확도: 99.22% 9 검증 세트 손실: 0.040563 최선의 손실: 0.028610 정확도: 98.71% 10 검증 세트 손실: 0.054484 최선의 손실: 0.028610 정확도: 98.63% 11 검증 세트 손실: 0.046286 최선의 손실: 0.028610 정확도: 98.67% 12 검증 세트 손실: 0.042266 최선의 손실: 0.028610 정확도: 98.75% 13 검증 세트 손실: 0.033186 최선의 손실: 0.028610 정확도: 99.06% 14 검증 세트 손실: 0.047522 최선의 손실: 0.028610 정확도: 99.02% 15 검증 세트 손실: 0.039522 최선의 손실: 0.028610 정확도: 98.94% 16 검증 세트 손실: 0.048510 최선의 손실: 0.028610 정확도: 98.79% 17 검증 세트 손실: 0.048192 최선의 손실: 0.028610 정확도: 98.75% 18 검증 세트 손실: 0.043642 최선의 손실: 0.028610 정확도: 98.94% 19 검증 세트 손실: 0.056021 최선의 손실: 0.028610 정확도: 99.02% 20 검증 세트 손실: 0.047170 최선의 손실: 0.028610 정확도: 98.91% 21 검증 세트 손실: 0.103242 최선의 손실: 0.028610 정확도: 98.71% 22 검증 세트 손실: 0.261896 최선의 손실: 0.028610 정확도: 97.42% 23 검증 세트 손실: 2.941329 최선의 손실: 0.028610 정확도: 92.57% 24 검증 세트 손실: 0.187626 최선의 손실: 0.028610 정확도: 96.44% 25 검증 세트 손실: 0.188978 최선의 손실: 0.028610 정확도: 94.72% 26 검증 세트 손실: 0.106918 최선의 손실: 0.028610 정확도: 97.26% 27 검증 세트 손실: 0.095597 최선의 손실: 0.028610 정확도: 97.85% 28 검증 세트 손실: 0.091262 최선의 손실: 0.028610 정확도: 97.81% 조기 종료!
DNNClassifier(activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3048>, batch_norm_momentum=None, batch_size=500, dropout_rate=None, initializer=<tensorflow.python.ops.init_ops.VarianceScaling object at 0x7f8eb8842e80>, learning_rate=0.01, n_hidden_layers=5, n_neurons=120, optimizer_class=<class 'tensorflow.python.training.adam.AdamOptimizer'>, random_state=42)
에포크 7에서 가장 좋은 손실에 도달했습니다.
테스트 세트에서 어느 정확도를 얻을 수 있는지 확인해 보겠습니다:
y_pred = dnn_clf.predict(X_test1)
accuracy_score(y_test1, y_pred)
0.9906596614127262
좋습니다. 이제 같은 모델을 사용해서 배치 정규화를 적용해 봅니다:
dnn_clf_bn = DNNClassifier(activation=leaky_relu(alpha=0.1), batch_size=500, learning_rate=0.01,
n_neurons=120, random_state=42,
batch_norm_momentum=0.95)
dnn_clf_bn.fit(X_train1, y_train1, n_epochs=1000, X_valid=X_valid1, y_valid=y_valid1)
WARNING:tensorflow:From <ipython-input-10-e5858d18dace>:31: batch_normalization (from tensorflow.python.layers.normalization) is deprecated and will be removed in a future version. Instructions for updating: Use keras.layers.batch_normalization instead. WARNING:tensorflow:From /home/haesun/anaconda3/envs/handson-ml/lib/python3.6/site-packages/tensorflow/python/ops/math_ops.py:3066: to_int32 (from tensorflow.python.ops.math_ops) is deprecated and will be removed in a future version. Instructions for updating: Use tf.cast instead. 0 검증 세트 손실: 0.048326 최선의 손실: 0.048326 정확도: 98.55% 1 검증 세트 손실: 0.053701 최선의 손실: 0.048326 정확도: 98.16% 2 검증 세트 손실: 0.050088 최선의 손실: 0.048326 정확도: 98.67% 3 검증 세트 손실: 0.045589 최선의 손실: 0.045589 정확도: 98.63% 4 검증 세트 손실: 0.040641 최선의 손실: 0.040641 정확도: 98.83% 5 검증 세트 손실: 0.037331 최선의 손실: 0.037331 정확도: 98.98% 6 검증 세트 손실: 0.031321 최선의 손실: 0.031321 정확도: 99.02% 7 검증 세트 손실: 0.038305 최선의 손실: 0.031321 정확도: 98.98% 8 검증 세트 손실: 0.068172 최선의 손실: 0.031321 정확도: 98.32% 9 검증 세트 손실: 0.036528 최선의 손실: 0.031321 정확도: 99.06% 10 검증 세트 손실: 0.043783 최선의 손실: 0.031321 정확도: 98.75% 11 검증 세트 손실: 0.032421 최선의 손실: 0.031321 정확도: 99.22% 12 검증 세트 손실: 0.043757 최선의 손실: 0.031321 정확도: 98.94% 13 검증 세트 손실: 0.052318 최선의 손실: 0.031321 정확도: 98.67% 14 검증 세트 손실: 0.046961 최선의 손실: 0.031321 정확도: 98.91% 15 검증 세트 손실: 0.044894 최선의 손실: 0.031321 정확도: 99.02% 16 검증 세트 손실: 0.021217 최선의 손실: 0.021217 정확도: 99.45% 17 검증 세트 손실: 0.035145 최선의 손실: 0.021217 정확도: 99.10% 18 검증 세트 손실: 0.028276 최선의 손실: 0.021217 정확도: 99.37% 19 검증 세트 손실: 0.041603 최선의 손실: 0.021217 정확도: 99.14% 20 검증 세트 손실: 0.047427 최선의 손실: 0.021217 정확도: 98.91% 21 검증 세트 손실: 0.034391 최선의 손실: 0.021217 정확도: 99.18% 22 검증 세트 손실: 0.027400 최선의 손실: 0.021217 정확도: 99.22% 23 검증 세트 손실: 0.040622 최선의 손실: 0.021217 정확도: 99.18% 24 검증 세트 손실: 0.049337 최선의 손실: 0.021217 정확도: 98.91% 25 검증 세트 손실: 0.056442 최선의 손실: 0.021217 정확도: 98.75% 26 검증 세트 손실: 0.050186 최선의 손실: 0.021217 정확도: 99.02% 27 검증 세트 손실: 0.056752 최선의 손실: 0.021217 정확도: 99.06% 28 검증 세트 손실: 0.046086 최선의 손실: 0.021217 정확도: 98.98% 29 검증 세트 손실: 0.044422 최선의 손실: 0.021217 정확도: 98.87% 30 검증 세트 손실: 0.046319 최선의 손실: 0.021217 정확도: 98.98% 31 검증 세트 손실: 0.054556 최선의 손실: 0.021217 정확도: 98.83% 32 검증 세트 손실: 0.034593 최선의 손실: 0.021217 정확도: 99.26% 33 검증 세트 손실: 0.036583 최선의 손실: 0.021217 정확도: 99.26% 34 검증 세트 손실: 0.034036 최선의 손실: 0.021217 정확도: 99.34% 35 검증 세트 손실: 0.037980 최선의 손실: 0.021217 정확도: 99.22% 36 검증 세트 손실: 0.033857 최선의 손실: 0.021217 정확도: 99.26% 37 검증 세트 손실: 0.033593 최선의 손실: 0.021217 정확도: 99.37% 조기 종료!
DNNClassifier(activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb40a1400>, batch_norm_momentum=0.95, batch_size=500, dropout_rate=None, initializer=<tensorflow.python.ops.init_ops.VarianceScaling object at 0x7f8eb8842e80>, learning_rate=0.01, n_hidden_layers=5, n_neurons=120, optimizer_class=<class 'tensorflow.python.training.adam.AdamOptimizer'>, random_state=42)
에포크 7에서 최선의 값에 도달했습니다. 정확도를 살펴보겠습니다:
y_pred = dnn_clf_bn.predict(X_test1)
accuracy_score(y_test1, y_pred)
0.9933839268340144
배치 정규화로 정확도가 조금 향상되었습니다. 배치 정규화를 사용했을 때 하이퍼파라미터 탐색이 달라질 수 있는지 확인해 보죠:
from sklearn.model_selection import RandomizedSearchCV
param_distribs = {
"n_neurons": [10, 30, 50, 70, 90, 100, 120, 140, 160],
"batch_size": [10, 50, 100, 500],
"learning_rate": [0.01, 0.02, 0.05, 0.1],
"activation": [tf.nn.relu, tf.nn.elu, leaky_relu(alpha=0.01), leaky_relu(alpha=0.1)],
# you could also try exploring different numbers of hidden layers, different optimizers, etc.
#"n_hidden_layers": [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10],
#"optimizer_class": [tf.train.AdamOptimizer, partial(tf.train.MomentumOptimizer, momentum=0.95)],
"batch_norm_momentum": [0.9, 0.95, 0.98, 0.99, 0.999],
}
rnd_search_bn = RandomizedSearchCV(DNNClassifier(random_state=42), param_distribs, n_iter=50,
random_state=42, verbose=2, cv=3)
fit_params={"X_valid": X_valid1, "y_valid": y_valid1, "n_epochs": 1000}
rnd_search_bn.fit(X_train1, y_train1, **fit_params)
Fitting 3 folds for each of 50 candidates, totalling 150 fits [CV] n_neurons=70, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.99, activation=<function relu at 0x7f8ec4c8c510>
[Parallel(n_jobs=1)]: Using backend SequentialBackend with 1 concurrent workers.
0 검증 세트 손실: 0.123628 최선의 손실: 0.123628 정확도: 97.15% 1 검증 세트 손실: 0.086103 최선의 손실: 0.086103 정확도: 98.08% 2 검증 세트 손실: 0.068698 최선의 손실: 0.068698 정확도: 98.16% 3 검증 세트 손실: 0.060541 최선의 손실: 0.060541 정확도: 98.20% 4 검증 세트 손실: 0.068968 최선의 손실: 0.060541 정확도: 98.36% 5 검증 세트 손실: 0.049044 최선의 손실: 0.049044 정확도: 98.67% 6 검증 세트 손실: 0.047893 최선의 손실: 0.047893 정확도: 98.44% 7 검증 세트 손실: 0.064583 최선의 손실: 0.047893 정확도: 98.48% 8 검증 세트 손실: 0.053604 최선의 손실: 0.047893 정확도: 98.67% 9 검증 세트 손실: 0.054529 최선의 손실: 0.047893 정확도: 98.79% 10 검증 세트 손실: 0.048798 최선의 손실: 0.047893 정확도: 98.91% 11 검증 세트 손실: 0.042970 최선의 손실: 0.042970 정확도: 98.79% 12 검증 세트 손실: 0.071583 최선의 손실: 0.042970 정확도: 98.40% 13 검증 세트 손실: 0.055194 최선의 손실: 0.042970 정확도: 98.63% 14 검증 세트 손실: 0.052602 최선의 손실: 0.042970 정확도: 98.55% 15 검증 세트 손실: 0.064359 최선의 손실: 0.042970 정확도: 98.79% 16 검증 세트 손실: 0.043847 최선의 손실: 0.042970 정확도: 98.94% 17 검증 세트 손실: 0.037198 최선의 손실: 0.037198 정확도: 99.06% 18 검증 세트 손실: 0.058879 최선의 손실: 0.037198 정확도: 98.71% 19 검증 세트 손실: 0.028004 최선의 손실: 0.028004 정확도: 99.18% 20 검증 세트 손실: 0.049675 최선의 손실: 0.028004 정확도: 98.71% 21 검증 세트 손실: 0.050329 최선의 손실: 0.028004 정확도: 98.83% 22 검증 세트 손실: 0.060454 최선의 손실: 0.028004 정확도: 98.63% 23 검증 세트 손실: 0.042285 최선의 손실: 0.028004 정확도: 98.98% 24 검증 세트 손실: 0.057296 최선의 손실: 0.028004 정확도: 98.55% 25 검증 세트 손실: 0.041498 최선의 손실: 0.028004 정확도: 99.02% 26 검증 세트 손실: 0.029804 최선의 손실: 0.028004 정확도: 99.18% 27 검증 세트 손실: 0.032558 최선의 손실: 0.028004 정확도: 99.41% 28 검증 세트 손실: 0.055168 최선의 손실: 0.028004 정확도: 98.87% 29 검증 세트 손실: 0.037821 최선의 손실: 0.028004 정확도: 98.98% 30 검증 세트 손실: 0.038871 최선의 손실: 0.028004 정확도: 99.18% 31 검증 세트 손실: 0.054270 최선의 손실: 0.028004 정확도: 99.22% 32 검증 세트 손실: 0.052678 최선의 손실: 0.028004 정확도: 98.83% 33 검증 세트 손실: 0.041737 최선의 손실: 0.028004 정확도: 98.94% 34 검증 세트 손실: 0.039508 최선의 손실: 0.028004 정확도: 98.98% 35 검증 세트 손실: 0.055378 최선의 손실: 0.028004 정확도: 98.63% 36 검증 세트 손실: 0.043328 최선의 손실: 0.028004 정확도: 99.02% 37 검증 세트 손실: 0.054084 최선의 손실: 0.028004 정확도: 98.98% 38 검증 세트 손실: 0.044940 최선의 손실: 0.028004 정확도: 99.22% 39 검증 세트 손실: 0.031715 최선의 손실: 0.028004 정확도: 99.30% 40 검증 세트 손실: 0.047298 최선의 손실: 0.028004 정확도: 99.02% 조기 종료! [CV] n_neurons=70, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.99, activation=<function relu at 0x7f8ec4c8c510>, total= 32.7s [CV] n_neurons=70, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.99, activation=<function relu at 0x7f8ec4c8c510>
[Parallel(n_jobs=1)]: Done 1 out of 1 | elapsed: 32.8s remaining: 0.0s
0 검증 세트 손실: 0.111166 최선의 손실: 0.111166 정확도: 96.83% 1 검증 세트 손실: 0.057909 최선의 손실: 0.057909 정확도: 98.40% 2 검증 세트 손실: 0.080427 최선의 손실: 0.057909 정확도: 97.54% 3 검증 세트 손실: 0.048388 최선의 손실: 0.048388 정확도: 98.48% 4 검증 세트 손실: 0.051026 최선의 손실: 0.048388 정확도: 98.59% 5 검증 세트 손실: 0.050098 최선의 손실: 0.048388 정확도: 98.71% 6 검증 세트 손실: 0.048976 최선의 손실: 0.048388 정확도: 98.59% 7 검증 세트 손실: 0.040835 최선의 손실: 0.040835 정확도: 98.91% 8 검증 세트 손실: 0.056399 최선의 손실: 0.040835 정확도: 98.51% 9 검증 세트 손실: 0.049171 최선의 손실: 0.040835 정확도: 98.79% 10 검증 세트 손실: 0.058901 최선의 손실: 0.040835 정확도: 98.51% 11 검증 세트 손실: 0.040752 최선의 손실: 0.040752 정확도: 98.91% 12 검증 세트 손실: 0.038683 최선의 손실: 0.038683 정확도: 98.98% 13 검증 세트 손실: 0.090153 최선의 손실: 0.038683 정확도: 98.01% 14 검증 세트 손실: 0.050794 최선의 손실: 0.038683 정확도: 98.55% 15 검증 세트 손실: 0.045373 최선의 손실: 0.038683 정확도: 99.06% 16 검증 세트 손실: 0.045113 최선의 손실: 0.038683 정확도: 98.87% 17 검증 세트 손실: 0.041428 최선의 손실: 0.038683 정확도: 99.06% 18 검증 세트 손실: 0.051740 최선의 손실: 0.038683 정확도: 98.87% 19 검증 세트 손실: 0.049490 최선의 손실: 0.038683 정확도: 98.94% 20 검증 세트 손실: 0.042144 최선의 손실: 0.038683 정확도: 99.02% 21 검증 세트 손실: 0.044228 최선의 손실: 0.038683 정확도: 99.02% 22 검증 세트 손실: 0.044124 최선의 손실: 0.038683 정확도: 98.94% 23 검증 세트 손실: 0.051611 최선의 손실: 0.038683 정확도: 98.94% 24 검증 세트 손실: 0.053929 최선의 손실: 0.038683 정확도: 98.91% 25 검증 세트 손실: 0.043905 최선의 손실: 0.038683 정확도: 98.94% 26 검증 세트 손실: 0.056458 최선의 손실: 0.038683 정확도: 98.94% 27 검증 세트 손실: 0.041821 최선의 손실: 0.038683 정확도: 99.06% 28 검증 세트 손실: 0.056028 최선의 손실: 0.038683 정확도: 98.87% 29 검증 세트 손실: 0.053983 최선의 손실: 0.038683 정확도: 98.87% 30 검증 세트 손실: 0.052490 최선의 손실: 0.038683 정확도: 98.94% 31 검증 세트 손실: 0.044223 최선의 손실: 0.038683 정확도: 99.06% 32 검증 세트 손실: 0.057340 최선의 손실: 0.038683 정확도: 98.75% 33 검증 세트 손실: 0.047214 최선의 손실: 0.038683 정확도: 98.98% 조기 종료! [CV] n_neurons=70, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.99, activation=<function relu at 0x7f8ec4c8c510>, total= 27.5s [CV] n_neurons=70, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.99, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.092016 최선의 손실: 0.092016 정확도: 97.73% 1 검증 세트 손실: 0.071217 최선의 손실: 0.071217 정확도: 98.01% 2 검증 세트 손실: 0.051470 최선의 손실: 0.051470 정확도: 98.59% 3 검증 세트 손실: 0.050745 최선의 손실: 0.050745 정확도: 98.59% 4 검증 세트 손실: 0.035498 최선의 손실: 0.035498 정확도: 98.94% 5 검증 세트 손실: 0.056634 최선의 손실: 0.035498 정확도: 98.36% 6 검증 세트 손실: 0.047868 최선의 손실: 0.035498 정확도: 98.48% 7 검증 세트 손실: 0.067493 최선의 손실: 0.035498 정확도: 98.44% 8 검증 세트 손실: 0.039872 최선의 손실: 0.035498 정확도: 98.83% 9 검증 세트 손실: 0.046803 최선의 손실: 0.035498 정확도: 98.48% 10 검증 세트 손실: 0.055477 최선의 손실: 0.035498 정확도: 98.63% 11 검증 세트 손실: 0.055697 최선의 손실: 0.035498 정확도: 98.71% 12 검증 세트 손실: 0.054195 최선의 손실: 0.035498 정확도: 98.40% 13 검증 세트 손실: 0.044498 최선의 손실: 0.035498 정확도: 98.91% 14 검증 세트 손실: 0.043715 최선의 손실: 0.035498 정확도: 98.63% 15 검증 세트 손실: 0.047993 최선의 손실: 0.035498 정확도: 99.02% 16 검증 세트 손실: 0.052617 최선의 손실: 0.035498 정확도: 98.75% 17 검증 세트 손실: 0.038111 최선의 손실: 0.035498 정확도: 99.14% 18 검증 세트 손실: 0.045670 최선의 손실: 0.035498 정확도: 98.83% 19 검증 세트 손실: 0.032079 최선의 손실: 0.032079 정확도: 99.10% 20 검증 세트 손실: 0.037876 최선의 손실: 0.032079 정확도: 99.06% 21 검증 세트 손실: 0.049000 최선의 손실: 0.032079 정확도: 98.51% 22 검증 세트 손실: 0.050289 최선의 손실: 0.032079 정확도: 98.67% 23 검증 세트 손실: 0.036670 최선의 손실: 0.032079 정확도: 99.34% 24 검증 세트 손실: 0.039245 최선의 손실: 0.032079 정확도: 99.14% 25 검증 세트 손실: 0.037711 최선의 손실: 0.032079 정확도: 99.14% 26 검증 세트 손실: 0.042739 최선의 손실: 0.032079 정확도: 99.02% 27 검증 세트 손실: 0.047545 최선의 손실: 0.032079 정확도: 98.71% 28 검증 세트 손실: 0.036552 최선의 손실: 0.032079 정확도: 99.18% 29 검증 세트 손실: 0.043083 최선의 손실: 0.032079 정확도: 99.06% 30 검증 세트 손실: 0.043648 최선의 손실: 0.032079 정확도: 99.06% 31 검증 세트 손실: 0.054857 최선의 손실: 0.032079 정확도: 98.94% 32 검증 세트 손실: 0.050709 최선의 손실: 0.032079 정확도: 98.87% 33 검증 세트 손실: 0.044996 최선의 손실: 0.032079 정확도: 98.98% 34 검증 세트 손실: 0.055177 최선의 손실: 0.032079 정확도: 98.91% 35 검증 세트 손실: 0.065571 최선의 손실: 0.032079 정확도: 98.87% 36 검증 세트 손실: 0.058235 최선의 손실: 0.032079 정확도: 98.79% 37 검증 세트 손실: 0.050653 최선의 손실: 0.032079 정확도: 98.79% 38 검증 세트 손실: 0.065389 최선의 손실: 0.032079 정확도: 98.91% 39 검증 세트 손실: 0.047104 최선의 손실: 0.032079 정확도: 99.02% 40 검증 세트 손실: 0.040220 최선의 손실: 0.032079 정확도: 98.87% 조기 종료! [CV] n_neurons=70, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.99, activation=<function relu at 0x7f8ec4c8c510>, total= 32.8s [CV] n_neurons=90, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 0 검증 세트 손실: 0.114592 최선의 손실: 0.114592 정확도: 96.83% 1 검증 세트 손실: 0.079134 최선의 손실: 0.079134 정확도: 97.65% 2 검증 세트 손실: 0.064214 최선의 손실: 0.064214 정확도: 97.89% 3 검증 세트 손실: 0.069312 최선의 손실: 0.064214 정확도: 97.81% 4 검증 세트 손실: 0.050091 최선의 손실: 0.050091 정확도: 98.28% 5 검증 세트 손실: 0.042664 최선의 손실: 0.042664 정확도: 98.67% 6 검증 세트 손실: 0.061674 최선의 손실: 0.042664 정확도: 98.05% 7 검증 세트 손실: 0.044887 최선의 손실: 0.042664 정확도: 98.75% 8 검증 세트 손실: 0.042725 최선의 손실: 0.042664 정확도: 98.91% 9 검증 세트 손실: 0.049231 최선의 손실: 0.042664 정확도: 98.40% 10 검증 세트 손실: 0.043162 최선의 손실: 0.042664 정확도: 98.59% 11 검증 세트 손실: 0.050581 최선의 손실: 0.042664 정확도: 98.51% 12 검증 세트 손실: 0.045750 최선의 손실: 0.042664 정확도: 98.59% 13 검증 세트 손실: 0.041216 최선의 손실: 0.041216 정확도: 98.91% 14 검증 세트 손실: 0.051024 최선의 손실: 0.041216 정확도: 98.55% 15 검증 세트 손실: 0.051924 최선의 손실: 0.041216 정확도: 98.83% 16 검증 세트 손실: 0.046886 최선의 손실: 0.041216 정확도: 98.48% 17 검증 세트 손실: 0.041533 최선의 손실: 0.041216 정확도: 98.48% 18 검증 세트 손실: 0.046880 최선의 손실: 0.041216 정확도: 98.36% 19 검증 세트 손실: 0.054990 최선의 손실: 0.041216 정확도: 97.97% 20 검증 세트 손실: 0.045344 최선의 손실: 0.041216 정확도: 98.83% 21 검증 세트 손실: 0.038670 최선의 손실: 0.038670 정확도: 98.94% 22 검증 세트 손실: 0.058628 최선의 손실: 0.038670 정확도: 98.36% 23 검증 세트 손실: 0.040953 최선의 손실: 0.038670 정확도: 98.98% 24 검증 세트 손실: 0.054136 최선의 손실: 0.038670 정확도: 98.51% 25 검증 세트 손실: 0.040360 최선의 손실: 0.038670 정확도: 98.87% 26 검증 세트 손실: 0.043082 최선의 손실: 0.038670 정확도: 98.91% 27 검증 세트 손실: 0.043313 최선의 손실: 0.038670 정확도: 98.91% 28 검증 세트 손실: 0.043051 최선의 손실: 0.038670 정확도: 98.91% 29 검증 세트 손실: 0.059247 최선의 손실: 0.038670 정확도: 98.83% 30 검증 세트 손실: 0.040963 최선의 손실: 0.038670 정확도: 98.91% 31 검증 세트 손실: 0.041097 최선의 손실: 0.038670 정확도: 98.94% 32 검증 세트 손실: 0.047747 최선의 손실: 0.038670 정확도: 98.59% 33 검증 세트 손실: 0.048710 최선의 손실: 0.038670 정확도: 98.59% 34 검증 세트 손실: 0.043334 최선의 손실: 0.038670 정확도: 98.91% 35 검증 세트 손실: 0.041966 최선의 손실: 0.038670 정확도: 98.91% 36 검증 세트 손실: 0.042289 최선의 손실: 0.038670 정확도: 98.83% 37 검증 세트 손실: 0.042468 최선의 손실: 0.038670 정확도: 98.94% 38 검증 세트 손실: 0.045170 최선의 손실: 0.038670 정확도: 99.18% 39 검증 세트 손실: 0.035574 최선의 손실: 0.035574 정확도: 98.91% 40 검증 세트 손실: 0.045149 최선의 손실: 0.035574 정확도: 98.75% 41 검증 세트 손실: 0.043668 최선의 손실: 0.035574 정확도: 99.02% 42 검증 세트 손실: 0.038137 최선의 손실: 0.035574 정확도: 99.14% 43 검증 세트 손실: 0.049273 최선의 손실: 0.035574 정확도: 98.83% 44 검증 세트 손실: 0.050111 최선의 손실: 0.035574 정확도: 98.67% 45 검증 세트 손실: 0.035123 최선의 손실: 0.035123 정확도: 99.18% 46 검증 세트 손실: 0.037657 최선의 손실: 0.035123 정확도: 99.06% 47 검증 세트 손실: 0.073691 최선의 손실: 0.035123 정확도: 98.44% 48 검증 세트 손실: 0.044583 최선의 손실: 0.035123 정확도: 98.79% 49 검증 세트 손실: 0.039754 최선의 손실: 0.035123 정확도: 98.98% 50 검증 세트 손실: 0.037962 최선의 손실: 0.035123 정확도: 99.10% 51 검증 세트 손실: 0.046695 최선의 손실: 0.035123 정확도: 98.94% 52 검증 세트 손실: 0.045159 최선의 손실: 0.035123 정확도: 98.91% 53 검증 세트 손실: 0.043865 최선의 손실: 0.035123 정확도: 98.83% 54 검증 세트 손실: 0.055269 최선의 손실: 0.035123 정확도: 98.71% 55 검증 세트 손실: 0.041935 최선의 손실: 0.035123 정확도: 98.98% 56 검증 세트 손실: 0.055522 최선의 손실: 0.035123 정확도: 98.55% 57 검증 세트 손실: 0.054848 최선의 손실: 0.035123 정확도: 98.79% 58 검증 세트 손실: 0.045492 최선의 손실: 0.035123 정확도: 99.14% 59 검증 세트 손실: 0.041112 최선의 손실: 0.035123 정확도: 99.10% 60 검증 세트 손실: 0.063105 최선의 손실: 0.035123 정확도: 98.83% 61 검증 세트 손실: 0.048241 최선의 손실: 0.035123 정확도: 98.91% 62 검증 세트 손실: 0.041676 최선의 손실: 0.035123 정확도: 99.26% 63 검증 세트 손실: 0.061414 최선의 손실: 0.035123 정확도: 98.83% 64 검증 세트 손실: 0.046663 최선의 손실: 0.035123 정확도: 98.94% 65 검증 세트 손실: 0.055563 최선의 손실: 0.035123 정확도: 98.44% 66 검증 세트 손실: 0.047961 최선의 손실: 0.035123 정확도: 98.98% 조기 종료! [CV] n_neurons=90, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 3.4min [CV] n_neurons=90, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 0 검증 세트 손실: 0.081664 최선의 손실: 0.081664 정확도: 97.50% 1 검증 세트 손실: 0.071026 최선의 손실: 0.071026 정확도: 98.05% 2 검증 세트 손실: 0.068178 최선의 손실: 0.068178 정확도: 97.93% 3 검증 세트 손실: 0.056822 최선의 손실: 0.056822 정확도: 98.48% 4 검증 세트 손실: 0.057511 최선의 손실: 0.056822 정확도: 98.16% 5 검증 세트 손실: 0.063054 최선의 손실: 0.056822 정확도: 97.85% 6 검증 세트 손실: 0.051462 최선의 손실: 0.051462 정확도: 98.48% 7 검증 세트 손실: 0.057161 최선의 손실: 0.051462 정확도: 98.20% 8 검증 세트 손실: 0.039929 최선의 손실: 0.039929 정확도: 98.83% 9 검증 세트 손실: 0.046211 최선의 손실: 0.039929 정확도: 98.91% 10 검증 세트 손실: 0.050730 최선의 손실: 0.039929 정확도: 98.48% 11 검증 세트 손실: 0.045305 최선의 손실: 0.039929 정확도: 98.59% 12 검증 세트 손실: 0.035084 최선의 손실: 0.035084 정확도: 98.83% 13 검증 세트 손실: 0.043066 최선의 손실: 0.035084 정확도: 98.44% 14 검증 세트 손실: 0.041733 최선의 손실: 0.035084 정확도: 98.71% 15 검증 세트 손실: 0.042325 최선의 손실: 0.035084 정확도: 98.79% 16 검증 세트 손실: 0.054049 최선의 손실: 0.035084 정확도: 98.44% 17 검증 세트 손실: 0.045806 최선의 손실: 0.035084 정확도: 98.79% 18 검증 세트 손실: 0.045518 최선의 손실: 0.035084 정확도: 98.79% 19 검증 세트 손실: 0.047943 최선의 손실: 0.035084 정확도: 98.67% 20 검증 세트 손실: 0.041997 최선의 손실: 0.035084 정확도: 98.71% 21 검증 세트 손실: 0.058288 최선의 손실: 0.035084 정확도: 98.71% 22 검증 세트 손실: 0.062148 최선의 손실: 0.035084 정확도: 98.12% 23 검증 세트 손실: 0.043845 최선의 손실: 0.035084 정확도: 99.10% 24 검증 세트 손실: 0.045117 최선의 손실: 0.035084 정확도: 98.79% 25 검증 세트 손실: 0.047293 최선의 손실: 0.035084 정확도: 98.83% 26 검증 세트 손실: 0.041900 최선의 손실: 0.035084 정확도: 98.83% 27 검증 세트 손실: 0.099622 최선의 손실: 0.035084 정확도: 98.01% 28 검증 세트 손실: 0.050445 최선의 손실: 0.035084 정확도: 98.75% 29 검증 세트 손실: 0.045880 최선의 손실: 0.035084 정확도: 98.79% 30 검증 세트 손실: 0.047305 최선의 손실: 0.035084 정확도: 98.83% 31 검증 세트 손실: 0.054807 최선의 손실: 0.035084 정확도: 98.48% 32 검증 세트 손실: 0.039239 최선의 손실: 0.035084 정확도: 98.98% 33 검증 세트 손실: 0.041179 최선의 손실: 0.035084 정확도: 98.79% 조기 종료! [CV] n_neurons=90, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 1.7min [CV] n_neurons=90, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 0 검증 세트 손실: 0.099845 최선의 손실: 0.099845 정확도: 97.30% 1 검증 세트 손실: 0.063542 최선의 손실: 0.063542 정확도: 98.01% 2 검증 세트 손실: 0.070009 최선의 손실: 0.063542 정확도: 97.89% 3 검증 세트 손실: 0.055727 최선의 손실: 0.055727 정확도: 98.40% 4 검증 세트 손실: 0.062441 최선의 손실: 0.055727 정확도: 97.93% 5 검증 세트 손실: 0.057846 최선의 손실: 0.055727 정확도: 98.36% 6 검증 세트 손실: 0.050340 최선의 손실: 0.050340 정확도: 98.40% 7 검증 세트 손실: 0.043558 최선의 손실: 0.043558 정확도: 98.94% 8 검증 세트 손실: 0.047246 최선의 손실: 0.043558 정확도: 98.63% 9 검증 세트 손실: 0.054402 최선의 손실: 0.043558 정확도: 98.16% 10 검증 세트 손실: 0.046013 최선의 손실: 0.043558 정확도: 98.91% 11 검증 세트 손실: 0.047927 최선의 손실: 0.043558 정확도: 98.51% 12 검증 세트 손실: 0.044308 최선의 손실: 0.043558 정확도: 98.59% 13 검증 세트 손실: 0.038198 최선의 손실: 0.038198 정확도: 98.79% 14 검증 세트 손실: 0.049687 최선의 손실: 0.038198 정확도: 98.91% 15 검증 세트 손실: 0.033455 최선의 손실: 0.033455 정확도: 98.98% 16 검증 세트 손실: 0.029302 최선의 손실: 0.029302 정확도: 99.10% 17 검증 세트 손실: 0.036471 최선의 손실: 0.029302 정확도: 98.94% 18 검증 세트 손실: 0.036323 최선의 손실: 0.029302 정확도: 98.87% 19 검증 세트 손실: 0.038700 최선의 손실: 0.029302 정확도: 98.98% 20 검증 세트 손실: 0.043857 최선의 손실: 0.029302 정확도: 98.51% 21 검증 세트 손실: 0.030805 최선의 손실: 0.029302 정확도: 99.26% 22 검증 세트 손실: 0.033364 최선의 손실: 0.029302 정확도: 98.87% 23 검증 세트 손실: 0.044814 최선의 손실: 0.029302 정확도: 98.94% 24 검증 세트 손실: 0.029852 최선의 손실: 0.029302 정확도: 99.06% 25 검증 세트 손실: 0.049596 최선의 손실: 0.029302 정확도: 98.63% 26 검증 세트 손실: 0.049007 최선의 손실: 0.029302 정확도: 98.48% 27 검증 세트 손실: 0.037004 최선의 손실: 0.029302 정확도: 99.02% 28 검증 세트 손실: 0.032272 최선의 손실: 0.029302 정확도: 98.83% 29 검증 세트 손실: 0.034253 최선의 손실: 0.029302 정확도: 98.87% 30 검증 세트 손실: 0.041660 최선의 손실: 0.029302 정확도: 98.63% 31 검증 세트 손실: 0.044015 최선의 손실: 0.029302 정확도: 98.51% 32 검증 세트 손실: 0.032434 최선의 손실: 0.029302 정확도: 99.18% 33 검증 세트 손실: 0.038385 최선의 손실: 0.029302 정확도: 98.94% 34 검증 세트 손실: 0.040558 최선의 손실: 0.029302 정확도: 98.91% 35 검증 세트 손실: 0.043190 최선의 손실: 0.029302 정확도: 98.87% 36 검증 세트 손실: 0.033715 최선의 손실: 0.029302 정확도: 99.06% 37 검증 세트 손실: 0.043057 최선의 손실: 0.029302 정확도: 99.14% 조기 종료! [CV] n_neurons=90, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 1.9min [CV] n_neurons=30, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 0 검증 세트 손실: 0.075510 최선의 손실: 0.075510 정확도: 97.42% 1 검증 세트 손실: 0.060778 최선의 손실: 0.060778 정확도: 98.20% 2 검증 세트 손실: 0.055117 최선의 손실: 0.055117 정확도: 98.12% 3 검증 세트 손실: 0.053758 최선의 손실: 0.053758 정확도: 98.36% 4 검증 세트 손실: 0.049510 최선의 손실: 0.049510 정확도: 98.55% 5 검증 세트 손실: 0.057400 최선의 손실: 0.049510 정확도: 98.48% 6 검증 세트 손실: 0.060322 최선의 손실: 0.049510 정확도: 98.32% 7 검증 세트 손실: 0.052602 최선의 손실: 0.049510 정확도: 98.24% 8 검증 세트 손실: 0.054748 최선의 손실: 0.049510 정확도: 98.40% 9 검증 세트 손실: 0.070765 최선의 손실: 0.049510 정확도: 98.24% 10 검증 세트 손실: 0.048361 최선의 손실: 0.048361 정확도: 98.79% 11 검증 세트 손실: 0.056739 최선의 손실: 0.048361 정확도: 98.71% 12 검증 세트 손실: 0.044959 최선의 손실: 0.044959 정확도: 98.79% 13 검증 세트 손실: 0.046684 최선의 손실: 0.044959 정확도: 98.87% 14 검증 세트 손실: 0.064175 최선의 손실: 0.044959 정확도: 98.59% 15 검증 세트 손실: 0.057395 최선의 손실: 0.044959 정확도: 98.63% 16 검증 세트 손실: 0.069085 최선의 손실: 0.044959 정확도: 98.59% 17 검증 세트 손실: 0.044130 최선의 손실: 0.044130 정확도: 98.59% 18 검증 세트 손실: 0.053241 최선의 손실: 0.044130 정확도: 98.55% 19 검증 세트 손실: 0.047403 최선의 손실: 0.044130 정확도: 98.83% 20 검증 세트 손실: 0.068137 최선의 손실: 0.044130 정확도: 98.59% 21 검증 세트 손실: 0.049264 최선의 손실: 0.044130 정확도: 98.63% 22 검증 세트 손실: 0.058657 최선의 손실: 0.044130 정확도: 98.63% 23 검증 세트 손실: 0.052411 최선의 손실: 0.044130 정확도: 98.67% 24 검증 세트 손실: 0.052192 최선의 손실: 0.044130 정확도: 98.71% 25 검증 세트 손실: 0.042176 최선의 손실: 0.042176 정확도: 98.94% 26 검증 세트 손실: 0.046006 최선의 손실: 0.042176 정확도: 98.75% 27 검증 세트 손실: 0.046981 최선의 손실: 0.042176 정확도: 98.91% 28 검증 세트 손실: 0.049924 최선의 손실: 0.042176 정확도: 98.87% 29 검증 세트 손실: 0.050231 최선의 손실: 0.042176 정확도: 98.75% 30 검증 세트 손실: 0.066704 최선의 손실: 0.042176 정확도: 98.48% 31 검증 세트 손실: 0.044223 최선의 손실: 0.042176 정확도: 98.98% 32 검증 세트 손실: 0.048239 최선의 손실: 0.042176 정확도: 98.98% 33 검증 세트 손실: 0.055718 최선의 손실: 0.042176 정확도: 98.94% 34 검증 세트 손실: 0.055423 최선의 손실: 0.042176 정확도: 98.94% 35 검증 세트 손실: 0.039682 최선의 손실: 0.039682 정확도: 98.87% 36 검증 세트 손실: 0.057652 최선의 손실: 0.039682 정확도: 98.79% 37 검증 세트 손실: 0.065510 최선의 손실: 0.039682 정확도: 98.55% 38 검증 세트 손실: 0.071452 최선의 손실: 0.039682 정확도: 98.59% 39 검증 세트 손실: 0.051639 최선의 손실: 0.039682 정확도: 98.79% 40 검증 세트 손실: 0.054788 최선의 손실: 0.039682 정확도: 98.91% 41 검증 세트 손실: 0.053901 최선의 손실: 0.039682 정확도: 98.83% 42 검증 세트 손실: 0.056924 최선의 손실: 0.039682 정확도: 99.10% 43 검증 세트 손실: 0.045745 최선의 손실: 0.039682 정확도: 99.10% 44 검증 세트 손실: 0.061535 최선의 손실: 0.039682 정확도: 98.63% 45 검증 세트 손실: 0.064808 최선의 손실: 0.039682 정확도: 98.79% 46 검증 세트 손실: 0.062494 최선의 손실: 0.039682 정확도: 98.71% 47 검증 세트 손실: 0.074866 최선의 손실: 0.039682 정확도: 98.59% 48 검증 세트 손실: 0.050166 최선의 손실: 0.039682 정확도: 98.94% 49 검증 세트 손실: 0.059966 최선의 손실: 0.039682 정확도: 98.91% 50 검증 세트 손실: 0.077508 최선의 손실: 0.039682 정확도: 98.67% 51 검증 세트 손실: 0.097677 최선의 손실: 0.039682 정확도: 98.32% 52 검증 세트 손실: 0.059293 최선의 손실: 0.039682 정확도: 98.79% 53 검증 세트 손실: 0.075174 최선의 손실: 0.039682 정확도: 98.67% 54 검증 세트 손실: 0.081452 최선의 손실: 0.039682 정확도: 98.48% 55 검증 세트 손실: 0.062960 최선의 손실: 0.039682 정확도: 98.87% 56 검증 세트 손실: 0.058756 최선의 손실: 0.039682 정확도: 99.06% 조기 종료! [CV] n_neurons=30, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 23.3s [CV] n_neurons=30, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 0 검증 세트 손실: 0.150462 최선의 손실: 0.150462 정확도: 95.66% 1 검증 세트 손실: 0.053544 최선의 손실: 0.053544 정확도: 98.16% 2 검증 세트 손실: 0.040908 최선의 손실: 0.040908 정확도: 98.83% 3 검증 세트 손실: 0.057587 최선의 손실: 0.040908 정확도: 98.32% 4 검증 세트 손실: 0.058809 최선의 손실: 0.040908 정확도: 98.28% 5 검증 세트 손실: 0.045832 최선의 손실: 0.040908 정확도: 98.71% 6 검증 세트 손실: 0.045915 최선의 손실: 0.040908 정확도: 98.63% 7 검증 세트 손실: 0.053029 최선의 손실: 0.040908 정확도: 98.55% 8 검증 세트 손실: 0.053415 최선의 손실: 0.040908 정확도: 98.55% 9 검증 세트 손실: 0.054202 최선의 손실: 0.040908 정확도: 98.63% 10 검증 세트 손실: 0.043016 최선의 손실: 0.040908 정확도: 98.71% 11 검증 세트 손실: 0.059104 최선의 손실: 0.040908 정확도: 98.36% 12 검증 세트 손실: 0.041447 최선의 손실: 0.040908 정확도: 98.83% 13 검증 세트 손실: 0.053491 최선의 손실: 0.040908 정확도: 98.55% 14 검증 세트 손실: 0.044904 최선의 손실: 0.040908 정확도: 98.71% 15 검증 세트 손실: 0.041226 최선의 손실: 0.040908 정확도: 98.98% 16 검증 세트 손실: 0.055429 최선의 손실: 0.040908 정확도: 98.67% 17 검증 세트 손실: 0.053558 최선의 손실: 0.040908 정확도: 98.67% 18 검증 세트 손실: 0.058393 최선의 손실: 0.040908 정확도: 98.83% 19 검증 세트 손실: 0.056860 최선의 손실: 0.040908 정확도: 98.71% 20 검증 세트 손실: 0.057698 최선의 손실: 0.040908 정확도: 98.67% 21 검증 세트 손실: 0.052901 최선의 손실: 0.040908 정확도: 98.94% 22 검증 세트 손실: 0.044675 최선의 손실: 0.040908 정확도: 98.71% 23 검증 세트 손실: 0.057578 최선의 손실: 0.040908 정확도: 98.75% 조기 종료! [CV] n_neurons=30, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 10.6s [CV] n_neurons=30, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 0 검증 세트 손실: 0.078296 최선의 손실: 0.078296 정확도: 97.81% 1 검증 세트 손실: 0.070497 최선의 손실: 0.070497 정확도: 97.81% 2 검증 세트 손실: 0.047006 최선의 손실: 0.047006 정확도: 98.36% 3 검증 세트 손실: 0.055923 최선의 손실: 0.047006 정확도: 98.16% 4 검증 세트 손실: 0.041187 최선의 손실: 0.041187 정확도: 98.83% 5 검증 세트 손실: 0.042833 최선의 손실: 0.041187 정확도: 98.63% 6 검증 세트 손실: 0.053809 최선의 손실: 0.041187 정확도: 98.40% 7 검증 세트 손실: 0.049801 최선의 손실: 0.041187 정확도: 98.67% 8 검증 세트 손실: 0.044977 최선의 손실: 0.041187 정확도: 98.75% 9 검증 세트 손실: 0.052692 최선의 손실: 0.041187 정확도: 98.51% 10 검증 세트 손실: 0.043651 최선의 손실: 0.041187 정확도: 98.75% 11 검증 세트 손실: 0.039189 최선의 손실: 0.039189 정확도: 98.75% 12 검증 세트 손실: 0.038631 최선의 손실: 0.038631 정확도: 99.06% 13 검증 세트 손실: 0.048106 최선의 손실: 0.038631 정확도: 98.75% 14 검증 세트 손실: 0.045388 최선의 손실: 0.038631 정확도: 98.67% 15 검증 세트 손실: 0.057642 최선의 손실: 0.038631 정확도: 98.51% 16 검증 세트 손실: 0.040217 최선의 손실: 0.038631 정확도: 99.06% 17 검증 세트 손실: 0.043059 최선의 손실: 0.038631 정확도: 98.98% 18 검증 세트 손실: 0.049620 최선의 손실: 0.038631 정확도: 98.59% 19 검증 세트 손실: 0.044747 최선의 손실: 0.038631 정확도: 98.87% 20 검증 세트 손실: 0.040911 최선의 손실: 0.038631 정확도: 98.83% 21 검증 세트 손실: 0.044483 최선의 손실: 0.038631 정확도: 98.75% 22 검증 세트 손실: 0.030550 최선의 손실: 0.030550 정확도: 99.02% 23 검증 세트 손실: 0.040320 최선의 손실: 0.030550 정확도: 98.91% 24 검증 세트 손실: 0.042294 최선의 손실: 0.030550 정확도: 98.94% 25 검증 세트 손실: 0.042790 최선의 손실: 0.030550 정확도: 98.79% 26 검증 세트 손실: 0.033024 최선의 손실: 0.030550 정확도: 99.06% 27 검증 세트 손실: 0.055236 최선의 손실: 0.030550 정확도: 98.59% 28 검증 세트 손실: 0.033822 최선의 손실: 0.030550 정확도: 98.91% 29 검증 세트 손실: 0.051171 최선의 손실: 0.030550 정확도: 98.75% 30 검증 세트 손실: 0.043475 최선의 손실: 0.030550 정확도: 98.98% 31 검증 세트 손실: 0.037150 최선의 손실: 0.030550 정확도: 99.02% 32 검증 세트 손실: 0.049018 최선의 손실: 0.030550 정확도: 99.10% 33 검증 세트 손실: 0.036215 최선의 손실: 0.030550 정확도: 99.18% 34 검증 세트 손실: 0.036370 최선의 손실: 0.030550 정확도: 99.10% 35 검증 세트 손실: 0.048554 최선의 손실: 0.030550 정확도: 99.06% 36 검증 세트 손실: 0.037412 최선의 손실: 0.030550 정확도: 99.02% 37 검증 세트 손실: 0.041139 최선의 손실: 0.030550 정확도: 99.02% 38 검증 세트 손실: 0.033562 최선의 손실: 0.030550 정확도: 98.98% 39 검증 세트 손실: 0.039367 최선의 손실: 0.030550 정확도: 98.98% 40 검증 세트 손실: 0.053155 최선의 손실: 0.030550 정확도: 98.91% 41 검증 세트 손실: 0.046135 최선의 손실: 0.030550 정확도: 99.06% 42 검증 세트 손실: 0.035106 최선의 손실: 0.030550 정확도: 99.26% 43 검증 세트 손실: 0.061156 최선의 손실: 0.030550 정확도: 98.75% 조기 종료! [CV] n_neurons=30, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 18.3s [CV] n_neurons=160, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 0 검증 세트 손실: 0.103749 최선의 손실: 0.103749 정확도: 97.07% 1 검증 세트 손실: 0.079472 최선의 손실: 0.079472 정확도: 97.42% 2 검증 세트 손실: 0.062663 최선의 손실: 0.062663 정확도: 98.16% 3 검증 세트 손실: 0.062764 최선의 손실: 0.062663 정확도: 97.69% 4 검증 세트 손실: 0.046899 최선의 손실: 0.046899 정확도: 98.44% 5 검증 세트 손실: 0.057160 최선의 손실: 0.046899 정확도: 98.32% 6 검증 세트 손실: 0.052302 최선의 손실: 0.046899 정확도: 98.40% 7 검증 세트 손실: 0.051096 최선의 손실: 0.046899 정확도: 98.67% 8 검증 세트 손실: 0.050310 최선의 손실: 0.046899 정확도: 98.51% 9 검증 세트 손실: 0.099875 최선의 손실: 0.046899 정확도: 97.03% 10 검증 세트 손실: 0.046871 최선의 손실: 0.046871 정확도: 98.51% 11 검증 세트 손실: 0.048294 최선의 손실: 0.046871 정확도: 98.75% 12 검증 세트 손실: 0.034598 최선의 손실: 0.034598 정확도: 99.14% 13 검증 세트 손실: 0.052917 최선의 손실: 0.034598 정확도: 98.75% 14 검증 세트 손실: 0.042917 최선의 손실: 0.034598 정확도: 98.83% 15 검증 세트 손실: 0.039437 최선의 손실: 0.034598 정확도: 98.98% 16 검증 세트 손실: 0.049609 최선의 손실: 0.034598 정확도: 98.83% 17 검증 세트 손실: 0.046809 최선의 손실: 0.034598 정확도: 98.83% 18 검증 세트 손실: 0.041958 최선의 손실: 0.034598 정확도: 98.63% 19 검증 세트 손실: 0.044755 최선의 손실: 0.034598 정확도: 98.63% 20 검증 세트 손실: 0.043001 최선의 손실: 0.034598 정확도: 98.75% 21 검증 세트 손실: 0.052483 최선의 손실: 0.034598 정확도: 98.55% 22 검증 세트 손실: 0.060037 최선의 손실: 0.034598 정확도: 98.63% 23 검증 세트 손실: 0.036305 최선의 손실: 0.034598 정확도: 99.02% 24 검증 세트 손실: 0.055822 최선의 손실: 0.034598 정확도: 98.55% 25 검증 세트 손실: 0.033521 최선의 손실: 0.033521 정확도: 99.06% 26 검증 세트 손실: 0.047889 최선의 손실: 0.033521 정확도: 99.02% 27 검증 세트 손실: 0.035007 최선의 손실: 0.033521 정확도: 98.87% 28 검증 세트 손실: 0.037914 최선의 손실: 0.033521 정확도: 98.98% 29 검증 세트 손실: 0.038397 최선의 손실: 0.033521 정확도: 98.98% 30 검증 세트 손실: 0.043221 최선의 손실: 0.033521 정확도: 99.06% 31 검증 세트 손실: 0.036855 최선의 손실: 0.033521 정확도: 98.94% 32 검증 세트 손실: 0.032825 최선의 손실: 0.032825 정확도: 99.22% 33 검증 세트 손실: 0.050577 최선의 손실: 0.032825 정확도: 98.55% 34 검증 세트 손실: 0.036475 최선의 손실: 0.032825 정확도: 99.26% 35 검증 세트 손실: 0.041453 최선의 손실: 0.032825 정확도: 98.79% 36 검증 세트 손실: 0.050550 최선의 손실: 0.032825 정확도: 98.91% 37 검증 세트 손실: 0.053042 최선의 손실: 0.032825 정확도: 98.63% 38 검증 세트 손실: 0.052436 최선의 손실: 0.032825 정확도: 98.79% 39 검증 세트 손실: 0.035064 최선의 손실: 0.032825 정확도: 99.10% 40 검증 세트 손실: 0.053267 최선의 손실: 0.032825 정확도: 98.67% 41 검증 세트 손실: 0.052758 최선의 손실: 0.032825 정확도: 98.67% 42 검증 세트 손실: 0.044218 최선의 손실: 0.032825 정확도: 98.94% 43 검증 세트 손실: 0.042958 최선의 손실: 0.032825 정확도: 98.83% 44 검증 세트 손실: 0.037737 최선의 손실: 0.032825 정확도: 99.06% 45 검증 세트 손실: 0.046989 최선의 손실: 0.032825 정확도: 99.14% 46 검증 세트 손실: 0.082026 최선의 손실: 0.032825 정확도: 98.24% 47 검증 세트 손실: 0.039048 최선의 손실: 0.032825 정확도: 98.98% 48 검증 세트 손실: 0.042046 최선의 손실: 0.032825 정확도: 99.18% 49 검증 세트 손실: 0.055987 최선의 손실: 0.032825 정확도: 99.02% 50 검증 세트 손실: 0.039698 최선의 손실: 0.032825 정확도: 99.22% 51 검증 세트 손실: 0.059100 최선의 손실: 0.032825 정확도: 98.94% 52 검증 세트 손실: 0.047217 최선의 손실: 0.032825 정확도: 99.06% 53 검증 세트 손실: 0.048390 최선의 손실: 0.032825 정확도: 99.18% 조기 종료! [CV] n_neurons=160, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 3.9min [CV] n_neurons=160, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 0 검증 세트 손실: 0.098821 최선의 손실: 0.098821 정확도: 97.07% 1 검증 세트 손실: 0.071376 최선의 손실: 0.071376 정확도: 97.81% 2 검증 세트 손실: 0.067087 최선의 손실: 0.067087 정확도: 98.24% 3 검증 세트 손실: 0.062023 최선의 손실: 0.062023 정확도: 97.73% 4 검증 세트 손실: 0.054316 최선의 손실: 0.054316 정확도: 98.24% 5 검증 세트 손실: 0.050823 최선의 손실: 0.050823 정확도: 98.40% 6 검증 세트 손실: 0.051454 최선의 손실: 0.050823 정확도: 98.44% 7 검증 세트 손실: 0.060360 최선의 손실: 0.050823 정확도: 97.93% 8 검증 세트 손실: 0.052612 최선의 손실: 0.050823 정확도: 98.20% 9 검증 세트 손실: 0.054150 최선의 손실: 0.050823 정확도: 98.48% 10 검증 세트 손실: 0.045996 최선의 손실: 0.045996 정확도: 98.51% 11 검증 세트 손실: 0.039047 최선의 손실: 0.039047 정확도: 98.91% 12 검증 세트 손실: 0.045614 최선의 손실: 0.039047 정확도: 98.67% 13 검증 세트 손실: 0.040682 최선의 손실: 0.039047 정확도: 98.75% 14 검증 세트 손실: 0.055305 최선의 손실: 0.039047 정확도: 98.63% 15 검증 세트 손실: 0.045391 최선의 손실: 0.039047 정확도: 98.59% 16 검증 세트 손실: 0.043196 최선의 손실: 0.039047 정확도: 98.71% 17 검증 세트 손실: 0.042992 최선의 손실: 0.039047 정확도: 98.87% 18 검증 세트 손실: 0.039868 최선의 손실: 0.039047 정확도: 98.91% 19 검증 세트 손실: 0.042407 최선의 손실: 0.039047 정확도: 98.75% 20 검증 세트 손실: 0.029301 최선의 손실: 0.029301 정확도: 99.14% 21 검증 세트 손실: 0.038025 최선의 손실: 0.029301 정확도: 98.91% 22 검증 세트 손실: 0.049163 최선의 손실: 0.029301 정확도: 98.79% 23 검증 세트 손실: 0.052875 최선의 손실: 0.029301 정확도: 98.55% 24 검증 세트 손실: 0.041709 최선의 손실: 0.029301 정확도: 98.75% 25 검증 세트 손실: 0.039322 최선의 손실: 0.029301 정확도: 98.91% 26 검증 세트 손실: 0.047593 최선의 손실: 0.029301 정확도: 98.63% 27 검증 세트 손실: 0.035872 최선의 손실: 0.029301 정확도: 98.83% 28 검증 세트 손실: 0.034804 최선의 손실: 0.029301 정확도: 99.06% 29 검증 세트 손실: 0.029531 최선의 손실: 0.029301 정확도: 99.06% 30 검증 세트 손실: 0.043224 최선의 손실: 0.029301 정확도: 98.83% 31 검증 세트 손실: 0.035021 최선의 손실: 0.029301 정확도: 98.87% 32 검증 세트 손실: 0.034278 최선의 손실: 0.029301 정확도: 99.02% 33 검증 세트 손실: 0.036277 최선의 손실: 0.029301 정확도: 98.71% 34 검증 세트 손실: 0.037334 최선의 손실: 0.029301 정확도: 99.10% 35 검증 세트 손실: 0.053632 최선의 손실: 0.029301 정확도: 98.44% 36 검증 세트 손실: 0.028916 최선의 손실: 0.028916 정확도: 99.30% 37 검증 세트 손실: 0.049454 최선의 손실: 0.028916 정확도: 98.83% 38 검증 세트 손실: 0.064600 최선의 손실: 0.028916 정확도: 98.36% 39 검증 세트 손실: 0.063659 최선의 손실: 0.028916 정확도: 98.16% 40 검증 세트 손실: 0.036875 최선의 손실: 0.028916 정확도: 98.83% 41 검증 세트 손실: 0.035203 최선의 손실: 0.028916 정확도: 99.14% 42 검증 세트 손실: 0.037617 최선의 손실: 0.028916 정확도: 99.02% 43 검증 세트 손실: 0.056894 최선의 손실: 0.028916 정확도: 98.83% 44 검증 세트 손실: 0.033357 최선의 손실: 0.028916 정확도: 98.94% 45 검증 세트 손실: 0.042235 최선의 손실: 0.028916 정확도: 98.98% 46 검증 세트 손실: 0.040876 최선의 손실: 0.028916 정확도: 99.02% 47 검증 세트 손실: 0.043300 최선의 손실: 0.028916 정확도: 99.22% 48 검증 세트 손실: 0.046666 최선의 손실: 0.028916 정확도: 98.98% 49 검증 세트 손실: 0.047182 최선의 손실: 0.028916 정확도: 98.83% 50 검증 세트 손실: 0.048907 최선의 손실: 0.028916 정확도: 99.10% 51 검증 세트 손실: 0.055821 최선의 손실: 0.028916 정확도: 98.79% 52 검증 세트 손실: 0.044184 최선의 손실: 0.028916 정확도: 98.94% 53 검증 세트 손실: 0.035518 최선의 손실: 0.028916 정확도: 99.14% 54 검증 세트 손실: 0.048779 최선의 손실: 0.028916 정확도: 98.91% 55 검증 세트 손실: 0.035050 최선의 손실: 0.028916 정확도: 99.06% 56 검증 세트 손실: 0.047059 최선의 손실: 0.028916 정확도: 98.87% 57 검증 세트 손실: 0.033101 최선의 손실: 0.028916 정확도: 99.06% 조기 종료! [CV] n_neurons=160, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 4.2min [CV] n_neurons=160, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 0 검증 세트 손실: 0.074829 최선의 손실: 0.074829 정확도: 98.16% 1 검증 세트 손실: 0.066890 최선의 손실: 0.066890 정확도: 97.89% 2 검증 세트 손실: 0.090426 최선의 손실: 0.066890 정확도: 97.42% 3 검증 세트 손실: 0.051487 최선의 손실: 0.051487 정확도: 98.67% 4 검증 세트 손실: 0.075932 최선의 손실: 0.051487 정확도: 97.65% 5 검증 세트 손실: 0.046110 최선의 손실: 0.046110 정확도: 98.55% 6 검증 세트 손실: 0.055188 최선의 손실: 0.046110 정확도: 98.16% 7 검증 세트 손실: 0.050225 최선의 손실: 0.046110 정확도: 98.55% 8 검증 세트 손실: 0.053066 최선의 손실: 0.046110 정확도: 98.51% 9 검증 세트 손실: 0.066856 최선의 손실: 0.046110 정확도: 97.85% 10 검증 세트 손실: 0.059722 최선의 손실: 0.046110 정확도: 98.01% 11 검증 세트 손실: 0.035812 최선의 손실: 0.035812 정확도: 98.83% 12 검증 세트 손실: 0.041850 최선의 손실: 0.035812 정확도: 98.51% 13 검증 세트 손실: 0.036123 최선의 손실: 0.035812 정확도: 98.94% 14 검증 세트 손실: 0.040851 최선의 손실: 0.035812 정확도: 98.83% 15 검증 세트 손실: 0.033105 최선의 손실: 0.033105 정확도: 98.94% 16 검증 세트 손실: 0.026667 최선의 손실: 0.026667 정확도: 99.26% 17 검증 세트 손실: 0.046519 최선의 손실: 0.026667 정확도: 98.55% 18 검증 세트 손실: 0.034714 최선의 손실: 0.026667 정확도: 99.18% 19 검증 세트 손실: 0.040887 최선의 손실: 0.026667 정확도: 98.83% 20 검증 세트 손실: 0.032936 최선의 손실: 0.026667 정확도: 98.94% 21 검증 세트 손실: 0.032091 최선의 손실: 0.026667 정확도: 99.10% 22 검증 세트 손실: 0.039051 최선의 손실: 0.026667 정확도: 99.06% 23 검증 세트 손실: 0.048173 최선의 손실: 0.026667 정확도: 98.91% 24 검증 세트 손실: 0.037897 최선의 손실: 0.026667 정확도: 98.87% 25 검증 세트 손실: 0.048630 최선의 손실: 0.026667 정확도: 98.83% 26 검증 세트 손실: 0.038484 최선의 손실: 0.026667 정확도: 99.06% 27 검증 세트 손실: 0.041520 최선의 손실: 0.026667 정확도: 98.75% 28 검증 세트 손실: 0.036126 최선의 손실: 0.026667 정확도: 98.94% 29 검증 세트 손실: 0.036549 최선의 손실: 0.026667 정확도: 99.06% 30 검증 세트 손실: 0.036694 최선의 손실: 0.026667 정확도: 99.10% 31 검증 세트 손실: 0.028282 최선의 손실: 0.026667 정확도: 99.18% 32 검증 세트 손실: 0.041685 최선의 손실: 0.026667 정확도: 98.83% 33 검증 세트 손실: 0.042924 최선의 손실: 0.026667 정확도: 99.06% 34 검증 세트 손실: 0.034203 최선의 손실: 0.026667 정확도: 99.02% 35 검증 세트 손실: 0.035102 최선의 손실: 0.026667 정확도: 98.91% 36 검증 세트 손실: 0.033670 최선의 손실: 0.026667 정확도: 99.22% 37 검증 세트 손실: 0.042309 최선의 손실: 0.026667 정확도: 99.18% 조기 종료! [CV] n_neurons=160, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 2.8min [CV] n_neurons=100, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.98, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.077832 최선의 손실: 0.077832 정확도: 97.34% 1 검증 세트 손실: 0.072224 최선의 손실: 0.072224 정확도: 98.01% 2 검증 세트 손실: 0.067583 최선의 손실: 0.067583 정확도: 97.85% 3 검증 세트 손실: 0.052682 최선의 손실: 0.052682 정확도: 98.48% 4 검증 세트 손실: 0.053712 최선의 손실: 0.052682 정확도: 98.16% 5 검증 세트 손실: 0.047642 최선의 손실: 0.047642 정확도: 98.59% 6 검증 세트 손실: 0.042210 최선의 손실: 0.042210 정확도: 98.44% 7 검증 세트 손실: 0.059812 최선의 손실: 0.042210 정확도: 98.55% 8 검증 세트 손실: 0.093588 최선의 손실: 0.042210 정확도: 97.93% 9 검증 세트 손실: 0.074659 최선의 손실: 0.042210 정확도: 97.97% 10 검증 세트 손실: 0.083167 최선의 손실: 0.042210 정확도: 98.08% 11 검증 세트 손실: 0.061067 최선의 손실: 0.042210 정확도: 98.59% 12 검증 세트 손실: 0.044277 최선의 손실: 0.042210 정확도: 98.67% 13 검증 세트 손실: 0.073602 최선의 손실: 0.042210 정확도: 98.48% 14 검증 세트 손실: 0.067000 최선의 손실: 0.042210 정확도: 98.48% 15 검증 세트 손실: 0.068206 최선의 손실: 0.042210 정확도: 98.40% 16 검증 세트 손실: 0.050635 최선의 손실: 0.042210 정확도: 98.94% 17 검증 세트 손실: 0.077790 최선의 손실: 0.042210 정확도: 98.44% 18 검증 세트 손실: 0.039914 최선의 손실: 0.039914 정확도: 99.10% 19 검증 세트 손실: 0.057653 최선의 손실: 0.039914 정확도: 98.75% 20 검증 세트 손실: 0.067930 최선의 손실: 0.039914 정확도: 98.75% 21 검증 세트 손실: 0.067467 최선의 손실: 0.039914 정확도: 98.63% 22 검증 세트 손실: 0.051119 최선의 손실: 0.039914 정확도: 98.63% 23 검증 세트 손실: 0.075687 최선의 손실: 0.039914 정확도: 98.51% 24 검증 세트 손실: 0.043222 최선의 손실: 0.039914 정확도: 98.83% 25 검증 세트 손실: 0.046396 최선의 손실: 0.039914 정확도: 99.02% 26 검증 세트 손실: 0.070371 최선의 손실: 0.039914 정확도: 98.48% 27 검증 세트 손실: 0.040021 최선의 손실: 0.039914 정확도: 99.10% 28 검증 세트 손실: 0.061770 최선의 손실: 0.039914 정확도: 99.02% 29 검증 세트 손실: 0.064614 최선의 손실: 0.039914 정확도: 98.75% 30 검증 세트 손실: 0.051016 최선의 손실: 0.039914 정확도: 98.98% 31 검증 세트 손실: 0.044159 최선의 손실: 0.039914 정확도: 99.06% 32 검증 세트 손실: 0.072505 최선의 손실: 0.039914 정확도: 98.55% 33 검증 세트 손실: 0.063105 최선의 손실: 0.039914 정확도: 98.67% 34 검증 세트 손실: 0.072510 최선의 손실: 0.039914 정확도: 98.48% 35 검증 세트 손실: 0.051465 최선의 손실: 0.039914 정확도: 98.83% 36 검증 세트 손실: 0.048610 최선의 손실: 0.039914 정확도: 98.98% 37 검증 세트 손실: 0.043505 최선의 손실: 0.039914 정확도: 98.98% 38 검증 세트 손실: 0.071159 최선의 손실: 0.039914 정확도: 98.59% 39 검증 세트 손실: 0.066428 최선의 손실: 0.039914 정확도: 98.79% 조기 종료! [CV] n_neurons=100, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.98, activation=<function elu at 0x7f8ec4ceef28>, total= 28.7s [CV] n_neurons=100, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.98, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.150226 최선의 손실: 0.150226 정확도: 95.82% 1 검증 세트 손실: 0.062492 최선의 손실: 0.062492 정확도: 97.97% 2 검증 세트 손실: 0.054680 최선의 손실: 0.054680 정확도: 98.12% 3 검증 세트 손실: 0.084196 최선의 손실: 0.054680 정확도: 97.69% 4 검증 세트 손실: 0.095785 최선의 손실: 0.054680 정확도: 97.50% 5 검증 세트 손실: 0.050653 최선의 손실: 0.050653 정확도: 98.67% 6 검증 세트 손실: 0.078538 최선의 손실: 0.050653 정확도: 97.89% 7 검증 세트 손실: 0.068732 최선의 손실: 0.050653 정확도: 98.08% 8 검증 세트 손실: 0.051370 최선의 손실: 0.050653 정확도: 98.63% 9 검증 세트 손실: 0.076098 최선의 손실: 0.050653 정확도: 98.28% 10 검증 세트 손실: 0.044406 최선의 손실: 0.044406 정확도: 98.79% 11 검증 세트 손실: 0.041561 최선의 손실: 0.041561 정확도: 98.67% 12 검증 세트 손실: 0.044741 최선의 손실: 0.041561 정확도: 99.02% 13 검증 세트 손실: 0.056752 최선의 손실: 0.041561 정확도: 98.51% 14 검증 세트 손실: 0.050746 최선의 손실: 0.041561 정확도: 98.63% 15 검증 세트 손실: 0.045550 최선의 손실: 0.041561 정확도: 98.75% 16 검증 세트 손실: 0.043269 최선의 손실: 0.041561 정확도: 98.94% 17 검증 세트 손실: 0.044414 최선의 손실: 0.041561 정확도: 98.98% 18 검증 세트 손실: 0.054355 최선의 손실: 0.041561 정확도: 98.83% 19 검증 세트 손실: 0.049926 최선의 손실: 0.041561 정확도: 98.87% 20 검증 세트 손실: 0.037164 최선의 손실: 0.037164 정확도: 99.10% 21 검증 세트 손실: 0.044178 최선의 손실: 0.037164 정확도: 99.10% 22 검증 세트 손실: 0.086482 최선의 손실: 0.037164 정확도: 98.16% 23 검증 세트 손실: 0.064197 최선의 손실: 0.037164 정확도: 98.91% 24 검증 세트 손실: 0.069959 최선의 손실: 0.037164 정확도: 98.48% 25 검증 세트 손실: 0.058389 최선의 손실: 0.037164 정확도: 98.67% 26 검증 세트 손실: 0.064138 최선의 손실: 0.037164 정확도: 98.87% 27 검증 세트 손실: 0.056779 최선의 손실: 0.037164 정확도: 98.44% 28 검증 세트 손실: 0.056362 최선의 손실: 0.037164 정확도: 98.87% 29 검증 세트 손실: 0.050625 최선의 손실: 0.037164 정확도: 99.10% 30 검증 세트 손실: 0.064372 최선의 손실: 0.037164 정확도: 99.06% 31 검증 세트 손실: 0.067915 최선의 손실: 0.037164 정확도: 98.79% 32 검증 세트 손실: 0.051692 최선의 손실: 0.037164 정확도: 99.14% 33 검증 세트 손실: 0.096092 최선의 손실: 0.037164 정확도: 98.63% 34 검증 세트 손실: 0.052063 최선의 손실: 0.037164 정확도: 98.79% 35 검증 세트 손실: 0.049920 최선의 손실: 0.037164 정확도: 98.94% 36 검증 세트 손실: 0.039659 최선의 손실: 0.037164 정확도: 99.18% 37 검증 세트 손실: 0.062263 최선의 손실: 0.037164 정확도: 99.02% 38 검증 세트 손실: 0.041754 최선의 손실: 0.037164 정확도: 99.10% 39 검증 세트 손실: 0.063603 최선의 손실: 0.037164 정확도: 98.71% 40 검증 세트 손실: 0.060485 최선의 손실: 0.037164 정확도: 98.94% 41 검증 세트 손실: 0.079351 최선의 손실: 0.037164 정확도: 98.59% 조기 종료! [CV] n_neurons=100, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.98, activation=<function elu at 0x7f8ec4ceef28>, total= 29.6s [CV] n_neurons=100, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.98, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.103896 최선의 손실: 0.103896 정확도: 97.22% 1 검증 세트 손실: 0.065964 최선의 손실: 0.065964 정확도: 97.81% 2 검증 세트 손실: 0.058561 최선의 손실: 0.058561 정확도: 97.97% 3 검증 세트 손실: 0.050883 최선의 손실: 0.050883 정확도: 98.55% 4 검증 세트 손실: 0.051224 최선의 손실: 0.050883 정확도: 98.59% 5 검증 세트 손실: 0.054049 최선의 손실: 0.050883 정확도: 98.36% 6 검증 세트 손실: 0.109413 최선의 손실: 0.050883 정확도: 96.79% 7 검증 세트 손실: 0.073744 최선의 손실: 0.050883 정확도: 98.44% 8 검증 세트 손실: 0.050870 최선의 손실: 0.050870 정확도: 98.71% 9 검증 세트 손실: 0.059728 최선의 손실: 0.050870 정확도: 98.59% 10 검증 세트 손실: 0.046404 최선의 손실: 0.046404 정확도: 98.87% 11 검증 세트 손실: 0.060333 최선의 손실: 0.046404 정확도: 98.32% 12 검증 세트 손실: 0.039775 최선의 손실: 0.039775 정확도: 98.75% 13 검증 세트 손실: 0.046612 최선의 손실: 0.039775 정확도: 98.75% 14 검증 세트 손실: 0.052665 최선의 손실: 0.039775 정확도: 98.79% 15 검증 세트 손실: 0.045548 최선의 손실: 0.039775 정확도: 98.75% 16 검증 세트 손실: 0.050323 최선의 손실: 0.039775 정확도: 99.02% 17 검증 세트 손실: 0.055379 최선의 손실: 0.039775 정확도: 98.83% 18 검증 세트 손실: 0.155572 최선의 손실: 0.039775 정확도: 97.11% 19 검증 세트 손실: 0.053382 최선의 손실: 0.039775 정확도: 98.87% 20 검증 세트 손실: 0.030652 최선의 손실: 0.030652 정확도: 99.10% 21 검증 세트 손실: 0.039957 최선의 손실: 0.030652 정확도: 99.22% 22 검증 세트 손실: 0.061722 최선의 손실: 0.030652 정확도: 98.94% 23 검증 세트 손실: 0.049590 최선의 손실: 0.030652 정확도: 99.02% 24 검증 세트 손실: 0.042568 최선의 손실: 0.030652 정확도: 99.10% 25 검증 세트 손실: 0.032055 최선의 손실: 0.030652 정확도: 98.94% 26 검증 세트 손실: 0.033463 최선의 손실: 0.030652 정확도: 99.18% 27 검증 세트 손실: 0.075137 최선의 손실: 0.030652 정확도: 98.32% 28 검증 세트 손실: 0.052286 최선의 손실: 0.030652 정확도: 98.83% 29 검증 세트 손실: 0.042195 최선의 손실: 0.030652 정확도: 98.94% 30 검증 세트 손실: 0.064870 최선의 손실: 0.030652 정확도: 98.48% 31 검증 세트 손실: 0.041084 최선의 손실: 0.030652 정확도: 99.06% 32 검증 세트 손실: 0.056040 최선의 손실: 0.030652 정확도: 98.91% 33 검증 세트 손실: 0.063028 최선의 손실: 0.030652 정확도: 98.83% 34 검증 세트 손실: 0.053640 최선의 손실: 0.030652 정확도: 98.91% 35 검증 세트 손실: 0.034499 최선의 손실: 0.030652 정확도: 98.98% 36 검증 세트 손실: 0.035017 최선의 손실: 0.030652 정확도: 99.02% 37 검증 세트 손실: 0.070747 최선의 손실: 0.030652 정확도: 98.59% 38 검증 세트 손실: 0.035310 최선의 손실: 0.030652 정확도: 99.22% 39 검증 세트 손실: 0.036352 최선의 손실: 0.030652 정확도: 99.18% 40 검증 세트 손실: 0.062248 최선의 손실: 0.030652 정확도: 98.91% 41 검증 세트 손실: 0.034495 최선의 손실: 0.030652 정확도: 99.14% 조기 종료! [CV] n_neurons=100, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.98, activation=<function elu at 0x7f8ec4ceef28>, total= 29.6s [CV] n_neurons=90, learning_rate=0.1, batch_size=100, batch_norm_momentum=0.99, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.120916 최선의 손실: 0.120916 정확도: 96.79% 1 검증 세트 손실: 0.095552 최선의 손실: 0.095552 정확도: 97.34% 2 검증 세트 손실: 0.177323 최선의 손실: 0.095552 정확도: 95.70% 3 검증 세트 손실: 0.200057 최선의 손실: 0.095552 정확도: 94.92% 4 검증 세트 손실: 0.095770 최선의 손실: 0.095552 정확도: 97.26% 5 검증 세트 손실: 0.093912 최선의 손실: 0.093912 정확도: 97.97% 6 검증 세트 손실: 0.097898 최선의 손실: 0.093912 정확도: 98.01% 7 검증 세트 손실: 0.054156 최선의 손실: 0.054156 정확도: 98.75% 8 검증 세트 손실: 0.167664 최선의 손실: 0.054156 정확도: 97.42% 9 검증 세트 손실: 0.073544 최선의 손실: 0.054156 정확도: 98.48% 10 검증 세트 손실: 0.066613 최선의 손실: 0.054156 정확도: 98.63% 11 검증 세트 손실: 0.089580 최선의 손실: 0.054156 정확도: 98.12% 12 검증 세트 손실: 0.157866 최선의 손실: 0.054156 정확도: 97.97% 13 검증 세트 손실: 0.153380 최선의 손실: 0.054156 정확도: 96.95% 14 검증 세트 손실: 0.892000 최선의 손실: 0.054156 정확도: 96.60% 15 검증 세트 손실: 0.162993 최선의 손실: 0.054156 정확도: 98.20% 16 검증 세트 손실: 0.078262 최선의 손실: 0.054156 정확도: 98.51% 17 검증 세트 손실: 0.075052 최선의 손실: 0.054156 정확도: 98.71% 18 검증 세트 손실: 0.058831 최선의 손실: 0.054156 정확도: 98.98% 19 검증 세트 손실: 0.080657 최선의 손실: 0.054156 정확도: 98.71% 20 검증 세트 손실: 0.057286 최선의 손실: 0.054156 정확도: 98.98% 21 검증 세트 손실: 0.073665 최선의 손실: 0.054156 정확도: 98.51% 22 검증 세트 손실: 0.052017 최선의 손실: 0.052017 정확도: 99.10% 23 검증 세트 손실: 0.048788 최선의 손실: 0.048788 정확도: 98.98% 24 검증 세트 손실: 0.066911 최선의 손실: 0.048788 정확도: 98.83% 25 검증 세트 손실: 0.134430 최선의 손실: 0.048788 정확도: 98.08% 26 검증 세트 손실: 0.106243 최선의 손실: 0.048788 정확도: 98.51% 27 검증 세트 손실: 0.256675 최선의 손실: 0.048788 정확도: 98.08% 28 검증 세트 손실: 1.385528 최선의 손실: 0.048788 정확도: 97.30% 29 검증 세트 손실: 0.203836 최선의 손실: 0.048788 정확도: 98.36% 30 검증 세트 손실: 0.162314 최선의 손실: 0.048788 정확도: 98.79% 31 검증 세트 손실: 0.137337 최선의 손실: 0.048788 정확도: 98.94% 32 검증 세트 손실: 0.172387 최선의 손실: 0.048788 정확도: 98.63% 33 검증 세트 손실: 0.139187 최선의 손실: 0.048788 정확도: 98.79% 34 검증 세트 손실: 0.107539 최선의 손실: 0.048788 정확도: 98.79% 35 검증 세트 손실: 0.133943 최선의 손실: 0.048788 정확도: 98.55% 36 검증 세트 손실: 0.186026 최선의 손실: 0.048788 정확도: 98.32% 37 검증 세트 손실: 0.131154 최선의 손실: 0.048788 정확도: 98.63% 38 검증 세트 손실: 0.143437 최선의 손실: 0.048788 정확도: 98.59% 39 검증 세트 손실: 0.257873 최선의 손실: 0.048788 정확도: 98.44% 40 검증 세트 손실: 0.170590 최선의 손실: 0.048788 정확도: 98.63% 41 검증 세트 손실: 0.510702 최선의 손실: 0.048788 정확도: 96.60% 42 검증 세트 손실: 0.155470 최선의 손실: 0.048788 정확도: 99.02% 43 검증 세트 손실: 0.133177 최선의 손실: 0.048788 정확도: 98.91% 44 검증 세트 손실: 0.096177 최선의 손실: 0.048788 정확도: 99.02% 조기 종료! [CV] n_neurons=90, learning_rate=0.1, batch_size=100, batch_norm_momentum=0.99, activation=<function elu at 0x7f8ec4ceef28>, total= 29.4s [CV] n_neurons=90, learning_rate=0.1, batch_size=100, batch_norm_momentum=0.99, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.166797 최선의 손실: 0.166797 정확도: 95.97% 1 검증 세트 손실: 0.080369 최선의 손실: 0.080369 정확도: 97.65% 2 검증 세트 손실: 0.073764 최선의 손실: 0.073764 정확도: 98.20% 3 검증 세트 손실: 0.081916 최선의 손실: 0.073764 정확도: 97.93% 4 검증 세트 손실: 0.112071 최선의 손실: 0.073764 정확도: 97.54% 5 검증 세트 손실: 0.076809 최선의 손실: 0.073764 정확도: 98.08% 6 검증 세트 손실: 0.057679 최선의 손실: 0.057679 정확도: 98.71% 7 검증 세트 손실: 0.062936 최선의 손실: 0.057679 정확도: 98.59% 8 검증 세트 손실: 0.060002 최선의 손실: 0.057679 정확도: 98.75% 9 검증 세트 손실: 0.207199 최선의 손실: 0.057679 정확도: 96.76% 10 검증 세트 손실: 0.077315 최선의 손실: 0.057679 정확도: 98.32% 11 검증 세트 손실: 0.046715 최선의 손실: 0.046715 정확도: 98.83% 12 검증 세트 손실: 0.063485 최선의 손실: 0.046715 정확도: 98.55% 13 검증 세트 손실: 0.060115 최선의 손실: 0.046715 정확도: 98.63% 14 검증 세트 손실: 0.119740 최선의 손실: 0.046715 정확도: 98.44% 15 검증 세트 손실: 0.310754 최선의 손실: 0.046715 정확도: 93.94% 16 검증 세트 손실: 0.088539 최선의 손실: 0.046715 정확도: 98.51% 17 검증 세트 손실: 0.074940 최선의 손실: 0.046715 정확도: 98.40% 18 검증 세트 손실: 0.072784 최선의 손실: 0.046715 정확도: 98.51% 19 검증 세트 손실: 0.066129 최선의 손실: 0.046715 정확도: 98.94% 20 검증 세트 손실: 0.059312 최선의 손실: 0.046715 정확도: 98.79% 21 검증 세트 손실: 0.078913 최선의 손실: 0.046715 정확도: 98.59% 22 검증 세트 손실: 0.075840 최선의 손실: 0.046715 정확도: 98.32% 23 검증 세트 손실: 0.070852 최선의 손실: 0.046715 정확도: 98.83% 24 검증 세트 손실: 0.095987 최선의 손실: 0.046715 정확도: 98.44% 25 검증 세트 손실: 1.022980 최선의 손실: 0.046715 정확도: 97.89% 26 검증 세트 손실: 0.178756 최선의 손실: 0.046715 정확도: 98.55% 27 검증 세트 손실: 0.148379 최선의 손실: 0.046715 정확도: 98.55% 28 검증 세트 손실: 0.136211 최선의 손실: 0.046715 정확도: 98.75% 29 검증 세트 손실: 0.177468 최선의 손실: 0.046715 정확도: 98.55% 30 검증 세트 손실: 0.242068 최선의 손실: 0.046715 정확도: 98.51% 31 검증 세트 손실: 0.160496 최선의 손실: 0.046715 정확도: 98.94% 32 검증 세트 손실: 0.155505 최선의 손실: 0.046715 정확도: 98.87% 조기 종료! [CV] n_neurons=90, learning_rate=0.1, batch_size=100, batch_norm_momentum=0.99, activation=<function elu at 0x7f8ec4ceef28>, total= 22.1s [CV] n_neurons=90, learning_rate=0.1, batch_size=100, batch_norm_momentum=0.99, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.128081 최선의 손실: 0.128081 정확도: 97.11% 1 검증 세트 손실: 0.097621 최선의 손실: 0.097621 정확도: 97.58% 2 검증 세트 손실: 0.071232 최선의 손실: 0.071232 정확도: 97.93% 3 검증 세트 손실: 0.089789 최선의 손실: 0.071232 정확도: 97.93% 4 검증 세트 손실: 0.109414 최선의 손실: 0.071232 정확도: 98.01% 5 검증 세트 손실: 0.086362 최선의 손실: 0.071232 정확도: 98.01% 6 검증 세트 손실: 0.057638 최선의 손실: 0.057638 정확도: 98.12% 7 검증 세트 손실: 0.118381 최선의 손실: 0.057638 정확도: 97.81% 8 검증 세트 손실: 0.073463 최선의 손실: 0.057638 정확도: 98.32% 9 검증 세트 손실: 0.111825 최선의 손실: 0.057638 정확도: 97.69% 10 검증 세트 손실: 0.141495 최선의 손실: 0.057638 정확도: 97.93% 11 검증 세트 손실: 0.062022 최선의 손실: 0.057638 정확도: 98.55% 12 검증 세트 손실: 0.079533 최선의 손실: 0.057638 정확도: 98.32% 13 검증 세트 손실: 1.762252 최선의 손실: 0.057638 정확도: 96.79% 14 검증 세트 손실: 0.236947 최선의 손실: 0.057638 정확도: 98.40% 15 검증 세트 손실: 0.142056 최선의 손실: 0.057638 정확도: 98.44% 16 검증 세트 손실: 0.079378 최선의 손실: 0.057638 정확도: 98.44% 17 검증 세트 손실: 0.057515 최선의 손실: 0.057515 정확도: 98.91% 18 검증 세트 손실: 0.066564 최선의 손실: 0.057515 정확도: 98.67% 19 검증 세트 손실: 0.125194 최선의 손실: 0.057515 정확도: 98.59% 20 검증 세트 손실: 0.055375 최선의 손실: 0.055375 정확도: 98.71% 21 검증 세트 손실: 0.050038 최선의 손실: 0.050038 정확도: 99.10% 22 검증 세트 손실: 0.095377 최선의 손실: 0.050038 정확도: 98.71% 23 검증 세트 손실: 0.087879 최선의 손실: 0.050038 정확도: 98.83% 24 검증 세트 손실: 0.083989 최선의 손실: 0.050038 정확도: 98.83% 25 검증 세트 손실: 0.114315 최선의 손실: 0.050038 정확도: 98.36% 26 검증 세트 손실: 0.156013 최선의 손실: 0.050038 정확도: 98.05% 27 검증 세트 손실: 0.078971 최선의 손실: 0.050038 정확도: 98.83% 28 검증 세트 손실: 0.113228 최선의 손실: 0.050038 정확도: 98.67% 29 검증 세트 손실: 0.162149 최선의 손실: 0.050038 정확도: 98.36% 30 검증 세트 손실: 0.623424 최선의 손실: 0.050038 정확도: 97.89% 31 검증 세트 손실: 0.186570 최선의 손실: 0.050038 정확도: 98.71% 32 검증 세트 손실: 0.139522 최선의 손실: 0.050038 정확도: 98.75% 33 검증 세트 손실: 0.108281 최선의 손실: 0.050038 정확도: 98.79% 34 검증 세트 손실: 0.111477 최선의 손실: 0.050038 정확도: 98.87% 35 검증 세트 손실: 0.105609 최선의 손실: 0.050038 정확도: 98.94% 36 검증 세트 손실: 0.078769 최선의 손실: 0.050038 정확도: 98.91% 37 검증 세트 손실: 0.080294 최선의 손실: 0.050038 정확도: 98.98% 38 검증 세트 손실: 0.081950 최선의 손실: 0.050038 정확도: 98.91% 39 검증 세트 손실: 0.185732 최선의 손실: 0.050038 정확도: 98.51% 40 검증 세트 손실: 0.122309 최선의 손실: 0.050038 정확도: 98.79% 41 검증 세트 손실: 0.118907 최선의 손실: 0.050038 정확도: 98.83% 42 검증 세트 손실: 0.148295 최선의 손실: 0.050038 정확도: 98.16% 조기 종료! [CV] n_neurons=90, learning_rate=0.1, batch_size=100, batch_norm_momentum=0.99, activation=<function elu at 0x7f8ec4ceef28>, total= 28.2s [CV] n_neurons=70, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.98, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.216786 최선의 손실: 0.216786 정확도: 96.36% 1 검증 세트 손실: 0.088690 최선의 손실: 0.088690 정확도: 97.54% 2 검증 세트 손실: 0.086311 최선의 손실: 0.086311 정확도: 97.62% 3 검증 세트 손실: 0.067237 최선의 손실: 0.067237 정확도: 98.08% 4 검증 세트 손실: 0.051331 최선의 손실: 0.051331 정확도: 98.28% 5 검증 세트 손실: 0.071543 최선의 손실: 0.051331 정확도: 98.08% 6 검증 세트 손실: 0.082929 최선의 손실: 0.051331 정확도: 97.62% 7 검증 세트 손실: 0.065902 최선의 손실: 0.051331 정확도: 98.51% 8 검증 세트 손실: 0.058870 최선의 손실: 0.051331 정확도: 98.48% 9 검증 세트 손실: 0.067909 최선의 손실: 0.051331 정확도: 98.67% 10 검증 세트 손실: 0.069594 최선의 손실: 0.051331 정확도: 98.32% 11 검증 세트 손실: 0.101844 최선의 손실: 0.051331 정확도: 97.93% 12 검증 세트 손실: 0.083625 최선의 손실: 0.051331 정확도: 98.24% 13 검증 세트 손실: 0.107245 최선의 손실: 0.051331 정확도: 97.89% 14 검증 세트 손실: 0.058618 최선의 손실: 0.051331 정확도: 98.75% 15 검증 세트 손실: 0.059508 최선의 손실: 0.051331 정확도: 98.75% 16 검증 세트 손실: 0.069717 최선의 손실: 0.051331 정확도: 98.71% 17 검증 세트 손실: 0.059335 최선의 손실: 0.051331 정확도: 98.67% 18 검증 세트 손실: 0.058664 최선의 손실: 0.051331 정확도: 98.75% 19 검증 세트 손실: 0.067400 최선의 손실: 0.051331 정확도: 98.87% 20 검증 세트 손실: 0.067639 최선의 손실: 0.051331 정확도: 98.87% 21 검증 세트 손실: 0.063677 최선의 손실: 0.051331 정확도: 98.94% 22 검증 세트 손실: 0.129735 최선의 손실: 0.051331 정확도: 97.93% 23 검증 세트 손실: 0.096907 최선의 손실: 0.051331 정확도: 98.01% 24 검증 세트 손실: 0.069664 최선의 손실: 0.051331 정확도: 98.79% 25 검증 세트 손실: 0.109405 최선의 손실: 0.051331 정확도: 97.81% 조기 종료! [CV] n_neurons=70, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.98, activation=<function elu at 0x7f8ec4ceef28>, total= 8.6s [CV] n_neurons=70, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.98, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.251888 최선의 손실: 0.251888 정확도: 95.23% 1 검증 세트 손실: 0.085045 최선의 손실: 0.085045 정확도: 97.65% 2 검증 세트 손실: 0.077485 최선의 손실: 0.077485 정확도: 97.97% 3 검증 세트 손실: 0.074721 최선의 손실: 0.074721 정확도: 98.01% 4 검증 세트 손실: 0.077333 최선의 손실: 0.074721 정확도: 98.12% 5 검증 세트 손실: 0.065017 최선의 손실: 0.065017 정확도: 97.97% 6 검증 세트 손실: 0.060304 최선의 손실: 0.060304 정확도: 98.20% 7 검증 세트 손실: 0.066563 최선의 손실: 0.060304 정확도: 98.40% 8 검증 세트 손실: 0.063284 최선의 손실: 0.060304 정확도: 98.44% 9 검증 세트 손실: 0.073632 최선의 손실: 0.060304 정확도: 98.01% 10 검증 세트 손실: 0.072646 최선의 손실: 0.060304 정확도: 98.40% 11 검증 세트 손실: 0.075467 최선의 손실: 0.060304 정확도: 98.20% 12 검증 세트 손실: 0.065404 최선의 손실: 0.060304 정확도: 98.48% 13 검증 세트 손실: 0.066486 최선의 손실: 0.060304 정확도: 98.63% 14 검증 세트 손실: 0.069462 최선의 손실: 0.060304 정확도: 98.48% 15 검증 세트 손실: 0.085029 최선의 손실: 0.060304 정확도: 98.28% 16 검증 세트 손실: 0.081158 최선의 손실: 0.060304 정확도: 98.44% 17 검증 세트 손실: 0.082082 최선의 손실: 0.060304 정확도: 98.48% 18 검증 세트 손실: 0.078680 최선의 손실: 0.060304 정확도: 98.01% 19 검증 세트 손실: 0.075997 최선의 손실: 0.060304 정확도: 98.44% 20 검증 세트 손실: 0.070751 최선의 손실: 0.060304 정확도: 98.59% 21 검증 세트 손실: 0.109848 최선의 손실: 0.060304 정확도: 98.05% 22 검증 세트 손실: 0.080427 최선의 손실: 0.060304 정확도: 98.67% 23 검증 세트 손실: 0.082858 최선의 손실: 0.060304 정확도: 98.55% 24 검증 세트 손실: 0.055643 최선의 손실: 0.055643 정확도: 98.75% 25 검증 세트 손실: 0.089298 최선의 손실: 0.055643 정확도: 98.55% 26 검증 세트 손실: 0.084804 최선의 손실: 0.055643 정확도: 98.44% 27 검증 세트 손실: 0.069603 최선의 손실: 0.055643 정확도: 98.51% 28 검증 세트 손실: 0.066925 최선의 손실: 0.055643 정확도: 98.79% 29 검증 세트 손실: 0.077260 최선의 손실: 0.055643 정확도: 98.59% 30 검증 세트 손실: 0.091616 최선의 손실: 0.055643 정확도: 98.36% 31 검증 세트 손실: 0.086860 최선의 손실: 0.055643 정확도: 98.40% 32 검증 세트 손실: 0.093369 최선의 손실: 0.055643 정확도: 98.67% 33 검증 세트 손실: 0.095915 최선의 손실: 0.055643 정확도: 98.55% 34 검증 세트 손실: 0.068160 최선의 손실: 0.055643 정확도: 98.59% 35 검증 세트 손실: 0.083877 최선의 손실: 0.055643 정확도: 98.12% 36 검증 세트 손실: 0.069616 최선의 손실: 0.055643 정확도: 98.71% 37 검증 세트 손실: 0.074282 최선의 손실: 0.055643 정확도: 98.71% 38 검증 세트 손실: 0.080538 최선의 손실: 0.055643 정확도: 98.63% 39 검증 세트 손실: 0.085616 최선의 손실: 0.055643 정확도: 98.63% 40 검증 세트 손실: 0.079059 최선의 손실: 0.055643 정확도: 98.67% 41 검증 세트 손실: 0.058200 최선의 손실: 0.055643 정확도: 98.98% 42 검증 세트 손실: 0.076025 최선의 손실: 0.055643 정확도: 98.79% 43 검증 세트 손실: 0.077769 최선의 손실: 0.055643 정확도: 98.83% 44 검증 세트 손실: 0.077101 최선의 손실: 0.055643 정확도: 98.67% 45 검증 세트 손실: 0.070800 최선의 손실: 0.055643 정확도: 98.67% 조기 종료! [CV] n_neurons=70, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.98, activation=<function elu at 0x7f8ec4ceef28>, total= 14.2s [CV] n_neurons=70, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.98, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.236971 최선의 손실: 0.236971 정확도: 95.82% 1 검증 세트 손실: 0.085837 최선의 손실: 0.085837 정확도: 97.97% 2 검증 세트 손실: 0.071248 최선의 손실: 0.071248 정확도: 97.89% 3 검증 세트 손실: 0.069639 최선의 손실: 0.069639 정확도: 98.01% 4 검증 세트 손실: 0.055954 최선의 손실: 0.055954 정확도: 98.59% 5 검증 세트 손실: 0.094364 최선의 손실: 0.055954 정확도: 97.69% 6 검증 세트 손실: 0.060580 최선의 손실: 0.055954 정확도: 98.75% 7 검증 세트 손실: 0.057032 최선의 손실: 0.055954 정확도: 98.40% 8 검증 세트 손실: 0.055163 최선의 손실: 0.055163 정확도: 98.44% 9 검증 세트 손실: 0.051400 최선의 손실: 0.051400 정확도: 98.59% 10 검증 세트 손실: 0.057184 최선의 손실: 0.051400 정확도: 98.63% 11 검증 세트 손실: 0.141117 최선의 손실: 0.051400 정확도: 97.26% 12 검증 세트 손실: 0.059456 최선의 손실: 0.051400 정확도: 98.55% 13 검증 세트 손실: 0.087732 최선의 손실: 0.051400 정확도: 98.28% 14 검증 세트 손실: 0.061566 최선의 손실: 0.051400 정확도: 98.55% 15 검증 세트 손실: 0.124239 최선의 손실: 0.051400 정확도: 97.62% 16 검증 세트 손실: 0.050143 최선의 손실: 0.050143 정확도: 98.87% 17 검증 세트 손실: 0.051196 최선의 손실: 0.050143 정확도: 98.87% 18 검증 세트 손실: 0.071087 최선의 손실: 0.050143 정확도: 98.48% 19 검증 세트 손실: 0.069485 최선의 손실: 0.050143 정확도: 98.51% 20 검증 세트 손실: 0.050779 최선의 손실: 0.050143 정확도: 98.91% 21 검증 세트 손실: 0.086896 최선의 손실: 0.050143 정확도: 98.36% 22 검증 세트 손실: 0.091541 최선의 손실: 0.050143 정확도: 98.44% 23 검증 세트 손실: 0.101815 최선의 손실: 0.050143 정확도: 97.58% 24 검증 세트 손실: 0.072931 최선의 손실: 0.050143 정확도: 98.55% 25 검증 세트 손실: 0.062863 최선의 손실: 0.050143 정확도: 98.67% 26 검증 세트 손실: 0.064760 최선의 손실: 0.050143 정확도: 98.79% 27 검증 세트 손실: 0.065167 최선의 손실: 0.050143 정확도: 98.75% 28 검증 세트 손실: 0.061703 최선의 손실: 0.050143 정확도: 98.75% 29 검증 세트 손실: 0.085382 최선의 손실: 0.050143 정확도: 98.55% 30 검증 세트 손실: 0.067032 최선의 손실: 0.050143 정확도: 98.79% 31 검증 세트 손실: 0.066460 최선의 손실: 0.050143 정확도: 98.83% 32 검증 세트 손실: 0.107054 최선의 손실: 0.050143 정확도: 98.20% 33 검증 세트 손실: 0.073500 최선의 손실: 0.050143 정확도: 98.67% 34 검증 세트 손실: 0.067379 최선의 손실: 0.050143 정확도: 98.71% 35 검증 세트 손실: 0.057428 최선의 손실: 0.050143 정확도: 98.98% 36 검증 세트 손실: 0.044261 최선의 손실: 0.044261 정확도: 99.10% 37 검증 세트 손실: 0.055122 최선의 손실: 0.044261 정확도: 98.79% 38 검증 세트 손실: 0.060395 최선의 손실: 0.044261 정확도: 98.71% 39 검증 세트 손실: 0.055213 최선의 손실: 0.044261 정확도: 98.94% 40 검증 세트 손실: 0.066157 최선의 손실: 0.044261 정확도: 98.83% 41 검증 세트 손실: 0.062086 최선의 손실: 0.044261 정확도: 98.91% 42 검증 세트 손실: 0.065304 최선의 손실: 0.044261 정확도: 98.91% 43 검증 세트 손실: 0.062712 최선의 손실: 0.044261 정확도: 98.94% 44 검증 세트 손실: 0.062880 최선의 손실: 0.044261 정확도: 99.02% 45 검증 세트 손실: 0.056258 최선의 손실: 0.044261 정확도: 98.98% 46 검증 세트 손실: 0.090515 최선의 손실: 0.044261 정확도: 98.71% 47 검증 세트 손실: 0.083349 최선의 손실: 0.044261 정확도: 98.71% 48 검증 세트 손실: 0.059064 최선의 손실: 0.044261 정확도: 98.98% 49 검증 세트 손실: 0.093854 최선의 손실: 0.044261 정확도: 98.20% 50 검증 세트 손실: 0.066512 최선의 손실: 0.044261 정확도: 98.79% 51 검증 세트 손실: 0.065068 최선의 손실: 0.044261 정확도: 98.79% 52 검증 세트 손실: 0.076316 최선의 손실: 0.044261 정확도: 98.51% 53 검증 세트 손실: 0.069450 최선의 손실: 0.044261 정확도: 98.63% 54 검증 세트 손실: 0.078545 최선의 손실: 0.044261 정확도: 98.71% 55 검증 세트 손실: 0.077202 최선의 손실: 0.044261 정확도: 98.71% 56 검증 세트 손실: 0.076274 최선의 손실: 0.044261 정확도: 98.83% 57 검증 세트 손실: 0.068670 최선의 손실: 0.044261 정확도: 98.91% 조기 종료! [CV] n_neurons=70, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.98, activation=<function elu at 0x7f8ec4ceef28>, total= 17.4s [CV] n_neurons=50, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 0 검증 세트 손실: 0.092934 최선의 손실: 0.092934 정확도: 97.11% 1 검증 세트 손실: 0.069661 최선의 손실: 0.069661 정확도: 97.50% 2 검증 세트 손실: 0.069618 최선의 손실: 0.069618 정확도: 97.81% 3 검증 세트 손실: 0.067524 최선의 손실: 0.067524 정확도: 98.12% 4 검증 세트 손실: 0.070799 최선의 손실: 0.067524 정확도: 97.69% 5 검증 세트 손실: 0.063074 최선의 손실: 0.063074 정확도: 98.24% 6 검증 세트 손실: 0.053766 최선의 손실: 0.053766 정확도: 98.36% 7 검증 세트 손실: 0.037852 최선의 손실: 0.037852 정확도: 98.98% 8 검증 세트 손실: 0.072425 최선의 손실: 0.037852 정확도: 98.20% 9 검증 세트 손실: 0.065457 최선의 손실: 0.037852 정확도: 98.44% 10 검증 세트 손실: 0.050847 최선의 손실: 0.037852 정확도: 98.48% 11 검증 세트 손실: 0.041997 최선의 손실: 0.037852 정확도: 98.98% 12 검증 세트 손실: 0.043775 최선의 손실: 0.037852 정확도: 99.02% 13 검증 세트 손실: 0.060953 최선의 손실: 0.037852 정확도: 98.51% 14 검증 세트 손실: 0.047387 최선의 손실: 0.037852 정확도: 98.87% 15 검증 세트 손실: 0.071909 최선의 손실: 0.037852 정확도: 98.16% 16 검증 세트 손실: 0.041885 최선의 손실: 0.037852 정확도: 99.10% 17 검증 세트 손실: 0.067082 최선의 손실: 0.037852 정확도: 98.51% 18 검증 세트 손실: 0.054541 최선의 손실: 0.037852 정확도: 99.06% 19 검증 세트 손실: 0.053425 최선의 손실: 0.037852 정확도: 98.63% 20 검증 세트 손실: 0.052341 최선의 손실: 0.037852 정확도: 98.87% 21 검증 세트 손실: 0.052239 최선의 손실: 0.037852 정확도: 98.83% 22 검증 세트 손실: 0.052783 최선의 손실: 0.037852 정확도: 98.87% 23 검증 세트 손실: 0.051012 최선의 손실: 0.037852 정확도: 98.98% 24 검증 세트 손실: 0.075330 최선의 손실: 0.037852 정확도: 98.71% 25 검증 세트 손실: 0.059650 최선의 손실: 0.037852 정확도: 98.91% 26 검증 세트 손실: 0.066735 최선의 손실: 0.037852 정확도: 98.51% 27 검증 세트 손실: 0.054281 최선의 손실: 0.037852 정확도: 98.71% 28 검증 세트 손실: 0.053409 최선의 손실: 0.037852 정확도: 98.83% 조기 종료! [CV] n_neurons=50, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 14.8s [CV] n_neurons=50, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 0 검증 세트 손실: 0.090401 최선의 손실: 0.090401 정확도: 97.34% 1 검증 세트 손실: 0.052855 최선의 손실: 0.052855 정확도: 98.63% 2 검증 세트 손실: 0.052346 최선의 손실: 0.052346 정확도: 98.36% 3 검증 세트 손실: 0.063833 최선의 손실: 0.052346 정확도: 98.08% 4 검증 세트 손실: 0.097254 최선의 손실: 0.052346 정확도: 97.62% 5 검증 세트 손실: 0.042803 최선의 손실: 0.042803 정확도: 98.59% 6 검증 세트 손실: 0.054107 최선의 손실: 0.042803 정확도: 98.71% 7 검증 세트 손실: 0.069085 최선의 손실: 0.042803 정확도: 98.32% 8 검증 세트 손실: 0.043126 최선의 손실: 0.042803 정확도: 98.91% 9 검증 세트 손실: 0.068275 최선의 손실: 0.042803 정확도: 98.24% 10 검증 세트 손실: 0.048966 최선의 손실: 0.042803 정확도: 98.87% 11 검증 세트 손실: 0.039778 최선의 손실: 0.039778 정확도: 98.87% 12 검증 세트 손실: 0.053239 최선의 손실: 0.039778 정확도: 98.59% 13 검증 세트 손실: 0.044085 최선의 손실: 0.039778 정확도: 98.75% 14 검증 세트 손실: 0.044923 최선의 손실: 0.039778 정확도: 98.83% 15 검증 세트 손실: 0.056572 최선의 손실: 0.039778 정확도: 98.79% 16 검증 세트 손실: 0.063280 최선의 손실: 0.039778 정확도: 98.63% 17 검증 세트 손실: 0.069217 최선의 손실: 0.039778 정확도: 98.67% 18 검증 세트 손실: 0.060239 최선의 손실: 0.039778 정확도: 98.51% 19 검증 세트 손실: 0.038614 최선의 손실: 0.038614 정확도: 98.98% 20 검증 세트 손실: 0.048338 최선의 손실: 0.038614 정확도: 99.02% 21 검증 세트 손실: 0.062622 최선의 손실: 0.038614 정확도: 98.87% 22 검증 세트 손실: 0.054353 최선의 손실: 0.038614 정확도: 98.55% 23 검증 세트 손실: 0.062046 최선의 손실: 0.038614 정확도: 98.63% 24 검증 세트 손실: 0.058890 최선의 손실: 0.038614 정확도: 98.40% 25 검증 세트 손실: 0.046865 최선의 손실: 0.038614 정확도: 98.91% 26 검증 세트 손실: 0.074739 최선의 손실: 0.038614 정확도: 98.75% 27 검증 세트 손실: 0.057564 최선의 손실: 0.038614 정확도: 98.87% 28 검증 세트 손실: 0.062844 최선의 손실: 0.038614 정확도: 98.71% 29 검증 세트 손실: 0.072003 최선의 손실: 0.038614 정확도: 98.59% 30 검증 세트 손실: 0.057313 최선의 손실: 0.038614 정확도: 98.75% 31 검증 세트 손실: 0.050123 최선의 손실: 0.038614 정확도: 99.02% 32 검증 세트 손실: 0.061851 최선의 손실: 0.038614 정확도: 98.75% 33 검증 세트 손실: 0.066132 최선의 손실: 0.038614 정확도: 98.55% 34 검증 세트 손실: 0.060287 최선의 손실: 0.038614 정확도: 98.91% 35 검증 세트 손실: 0.061069 최선의 손실: 0.038614 정확도: 98.63% 36 검증 세트 손실: 0.054527 최선의 손실: 0.038614 정확도: 98.91% 37 검증 세트 손실: 0.043887 최선의 손실: 0.038614 정확도: 99.02% 38 검증 세트 손실: 0.039906 최선의 손실: 0.038614 정확도: 99.14% 39 검증 세트 손실: 0.060139 최선의 손실: 0.038614 정확도: 99.02% 40 검증 세트 손실: 0.070358 최선의 손실: 0.038614 정확도: 98.83% 조기 종료! [CV] n_neurons=50, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 20.4s [CV] n_neurons=50, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 0 검증 세트 손실: 0.103486 최선의 손실: 0.103486 정확도: 97.15% 1 검증 세트 손실: 0.085964 최선의 손실: 0.085964 정확도: 97.58% 2 검증 세트 손실: 0.055427 최선의 손실: 0.055427 정확도: 98.16% 3 검증 세트 손실: 0.056497 최선의 손실: 0.055427 정확도: 98.40% 4 검증 세트 손실: 0.071572 최선의 손실: 0.055427 정확도: 97.69% 5 검증 세트 손실: 0.047742 최선의 손실: 0.047742 정확도: 98.44% 6 검증 세트 손실: 0.051940 최선의 손실: 0.047742 정확도: 98.59% 7 검증 세트 손실: 0.103168 최선의 손실: 0.047742 정확도: 97.73% 8 검증 세트 손실: 0.057836 최선의 손실: 0.047742 정확도: 98.59% 9 검증 세트 손실: 0.048974 최선의 손실: 0.047742 정확도: 98.67% 10 검증 세트 손실: 0.058903 최선의 손실: 0.047742 정확도: 98.67% 11 검증 세트 손실: 0.067363 최선의 손실: 0.047742 정확도: 98.40% 12 검증 세트 손실: 0.062699 최선의 손실: 0.047742 정확도: 98.51% 13 검증 세트 손실: 0.050872 최선의 손실: 0.047742 정확도: 98.87% 14 검증 세트 손실: 0.069746 최선의 손실: 0.047742 정확도: 98.32% 15 검증 세트 손실: 0.050289 최선의 손실: 0.047742 정확도: 98.67% 16 검증 세트 손실: 0.048628 최선의 손실: 0.047742 정확도: 98.91% 17 검증 세트 손실: 0.043677 최선의 손실: 0.043677 정확도: 98.98% 18 검증 세트 손실: 0.048329 최선의 손실: 0.043677 정확도: 98.98% 19 검증 세트 손실: 0.053811 최선의 손실: 0.043677 정확도: 98.71% 20 검증 세트 손실: 0.059640 최선의 손실: 0.043677 정확도: 98.75% 21 검증 세트 손실: 0.051339 최선의 손실: 0.043677 정확도: 99.06% 22 검증 세트 손실: 0.042422 최선의 손실: 0.042422 정확도: 99.14% 23 검증 세트 손실: 0.044996 최선의 손실: 0.042422 정확도: 98.79% 24 검증 세트 손실: 0.050986 최선의 손실: 0.042422 정확도: 99.06% 25 검증 세트 손실: 0.039115 최선의 손실: 0.039115 정확도: 99.10% 26 검증 세트 손실: 0.045712 최선의 손실: 0.039115 정확도: 98.79% 27 검증 세트 손실: 0.039262 최선의 손실: 0.039115 정확도: 98.87% 28 검증 세트 손실: 0.048274 최선의 손실: 0.039115 정확도: 99.06% 29 검증 세트 손실: 0.063227 최선의 손실: 0.039115 정확도: 98.67% 30 검증 세트 손실: 0.036460 최선의 손실: 0.036460 정확도: 98.91% 31 검증 세트 손실: 0.050777 최선의 손실: 0.036460 정확도: 98.98% 32 검증 세트 손실: 0.056895 최선의 손실: 0.036460 정확도: 98.87% 33 검증 세트 손실: 0.072968 최선의 손실: 0.036460 정확도: 98.55% 34 검증 세트 손실: 0.054557 최선의 손실: 0.036460 정확도: 98.87% 35 검증 세트 손실: 0.058839 최선의 손실: 0.036460 정확도: 99.02% 36 검증 세트 손실: 0.050532 최선의 손실: 0.036460 정확도: 99.10% 37 검증 세트 손실: 0.052058 최선의 손실: 0.036460 정확도: 99.02% 38 검증 세트 손실: 0.034379 최선의 손실: 0.034379 정확도: 99.06% 39 검증 세트 손실: 0.046810 최선의 손실: 0.034379 정확도: 99.18% 40 검증 세트 손실: 0.068392 최선의 손실: 0.034379 정확도: 98.71% 41 검증 세트 손실: 0.069827 최선의 손실: 0.034379 정확도: 98.67% 42 검증 세트 손실: 0.052493 최선의 손실: 0.034379 정확도: 99.06% 43 검증 세트 손실: 0.062546 최선의 손실: 0.034379 정확도: 98.83% 44 검증 세트 손실: 0.059298 최선의 손실: 0.034379 정확도: 99.06% 45 검증 세트 손실: 0.062090 최선의 손실: 0.034379 정확도: 99.10% 46 검증 세트 손실: 0.049056 최선의 손실: 0.034379 정확도: 99.06% 47 검증 세트 손실: 0.053487 최선의 손실: 0.034379 정확도: 98.87% 48 검증 세트 손실: 0.043454 최선의 손실: 0.034379 정확도: 98.98% 49 검증 세트 손실: 0.040413 최선의 손실: 0.034379 정확도: 98.98% 50 검증 세트 손실: 0.055255 최선의 손실: 0.034379 정확도: 99.06% 51 검증 세트 손실: 0.088899 최선의 손실: 0.034379 정확도: 98.91% 52 검증 세트 손실: 0.064791 최선의 손실: 0.034379 정확도: 98.91% 53 검증 세트 손실: 0.055930 최선의 손실: 0.034379 정확도: 98.71% 54 검증 세트 손실: 0.051810 최선의 손실: 0.034379 정확도: 99.02% 55 검증 세트 손실: 0.044868 최선의 손실: 0.034379 정확도: 98.98% 56 검증 세트 손실: 0.049410 최선의 손실: 0.034379 정확도: 99.06% 57 검증 세트 손실: 0.067332 최선의 손실: 0.034379 정확도: 98.83% 58 검증 세트 손실: 0.062295 최선의 손실: 0.034379 정확도: 98.91% 59 검증 세트 손실: 0.061360 최선의 손실: 0.034379 정확도: 98.87% 조기 종료! [CV] n_neurons=50, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 29.2s [CV] n_neurons=10, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.95, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.117451 최선의 손실: 0.117451 정확도: 96.33% 1 검증 세트 손실: 0.085769 최선의 손실: 0.085769 정확도: 97.50% 2 검증 세트 손실: 0.107494 최선의 손실: 0.085769 정확도: 96.68% 3 검증 세트 손실: 0.076148 최선의 손실: 0.076148 정확도: 97.69% 4 검증 세트 손실: 0.093488 최선의 손실: 0.076148 정확도: 97.03% 5 검증 세트 손실: 0.092700 최선의 손실: 0.076148 정확도: 97.19% 6 검증 세트 손실: 0.073279 최선의 손실: 0.073279 정확도: 97.69% 7 검증 세트 손실: 0.066232 최선의 손실: 0.066232 정확도: 97.89% 8 검증 세트 손실: 0.116786 최선의 손실: 0.066232 정확도: 96.09% 9 검증 세트 손실: 0.091821 최선의 손실: 0.066232 정확도: 97.54% 10 검증 세트 손실: 0.071721 최선의 손실: 0.066232 정확도: 97.77% 11 검증 세트 손실: 0.052046 최선의 손실: 0.052046 정확도: 98.51% 12 검증 세트 손실: 0.062857 최선의 손실: 0.052046 정확도: 98.05% 13 검증 세트 손실: 0.051616 최선의 손실: 0.051616 정확도: 98.24% 14 검증 세트 손실: 0.073209 최선의 손실: 0.051616 정확도: 97.73% 15 검증 세트 손실: 0.052664 최선의 손실: 0.051616 정확도: 98.59% 16 검증 세트 손실: 0.051196 최선의 손실: 0.051196 정확도: 98.48% 17 검증 세트 손실: 0.057652 최선의 손실: 0.051196 정확도: 98.32% 18 검증 세트 손실: 0.070415 최선의 손실: 0.051196 정확도: 98.05% 19 검증 세트 손실: 0.058174 최선의 손실: 0.051196 정확도: 98.16% 20 검증 세트 손실: 0.059588 최선의 손실: 0.051196 정확도: 98.48% 21 검증 세트 손실: 0.075786 최선의 손실: 0.051196 정확도: 97.73% 22 검증 세트 손실: 0.049626 최선의 손실: 0.049626 정확도: 98.24% 23 검증 세트 손실: 0.064948 최선의 손실: 0.049626 정확도: 98.20% 24 검증 세트 손실: 0.068985 최선의 손실: 0.049626 정확도: 98.08% 25 검증 세트 손실: 0.068343 최선의 손실: 0.049626 정확도: 98.12% 26 검증 세트 손실: 0.069077 최선의 손실: 0.049626 정확도: 98.12% 27 검증 세트 손실: 0.065421 최선의 손실: 0.049626 정확도: 98.08% 28 검증 세트 손실: 0.053376 최선의 손실: 0.049626 정확도: 98.44% 29 검증 세트 손실: 0.095985 최선의 손실: 0.049626 정확도: 97.50% 30 검증 세트 손실: 0.080014 최선의 손실: 0.049626 정확도: 97.77% 31 검증 세트 손실: 0.088421 최선의 손실: 0.049626 정확도: 97.97% 32 검증 세트 손실: 0.077369 최선의 손실: 0.049626 정확도: 97.85% 33 검증 세트 손실: 0.065282 최선의 손실: 0.049626 정확도: 98.32% 34 검증 세트 손실: 0.073838 최선의 손실: 0.049626 정확도: 98.08% 35 검증 세트 손실: 0.088651 최선의 손실: 0.049626 정확도: 97.97% 36 검증 세트 손실: 0.064445 최선의 손실: 0.049626 정확도: 98.28% 37 검증 세트 손실: 0.066839 최선의 손실: 0.049626 정확도: 98.16% 38 검증 세트 손실: 0.076597 최선의 손실: 0.049626 정확도: 98.28% 39 검증 세트 손실: 0.062694 최선의 손실: 0.049626 정확도: 98.20% 40 검증 세트 손실: 0.073666 최선의 손실: 0.049626 정확도: 98.20% 41 검증 세트 손실: 0.070647 최선의 손실: 0.049626 정확도: 98.20% 42 검증 세트 손실: 0.073182 최선의 손실: 0.049626 정확도: 98.12% 43 검증 세트 손실: 0.074454 최선의 손실: 0.049626 정확도: 97.93% 조기 종료! [CV] n_neurons=10, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.95, activation=<function elu at 0x7f8ec4ceef28>, total= 14.0s [CV] n_neurons=10, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.95, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.134628 최선의 손실: 0.134628 정확도: 95.70% 1 검증 세트 손실: 0.080790 최선의 손실: 0.080790 정확도: 97.62% 2 검증 세트 손실: 0.064863 최선의 손실: 0.064863 정확도: 98.24% 3 검증 세트 손실: 0.098721 최선의 손실: 0.064863 정확도: 96.95% 4 검증 세트 손실: 0.072932 최선의 손실: 0.064863 정확도: 97.97% 5 검증 세트 손실: 0.072009 최선의 손실: 0.064863 정확도: 97.81% 6 검증 세트 손실: 0.076175 최선의 손실: 0.064863 정확도: 97.81% 7 검증 세트 손실: 0.089611 최선의 손실: 0.064863 정확도: 97.34% 8 검증 세트 손실: 0.049963 최선의 손실: 0.049963 정확도: 98.51% 9 검증 세트 손실: 0.078587 최선의 손실: 0.049963 정확도: 97.81% 10 검증 세트 손실: 0.069236 최선의 손실: 0.049963 정확도: 97.89% 11 검증 세트 손실: 0.067740 최선의 손실: 0.049963 정확도: 98.01% 12 검증 세트 손실: 0.063835 최선의 손실: 0.049963 정확도: 98.55% 13 검증 세트 손실: 0.069129 최선의 손실: 0.049963 정확도: 98.08% 14 검증 세트 손실: 0.066518 최선의 손실: 0.049963 정확도: 97.81% 15 검증 세트 손실: 0.076453 최선의 손실: 0.049963 정확도: 97.81% 16 검증 세트 손실: 0.066882 최선의 손실: 0.049963 정확도: 98.20% 17 검증 세트 손실: 0.056084 최선의 손실: 0.049963 정확도: 98.48% 18 검증 세트 손실: 0.086365 최선의 손실: 0.049963 정확도: 98.08% 19 검증 세트 손실: 0.065458 최선의 손실: 0.049963 정확도: 98.05% 20 검증 세트 손실: 0.071555 최선의 손실: 0.049963 정확도: 97.89% 21 검증 세트 손실: 0.066833 최선의 손실: 0.049963 정확도: 98.05% 22 검증 세트 손실: 0.097907 최선의 손실: 0.049963 정확도: 97.62% 23 검증 세트 손실: 0.074629 최선의 손실: 0.049963 정확도: 98.36% 24 검증 세트 손실: 0.063479 최선의 손실: 0.049963 정확도: 98.40% 25 검증 세트 손실: 0.071909 최선의 손실: 0.049963 정확도: 98.28% 26 검증 세트 손실: 0.064603 최선의 손실: 0.049963 정확도: 98.40% 27 검증 세트 손실: 0.073760 최선의 손실: 0.049963 정확도: 98.20% 28 검증 세트 손실: 0.068251 최선의 손실: 0.049963 정확도: 98.20% 29 검증 세트 손실: 0.073076 최선의 손실: 0.049963 정확도: 98.36% 조기 종료! [CV] n_neurons=10, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.95, activation=<function elu at 0x7f8ec4ceef28>, total= 10.0s [CV] n_neurons=10, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.95, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.130017 최선의 손실: 0.130017 정확도: 96.17% 1 검증 세트 손실: 0.106947 최선의 손실: 0.106947 정확도: 96.95% 2 검증 세트 손실: 0.082695 최선의 손실: 0.082695 정확도: 97.65% 3 검증 세트 손실: 0.069594 최선의 손실: 0.069594 정확도: 97.73% 4 검증 세트 손실: 0.084006 최선의 손실: 0.069594 정확도: 97.46% 5 검증 세트 손실: 0.069321 최선의 손실: 0.069321 정확도: 97.81% 6 검증 세트 손실: 0.065460 최선의 손실: 0.065460 정확도: 98.16% 7 검증 세트 손실: 0.072570 최선의 손실: 0.065460 정확도: 97.81% 8 검증 세트 손실: 0.068699 최선의 손실: 0.065460 정확도: 98.16% 9 검증 세트 손실: 0.068945 최선의 손실: 0.065460 정확도: 98.01% 10 검증 세트 손실: 0.062626 최선의 손실: 0.062626 정확도: 98.05% 11 검증 세트 손실: 0.060004 최선의 손실: 0.060004 정확도: 98.20% 12 검증 세트 손실: 0.062122 최선의 손실: 0.060004 정확도: 98.24% 13 검증 세트 손실: 0.081803 최선의 손실: 0.060004 정확도: 97.69% 14 검증 세트 손실: 0.076531 최선의 손실: 0.060004 정확도: 97.77% 15 검증 세트 손실: 0.071717 최선의 손실: 0.060004 정확도: 98.16% 16 검증 세트 손실: 0.057898 최선의 손실: 0.057898 정확도: 98.51% 17 검증 세트 손실: 0.056736 최선의 손실: 0.056736 정확도: 98.59% 18 검증 세트 손실: 0.062815 최선의 손실: 0.056736 정확도: 98.44% 19 검증 세트 손실: 0.070522 최선의 손실: 0.056736 정확도: 98.12% 20 검증 세트 손실: 0.062686 최선의 손실: 0.056736 정확도: 98.44% 21 검증 세트 손실: 0.061406 최선의 손실: 0.056736 정확도: 98.12% 22 검증 세트 손실: 0.072110 최선의 손실: 0.056736 정확도: 98.12% 23 검증 세트 손실: 0.066311 최선의 손실: 0.056736 정확도: 98.32% 24 검증 세트 손실: 0.069666 최선의 손실: 0.056736 정확도: 98.32% 25 검증 세트 손실: 0.061293 최선의 손실: 0.056736 정확도: 98.32% 26 검증 세트 손실: 0.065456 최선의 손실: 0.056736 정확도: 98.28% 27 검증 세트 손실: 0.080875 최선의 손실: 0.056736 정확도: 97.50% 28 검증 세트 손실: 0.069633 최선의 손실: 0.056736 정확도: 98.40% 29 검증 세트 손실: 0.058188 최선의 손실: 0.056736 정확도: 98.71% 30 검증 세트 손실: 0.055436 최선의 손실: 0.055436 정확도: 98.71% 31 검증 세트 손실: 0.070663 최선의 손실: 0.055436 정확도: 98.28% 32 검증 세트 손실: 0.072929 최선의 손실: 0.055436 정확도: 98.20% 33 검증 세트 손실: 0.074270 최선의 손실: 0.055436 정확도: 98.36% 34 검증 세트 손실: 0.073398 최선의 손실: 0.055436 정확도: 98.55% 35 검증 세트 손실: 0.060301 최선의 손실: 0.055436 정확도: 98.51% 36 검증 세트 손실: 0.079472 최선의 손실: 0.055436 정확도: 98.28% 37 검증 세트 손실: 0.077674 최선의 손실: 0.055436 정확도: 98.16% 38 검증 세트 손실: 0.066384 최선의 손실: 0.055436 정확도: 98.55% 39 검증 세트 손실: 0.072375 최선의 손실: 0.055436 정확도: 98.48% 40 검증 세트 손실: 0.076327 최선의 손실: 0.055436 정확도: 98.28% 41 검증 세트 손실: 0.104444 최선의 손실: 0.055436 정확도: 98.01% 42 검증 세트 손실: 0.063296 최선의 손실: 0.055436 정확도: 98.32% 43 검증 세트 손실: 0.076120 최선의 손실: 0.055436 정확도: 98.28% 44 검증 세트 손실: 0.077853 최선의 손실: 0.055436 정확도: 98.51% 45 검증 세트 손실: 0.077963 최선의 손실: 0.055436 정확도: 98.51% 46 검증 세트 손실: 0.063575 최선의 손실: 0.055436 정확도: 98.59% 47 검증 세트 손실: 0.068886 최선의 손실: 0.055436 정확도: 98.48% 48 검증 세트 손실: 0.070320 최선의 손실: 0.055436 정확도: 98.63% 49 검증 세트 손실: 0.068997 최선의 손실: 0.055436 정확도: 98.51% 50 검증 세트 손실: 0.062450 최선의 손실: 0.055436 정확도: 98.71% 51 검증 세트 손실: 0.075744 최선의 손실: 0.055436 정확도: 98.48% 조기 종료! [CV] n_neurons=10, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.95, activation=<function elu at 0x7f8ec4ceef28>, total= 16.4s [CV] n_neurons=10, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 0 검증 세트 손실: 0.110669 최선의 손실: 0.110669 정확도: 97.03% 1 검증 세트 손실: 0.095228 최선의 손실: 0.095228 정확도: 97.38% 2 검증 세트 손실: 0.110558 최선의 손실: 0.095228 정확도: 96.91% 3 검증 세트 손실: 0.077445 최선의 손실: 0.077445 정확도: 97.65% 4 검증 세트 손실: 0.075778 최선의 손실: 0.075778 정확도: 97.77% 5 검증 세트 손실: 0.088214 최선의 손실: 0.075778 정확도: 97.26% 6 검증 세트 손실: 0.070551 최선의 손실: 0.070551 정확도: 97.62% 7 검증 세트 손실: 0.080310 최선의 손실: 0.070551 정확도: 97.62% 8 검증 세트 손실: 0.084465 최선의 손실: 0.070551 정확도: 97.69% 9 검증 세트 손실: 0.076852 최선의 손실: 0.070551 정확도: 97.81% 10 검증 세트 손실: 0.085154 최선의 손실: 0.070551 정확도: 97.62% 11 검증 세트 손실: 0.077035 최선의 손실: 0.070551 정확도: 97.89% 12 검증 세트 손실: 0.062266 최선의 손실: 0.062266 정확도: 98.44% 13 검증 세트 손실: 0.077808 최선의 손실: 0.062266 정확도: 97.89% 14 검증 세트 손실: 0.068410 최선의 손실: 0.062266 정확도: 98.16% 15 검증 세트 손실: 0.074309 최선의 손실: 0.062266 정확도: 97.97% 16 검증 세트 손실: 0.072036 최선의 손실: 0.062266 정확도: 98.28% 17 검증 세트 손실: 0.079842 최선의 손실: 0.062266 정확도: 97.93% 18 검증 세트 손실: 0.075619 최선의 손실: 0.062266 정확도: 98.12% 19 검증 세트 손실: 0.077076 최선의 손실: 0.062266 정확도: 98.20% 20 검증 세트 손실: 0.068151 최선의 손실: 0.062266 정확도: 98.05% 21 검증 세트 손실: 0.071295 최선의 손실: 0.062266 정확도: 97.93% 22 검증 세트 손실: 0.067237 최선의 손실: 0.062266 정확도: 98.12% 23 검증 세트 손실: 0.066285 최선의 손실: 0.062266 정확도: 98.24% 24 검증 세트 손실: 0.065832 최선의 손실: 0.062266 정확도: 98.44% 25 검증 세트 손실: 0.073328 최선의 손실: 0.062266 정확도: 98.36% 26 검증 세트 손실: 0.071430 최선의 손실: 0.062266 정확도: 98.05% 27 검증 세트 손실: 0.096248 최선의 손실: 0.062266 정확도: 97.26% 28 검증 세트 손실: 0.086924 최선의 손실: 0.062266 정확도: 97.73% 29 검증 세트 손실: 0.071931 최선의 손실: 0.062266 정확도: 98.16% 30 검증 세트 손실: 0.080275 최선의 손실: 0.062266 정확도: 98.12% 31 검증 세트 손실: 0.065773 최선의 손실: 0.062266 정확도: 98.16% 32 검증 세트 손실: 0.068279 최선의 손실: 0.062266 정확도: 98.28% 33 검증 세트 손실: 0.069798 최선의 손실: 0.062266 정확도: 98.20% 조기 종료! [CV] n_neurons=10, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 11.8s [CV] n_neurons=10, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 0 검증 세트 손실: 0.132693 최선의 손실: 0.132693 정확도: 96.40% 1 검증 세트 손실: 0.066542 최선의 손실: 0.066542 정확도: 98.32% 2 검증 세트 손실: 0.074952 최선의 손실: 0.066542 정확도: 98.01% 3 검증 세트 손실: 0.075097 최선의 손실: 0.066542 정확도: 97.89% 4 검증 세트 손실: 0.060563 최선의 손실: 0.060563 정확도: 98.24% 5 검증 세트 손실: 0.054856 최선의 손실: 0.054856 정확도: 98.48% 6 검증 세트 손실: 0.076791 최선의 손실: 0.054856 정확도: 97.93% 7 검증 세트 손실: 0.062455 최선의 손실: 0.054856 정확도: 98.48% 8 검증 세트 손실: 0.055188 최선의 손실: 0.054856 정확도: 98.59% 9 검증 세트 손실: 0.091343 최선의 손실: 0.054856 정확도: 97.50% 10 검증 세트 손실: 0.075002 최선의 손실: 0.054856 정확도: 98.05% 11 검증 세트 손실: 0.068340 최선의 손실: 0.054856 정확도: 98.05% 12 검증 세트 손실: 0.062665 최선의 손실: 0.054856 정확도: 98.28% 13 검증 세트 손실: 0.062599 최선의 손실: 0.054856 정확도: 98.48% 14 검증 세트 손실: 0.095270 최선의 손실: 0.054856 정확도: 97.58% 15 검증 세트 손실: 0.065956 최선의 손실: 0.054856 정확도: 98.28% 16 검증 세트 손실: 0.070403 최선의 손실: 0.054856 정확도: 98.28% 17 검증 세트 손실: 0.077881 최선의 손실: 0.054856 정확도: 98.08% 18 검증 세트 손실: 0.075770 최선의 손실: 0.054856 정확도: 98.20% 19 검증 세트 손실: 0.077390 최선의 손실: 0.054856 정확도: 98.24% 20 검증 세트 손실: 0.069502 최선의 손실: 0.054856 정확도: 98.16% 21 검증 세트 손실: 0.069283 최선의 손실: 0.054856 정확도: 98.36% 22 검증 세트 손실: 0.100848 최선의 손실: 0.054856 정확도: 97.50% 23 검증 세트 손실: 0.068905 최선의 손실: 0.054856 정확도: 98.32% 24 검증 세트 손실: 0.056277 최선의 손실: 0.054856 정확도: 98.20% 25 검증 세트 손실: 0.063919 최선의 손실: 0.054856 정확도: 98.28% 26 검증 세트 손실: 0.067607 최선의 손실: 0.054856 정확도: 98.05% 조기 종료! [CV] n_neurons=10, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 9.6s [CV] n_neurons=10, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 0 검증 세트 손실: 0.107241 최선의 손실: 0.107241 정확도: 97.07% 1 검증 세트 손실: 0.086192 최선의 손실: 0.086192 정확도: 97.46% 2 검증 세트 손실: 0.069398 최선의 손실: 0.069398 정확도: 97.77% 3 검증 세트 손실: 0.066717 최선의 손실: 0.066717 정확도: 97.97% 4 검증 세트 손실: 0.062818 최선의 손실: 0.062818 정확도: 98.20% 5 검증 세트 손실: 0.058768 최선의 손실: 0.058768 정확도: 98.05% 6 검증 세트 손실: 0.063787 최선의 손실: 0.058768 정확도: 98.12% 7 검증 세트 손실: 0.063222 최선의 손실: 0.058768 정확도: 98.01% 8 검증 세트 손실: 0.063622 최선의 손실: 0.058768 정확도: 98.28% 9 검증 세트 손실: 0.062139 최선의 손실: 0.058768 정확도: 98.28% 10 검증 세트 손실: 0.059593 최선의 손실: 0.058768 정확도: 97.97% 11 검증 세트 손실: 0.058479 최선의 손실: 0.058479 정확도: 98.08% 12 검증 세트 손실: 0.053224 최선의 손실: 0.053224 정확도: 98.32% 13 검증 세트 손실: 0.071349 최선의 손실: 0.053224 정확도: 97.97% 14 검증 세트 손실: 0.065437 최선의 손실: 0.053224 정확도: 98.05% 15 검증 세트 손실: 0.055105 최선의 손실: 0.053224 정확도: 98.51% 16 검증 세트 손실: 0.056605 최선의 손실: 0.053224 정확도: 98.20% 17 검증 세트 손실: 0.056244 최선의 손실: 0.053224 정확도: 98.40% 18 검증 세트 손실: 0.061559 최선의 손실: 0.053224 정확도: 98.12% 19 검증 세트 손실: 0.063815 최선의 손실: 0.053224 정확도: 98.36% 20 검증 세트 손실: 0.071239 최선의 손실: 0.053224 정확도: 98.12% 21 검증 세트 손실: 0.054753 최선의 손실: 0.053224 정확도: 98.24% 22 검증 세트 손실: 0.059803 최선의 손실: 0.053224 정확도: 98.32% 23 검증 세트 손실: 0.049507 최선의 손실: 0.049507 정확도: 98.36% 24 검증 세트 손실: 0.061080 최선의 손실: 0.049507 정확도: 98.28% 25 검증 세트 손실: 0.058352 최선의 손실: 0.049507 정확도: 98.01% 26 검증 세트 손실: 0.052011 최선의 손실: 0.049507 정확도: 98.44% 27 검증 세트 손실: 0.063151 최선의 손실: 0.049507 정확도: 98.40% 28 검증 세트 손실: 0.068997 최선의 손실: 0.049507 정확도: 98.36% 29 검증 세트 손실: 0.085221 최선의 손실: 0.049507 정확도: 98.08% 30 검증 세트 손실: 0.061919 최선의 손실: 0.049507 정확도: 98.20% 31 검증 세트 손실: 0.069719 최선의 손실: 0.049507 정확도: 98.40% 32 검증 세트 손실: 0.074223 최선의 손실: 0.049507 정확도: 98.01% 33 검증 세트 손실: 0.064498 최선의 손실: 0.049507 정확도: 98.48% 34 검증 세트 손실: 0.066654 최선의 손실: 0.049507 정확도: 98.05% 35 검증 세트 손실: 0.077285 최선의 손실: 0.049507 정확도: 98.08% 36 검증 세트 손실: 0.067273 최선의 손실: 0.049507 정확도: 98.28% 37 검증 세트 손실: 0.073594 최선의 손실: 0.049507 정확도: 98.36% 38 검증 세트 손실: 0.077888 최선의 손실: 0.049507 정확도: 98.16% 39 검증 세트 손실: 0.058952 최선의 손실: 0.049507 정확도: 98.63% 40 검증 세트 손실: 0.069839 최선의 손실: 0.049507 정확도: 98.08% 41 검증 세트 손실: 0.071776 최선의 손실: 0.049507 정확도: 97.73% 42 검증 세트 손실: 0.085523 최선의 손실: 0.049507 정확도: 97.73% 43 검증 세트 손실: 0.073547 최선의 손실: 0.049507 정확도: 98.28% 44 검증 세트 손실: 0.063410 최선의 손실: 0.049507 정확도: 98.36% 조기 종료! [CV] n_neurons=10, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 15.2s [CV] n_neurons=50, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.999, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 0 검증 세트 손실: 0.534038 최선의 손실: 0.534038 정확도: 96.52% 1 검증 세트 손실: 0.279687 최선의 손실: 0.279687 정확도: 97.38% 2 검증 세트 손실: 0.388696 최선의 손실: 0.279687 정확도: 97.38% 3 검증 세트 손실: 0.146438 최선의 손실: 0.146438 정확도: 98.16% 4 검증 세트 손실: 0.207778 최선의 손실: 0.146438 정확도: 97.81% 5 검증 세트 손실: 0.135224 최선의 손실: 0.135224 정확도: 98.32% 6 검증 세트 손실: 0.078012 최선의 손실: 0.078012 정확도: 98.67% 7 검증 세트 손실: 0.099105 최선의 손실: 0.078012 정확도: 98.91% 8 검증 세트 손실: 0.117103 최선의 손실: 0.078012 정확도: 98.32% 9 검증 세트 손실: 0.111694 최선의 손실: 0.078012 정확도: 98.28% 10 검증 세트 손실: 0.112688 최선의 손실: 0.078012 정확도: 98.75% 11 검증 세트 손실: 0.079313 최선의 손실: 0.078012 정확도: 98.75% 12 검증 세트 손실: 0.149453 최선의 손실: 0.078012 정확도: 98.12% 13 검증 세트 손실: 0.106330 최선의 손실: 0.078012 정확도: 98.36% 14 검증 세트 손실: 0.099519 최선의 손실: 0.078012 정확도: 98.32% 15 검증 세트 손실: 0.075004 최선의 손실: 0.075004 정확도: 98.59% 16 검증 세트 손실: 0.175765 최선의 손실: 0.075004 정확도: 97.93% 17 검증 세트 손실: 0.119982 최선의 손실: 0.075004 정확도: 98.36% 18 검증 세트 손실: 0.093908 최선의 손실: 0.075004 정확도: 98.36% 19 검증 세트 손실: 0.090073 최선의 손실: 0.075004 정확도: 98.51% 20 검증 세트 손실: 0.083409 최선의 손실: 0.075004 정확도: 98.59% 21 검증 세트 손실: 0.171345 최선의 손실: 0.075004 정확도: 98.05% 22 검증 세트 손실: 0.072223 최선의 손실: 0.072223 정확도: 98.63% 23 검증 세트 손실: 0.075772 최선의 손실: 0.072223 정확도: 98.83% 24 검증 세트 손실: 0.058826 최선의 손실: 0.058826 정확도: 98.67% 25 검증 세트 손실: 0.061879 최선의 손실: 0.058826 정확도: 98.91% 26 검증 세트 손실: 0.059596 최선의 손실: 0.058826 정확도: 98.94% 27 검증 세트 손실: 0.077571 최선의 손실: 0.058826 정확도: 99.10% 28 검증 세트 손실: 0.060825 최선의 손실: 0.058826 정확도: 98.83% 29 검증 세트 손실: 0.057004 최선의 손실: 0.057004 정확도: 98.79% 30 검증 세트 손실: 0.059474 최선의 손실: 0.057004 정확도: 98.91% 31 검증 세트 손실: 0.080698 최선의 손실: 0.057004 정확도: 98.63% 32 검증 세트 손실: 0.085349 최선의 손실: 0.057004 정확도: 98.75% 33 검증 세트 손실: 0.076650 최선의 손실: 0.057004 정확도: 98.79% 34 검증 세트 손실: 0.070893 최선의 손실: 0.057004 정확도: 98.67% 35 검증 세트 손실: 0.056374 최선의 손실: 0.056374 정확도: 98.94% 36 검증 세트 손실: 0.096541 최선의 손실: 0.056374 정확도: 98.36% 37 검증 세트 손실: 0.116984 최선의 손실: 0.056374 정확도: 98.20% 38 검증 세트 손실: 0.062557 최선의 손실: 0.056374 정확도: 98.87% 39 검증 세트 손실: 0.066440 최선의 손실: 0.056374 정확도: 98.55% 40 검증 세트 손실: 0.064345 최선의 손실: 0.056374 정확도: 98.71% 41 검증 세트 손실: 0.094599 최선의 손실: 0.056374 정확도: 98.63% 42 검증 세트 손실: 0.063639 최선의 손실: 0.056374 정확도: 98.94% 43 검증 세트 손실: 0.059449 최선의 손실: 0.056374 정확도: 98.98% 44 검증 세트 손실: 0.051370 최선의 손실: 0.051370 정확도: 99.14% 45 검증 세트 손실: 0.084083 최선의 손실: 0.051370 정확도: 98.79% 46 검증 세트 손실: 0.089254 최선의 손실: 0.051370 정확도: 98.83% 47 검증 세트 손실: 0.066606 최선의 손실: 0.051370 정확도: 98.75% 48 검증 세트 손실: 0.041552 최선의 손실: 0.041552 정확도: 99.06% 49 검증 세트 손실: 0.078556 최선의 손실: 0.041552 정확도: 98.75% 50 검증 세트 손실: 0.060802 최선의 손실: 0.041552 정확도: 98.87% 51 검증 세트 손실: 0.097583 최선의 손실: 0.041552 정확도: 98.44% 52 검증 세트 손실: 0.075395 최선의 손실: 0.041552 정확도: 98.71% 53 검증 세트 손실: 0.061060 최선의 손실: 0.041552 정확도: 98.87% 54 검증 세트 손실: 0.062878 최선의 손실: 0.041552 정확도: 98.94% 55 검증 세트 손실: 0.052813 최선의 손실: 0.041552 정확도: 99.02% 56 검증 세트 손실: 0.063385 최선의 손실: 0.041552 정확도: 98.83% 57 검증 세트 손실: 0.052270 최선의 손실: 0.041552 정확도: 99.06% 58 검증 세트 손실: 0.053489 최선의 손실: 0.041552 정확도: 99.02% 59 검증 세트 손실: 0.094942 최선의 손실: 0.041552 정확도: 98.40% 60 검증 세트 손실: 0.090060 최선의 손실: 0.041552 정확도: 98.79% 61 검증 세트 손실: 0.069824 최선의 손실: 0.041552 정확도: 98.83% 62 검증 세트 손실: 0.052346 최선의 손실: 0.041552 정확도: 99.10% 63 검증 세트 손실: 0.062910 최선의 손실: 0.041552 정확도: 98.98% 64 검증 세트 손실: 0.066262 최선의 손실: 0.041552 정확도: 98.98% 65 검증 세트 손실: 0.061232 최선의 손실: 0.041552 정확도: 98.94% 66 검증 세트 손실: 0.051388 최선의 손실: 0.041552 정확도: 99.02% 67 검증 세트 손실: 0.068417 최선의 손실: 0.041552 정확도: 98.79% 68 검증 세트 손실: 0.059011 최선의 손실: 0.041552 정확도: 98.94% 69 검증 세트 손실: 0.083856 최선의 손실: 0.041552 정확도: 98.63% 조기 종료! [CV] n_neurons=50, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.999, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 50.1s [CV] n_neurons=50, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.999, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 0 검증 세트 손실: 0.673607 최선의 손실: 0.673607 정확도: 96.05% 1 검증 세트 손실: 0.370649 최선의 손실: 0.370649 정확도: 97.54% 2 검증 세트 손실: 0.237824 최선의 손실: 0.237824 정확도: 97.85% 3 검증 세트 손실: 0.155781 최선의 손실: 0.155781 정확도: 98.16% 4 검증 세트 손실: 0.113204 최선의 손실: 0.113204 정확도: 98.16% 5 검증 세트 손실: 0.129707 최선의 손실: 0.113204 정확도: 98.36% 6 검증 세트 손실: 0.173680 최선의 손실: 0.113204 정확도: 97.73% 7 검증 세트 손실: 0.072416 최선의 손실: 0.072416 정확도: 98.55% 8 검증 세트 손실: 0.090433 최선의 손실: 0.072416 정확도: 98.51% 9 검증 세트 손실: 0.111867 최선의 손실: 0.072416 정확도: 98.20% 10 검증 세트 손실: 0.150868 최선의 손실: 0.072416 정확도: 98.20% 11 검증 세트 손실: 0.093291 최선의 손실: 0.072416 정확도: 98.75% 12 검증 세트 손실: 0.095177 최선의 손실: 0.072416 정확도: 98.55% 13 검증 세트 손실: 0.096929 최선의 손실: 0.072416 정확도: 98.44% 14 검증 세트 손실: 0.159253 최선의 손실: 0.072416 정확도: 97.93% 15 검증 세트 손실: 0.073723 최선의 손실: 0.072416 정확도: 98.75% 16 검증 세트 손실: 0.068936 최선의 손실: 0.068936 정확도: 98.59% 17 검증 세트 손실: 0.074746 최선의 손실: 0.068936 정확도: 98.83% 18 검증 세트 손실: 0.092028 최선의 손실: 0.068936 정확도: 98.24% 19 검증 세트 손실: 0.056445 최선의 손실: 0.056445 정확도: 98.83% 20 검증 세트 손실: 0.092222 최선의 손실: 0.056445 정확도: 98.71% 21 검증 세트 손실: 0.132816 최선의 손실: 0.056445 정확도: 97.62% 22 검증 세트 손실: 0.138709 최선의 손실: 0.056445 정확도: 98.08% 23 검증 세트 손실: 0.102426 최선의 손실: 0.056445 정확도: 98.36% 24 검증 세트 손실: 0.062135 최선의 손실: 0.056445 정확도: 98.63% 25 검증 세트 손실: 0.058835 최선의 손실: 0.056445 정확도: 98.67% 26 검증 세트 손실: 0.078155 최선의 손실: 0.056445 정확도: 98.75% 27 검증 세트 손실: 0.077474 최선의 손실: 0.056445 정확도: 98.63% 28 검증 세트 손실: 0.105282 최선의 손실: 0.056445 정확도: 98.44% 29 검증 세트 손실: 0.067721 최선의 손실: 0.056445 정확도: 98.71% 30 검증 세트 손실: 0.058724 최선의 손실: 0.056445 정확도: 98.63% 31 검증 세트 손실: 0.091608 최선의 손실: 0.056445 정확도: 98.44% 32 검증 세트 손실: 0.088752 최선의 손실: 0.056445 정확도: 98.63% 33 검증 세트 손실: 0.080829 최선의 손실: 0.056445 정확도: 98.51% 34 검증 세트 손실: 0.067625 최선의 손실: 0.056445 정확도: 98.67% 35 검증 세트 손실: 0.062024 최선의 손실: 0.056445 정확도: 98.87% 36 검증 세트 손실: 0.072448 최선의 손실: 0.056445 정확도: 98.98% 37 검증 세트 손실: 0.086750 최선의 손실: 0.056445 정확도: 98.44% 38 검증 세트 손실: 0.062571 최선의 손실: 0.056445 정확도: 99.02% 39 검증 세트 손실: 0.117028 최선의 손실: 0.056445 정확도: 98.32% 40 검증 세트 손실: 0.071165 최선의 손실: 0.056445 정확도: 98.55% 조기 종료! [CV] n_neurons=50, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.999, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 30.1s [CV] n_neurons=50, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.999, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 0 검증 세트 손실: 0.606668 최선의 손실: 0.606668 정확도: 96.01% 1 검증 세트 손실: 0.343354 최선의 손실: 0.343354 정확도: 97.42% 2 검증 세트 손실: 0.313182 최선의 손실: 0.313182 정확도: 96.79% 3 검증 세트 손실: 0.105441 최선의 손실: 0.105441 정확도: 98.79% 4 검증 세트 손실: 0.154352 최선의 손실: 0.105441 정확도: 98.16% 5 검증 세트 손실: 0.088025 최선의 손실: 0.088025 정확도: 98.71% 6 검증 세트 손실: 0.162466 최선의 손실: 0.088025 정확도: 97.58% 7 검증 세트 손실: 0.130201 최선의 손실: 0.088025 정확도: 98.48% 8 검증 세트 손실: 0.080358 최선의 손실: 0.080358 정확도: 98.83% 9 검증 세트 손실: 0.070308 최선의 손실: 0.070308 정확도: 98.75% 10 검증 세트 손실: 0.067746 최선의 손실: 0.067746 정확도: 98.79% 11 검증 세트 손실: 0.091066 최선의 손실: 0.067746 정확도: 98.40% 12 검증 세트 손실: 0.148249 최선의 손실: 0.067746 정확도: 97.93% 13 검증 세트 손실: 0.060111 최선의 손실: 0.060111 정확도: 98.91% 14 검증 세트 손실: 0.073660 최선의 손실: 0.060111 정확도: 98.44% 15 검증 세트 손실: 0.058048 최선의 손실: 0.058048 정확도: 98.87% 16 검증 세트 손실: 0.066713 최선의 손실: 0.058048 정확도: 98.71% 17 검증 세트 손실: 0.089668 최선의 손실: 0.058048 정확도: 98.51% 18 검증 세트 손실: 0.077201 최선의 손실: 0.058048 정확도: 98.83% 19 검증 세트 손실: 0.182426 최선의 손실: 0.058048 정확도: 97.46% 20 검증 세트 손실: 0.057445 최선의 손실: 0.057445 정확도: 98.83% 21 검증 세트 손실: 0.057173 최선의 손실: 0.057173 정확도: 98.59% 22 검증 세트 손실: 0.062206 최선의 손실: 0.057173 정확도: 98.59% 23 검증 세트 손실: 0.090016 최선의 손실: 0.057173 정확도: 98.83% 24 검증 세트 손실: 0.049221 최선의 손실: 0.049221 정확도: 99.14% 25 검증 세트 손실: 0.067993 최선의 손실: 0.049221 정확도: 99.10% 26 검증 세트 손실: 0.087449 최선의 손실: 0.049221 정확도: 98.67% 27 검증 세트 손실: 0.064339 최선의 손실: 0.049221 정확도: 99.02% 28 검증 세트 손실: 0.055308 최선의 손실: 0.049221 정확도: 99.06% 29 검증 세트 손실: 0.073256 최선의 손실: 0.049221 정확도: 98.59% 30 검증 세트 손실: 0.056403 최선의 손실: 0.049221 정확도: 99.10% 31 검증 세트 손실: 0.052420 최선의 손실: 0.049221 정확도: 98.98% 32 검증 세트 손실: 0.095019 최선의 손실: 0.049221 정확도: 98.51% 33 검증 세트 손실: 0.114924 최선의 손실: 0.049221 정확도: 98.24% 34 검증 세트 손실: 0.060659 최선의 손실: 0.049221 정확도: 98.87% 35 검증 세트 손실: 0.055840 최선의 손실: 0.049221 정확도: 99.02% 36 검증 세트 손실: 0.055585 최선의 손실: 0.049221 정확도: 99.18% 37 검증 세트 손실: 0.056760 최선의 손실: 0.049221 정확도: 98.87% 38 검증 세트 손실: 0.080186 최선의 손실: 0.049221 정확도: 98.55% 39 검증 세트 손실: 0.070677 최선의 손실: 0.049221 정확도: 98.87% 40 검증 세트 손실: 0.073808 최선의 손실: 0.049221 정확도: 98.79% 41 검증 세트 손실: 0.040390 최선의 손실: 0.040390 정확도: 99.06% 42 검증 세트 손실: 0.067080 최선의 손실: 0.040390 정확도: 98.91% 43 검증 세트 손실: 0.057181 최선의 손실: 0.040390 정확도: 98.83% 44 검증 세트 손실: 0.054193 최선의 손실: 0.040390 정확도: 99.06% 45 검증 세트 손실: 0.069271 최선의 손실: 0.040390 정확도: 98.71% 46 검증 세트 손실: 0.052509 최선의 손실: 0.040390 정확도: 98.94% 47 검증 세트 손실: 0.053022 최선의 손실: 0.040390 정확도: 99.10% 48 검증 세트 손실: 0.060448 최선의 손실: 0.040390 정확도: 98.94% 49 검증 세트 손실: 0.067784 최선의 손실: 0.040390 정확도: 98.79% 50 검증 세트 손실: 0.045030 최선의 손실: 0.040390 정확도: 99.22% 51 검증 세트 손실: 0.070123 최선의 손실: 0.040390 정확도: 98.98% 52 검증 세트 손실: 0.135056 최선의 손실: 0.040390 정확도: 98.75% 53 검증 세트 손실: 0.048970 최선의 손실: 0.040390 정확도: 99.22% 54 검증 세트 손실: 0.060046 최선의 손실: 0.040390 정확도: 99.10% 55 검증 세트 손실: 0.054115 최선의 손실: 0.040390 정확도: 99.14% 56 검증 세트 손실: 0.057565 최선의 손실: 0.040390 정확도: 99.06% 57 검증 세트 손실: 0.052420 최선의 손실: 0.040390 정확도: 98.98% 58 검증 세트 손실: 0.041247 최선의 손실: 0.040390 정확도: 99.30% 59 검증 세트 손실: 0.040193 최선의 손실: 0.040193 정확도: 99.14% 60 검증 세트 손실: 0.037434 최선의 손실: 0.037434 정확도: 99.14% 61 검증 세트 손실: 0.046267 최선의 손실: 0.037434 정확도: 98.71% 62 검증 세트 손실: 0.054462 최선의 손실: 0.037434 정확도: 98.98% 63 검증 세트 손실: 0.053723 최선의 손실: 0.037434 정확도: 99.10% 64 검증 세트 손실: 0.061399 최선의 손실: 0.037434 정확도: 99.06% 65 검증 세트 손실: 0.051798 최선의 손실: 0.037434 정확도: 99.14% 66 검증 세트 손실: 0.074572 최선의 손실: 0.037434 정확도: 98.79% 67 검증 세트 손실: 0.051792 최선의 손실: 0.037434 정확도: 99.06% 68 검증 세트 손실: 0.088964 최선의 손실: 0.037434 정확도: 98.44% 69 검증 세트 손실: 0.055808 최선의 손실: 0.037434 정확도: 99.06% 70 검증 세트 손실: 0.060083 최선의 손실: 0.037434 정확도: 99.06% 71 검증 세트 손실: 0.084897 최선의 손실: 0.037434 정확도: 98.87% 72 검증 세트 손실: 0.057494 최선의 손실: 0.037434 정확도: 98.91% 73 검증 세트 손실: 0.056536 최선의 손실: 0.037434 정확도: 99.14% 74 검증 세트 손실: 0.065630 최선의 손실: 0.037434 정확도: 99.26% 75 검증 세트 손실: 0.056476 최선의 손실: 0.037434 정확도: 99.06% 76 검증 세트 손실: 0.062465 최선의 손실: 0.037434 정확도: 98.94% 77 검증 세트 손실: 0.071084 최선의 손실: 0.037434 정확도: 98.87% 78 검증 세트 손실: 0.058930 최선의 손실: 0.037434 정확도: 99.10% 79 검증 세트 손실: 0.038462 최선의 손실: 0.037434 정확도: 99.22% 80 검증 세트 손실: 0.065547 최선의 손실: 0.037434 정확도: 98.91% 81 검증 세트 손실: 0.064446 최선의 손실: 0.037434 정확도: 99.02% 조기 종료! [CV] n_neurons=50, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.999, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 58.6s [CV] n_neurons=10, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 0 검증 세트 손실: 10.709251 최선의 손실: 10.709251 정확도: 76.90% 1 검증 세트 손실: 4.016308 최선의 손실: 4.016308 정확도: 76.51% 2 검증 세트 손실: 1.169296 최선의 손실: 1.169296 정확도: 86.71% 3 검증 세트 손실: 0.728648 최선의 손실: 0.728648 정확도: 91.05% 4 검증 세트 손실: 0.689384 최선의 손실: 0.689384 정확도: 90.85% 5 검증 세트 손실: 0.480629 최선의 손실: 0.480629 정확도: 92.49% 6 검증 세트 손실: 0.673895 최선의 손실: 0.480629 정확도: 90.54% 7 검증 세트 손실: 0.470662 최선의 손실: 0.470662 정확도: 92.34% 8 검증 세트 손실: 0.311441 최선의 손실: 0.311441 정확도: 94.45% 9 검증 세트 손실: 0.406115 최선의 손실: 0.311441 정확도: 93.82% 10 검증 세트 손실: 0.529458 최선의 손실: 0.311441 정확도: 92.65% 11 검증 세트 손실: 0.254377 최선의 손실: 0.254377 정확도: 96.09% 12 검증 세트 손실: 0.208852 최선의 손실: 0.208852 정확도: 96.21% 13 검증 세트 손실: 0.309114 최선의 손실: 0.208852 정확도: 95.07% 14 검증 세트 손실: 0.263393 최선의 손실: 0.208852 정확도: 95.82% 15 검증 세트 손실: 0.214897 최선의 손실: 0.208852 정확도: 96.13% 16 검증 세트 손실: 0.244392 최선의 손실: 0.208852 정확도: 95.19% 17 검증 세트 손실: 0.163906 최선의 손실: 0.163906 정확도: 97.11% 18 검증 세트 손실: 0.160842 최선의 손실: 0.160842 정확도: 96.56% 19 검증 세트 손실: 0.162741 최선의 손실: 0.160842 정확도: 96.87% 20 검증 세트 손실: 0.213754 최선의 손실: 0.160842 정확도: 96.52% 21 검증 세트 손실: 0.190714 최선의 손실: 0.160842 정확도: 96.52% 22 검증 세트 손실: 0.126941 최선의 손실: 0.126941 정확도: 97.34% 23 검증 세트 손실: 0.342352 최선의 손실: 0.126941 정확도: 94.37% 24 검증 세트 손실: 0.186538 최선의 손실: 0.126941 정확도: 96.99% 25 검증 세트 손실: 0.169441 최선의 손실: 0.126941 정확도: 96.79% 26 검증 세트 손실: 0.144117 최선의 손실: 0.126941 정확도: 97.34% 27 검증 세트 손실: 0.179673 최선의 손실: 0.126941 정확도: 96.91% 28 검증 세트 손실: 0.169606 최선의 손실: 0.126941 정확도: 97.19% 29 검증 세트 손실: 0.389077 최선의 손실: 0.126941 정확도: 95.31% 30 검증 세트 손실: 0.205416 최선의 손실: 0.126941 정확도: 96.52% 31 검증 세트 손실: 0.208641 최선의 손실: 0.126941 정확도: 96.44% 32 검증 세트 손실: 0.201299 최선의 손실: 0.126941 정확도: 96.79% 33 검증 세트 손실: 0.227703 최선의 손실: 0.126941 정확도: 96.91% 34 검증 세트 손실: 0.221164 최선의 손실: 0.126941 정확도: 96.01% 35 검증 세트 손실: 0.293608 최선의 손실: 0.126941 정확도: 95.47% 36 검증 세트 손실: 0.137575 최선의 손실: 0.126941 정확도: 97.50% 37 검증 세트 손실: 0.171947 최선의 손실: 0.126941 정확도: 97.11% 38 검증 세트 손실: 0.201743 최선의 손실: 0.126941 정확도: 96.21% 39 검증 세트 손실: 0.250584 최선의 손실: 0.126941 정확도: 96.36% 40 검증 세트 손실: 0.144875 최선의 손실: 0.126941 정확도: 97.54% 41 검증 세트 손실: 0.146800 최선의 손실: 0.126941 정확도: 97.73% 42 검증 세트 손실: 0.152584 최선의 손실: 0.126941 정확도: 97.50% 43 검증 세트 손실: 0.160983 최선의 손실: 0.126941 정확도: 97.69% 조기 종료! [CV] n_neurons=10, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 6.7s [CV] n_neurons=10, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 0 검증 세트 손실: 27.943342 최선의 손실: 27.943342 정확도: 54.34% 1 검증 세트 손실: 14.559706 최선의 손실: 14.559706 정확도: 49.45% 2 검증 세트 손실: 5.944944 최선의 손실: 5.944944 정확도: 53.99% 3 검증 세트 손실: 3.191788 최선의 손실: 3.191788 정확도: 58.05% 4 검증 세트 손실: 1.426851 최선의 손실: 1.426851 정확도: 72.05% 5 검증 세트 손실: 1.236457 최선의 손실: 1.236457 정확도: 79.16% 6 검증 세트 손실: 0.657665 최선의 손실: 0.657665 정확도: 86.51% 7 검증 세트 손실: 1.245690 최선의 손실: 0.657665 정확도: 73.85% 8 검증 세트 손실: 0.254195 최선의 손실: 0.254195 정확도: 93.78% 9 검증 세트 손실: 0.156259 최선의 손실: 0.156259 정확도: 96.64% 10 검증 세트 손실: 0.571893 최선의 손실: 0.156259 정확도: 89.72% 11 검증 세트 손실: 0.235553 최선의 손실: 0.156259 정확도: 94.84% 12 검증 세트 손실: 0.225122 최선의 손실: 0.156259 정확도: 96.33% 13 검증 세트 손실: 0.196085 최선의 손실: 0.156259 정확도: 95.82% 14 검증 세트 손실: 0.197954 최선의 손실: 0.156259 정확도: 95.15% 15 검증 세트 손실: 0.242695 최선의 손실: 0.156259 정확도: 94.96% 16 검증 세트 손실: 0.135767 최선의 손실: 0.135767 정확도: 97.19% 17 검증 세트 손실: 0.154381 최선의 손실: 0.135767 정확도: 96.76% 18 검증 세트 손실: 0.226365 최선의 손실: 0.135767 정확도: 95.90% 19 검증 세트 손실: 0.140788 최선의 손실: 0.135767 정확도: 97.30% 20 검증 세트 손실: 0.155177 최선의 손실: 0.135767 정확도: 97.30% 21 검증 세트 손실: 0.289728 최선의 손실: 0.135767 정확도: 94.92% 22 검증 세트 손실: 0.229241 최선의 손실: 0.135767 정확도: 95.15% 23 검증 세트 손실: 0.149890 최선의 손실: 0.135767 정확도: 97.03% 24 검증 세트 손실: 0.138897 최선의 손실: 0.135767 정확도: 96.83% 25 검증 세트 손실: 0.193411 최선의 손실: 0.135767 정확도: 96.99% 26 검증 세트 손실: 0.092022 최선의 손실: 0.092022 정확도: 98.24% 27 검증 세트 손실: 0.161547 최선의 손실: 0.092022 정확도: 97.22% 28 검증 세트 손실: 0.151830 최선의 손실: 0.092022 정확도: 97.30% 29 검증 세트 손실: 0.117716 최선의 손실: 0.092022 정확도: 97.42% 30 검증 세트 손실: 0.129440 최선의 손실: 0.092022 정확도: 97.54% 31 검증 세트 손실: 0.128631 최선의 손실: 0.092022 정확도: 97.69% 32 검증 세트 손실: 0.204244 최선의 손실: 0.092022 정확도: 96.05% 33 검증 세트 손실: 0.212899 최선의 손실: 0.092022 정확도: 96.56% 34 검증 세트 손실: 0.158089 최선의 손실: 0.092022 정확도: 97.62% 35 검증 세트 손실: 0.300391 최선의 손실: 0.092022 정확도: 96.13% 36 검증 세트 손실: 0.144273 최선의 손실: 0.092022 정확도: 97.34% 37 검증 세트 손실: 0.149966 최선의 손실: 0.092022 정확도: 97.54% 38 검증 세트 손실: 0.100161 최선의 손실: 0.092022 정확도: 98.05% 39 검증 세트 손실: 0.200740 최선의 손실: 0.092022 정확도: 96.36% 40 검증 세트 손실: 0.211559 최선의 손실: 0.092022 정확도: 96.01% 41 검증 세트 손실: 0.153136 최선의 손실: 0.092022 정확도: 97.58% 42 검증 세트 손실: 0.126689 최선의 손실: 0.092022 정확도: 98.20% 43 검증 세트 손실: 0.159442 최선의 손실: 0.092022 정확도: 97.46% 44 검증 세트 손실: 0.121746 최선의 손실: 0.092022 정확도: 97.89% 45 검증 세트 손실: 0.173331 최선의 손실: 0.092022 정확도: 97.15% 46 검증 세트 손실: 0.192202 최선의 손실: 0.092022 정확도: 97.26% 47 검증 세트 손실: 0.204883 최선의 손실: 0.092022 정확도: 97.34% 조기 종료! [CV] n_neurons=10, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 7.3s [CV] n_neurons=10, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 0 검증 세트 손실: 4.510430 최선의 손실: 4.510430 정확도: 84.25% 1 검증 세트 손실: 0.809442 최선의 손실: 0.809442 정확도: 92.26% 2 검증 세트 손실: 0.722004 최선의 손실: 0.722004 정확도: 91.13% 3 검증 세트 손실: 0.357290 최선의 손실: 0.357290 정확도: 94.25% 4 검증 세트 손실: 0.226368 최선의 손실: 0.226368 정확도: 96.44% 5 검증 세트 손실: 0.418913 최선의 손실: 0.226368 정확도: 93.47% 6 검증 세트 손실: 0.278077 최선의 손실: 0.226368 정확도: 95.31% 7 검증 세트 손실: 0.180156 최선의 손실: 0.180156 정확도: 96.52% 8 검증 세트 손실: 0.177660 최선의 손실: 0.177660 정확도: 96.44% 9 검증 세트 손실: 0.115490 최선의 손실: 0.115490 정확도: 97.73% 10 검증 세트 손실: 0.115946 최선의 손실: 0.115490 정확도: 97.54% 11 검증 세트 손실: 0.123827 최선의 손실: 0.115490 정확도: 97.26% 12 검증 세트 손실: 0.153161 최선의 손실: 0.115490 정확도: 96.79% 13 검증 세트 손실: 0.167842 최선의 손실: 0.115490 정확도: 97.15% 14 검증 세트 손실: 0.154255 최선의 손실: 0.115490 정확도: 97.54% 15 검증 세트 손실: 0.213948 최선의 손실: 0.115490 정확도: 96.40% 16 검증 세트 손실: 0.122070 최선의 손실: 0.115490 정확도: 97.93% 17 검증 세트 손실: 0.152175 최선의 손실: 0.115490 정확도: 97.07% 18 검증 세트 손실: 0.110259 최선의 손실: 0.110259 정확도: 97.73% 19 검증 세트 손실: 0.134303 최선의 손실: 0.110259 정확도: 97.58% 20 검증 세트 손실: 0.135091 최선의 손실: 0.110259 정확도: 97.81% 21 검증 세트 손실: 0.117939 최선의 손실: 0.110259 정확도: 97.77% 22 검증 세트 손실: 0.133108 최선의 손실: 0.110259 정확도: 97.97% 23 검증 세트 손실: 0.108330 최선의 손실: 0.108330 정확도: 97.77% 24 검증 세트 손실: 0.140901 최선의 손실: 0.108330 정확도: 97.65% 25 검증 세트 손실: 0.117747 최선의 손실: 0.108330 정확도: 97.93% 26 검증 세트 손실: 0.147095 최선의 손실: 0.108330 정확도: 97.07% 27 검증 세트 손실: 0.150487 최선의 손실: 0.108330 정확도: 97.65% 28 검증 세트 손실: 0.159341 최선의 손실: 0.108330 정확도: 97.38% 29 검증 세트 손실: 0.194070 최선의 손실: 0.108330 정확도: 96.87% 30 검증 세트 손실: 0.152130 최선의 손실: 0.108330 정확도: 97.15% 31 검증 세트 손실: 0.132817 최선의 손실: 0.108330 정확도: 97.69% 32 검증 세트 손실: 0.139722 최선의 손실: 0.108330 정확도: 97.69% 33 검증 세트 손실: 0.115157 최선의 손실: 0.108330 정확도: 98.28% 34 검증 세트 손실: 0.119326 최선의 손실: 0.108330 정확도: 97.77% 35 검증 세트 손실: 0.165533 최선의 손실: 0.108330 정확도: 97.15% 36 검증 세트 손실: 0.146658 최선의 손실: 0.108330 정확도: 97.69% 37 검증 세트 손실: 0.160763 최선의 손실: 0.108330 정확도: 97.58% 38 검증 세트 손실: 0.183833 최선의 손실: 0.108330 정확도: 97.34% 39 검증 세트 손실: 0.133688 최선의 손실: 0.108330 정확도: 97.85% 40 검증 세트 손실: 0.126114 최선의 손실: 0.108330 정확도: 97.73% 41 검증 세트 손실: 0.169810 최선의 손실: 0.108330 정확도: 97.22% 42 검증 세트 손실: 0.142930 최선의 손실: 0.108330 정확도: 97.58% 43 검증 세트 손실: 0.148399 최선의 손실: 0.108330 정확도: 97.50% 44 검증 세트 손실: 0.141687 최선의 손실: 0.108330 정확도: 97.58% 조기 종료! [CV] n_neurons=10, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 6.9s [CV] n_neurons=160, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.102876 최선의 손실: 0.102876 정확도: 97.58% 1 검증 세트 손실: 0.076282 최선의 손실: 0.076282 정확도: 97.97% 2 검증 세트 손실: 0.079007 최선의 손실: 0.076282 정확도: 98.05% 3 검증 세트 손실: 0.054537 최선의 손실: 0.054537 정확도: 98.51% 4 검증 세트 손실: 0.042654 최선의 손실: 0.042654 정확도: 98.63% 5 검증 세트 손실: 0.057768 최선의 손실: 0.042654 정확도: 98.71% 6 검증 세트 손실: 0.049590 최선의 손실: 0.042654 정확도: 98.87% 7 검증 세트 손실: 0.052487 최선의 손실: 0.042654 정확도: 98.67% 8 검증 세트 손실: 0.069777 최선의 손실: 0.042654 정확도: 98.44% 9 검증 세트 손실: 0.054502 최선의 손실: 0.042654 정확도: 98.98% 10 검증 세트 손실: 0.079150 최선의 손실: 0.042654 정확도: 98.44% 11 검증 세트 손실: 0.057323 최선의 손실: 0.042654 정확도: 98.75% 12 검증 세트 손실: 0.053549 최선의 손실: 0.042654 정확도: 98.71% 13 검증 세트 손실: 0.038592 최선의 손실: 0.038592 정확도: 98.91% 14 검증 세트 손실: 0.041572 최선의 손실: 0.038592 정확도: 98.98% 15 검증 세트 손실: 0.048119 최선의 손실: 0.038592 정확도: 98.98% 16 검증 세트 손실: 0.088925 최선의 손실: 0.038592 정확도: 98.48% 17 검증 세트 손실: 0.056454 최선의 손실: 0.038592 정확도: 98.55% 18 검증 세트 손실: 0.067001 최선의 손실: 0.038592 정확도: 98.36% 19 검증 세트 손실: 0.059244 최선의 손실: 0.038592 정확도: 98.75% 20 검증 세트 손실: 0.086428 최선의 손실: 0.038592 정확도: 98.55% 21 검증 세트 손실: 0.055140 최선의 손실: 0.038592 정확도: 98.71% 22 검증 세트 손실: 0.049232 최선의 손실: 0.038592 정확도: 98.87% 23 검증 세트 손실: 0.044277 최선의 손실: 0.038592 정확도: 98.94% 24 검증 세트 손실: 0.067027 최선의 손실: 0.038592 정확도: 98.79% 25 검증 세트 손실: 0.052308 최선의 손실: 0.038592 정확도: 99.06% 26 검증 세트 손실: 0.075311 최선의 손실: 0.038592 정확도: 98.79% 27 검증 세트 손실: 0.048738 최선의 손실: 0.038592 정확도: 98.94% 28 검증 세트 손실: 0.067107 최선의 손실: 0.038592 정확도: 98.40% 29 검증 세트 손실: 0.068546 최선의 손실: 0.038592 정확도: 98.91% 30 검증 세트 손실: 0.036169 최선의 손실: 0.036169 정확도: 99.02% 31 검증 세트 손실: 0.048950 최선의 손실: 0.036169 정확도: 98.98% 32 검증 세트 손실: 0.064161 최선의 손실: 0.036169 정확도: 98.91% 33 검증 세트 손실: 0.049121 최선의 손실: 0.036169 정확도: 98.83% 34 검증 세트 손실: 0.060449 최선의 손실: 0.036169 정확도: 98.67% 35 검증 세트 손실: 0.061958 최선의 손실: 0.036169 정확도: 99.02% 36 검증 세트 손실: 0.041949 최선의 손실: 0.036169 정확도: 99.14% 37 검증 세트 손실: 0.089061 최선의 손실: 0.036169 정확도: 98.67% 38 검증 세트 손실: 0.059163 최선의 손실: 0.036169 정확도: 98.75% 39 검증 세트 손실: 0.043549 최선의 손실: 0.036169 정확도: 98.91% 40 검증 세트 손실: 0.058095 최선의 손실: 0.036169 정확도: 98.67% 41 검증 세트 손실: 0.042257 최선의 손실: 0.036169 정확도: 99.14% 42 검증 세트 손실: 0.061088 최선의 손실: 0.036169 정확도: 98.94% 43 검증 세트 손실: 0.052863 최선의 손실: 0.036169 정확도: 98.91% 44 검증 세트 손실: 0.050679 최선의 손실: 0.036169 정확도: 98.83% 45 검증 세트 손실: 0.062810 최선의 손실: 0.036169 정확도: 98.87% 46 검증 세트 손실: 0.035057 최선의 손실: 0.035057 정확도: 99.18% 47 검증 세트 손실: 0.044767 최선의 손실: 0.035057 정확도: 99.06% 48 검증 세트 손실: 0.052835 최선의 손실: 0.035057 정확도: 98.87% 49 검증 세트 손실: 0.053784 최선의 손실: 0.035057 정확도: 98.98% 50 검증 세트 손실: 0.061921 최선의 손실: 0.035057 정확도: 98.91% 51 검증 세트 손실: 0.052988 최선의 손실: 0.035057 정확도: 99.06% 52 검증 세트 손실: 0.049933 최선의 손실: 0.035057 정확도: 98.94% 53 검증 세트 손실: 0.051751 최선의 손실: 0.035057 정확도: 99.06% 54 검증 세트 손실: 0.064987 최선의 손실: 0.035057 정확도: 98.87% 55 검증 세트 손실: 0.056754 최선의 손실: 0.035057 정확도: 99.10% 56 검증 세트 손실: 0.072880 최선의 손실: 0.035057 정확도: 98.91% 57 검증 세트 손실: 0.048574 최선의 손실: 0.035057 정확도: 98.91% 58 검증 세트 손실: 0.047774 최선의 손실: 0.035057 정확도: 98.87% 59 검증 세트 손실: 0.052199 최선의 손실: 0.035057 정확도: 98.91% 60 검증 세트 손실: 0.050442 최선의 손실: 0.035057 정확도: 99.10% 61 검증 세트 손실: 0.058530 최선의 손실: 0.035057 정확도: 99.14% 62 검증 세트 손실: 0.062261 최선의 손실: 0.035057 정확도: 98.83% 63 검증 세트 손실: 0.053405 최선의 손실: 0.035057 정확도: 99.18% 64 검증 세트 손실: 0.049198 최선의 손실: 0.035057 정확도: 99.06% 65 검증 세트 손실: 0.057395 최선의 손실: 0.035057 정확도: 98.98% 66 검증 세트 손실: 0.059844 최선의 손실: 0.035057 정확도: 98.87% 67 검증 세트 손실: 0.053267 최선의 손실: 0.035057 정확도: 99.14% 조기 종료! [CV] n_neurons=160, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation=<function relu at 0x7f8ec4c8c510>, total= 1.0min [CV] n_neurons=160, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.151589 최선의 손실: 0.151589 정확도: 96.13% 1 검증 세트 손실: 0.052224 최선의 손실: 0.052224 정확도: 98.51% 2 검증 세트 손실: 0.052055 최선의 손실: 0.052055 정확도: 98.63% 3 검증 세트 손실: 0.048722 최선의 손실: 0.048722 정확도: 98.83% 4 검증 세트 손실: 0.058895 최선의 손실: 0.048722 정확도: 98.48% 5 검증 세트 손실: 0.037095 최선의 손실: 0.037095 정확도: 99.06% 6 검증 세트 손실: 0.047332 최선의 손실: 0.037095 정확도: 98.79% 7 검증 세트 손실: 0.039567 최선의 손실: 0.037095 정확도: 98.94% 8 검증 세트 손실: 0.034035 최선의 손실: 0.034035 정확도: 99.26% 9 검증 세트 손실: 0.052690 최선의 손실: 0.034035 정확도: 98.91% 10 검증 세트 손실: 0.047969 최선의 손실: 0.034035 정확도: 98.83% 11 검증 세트 손실: 0.027934 최선의 손실: 0.027934 정확도: 99.26% 12 검증 세트 손실: 0.032326 최선의 손실: 0.027934 정확도: 99.02% 13 검증 세트 손실: 0.031934 최선의 손실: 0.027934 정확도: 99.02% 14 검증 세트 손실: 0.029438 최선의 손실: 0.027934 정확도: 99.18% 15 검증 세트 손실: 0.034639 최선의 손실: 0.027934 정확도: 99.10% 16 검증 세트 손실: 0.040840 최선의 손실: 0.027934 정확도: 99.06% 17 검증 세트 손실: 0.048664 최선의 손실: 0.027934 정확도: 99.10% 18 검증 세트 손실: 0.035986 최선의 손실: 0.027934 정확도: 99.22% 19 검증 세트 손실: 0.048631 최선의 손실: 0.027934 정확도: 98.94% 20 검증 세트 손실: 0.046824 최선의 손실: 0.027934 정확도: 99.06% 21 검증 세트 손실: 0.044670 최선의 손실: 0.027934 정확도: 99.14% 22 검증 세트 손실: 0.039645 최선의 손실: 0.027934 정확도: 99.06% 23 검증 세트 손실: 0.045477 최선의 손실: 0.027934 정확도: 99.02% 24 검증 세트 손실: 0.039365 최선의 손실: 0.027934 정확도: 99.02% 25 검증 세트 손실: 0.036166 최선의 손실: 0.027934 정확도: 99.02% 26 검증 세트 손실: 0.058790 최선의 손실: 0.027934 정확도: 98.71% 27 검증 세트 손실: 0.041245 최선의 손실: 0.027934 정확도: 99.14% 28 검증 세트 손실: 0.036986 최선의 손실: 0.027934 정확도: 99.10% 29 검증 세트 손실: 0.061265 최선의 손실: 0.027934 정확도: 98.71% 30 검증 세트 손실: 0.067769 최선의 손실: 0.027934 정확도: 98.48% 31 검증 세트 손실: 0.046340 최선의 손실: 0.027934 정확도: 99.02% 32 검증 세트 손실: 0.047495 최선의 손실: 0.027934 정확도: 99.02% 조기 종료! [CV] n_neurons=160, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation=<function relu at 0x7f8ec4c8c510>, total= 31.4s [CV] n_neurons=160, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.100641 최선의 손실: 0.100641 정확도: 97.42% 1 검증 세트 손실: 0.059885 최선의 손실: 0.059885 정확도: 98.32% 2 검증 세트 손실: 0.046458 최선의 손실: 0.046458 정확도: 98.55% 3 검증 세트 손실: 0.051675 최선의 손실: 0.046458 정확도: 98.48% 4 검증 세트 손실: 0.036335 최선의 손실: 0.036335 정확도: 98.91% 5 검증 세트 손실: 0.030205 최선의 손실: 0.030205 정확도: 98.83% 6 검증 세트 손실: 0.033105 최선의 손실: 0.030205 정확도: 98.94% 7 검증 세트 손실: 0.042448 최선의 손실: 0.030205 정확도: 98.91% 8 검증 세트 손실: 0.047885 최선의 손실: 0.030205 정확도: 98.67% 9 검증 세트 손실: 0.047775 최선의 손실: 0.030205 정확도: 98.87% 10 검증 세트 손실: 0.041655 최선의 손실: 0.030205 정확도: 99.02% 11 검증 세트 손실: 0.050623 최선의 손실: 0.030205 정확도: 98.71% 12 검증 세트 손실: 0.037042 최선의 손실: 0.030205 정확도: 99.06% 13 검증 세트 손실: 0.045743 최선의 손실: 0.030205 정확도: 98.83% 14 검증 세트 손실: 0.036839 최선의 손실: 0.030205 정확도: 99.10% 15 검증 세트 손실: 0.040590 최선의 손실: 0.030205 정확도: 99.14% 16 검증 세트 손실: 0.076304 최선의 손실: 0.030205 정확도: 98.32% 17 검증 세트 손실: 0.039348 최선의 손실: 0.030205 정확도: 99.02% 18 검증 세트 손실: 0.048819 최선의 손실: 0.030205 정확도: 98.59% 19 검증 세트 손실: 0.041032 최선의 손실: 0.030205 정확도: 99.30% 20 검증 세트 손실: 0.054299 최선의 손실: 0.030205 정확도: 98.91% 21 검증 세트 손실: 0.042748 최선의 손실: 0.030205 정확도: 99.02% 22 검증 세트 손실: 0.055540 최선의 손실: 0.030205 정확도: 98.87% 23 검증 세트 손실: 0.028771 최선의 손실: 0.028771 정확도: 99.26% 24 검증 세트 손실: 0.039386 최선의 손실: 0.028771 정확도: 99.02% 25 검증 세트 손실: 0.047120 최선의 손실: 0.028771 정확도: 99.06% 26 검증 세트 손실: 0.037155 최선의 손실: 0.028771 정확도: 99.06% 27 검증 세트 손실: 0.034586 최선의 손실: 0.028771 정확도: 98.87% 28 검증 세트 손실: 0.048257 최선의 손실: 0.028771 정확도: 98.98% 29 검증 세트 손실: 0.063661 최선의 손실: 0.028771 정확도: 98.59% 30 검증 세트 손실: 0.030371 최선의 손실: 0.028771 정확도: 99.26% 31 검증 세트 손실: 0.027067 최선의 손실: 0.027067 정확도: 99.22% 32 검증 세트 손실: 0.029734 최선의 손실: 0.027067 정확도: 99.30% 33 검증 세트 손실: 0.040404 최선의 손실: 0.027067 정확도: 98.87% 34 검증 세트 손실: 0.090502 최선의 손실: 0.027067 정확도: 98.44% 35 검증 세트 손실: 0.034950 최선의 손실: 0.027067 정확도: 99.26% 36 검증 세트 손실: 0.044129 최선의 손실: 0.027067 정확도: 99.06% 37 검증 세트 손실: 0.047630 최선의 손실: 0.027067 정확도: 98.98% 38 검증 세트 손실: 0.039469 최선의 손실: 0.027067 정확도: 99.02% 39 검증 세트 손실: 0.037480 최선의 손실: 0.027067 정확도: 98.98% 40 검증 세트 손실: 0.039231 최선의 손실: 0.027067 정확도: 99.06% 41 검증 세트 손실: 0.035494 최선의 손실: 0.027067 정확도: 99.14% 42 검증 세트 손실: 0.030467 최선의 손실: 0.027067 정확도: 99.34% 43 검증 세트 손실: 0.049963 최선의 손실: 0.027067 정확도: 98.87% 44 검증 세트 손실: 0.038796 최선의 손실: 0.027067 정확도: 99.10% 45 검증 세트 손실: 0.029327 최선의 손실: 0.027067 정확도: 99.37% 46 검증 세트 손실: 0.045531 최선의 손실: 0.027067 정확도: 98.94% 47 검증 세트 손실: 0.036848 최선의 손실: 0.027067 정확도: 99.30% 48 검증 세트 손실: 0.031326 최선의 손실: 0.027067 정확도: 99.22% 49 검증 세트 손실: 0.026170 최선의 손실: 0.026170 정확도: 99.34% 50 검증 세트 손실: 0.045946 최선의 손실: 0.026170 정확도: 99.14% 51 검증 세트 손실: 0.059522 최선의 손실: 0.026170 정확도: 99.10% 52 검증 세트 손실: 0.041873 최선의 손실: 0.026170 정확도: 99.18% 53 검증 세트 손실: 0.038115 최선의 손실: 0.026170 정확도: 98.98% 54 검증 세트 손실: 0.040577 최선의 손실: 0.026170 정확도: 99.18% 55 검증 세트 손실: 0.046663 최선의 손실: 0.026170 정확도: 99.26% 56 검증 세트 손실: 0.032729 최선의 손실: 0.026170 정확도: 99.30% 57 검증 세트 손실: 0.042891 최선의 손실: 0.026170 정확도: 99.22% 58 검증 세트 손실: 0.029813 최선의 손실: 0.026170 정확도: 99.26% 59 검증 세트 손실: 0.039474 최선의 손실: 0.026170 정확도: 99.14% 60 검증 세트 손실: 0.051199 최선의 손실: 0.026170 정확도: 99.14% 61 검증 세트 손실: 0.041765 최선의 손실: 0.026170 정확도: 99.18% 62 검증 세트 손실: 0.040838 최선의 손실: 0.026170 정확도: 98.98% 63 검증 세트 손실: 0.044667 최선의 손실: 0.026170 정확도: 99.22% 64 검증 세트 손실: 0.044565 최선의 손실: 0.026170 정확도: 99.10% 65 검증 세트 손실: 0.048403 최선의 손실: 0.026170 정확도: 99.14% 66 검증 세트 손실: 0.062536 최선의 손실: 0.026170 정확도: 98.98% 67 검증 세트 손실: 0.060276 최선의 손실: 0.026170 정확도: 98.91% 68 검증 세트 손실: 0.039812 최선의 손실: 0.026170 정확도: 99.14% 69 검증 세트 손실: 0.052429 최선의 손실: 0.026170 정확도: 99.02% 70 검증 세트 손실: 0.040623 최선의 손실: 0.026170 정확도: 99.22% 조기 종료! [CV] n_neurons=160, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation=<function relu at 0x7f8ec4c8c510>, total= 1.1min [CV] n_neurons=100, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 0 검증 세트 손실: 0.290341 최선의 손실: 0.290341 정확도: 92.81% 1 검증 세트 손실: 0.124678 최선의 손실: 0.124678 정확도: 96.01% 2 검증 세트 손실: 0.133001 최선의 손실: 0.124678 정확도: 96.91% 3 검증 세트 손실: 0.153747 최선의 손실: 0.124678 정확도: 95.66% 4 검증 세트 손실: 0.061355 최선의 손실: 0.061355 정확도: 98.32% 5 검증 세트 손실: 0.082984 최선의 손실: 0.061355 정확도: 97.85% 6 검증 세트 손실: 0.091248 최선의 손실: 0.061355 정확도: 97.34% 7 검증 세트 손실: 3.595508 최선의 손실: 0.061355 정확도: 68.41% 8 검증 세트 손실: 0.067114 최선의 손실: 0.061355 정확도: 97.81% 9 검증 세트 손실: 0.091273 최선의 손실: 0.061355 정확도: 98.05% 10 검증 세트 손실: 0.074277 최선의 손실: 0.061355 정확도: 98.24% 11 검증 세트 손실: 0.050295 최선의 손실: 0.050295 정확도: 98.44% 12 검증 세트 손실: 0.060044 최선의 손실: 0.050295 정확도: 98.44% 13 검증 세트 손실: 0.119721 최선의 손실: 0.050295 정확도: 97.15% 14 검증 세트 손실: 0.083133 최선의 손실: 0.050295 정확도: 97.93% 15 검증 세트 손실: 0.054504 최선의 손실: 0.050295 정확도: 98.83% 16 검증 세트 손실: 0.073744 최선의 손실: 0.050295 정확도: 98.16% 17 검증 세트 손실: 0.057721 최선의 손실: 0.050295 정확도: 98.63% 18 검증 세트 손실: 0.077117 최선의 손실: 0.050295 정확도: 98.20% 19 검증 세트 손실: 0.077681 최선의 손실: 0.050295 정확도: 98.36% 20 검증 세트 손실: 0.057737 최선의 손실: 0.050295 정확도: 98.63% 21 검증 세트 손실: 0.159420 최선의 손실: 0.050295 정확도: 97.42% 22 검증 세트 손실: 0.082404 최선의 손실: 0.050295 정확도: 98.48% 23 검증 세트 손실: 0.047016 최선의 손실: 0.047016 정확도: 98.83% 24 검증 세트 손실: 0.079578 최선의 손실: 0.047016 정확도: 97.85% 25 검증 세트 손실: 0.050146 최선의 손실: 0.047016 정확도: 98.79% 26 검증 세트 손실: 0.056030 최선의 손실: 0.047016 정확도: 98.79% 27 검증 세트 손실: 0.064654 최선의 손실: 0.047016 정확도: 98.83% 28 검증 세트 손실: 0.059529 최선의 손실: 0.047016 정확도: 98.63% 29 검증 세트 손실: 0.084136 최선의 손실: 0.047016 정확도: 98.40% 30 검증 세트 손실: 0.354784 최선의 손실: 0.047016 정확도: 95.50% 31 검증 세트 손실: 0.074044 최선의 손실: 0.047016 정확도: 98.71% 32 검증 세트 손실: 0.053567 최선의 손실: 0.047016 정확도: 98.63% 33 검증 세트 손실: 0.077495 최선의 손실: 0.047016 정확도: 98.08% 34 검증 세트 손실: 0.058532 최선의 손실: 0.047016 정확도: 98.75% 35 검증 세트 손실: 0.065447 최선의 손실: 0.047016 정확도: 98.55% 36 검증 세트 손실: 0.063479 최선의 손실: 0.047016 정확도: 98.87% 37 검증 세트 손실: 0.094612 최선의 손실: 0.047016 정확도: 98.08% 38 검증 세트 손실: 0.051279 최선의 손실: 0.047016 정확도: 98.55% 39 검증 세트 손실: 0.062355 최선의 손실: 0.047016 정확도: 98.63% 40 검증 세트 손실: 0.058902 최선의 손실: 0.047016 정확도: 98.63% 41 검증 세트 손실: 0.059462 최선의 손실: 0.047016 정확도: 98.67% 42 검증 세트 손실: 0.103451 최선의 손실: 0.047016 정확도: 98.36% 43 검증 세트 손실: 0.056165 최선의 손실: 0.047016 정확도: 98.67% 44 검증 세트 손실: 0.070525 최선의 손실: 0.047016 정확도: 98.44% 조기 종료! [CV] n_neurons=100, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 2.4min [CV] n_neurons=100, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 0 검증 세트 손실: 0.134512 최선의 손실: 0.134512 정확도: 96.36% 1 검증 세트 손실: 0.171089 최선의 손실: 0.134512 정확도: 95.97% 2 검증 세트 손실: 0.154668 최선의 손실: 0.134512 정확도: 95.43% 3 검증 세트 손실: 0.082867 최선의 손실: 0.082867 정확도: 97.77% 4 검증 세트 손실: 0.075059 최선의 손실: 0.075059 정확도: 97.97% 5 검증 세트 손실: 0.075293 최선의 손실: 0.075059 정확도: 98.40% 6 검증 세트 손실: 0.054560 최선의 손실: 0.054560 정확도: 98.71% 7 검증 세트 손실: 0.060668 최선의 손실: 0.054560 정확도: 98.05% 8 검증 세트 손실: 0.096402 최선의 손실: 0.054560 정확도: 98.08% 9 검증 세트 손실: 0.071856 최선의 손실: 0.054560 정확도: 98.08% 10 검증 세트 손실: 0.076573 최선의 손실: 0.054560 정확도: 97.81% 11 검증 세트 손실: 0.057996 최선의 손실: 0.054560 정확도: 98.55% 12 검증 세트 손실: 0.089447 최선의 손실: 0.054560 정확도: 97.89% 13 검증 세트 손실: 0.050383 최선의 손실: 0.050383 정확도: 98.83% 14 검증 세트 손실: 0.086850 최선의 손실: 0.050383 정확도: 98.28% 15 검증 세트 손실: 0.063397 최선의 손실: 0.050383 정확도: 98.44% 16 검증 세트 손실: 0.065012 최선의 손실: 0.050383 정확도: 98.32% 17 검증 세트 손실: 0.073354 최선의 손실: 0.050383 정확도: 98.32% 18 검증 세트 손실: 0.102597 최선의 손실: 0.050383 정확도: 97.85% 19 검증 세트 손실: 0.092346 최선의 손실: 0.050383 정확도: 98.51% 20 검증 세트 손실: 0.064255 최선의 손실: 0.050383 정확도: 98.55% 21 검증 세트 손실: 0.111939 최선의 손실: 0.050383 정확도: 97.73% 22 검증 세트 손실: 0.065158 최선의 손실: 0.050383 정확도: 98.32% 23 검증 세트 손실: 0.067054 최선의 손실: 0.050383 정확도: 98.59% 24 검증 세트 손실: 0.104743 최선의 손실: 0.050383 정확도: 98.24% 25 검증 세트 손실: 0.058547 최선의 손실: 0.050383 정확도: 98.83% 26 검증 세트 손실: 0.096374 최선의 손실: 0.050383 정확도: 98.40% 27 검증 세트 손실: 0.059007 최선의 손실: 0.050383 정확도: 98.67% 28 검증 세트 손실: 0.069398 최선의 손실: 0.050383 정확도: 98.48% 29 검증 세트 손실: 0.109084 최선의 손실: 0.050383 정확도: 97.11% 30 검증 세트 손실: 0.054116 최선의 손실: 0.050383 정확도: 98.59% 31 검증 세트 손실: 0.078547 최선의 손실: 0.050383 정확도: 97.69% 32 검증 세트 손실: 0.087979 최선의 손실: 0.050383 정확도: 98.32% 33 검증 세트 손실: 0.060714 최선의 손실: 0.050383 정확도: 98.32% 34 검증 세트 손실: 0.083282 최선의 손실: 0.050383 정확도: 98.24% 조기 종료! [CV] n_neurons=100, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 1.8min [CV] n_neurons=100, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 0 검증 세트 손실: 0.126449 최선의 손실: 0.126449 정확도: 96.52% 1 검증 세트 손실: 0.092477 최선의 손실: 0.092477 정확도: 97.30% 2 검증 세트 손실: 0.133098 최선의 손실: 0.092477 정확도: 96.29% 3 검증 세트 손실: 0.063193 최선의 손실: 0.063193 정확도: 98.16% 4 검증 세트 손실: 0.085974 최선의 손실: 0.063193 정확도: 97.30% 5 검증 세트 손실: 0.065425 최선의 손실: 0.063193 정확도: 98.12% 6 검증 세트 손실: 0.077555 최선의 손실: 0.063193 정확도: 97.89% 7 검증 세트 손실: 0.066674 최선의 손실: 0.063193 정확도: 98.16% 8 검증 세트 손실: 0.140984 최선의 손실: 0.063193 정확도: 97.26% 9 검증 세트 손실: 0.088418 최선의 손실: 0.063193 정확도: 97.58% 10 검증 세트 손실: 0.185025 최선의 손실: 0.063193 정확도: 96.29% 11 검증 세트 손실: 0.039858 최선의 손실: 0.039858 정확도: 98.87% 12 검증 세트 손실: 0.065384 최선의 손실: 0.039858 정확도: 98.08% 13 검증 세트 손실: 0.048647 최선의 손실: 0.039858 정확도: 98.40% 14 검증 세트 손실: 0.089651 최선의 손실: 0.039858 정확도: 98.12% 15 검증 세트 손실: 0.103502 최선의 손실: 0.039858 정확도: 97.62% 16 검증 세트 손실: 0.079424 최선의 손실: 0.039858 정확도: 98.44% 17 검증 세트 손실: 0.129762 최선의 손실: 0.039858 정확도: 97.11% 18 검증 세트 손실: 0.075431 최선의 손실: 0.039858 정확도: 98.59% 19 검증 세트 손실: 0.062781 최선의 손실: 0.039858 정확도: 98.36% 20 검증 세트 손실: 0.051886 최선의 손실: 0.039858 정확도: 98.51% 21 검증 세트 손실: 0.068253 최선의 손실: 0.039858 정확도: 98.36% 22 검증 세트 손실: 0.059657 최선의 손실: 0.039858 정확도: 98.51% 23 검증 세트 손실: 0.064838 최선의 손실: 0.039858 정확도: 98.63% 24 검증 세트 손실: 0.057088 최선의 손실: 0.039858 정확도: 98.71% 25 검증 세트 손실: 0.067469 최선의 손실: 0.039858 정확도: 98.28% 26 검증 세트 손실: 0.053739 최선의 손실: 0.039858 정확도: 98.67% 27 검증 세트 손실: 0.084539 최선의 손실: 0.039858 정확도: 98.32% 28 검증 세트 손실: 0.079748 최선의 손실: 0.039858 정확도: 98.40% 29 검증 세트 손실: 0.063447 최선의 손실: 0.039858 정확도: 98.44% 30 검증 세트 손실: 0.074327 최선의 손실: 0.039858 정확도: 98.63% 31 검증 세트 손실: 0.068876 최선의 손실: 0.039858 정확도: 98.20% 32 검증 세트 손실: 0.091237 최선의 손실: 0.039858 정확도: 98.08% 조기 종료! [CV] n_neurons=100, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 1.7min [CV] n_neurons=140, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.099144 최선의 손실: 0.099144 정확도: 96.79% 1 검증 세트 손실: 0.115324 최선의 손실: 0.099144 정확도: 97.07% 2 검증 세트 손실: 0.063067 최선의 손실: 0.063067 정확도: 98.16% 3 검증 세트 손실: 0.052500 최선의 손실: 0.052500 정확도: 98.24% 4 검증 세트 손실: 0.054464 최선의 손실: 0.052500 정확도: 98.36% 5 검증 세트 손실: 0.046948 최선의 손실: 0.046948 정확도: 98.36% 6 검증 세트 손실: 0.045710 최선의 손실: 0.045710 정확도: 98.48% 7 검증 세트 손실: 0.044930 최선의 손실: 0.044930 정확도: 98.87% 8 검증 세트 손실: 0.077419 최선의 손실: 0.044930 정확도: 98.28% 9 검증 세트 손실: 0.039954 최선의 손실: 0.039954 정확도: 98.75% 10 검증 세트 손실: 0.056242 최선의 손실: 0.039954 정확도: 98.67% 11 검증 세트 손실: 0.044918 최선의 손실: 0.039954 정확도: 98.91% 12 검증 세트 손실: 0.055548 최선의 손실: 0.039954 정확도: 98.91% 13 검증 세트 손실: 0.100073 최선의 손실: 0.039954 정확도: 98.05% 14 검증 세트 손실: 0.053818 최선의 손실: 0.039954 정확도: 98.79% 15 검증 세트 손실: 0.067923 최선의 손실: 0.039954 정확도: 98.55% 16 검증 세트 손실: 0.072164 최선의 손실: 0.039954 정확도: 98.71% 17 검증 세트 손실: 0.056357 최선의 손실: 0.039954 정확도: 98.87% 18 검증 세트 손실: 0.034581 최선의 손실: 0.034581 정확도: 99.02% 19 검증 세트 손실: 0.045819 최선의 손실: 0.034581 정확도: 99.06% 20 검증 세트 손실: 0.055157 최선의 손실: 0.034581 정확도: 98.63% 21 검증 세트 손실: 0.157635 최선의 손실: 0.034581 정확도: 97.85% 22 검증 세트 손실: 0.080509 최선의 손실: 0.034581 정확도: 98.75% 23 검증 세트 손실: 0.077401 최선의 손실: 0.034581 정확도: 98.55% 24 검증 세트 손실: 0.046057 최선의 손실: 0.034581 정확도: 98.94% 25 검증 세트 손실: 0.050843 최선의 손실: 0.034581 정확도: 98.79% 26 검증 세트 손실: 0.036200 최선의 손실: 0.034581 정확도: 99.18% 27 검증 세트 손실: 0.057026 최선의 손실: 0.034581 정확도: 98.94% 28 검증 세트 손실: 0.047743 최선의 손실: 0.034581 정확도: 99.18% 29 검증 세트 손실: 0.052913 최선의 손실: 0.034581 정확도: 99.02% 30 검증 세트 손실: 0.067340 최선의 손실: 0.034581 정확도: 98.79% 31 검증 세트 손실: 0.074098 최선의 손실: 0.034581 정확도: 98.51% 32 검증 세트 손실: 0.057628 최선의 손실: 0.034581 정확도: 98.87% 33 검증 세트 손실: 0.137800 최선의 손실: 0.034581 정확도: 98.12% 34 검증 세트 손실: 0.113036 최선의 손실: 0.034581 정확도: 98.51% 35 검증 세트 손실: 0.061875 최선의 손실: 0.034581 정확도: 99.06% 36 검증 세트 손실: 0.043442 최선의 손실: 0.034581 정확도: 99.06% 37 검증 세트 손실: 0.048663 최선의 손실: 0.034581 정확도: 99.26% 38 검증 세트 손실: 0.044993 최선의 손실: 0.034581 정확도: 99.30% 39 검증 세트 손실: 0.050081 최선의 손실: 0.034581 정확도: 99.18% 조기 종료! [CV] n_neurons=140, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28>, total= 34.8s [CV] n_neurons=140, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.105398 최선의 손실: 0.105398 정확도: 96.56% 1 검증 세트 손실: 0.064894 최선의 손실: 0.064894 정확도: 97.69% 2 검증 세트 손실: 0.054920 최선의 손실: 0.054920 정확도: 98.16% 3 검증 세트 손실: 0.073568 최선의 손실: 0.054920 정확도: 98.12% 4 검증 세트 손실: 0.060250 최선의 손실: 0.054920 정확도: 98.01% 5 검증 세트 손실: 0.054557 최선의 손실: 0.054557 정확도: 98.32% 6 검증 세트 손실: 0.054915 최선의 손실: 0.054557 정확도: 98.44% 7 검증 세트 손실: 0.073555 최선의 손실: 0.054557 정확도: 98.16% 8 검증 세트 손실: 0.060049 최선의 손실: 0.054557 정확도: 98.40% 9 검증 세트 손실: 0.081117 최선의 손실: 0.054557 정확도: 98.08% 10 검증 세트 손실: 0.048303 최선의 손실: 0.048303 정확도: 98.94% 11 검증 세트 손실: 0.058062 최선의 손실: 0.048303 정확도: 98.48% 12 검증 세트 손실: 0.048739 최선의 손실: 0.048303 정확도: 98.91% 13 검증 세트 손실: 0.062269 최선의 손실: 0.048303 정확도: 98.67% 14 검증 세트 손실: 0.046359 최선의 손실: 0.046359 정확도: 99.02% 15 검증 세트 손실: 0.056421 최선의 손실: 0.046359 정확도: 98.83% 16 검증 세트 손실: 0.091915 최선의 손실: 0.046359 정확도: 98.12% 17 검증 세트 손실: 0.040979 최선의 손실: 0.040979 정확도: 98.79% 18 검증 세트 손실: 0.057160 최선의 손실: 0.040979 정확도: 98.75% 19 검증 세트 손실: 0.059185 최선의 손실: 0.040979 정확도: 98.51% 20 검증 세트 손실: 0.097316 최선의 손실: 0.040979 정확도: 98.12% 21 검증 세트 손실: 0.056304 최선의 손실: 0.040979 정확도: 98.79% 22 검증 세트 손실: 0.122441 최선의 손실: 0.040979 정확도: 97.30% 23 검증 세트 손실: 0.061851 최선의 손실: 0.040979 정확도: 98.75% 24 검증 세트 손실: 0.069927 최선의 손실: 0.040979 정확도: 98.75% 25 검증 세트 손실: 0.068198 최선의 손실: 0.040979 정확도: 98.79% 26 검증 세트 손실: 0.059452 최선의 손실: 0.040979 정확도: 98.83% 27 검증 세트 손실: 0.129899 최선의 손실: 0.040979 정확도: 98.71% 28 검증 세트 손실: 0.112761 최선의 손실: 0.040979 정확도: 98.20% 29 검증 세트 손실: 0.085539 최선의 손실: 0.040979 정확도: 98.59% 30 검증 세트 손실: 0.066737 최선의 손실: 0.040979 정확도: 98.91% 31 검증 세트 손실: 0.062535 최선의 손실: 0.040979 정확도: 98.83% 32 검증 세트 손실: 0.064168 최선의 손실: 0.040979 정확도: 99.02% 33 검증 세트 손실: 0.054732 최선의 손실: 0.040979 정확도: 98.94% 34 검증 세트 손실: 0.056162 최선의 손실: 0.040979 정확도: 98.94% 35 검증 세트 손실: 0.080275 최선의 손실: 0.040979 정확도: 98.91% 36 검증 세트 손실: 0.120962 최선의 손실: 0.040979 정확도: 98.32% 37 검증 세트 손실: 0.293227 최선의 손실: 0.040979 정확도: 98.05% 38 검증 세트 손실: 0.075564 최선의 손실: 0.040979 정확도: 98.91% 조기 종료! [CV] n_neurons=140, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28>, total= 34.0s [CV] n_neurons=140, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.089023 최선의 손실: 0.089023 정확도: 97.19% 1 검증 세트 손실: 0.081033 최선의 손실: 0.081033 정확도: 97.19% 2 검증 세트 손실: 0.066444 최선의 손실: 0.066444 정확도: 97.89% 3 검증 세트 손실: 0.060929 최선의 손실: 0.060929 정확도: 98.24% 4 검증 세트 손실: 0.073254 최선의 손실: 0.060929 정확도: 97.73% 5 검증 세트 손실: 0.073792 최선의 손실: 0.060929 정확도: 97.85% 6 검증 세트 손실: 0.042751 최선의 손실: 0.042751 정확도: 98.75% 7 검증 세트 손실: 0.066938 최선의 손실: 0.042751 정확도: 98.05% 8 검증 세트 손실: 0.050041 최선의 손실: 0.042751 정확도: 98.91% 9 검증 세트 손실: 0.048842 최선의 손실: 0.042751 정확도: 98.63% 10 검증 세트 손실: 0.057340 최선의 손실: 0.042751 정확도: 98.36% 11 검증 세트 손실: 0.052280 최선의 손실: 0.042751 정확도: 98.91% 12 검증 세트 손실: 0.062022 최선의 손실: 0.042751 정확도: 98.48% 13 검증 세트 손실: 0.046930 최선의 손실: 0.042751 정확도: 98.98% 14 검증 세트 손실: 0.057919 최선의 손실: 0.042751 정확도: 98.71% 15 검증 세트 손실: 0.057091 최선의 손실: 0.042751 정확도: 98.55% 16 검증 세트 손실: 0.052608 최선의 손실: 0.042751 정확도: 98.91% 17 검증 세트 손실: 0.048918 최선의 손실: 0.042751 정확도: 98.87% 18 검증 세트 손실: 0.045349 최선의 손실: 0.042751 정확도: 99.10% 19 검증 세트 손실: 0.076084 최선의 손실: 0.042751 정확도: 98.36% 20 검증 세트 손실: 0.067313 최선의 손실: 0.042751 정확도: 98.40% 21 검증 세트 손실: 0.057034 최선의 손실: 0.042751 정확도: 98.87% 22 검증 세트 손실: 0.052216 최선의 손실: 0.042751 정확도: 98.94% 23 검증 세트 손실: 0.045283 최선의 손실: 0.042751 정확도: 99.02% 24 검증 세트 손실: 0.062784 최선의 손실: 0.042751 정확도: 98.40% 25 검증 세트 손실: 0.044555 최선의 손실: 0.042751 정확도: 98.94% 26 검증 세트 손실: 0.130142 최선의 손실: 0.042751 정확도: 98.08% 27 검증 세트 손실: 0.067980 최선의 손실: 0.042751 정확도: 98.71% 조기 종료! [CV] n_neurons=140, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28>, total= 24.9s [CV] n_neurons=140, learning_rate=0.05, batch_size=50, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.113513 최선의 손실: 0.113513 정확도: 96.68% 1 검증 세트 손실: 0.068951 최선의 손실: 0.068951 정확도: 97.97% 2 검증 세트 손실: 0.064436 최선의 손실: 0.064436 정확도: 98.12% 3 검증 세트 손실: 0.060489 최선의 손실: 0.060489 정확도: 98.40% 4 검증 세트 손실: 0.059261 최선의 손실: 0.059261 정확도: 98.36% 5 검증 세트 손실: 0.083296 최선의 손실: 0.059261 정확도: 97.89% 6 검증 세트 손실: 0.073466 최선의 손실: 0.059261 정확도: 98.28% 7 검증 세트 손실: 0.044369 최선의 손실: 0.044369 정확도: 98.83% 8 검증 세트 손실: 0.057644 최선의 손실: 0.044369 정확도: 98.40% 9 검증 세트 손실: 0.063977 최선의 손실: 0.044369 정확도: 98.55% 10 검증 세트 손실: 0.074322 최선의 손실: 0.044369 정확도: 98.20% 11 검증 세트 손실: 0.056014 최선의 손실: 0.044369 정확도: 98.87% 12 검증 세트 손실: 0.048307 최선의 손실: 0.044369 정확도: 98.79% 13 검증 세트 손실: 0.080736 최선의 손실: 0.044369 정확도: 98.24% 14 검증 세트 손실: 0.100855 최선의 손실: 0.044369 정확도: 98.12% 15 검증 세트 손실: 0.056241 최선의 손실: 0.044369 정확도: 98.71% 16 검증 세트 손실: 0.053142 최선의 손실: 0.044369 정확도: 98.91% 17 검증 세트 손실: 0.055138 최선의 손실: 0.044369 정확도: 98.59% 18 검증 세트 손실: 0.233850 최선의 손실: 0.044369 정확도: 97.38% 19 검증 세트 손실: 0.085971 최선의 손실: 0.044369 정확도: 98.91% 20 검증 세트 손실: 0.061474 최선의 손실: 0.044369 정확도: 98.98% 21 검증 세트 손실: 0.039463 최선의 손실: 0.039463 정확도: 99.14% 22 검증 세트 손실: 0.094316 최선의 손실: 0.039463 정확도: 98.51% 23 검증 세트 손실: 0.175438 최선의 손실: 0.039463 정확도: 98.55% 24 검증 세트 손실: 0.070551 최선의 손실: 0.039463 정확도: 98.98% 25 검증 세트 손실: 0.062260 최선의 손실: 0.039463 정확도: 98.83% 26 검증 세트 손실: 0.052628 최선의 손실: 0.039463 정확도: 99.06% 27 검증 세트 손실: 0.068984 최선의 손실: 0.039463 정확도: 98.87% 28 검증 세트 손실: 0.060191 최선의 손실: 0.039463 정확도: 99.06% 29 검증 세트 손실: 0.067728 최선의 손실: 0.039463 정확도: 98.98% 30 검증 세트 손실: 0.146669 최선의 손실: 0.039463 정확도: 98.48% 31 검증 세트 손실: 0.174983 최선의 손실: 0.039463 정확도: 98.48% 32 검증 세트 손실: 0.078731 최선의 손실: 0.039463 정확도: 98.83% 33 검증 세트 손실: 0.102432 최선의 손실: 0.039463 정확도: 98.55% 34 검증 세트 손실: 0.087327 최선의 손실: 0.039463 정확도: 98.71% 35 검증 세트 손실: 0.100011 최선의 손실: 0.039463 정확도: 98.79% 36 검증 세트 손실: 0.122788 최선의 손실: 0.039463 정확도: 98.40% 37 검증 세트 손실: 0.232688 최선의 손실: 0.039463 정확도: 98.55% 38 검증 세트 손실: 0.090504 최선의 손실: 0.039463 정확도: 99.26% 39 검증 세트 손실: 0.092557 최선의 손실: 0.039463 정확도: 99.06% 40 검증 세트 손실: 0.087615 최선의 손실: 0.039463 정확도: 98.83% 41 검증 세트 손실: 0.079954 최선의 손실: 0.039463 정확도: 98.94% 42 검증 세트 손실: 0.098650 최선의 손실: 0.039463 정확도: 98.91% 조기 종료! [CV] n_neurons=140, learning_rate=0.05, batch_size=50, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28>, total= 55.8s [CV] n_neurons=140, learning_rate=0.05, batch_size=50, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.111306 최선의 손실: 0.111306 정확도: 96.60% 1 검증 세트 손실: 0.073856 최선의 손실: 0.073856 정확도: 98.05% 2 검증 세트 손실: 0.065652 최선의 손실: 0.065652 정확도: 98.12% 3 검증 세트 손실: 0.058890 최선의 손실: 0.058890 정확도: 98.01% 4 검증 세트 손실: 0.093132 최선의 손실: 0.058890 정확도: 97.34% 5 검증 세트 손실: 0.057984 최선의 손실: 0.057984 정확도: 98.44% 6 검증 세트 손실: 0.057740 최선의 손실: 0.057740 정확도: 98.59% 7 검증 세트 손실: 0.054652 최선의 손실: 0.054652 정확도: 98.55% 8 검증 세트 손실: 0.062908 최선의 손실: 0.054652 정확도: 98.51% 9 검증 세트 손실: 0.063045 최선의 손실: 0.054652 정확도: 98.36% 10 검증 세트 손실: 0.067523 최선의 손실: 0.054652 정확도: 98.63% 11 검증 세트 손실: 0.126460 최선의 손실: 0.054652 정확도: 97.77% 12 검증 세트 손실: 0.048243 최선의 손실: 0.048243 정확도: 98.67% 13 검증 세트 손실: 0.040426 최선의 손실: 0.040426 정확도: 99.06% 14 검증 세트 손실: 0.042513 최선의 손실: 0.040426 정확도: 98.94% 15 검증 세트 손실: 0.036880 최선의 손실: 0.036880 정확도: 99.26% 16 검증 세트 손실: 0.066805 최선의 손실: 0.036880 정확도: 98.63% 17 검증 세트 손실: 0.061975 최선의 손실: 0.036880 정확도: 98.79% 18 검증 세트 손실: 0.061336 최선의 손실: 0.036880 정확도: 98.91% 19 검증 세트 손실: 0.050670 최선의 손실: 0.036880 정확도: 98.83% 20 검증 세트 손실: 0.049398 최선의 손실: 0.036880 정확도: 98.87% 21 검증 세트 손실: 0.165993 최선의 손실: 0.036880 정확도: 98.01% 22 검증 세트 손실: 0.115827 최선의 손실: 0.036880 정확도: 98.16% 23 검증 세트 손실: 0.043071 최선의 손실: 0.036880 정확도: 98.94% 24 검증 세트 손실: 0.065797 최선의 손실: 0.036880 정확도: 98.75% 25 검증 세트 손실: 0.051891 최선의 손실: 0.036880 정확도: 98.94% 26 검증 세트 손실: 0.112124 최선의 손실: 0.036880 정확도: 98.48% 27 검증 세트 손실: 0.058227 최선의 손실: 0.036880 정확도: 98.83% 28 검증 세트 손실: 0.049401 최선의 손실: 0.036880 정확도: 99.22% 29 검증 세트 손실: 0.043503 최선의 손실: 0.036880 정확도: 99.30% 30 검증 세트 손실: 0.060543 최선의 손실: 0.036880 정확도: 98.87% 31 검증 세트 손실: 0.314244 최선의 손실: 0.036880 정확도: 97.85% 32 검증 세트 손실: 0.117441 최선의 손실: 0.036880 정확도: 98.44% 33 검증 세트 손실: 0.071707 최선의 손실: 0.036880 정확도: 98.87% 34 검증 세트 손실: 0.065386 최선의 손실: 0.036880 정확도: 99.06% 35 검증 세트 손실: 0.063128 최선의 손실: 0.036880 정확도: 99.14% 36 검증 세트 손실: 0.115051 최선의 손실: 0.036880 정확도: 98.44% 조기 종료! [CV] n_neurons=140, learning_rate=0.05, batch_size=50, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28>, total= 48.7s [CV] n_neurons=140, learning_rate=0.05, batch_size=50, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.135728 최선의 손실: 0.135728 정확도: 96.48% 1 검증 세트 손실: 0.087087 최선의 손실: 0.087087 정확도: 97.62% 2 검증 세트 손실: 0.075364 최선의 손실: 0.075364 정확도: 97.65% 3 검증 세트 손실: 0.081787 최선의 손실: 0.075364 정확도: 98.08% 4 검증 세트 손실: 0.063145 최선의 손실: 0.063145 정확도: 98.67% 5 검증 세트 손실: 0.051189 최선의 손실: 0.051189 정확도: 98.40% 6 검증 세트 손실: 0.066969 최선의 손실: 0.051189 정확도: 98.05% 7 검증 세트 손실: 0.079069 최선의 손실: 0.051189 정확도: 98.48% 8 검증 세트 손실: 0.045786 최선의 손실: 0.045786 정확도: 98.79% 9 검증 세트 손실: 0.080343 최선의 손실: 0.045786 정확도: 97.85% 10 검증 세트 손실: 0.040683 최선의 손실: 0.040683 정확도: 99.06% 11 검증 세트 손실: 0.044792 최선의 손실: 0.040683 정확도: 98.94% 12 검증 세트 손실: 0.068421 최선의 손실: 0.040683 정확도: 98.20% 13 검증 세트 손실: 0.037501 최선의 손실: 0.037501 정확도: 98.83% 14 검증 세트 손실: 0.210061 최선의 손실: 0.037501 정확도: 96.05% 15 검증 세트 손실: 0.057494 최선의 손실: 0.037501 정확도: 98.63% 16 검증 세트 손실: 0.051072 최선의 손실: 0.037501 정확도: 98.83% 17 검증 세트 손실: 0.045633 최선의 손실: 0.037501 정확도: 99.02% 18 검증 세트 손실: 0.042456 최선의 손실: 0.037501 정확도: 98.91% 19 검증 세트 손실: 0.054844 최선의 손실: 0.037501 정확도: 98.91% 20 검증 세트 손실: 0.066687 최선의 손실: 0.037501 정확도: 98.87% 21 검증 세트 손실: 0.088692 최선의 손실: 0.037501 정확도: 98.55% 22 검증 세트 손실: 0.086446 최선의 손실: 0.037501 정확도: 98.94% 23 검증 세트 손실: 0.060725 최선의 손실: 0.037501 정확도: 99.06% 24 검증 세트 손실: 0.048680 최선의 손실: 0.037501 정확도: 99.06% 25 검증 세트 손실: 0.069788 최선의 손실: 0.037501 정확도: 98.91% 26 검증 세트 손실: 0.051100 최선의 손실: 0.037501 정확도: 99.10% 27 검증 세트 손실: 0.056261 최선의 손실: 0.037501 정확도: 99.14% 28 검증 세트 손실: 0.065592 최선의 손실: 0.037501 정확도: 98.91% 29 검증 세트 손실: 0.159203 최선의 손실: 0.037501 정확도: 98.67% 30 검증 세트 손실: 0.079300 최선의 손실: 0.037501 정확도: 99.02% 31 검증 세트 손실: 0.072412 최선의 손실: 0.037501 정확도: 98.94% 32 검증 세트 손실: 0.051738 최선의 손실: 0.037501 정확도: 99.10% 33 검증 세트 손실: 0.075235 최선의 손실: 0.037501 정확도: 99.06% 34 검증 세트 손실: 0.093662 최선의 손실: 0.037501 정확도: 98.75% 조기 종료! [CV] n_neurons=140, learning_rate=0.05, batch_size=50, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28>, total= 45.8s [CV] n_neurons=70, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.99, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.614383 최선의 손실: 0.614383 정확도: 91.05% 1 검증 세트 손실: 0.095887 최선의 손실: 0.095887 정확도: 97.54% 2 검증 세트 손실: 0.078577 최선의 손실: 0.078577 정확도: 97.89% 3 검증 세트 손실: 0.064755 최선의 손실: 0.064755 정확도: 98.08% 4 검증 세트 손실: 0.120429 최선의 손실: 0.064755 정확도: 96.79% 5 검증 세트 손실: 0.075160 최선의 손실: 0.064755 정확도: 98.24% 6 검증 세트 손실: 0.057623 최선의 손실: 0.057623 정확도: 98.48% 7 검증 세트 손실: 0.053828 최선의 손실: 0.053828 정확도: 98.48% 8 검증 세트 손실: 0.074468 최선의 손실: 0.053828 정확도: 98.28% 9 검증 세트 손실: 0.081164 최선의 손실: 0.053828 정확도: 98.01% 10 검증 세트 손실: 0.072241 최선의 손실: 0.053828 정확도: 98.51% 11 검증 세트 손실: 0.049344 최선의 손실: 0.049344 정확도: 98.79% 12 검증 세트 손실: 0.091399 최선의 손실: 0.049344 정확도: 98.55% 13 검증 세트 손실: 0.071793 최선의 손실: 0.049344 정확도: 98.20% 14 검증 세트 손실: 0.082131 최선의 손실: 0.049344 정확도: 98.40% 15 검증 세트 손실: 0.062361 최선의 손실: 0.049344 정확도: 98.59% 16 검증 세트 손실: 0.061084 최선의 손실: 0.049344 정확도: 98.79% 17 검증 세트 손실: 0.055420 최선의 손실: 0.049344 정확도: 98.71% 18 검증 세트 손실: 0.073390 최선의 손실: 0.049344 정확도: 98.59% 19 검증 세트 손실: 0.057887 최선의 손실: 0.049344 정확도: 98.67% 20 검증 세트 손실: 0.068826 최선의 손실: 0.049344 정확도: 98.71% 21 검증 세트 손실: 0.077724 최선의 손실: 0.049344 정확도: 98.44% 22 검증 세트 손실: 0.072042 최선의 손실: 0.049344 정확도: 98.63% 23 검증 세트 손실: 0.059489 최선의 손실: 0.049344 정확도: 98.63% 24 검증 세트 손실: 0.067487 최선의 손실: 0.049344 정확도: 98.67% 25 검증 세트 손실: 0.083031 최선의 손실: 0.049344 정확도: 98.48% 26 검증 세트 손실: 0.102723 최선의 손실: 0.049344 정확도: 98.28% 27 검증 세트 손실: 0.098541 최선의 손실: 0.049344 정확도: 98.67% 28 검증 세트 손실: 0.052200 최선의 손실: 0.049344 정확도: 98.79% 29 검증 세트 손실: 0.123723 최선의 손실: 0.049344 정확도: 98.28% 30 검증 세트 손실: 0.091478 최선의 손실: 0.049344 정확도: 98.24% 31 검증 세트 손실: 0.090837 최선의 손실: 0.049344 정확도: 98.40% 32 검증 세트 손실: 0.052527 최선의 손실: 0.049344 정확도: 99.10% 조기 종료! [CV] n_neurons=70, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.99, activation=<function relu at 0x7f8ec4c8c510>, total= 26.6s [CV] n_neurons=70, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.99, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.248080 최선의 손실: 0.248080 정확도: 94.92% 1 검증 세트 손실: 0.118180 최선의 손실: 0.118180 정확도: 97.50% 2 검증 세트 손실: 0.159837 최선의 손실: 0.118180 정확도: 96.95% 3 검증 세트 손실: 0.091653 최선의 손실: 0.091653 정확도: 97.73% 4 검증 세트 손실: 0.066284 최선의 손실: 0.066284 정확도: 98.48% 5 검증 세트 손실: 0.061879 최선의 손실: 0.061879 정확도: 98.16% 6 검증 세트 손실: 0.076704 최선의 손실: 0.061879 정확도: 97.89% 7 검증 세트 손실: 0.096637 최선의 손실: 0.061879 정확도: 97.65% 8 검증 세트 손실: 0.063519 최선의 손실: 0.061879 정확도: 98.63% 9 검증 세트 손실: 0.077627 최선의 손실: 0.061879 정확도: 97.89% 10 검증 세트 손실: 0.092635 최선의 손실: 0.061879 정확도: 98.44% 11 검증 세트 손실: 0.114318 최선의 손실: 0.061879 정확도: 97.89% 12 검증 세트 손실: 0.140188 최선의 손실: 0.061879 정확도: 98.12% 13 검증 세트 손실: 0.079037 최선의 손실: 0.061879 정확도: 97.73% 14 검증 세트 손실: 0.067202 최선의 손실: 0.061879 정확도: 98.32% 15 검증 세트 손실: 0.104569 최선의 손실: 0.061879 정확도: 97.69% 16 검증 세트 손실: 0.061750 최선의 손실: 0.061750 정확도: 98.01% 17 검증 세트 손실: 0.099896 최선의 손실: 0.061750 정확도: 98.16% 18 검증 세트 손실: 0.073799 최선의 손실: 0.061750 정확도: 98.08% 19 검증 세트 손실: 0.054059 최선의 손실: 0.054059 정확도: 98.51% 20 검증 세트 손실: 0.082522 최선의 손실: 0.054059 정확도: 98.16% 21 검증 세트 손실: 0.102147 최선의 손실: 0.054059 정확도: 98.32% 22 검증 세트 손실: 0.082872 최선의 손실: 0.054059 정확도: 98.59% 23 검증 세트 손실: 0.055274 최선의 손실: 0.054059 정확도: 98.79% 24 검증 세트 손실: 0.062160 최선의 손실: 0.054059 정확도: 98.40% 25 검증 세트 손실: 0.059299 최선의 손실: 0.054059 정확도: 98.79% 26 검증 세트 손실: 0.072345 최선의 손실: 0.054059 정확도: 98.67% 27 검증 세트 손실: 0.075447 최선의 손실: 0.054059 정확도: 98.71% 28 검증 세트 손실: 0.060164 최선의 손실: 0.054059 정확도: 98.91% 29 검증 세트 손실: 0.068226 최선의 손실: 0.054059 정확도: 98.94% 30 검증 세트 손실: 0.064627 최선의 손실: 0.054059 정확도: 98.63% 31 검증 세트 손실: 0.082111 최선의 손실: 0.054059 정확도: 98.79% 32 검증 세트 손실: 0.087512 최선의 손실: 0.054059 정확도: 97.93% 33 검증 세트 손실: 0.068156 최선의 손실: 0.054059 정확도: 98.87% 34 검증 세트 손실: 0.084178 최선의 손실: 0.054059 정확도: 98.75% 35 검증 세트 손실: 0.083758 최선의 손실: 0.054059 정확도: 98.32% 36 검증 세트 손실: 0.066259 최선의 손실: 0.054059 정확도: 98.48% 37 검증 세트 손실: 0.071180 최선의 손실: 0.054059 정확도: 98.63% 38 검증 세트 손실: 0.101784 최선의 손실: 0.054059 정확도: 98.44% 39 검증 세트 손실: 0.164873 최선의 손실: 0.054059 정확도: 97.77% 40 검증 세트 손실: 0.074490 최선의 손실: 0.054059 정확도: 98.87% 조기 종료! [CV] n_neurons=70, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.99, activation=<function relu at 0x7f8ec4c8c510>, total= 32.6s [CV] n_neurons=70, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.99, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.254632 최선의 손실: 0.254632 정확도: 96.44% 1 검증 세트 손실: 0.088589 최선의 손실: 0.088589 정확도: 97.62% 2 검증 세트 손실: 0.099244 최선의 손실: 0.088589 정확도: 97.85% 3 검증 세트 손실: 0.122457 최선의 손실: 0.088589 정확도: 97.19% 4 검증 세트 손실: 0.065698 최선의 손실: 0.065698 정확도: 98.24% 5 검증 세트 손실: 0.064093 최선의 손실: 0.064093 정확도: 97.97% 6 검증 세트 손실: 0.076670 최선의 손실: 0.064093 정확도: 98.20% 7 검증 세트 손실: 0.073089 최선의 손실: 0.064093 정확도: 98.24% 8 검증 세트 손실: 0.062894 최선의 손실: 0.062894 정확도: 98.32% 9 검증 세트 손실: 0.086110 최선의 손실: 0.062894 정확도: 98.08% 10 검증 세트 손실: 0.085920 최선의 손실: 0.062894 정확도: 98.48% 11 검증 세트 손실: 0.047614 최선의 손실: 0.047614 정확도: 98.67% 12 검증 세트 손실: 0.059643 최선의 손실: 0.047614 정확도: 98.55% 13 검증 세트 손실: 0.061310 최선의 손실: 0.047614 정확도: 98.48% 14 검증 세트 손실: 0.070361 최선의 손실: 0.047614 정확도: 98.40% 15 검증 세트 손실: 0.119703 최선의 손실: 0.047614 정확도: 98.01% 16 검증 세트 손실: 0.053047 최선의 손실: 0.047614 정확도: 98.75% 17 검증 세트 손실: 0.051345 최선의 손실: 0.047614 정확도: 98.59% 18 검증 세트 손실: 0.076449 최선의 손실: 0.047614 정확도: 98.55% 19 검증 세트 손실: 0.099839 최선의 손실: 0.047614 정확도: 98.44% 20 검증 세트 손실: 0.073787 최선의 손실: 0.047614 정확도: 97.93% 21 검증 세트 손실: 0.067983 최선의 손실: 0.047614 정확도: 98.87% 22 검증 세트 손실: 0.063458 최선의 손실: 0.047614 정확도: 98.63% 23 검증 세트 손실: 0.059958 최선의 손실: 0.047614 정확도: 98.87% 24 검증 세트 손실: 0.050966 최선의 손실: 0.047614 정확도: 98.71% 25 검증 세트 손실: 0.064614 최선의 손실: 0.047614 정확도: 98.59% 26 검증 세트 손실: 0.066802 최선의 손실: 0.047614 정확도: 98.59% 27 검증 세트 손실: 0.048795 최선의 손실: 0.047614 정확도: 98.63% 28 검증 세트 손실: 0.054702 최선의 손실: 0.047614 정확도: 98.87% 29 검증 세트 손실: 0.058581 최선의 손실: 0.047614 정확도: 98.79% 30 검증 세트 손실: 0.042670 최선의 손실: 0.042670 정확도: 98.87% 31 검증 세트 손실: 0.077934 최선의 손실: 0.042670 정확도: 98.63% 32 검증 세트 손실: 0.040889 최선의 손실: 0.040889 정확도: 99.02% 33 검증 세트 손실: 0.048097 최선의 손실: 0.040889 정확도: 98.87% 34 검증 세트 손실: 0.070016 최선의 손실: 0.040889 정확도: 98.63% 35 검증 세트 손실: 0.054449 최선의 손실: 0.040889 정확도: 98.94% 36 검증 세트 손실: 0.081662 최선의 손실: 0.040889 정확도: 98.67% 37 검증 세트 손실: 0.052797 최선의 손실: 0.040889 정확도: 98.94% 38 검증 세트 손실: 0.084865 최선의 손실: 0.040889 정확도: 98.51% 39 검증 세트 손실: 0.045995 최선의 손실: 0.040889 정확도: 98.87% 40 검증 세트 손실: 0.096102 최선의 손실: 0.040889 정확도: 98.24% 41 검증 세트 손실: 0.169859 최선의 손실: 0.040889 정확도: 98.55% 42 검증 세트 손실: 0.076930 최선의 손실: 0.040889 정확도: 98.67% 43 검증 세트 손실: 0.065266 최선의 손실: 0.040889 정확도: 98.98% 44 검증 세트 손실: 0.063774 최선의 손실: 0.040889 정확도: 99.06% 45 검증 세트 손실: 0.083190 최선의 손실: 0.040889 정확도: 98.91% 46 검증 세트 손실: 0.074638 최선의 손실: 0.040889 정확도: 98.63% 47 검증 세트 손실: 0.062336 최선의 손실: 0.040889 정확도: 98.87% 48 검증 세트 손실: 0.052928 최선의 손실: 0.040889 정확도: 99.14% 49 검증 세트 손실: 0.090618 최선의 손실: 0.040889 정확도: 98.44% 50 검증 세트 손실: 0.088284 최선의 손실: 0.040889 정확도: 98.63% 51 검증 세트 손실: 0.061876 최선의 손실: 0.040889 정확도: 98.83% 52 검증 세트 손실: 0.068082 최선의 손실: 0.040889 정확도: 98.94% 53 검증 세트 손실: 0.062479 최선의 손실: 0.040889 정확도: 98.75% 조기 종료! [CV] n_neurons=70, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.99, activation=<function relu at 0x7f8ec4c8c510>, total= 42.7s [CV] n_neurons=100, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.95, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.075378 최선의 손실: 0.075378 정확도: 97.38% 1 검증 세트 손실: 0.089992 최선의 손실: 0.075378 정확도: 97.26% 2 검증 세트 손실: 0.065531 최선의 손실: 0.065531 정확도: 98.28% 3 검증 세트 손실: 0.046280 최선의 손실: 0.046280 정확도: 98.67% 4 검증 세트 손실: 0.041478 최선의 손실: 0.041478 정확도: 98.79% 5 검증 세트 손실: 0.055892 최선의 손실: 0.041478 정확도: 98.75% 6 검증 세트 손실: 0.056882 최선의 손실: 0.041478 정확도: 98.36% 7 검증 세트 손실: 0.045164 최선의 손실: 0.041478 정확도: 98.87% 8 검증 세트 손실: 0.058877 최선의 손실: 0.041478 정확도: 98.36% 9 검증 세트 손실: 0.042117 최선의 손실: 0.041478 정확도: 98.91% 10 검증 세트 손실: 0.053063 최선의 손실: 0.041478 정확도: 98.48% 11 검증 세트 손실: 0.051517 최선의 손실: 0.041478 정확도: 98.67% 12 검증 세트 손실: 0.042375 최선의 손실: 0.041478 정확도: 99.14% 13 검증 세트 손실: 0.043671 최선의 손실: 0.041478 정확도: 98.83% 14 검증 세트 손실: 0.048873 최선의 손실: 0.041478 정확도: 98.67% 15 검증 세트 손실: 0.057293 최선의 손실: 0.041478 정확도: 98.71% 16 검증 세트 손실: 0.052523 최선의 손실: 0.041478 정확도: 98.94% 17 검증 세트 손실: 0.061989 최선의 손실: 0.041478 정확도: 98.71% 18 검증 세트 손실: 0.042555 최선의 손실: 0.041478 정확도: 99.02% 19 검증 세트 손실: 0.054133 최선의 손실: 0.041478 정확도: 98.94% 20 검증 세트 손실: 0.053217 최선의 손실: 0.041478 정확도: 98.94% 21 검증 세트 손실: 0.063664 최선의 손실: 0.041478 정확도: 98.83% 22 검증 세트 손실: 0.055239 최선의 손실: 0.041478 정확도: 98.71% 23 검증 세트 손실: 0.067053 최선의 손실: 0.041478 정확도: 98.51% 24 검증 세트 손실: 0.044587 최선의 손실: 0.041478 정확도: 98.98% 25 검증 세트 손실: 0.052045 최선의 손실: 0.041478 정확도: 98.63% 조기 종료! [CV] n_neurons=100, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.95, activation=<function relu at 0x7f8ec4c8c510>, total= 17.8s [CV] n_neurons=100, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.95, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.112716 최선의 손실: 0.112716 정확도: 97.03% 1 검증 세트 손실: 0.120816 최선의 손실: 0.112716 정확도: 96.99% 2 검증 세트 손실: 0.067650 최선의 손실: 0.067650 정확도: 98.05% 3 검증 세트 손실: 0.056951 최선의 손실: 0.056951 정확도: 98.36% 4 검증 세트 손실: 0.081096 최선의 손실: 0.056951 정확도: 97.81% 5 검증 세트 손실: 0.037421 최선의 손실: 0.037421 정확도: 98.87% 6 검증 세트 손실: 0.057104 최선의 손실: 0.037421 정확도: 98.63% 7 검증 세트 손실: 0.051478 최선의 손실: 0.037421 정확도: 98.55% 8 검증 세트 손실: 0.055217 최선의 손실: 0.037421 정확도: 98.59% 9 검증 세트 손실: 0.049300 최선의 손실: 0.037421 정확도: 98.63% 10 검증 세트 손실: 0.045287 최선의 손실: 0.037421 정확도: 98.79% 11 검증 세트 손실: 0.044758 최선의 손실: 0.037421 정확도: 98.75% 12 검증 세트 손실: 0.045712 최선의 손실: 0.037421 정확도: 98.63% 13 검증 세트 손실: 0.045743 최선의 손실: 0.037421 정확도: 98.87% 14 검증 세트 손실: 0.044625 최선의 손실: 0.037421 정확도: 98.75% 15 검증 세트 손실: 0.064408 최선의 손실: 0.037421 정확도: 98.55% 16 검증 세트 손실: 0.063047 최선의 손실: 0.037421 정확도: 98.71% 17 검증 세트 손실: 0.055007 최선의 손실: 0.037421 정확도: 98.51% 18 검증 세트 손실: 0.052013 최선의 손실: 0.037421 정확도: 98.75% 19 검증 세트 손실: 0.049196 최선의 손실: 0.037421 정확도: 99.10% 20 검증 세트 손실: 0.053355 최선의 손실: 0.037421 정확도: 98.59% 21 검증 세트 손실: 0.048524 최선의 손실: 0.037421 정확도: 99.06% 22 검증 세트 손실: 0.042714 최선의 손실: 0.037421 정확도: 98.83% 23 검증 세트 손실: 0.054473 최선의 손실: 0.037421 정확도: 98.71% 24 검증 세트 손실: 0.044261 최선의 손실: 0.037421 정확도: 98.87% 25 검증 세트 손실: 0.038757 최선의 손실: 0.037421 정확도: 99.22% 26 검증 세트 손실: 0.072378 최선의 손실: 0.037421 정확도: 98.40% 조기 종료! [CV] n_neurons=100, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.95, activation=<function relu at 0x7f8ec4c8c510>, total= 18.4s [CV] n_neurons=100, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.95, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.127921 최선의 손실: 0.127921 정확도: 96.56% 1 검증 세트 손실: 0.073223 최선의 손실: 0.073223 정확도: 97.85% 2 검증 세트 손실: 0.065731 최선의 손실: 0.065731 정확도: 98.08% 3 검증 세트 손실: 0.048066 최선의 손실: 0.048066 정확도: 98.51% 4 검증 세트 손실: 0.061799 최선의 손실: 0.048066 정확도: 98.51% 5 검증 세트 손실: 0.053388 최선의 손실: 0.048066 정확도: 98.51% 6 검증 세트 손실: 0.060170 최선의 손실: 0.048066 정확도: 98.71% 7 검증 세트 손실: 0.055574 최선의 손실: 0.048066 정확도: 98.44% 8 검증 세트 손실: 0.037650 최선의 손실: 0.037650 정확도: 99.14% 9 검증 세트 손실: 0.060116 최선의 손실: 0.037650 정확도: 98.28% 10 검증 세트 손실: 0.064227 최선의 손실: 0.037650 정확도: 98.63% 11 검증 세트 손실: 0.041996 최선의 손실: 0.037650 정확도: 98.51% 12 검증 세트 손실: 0.032629 최선의 손실: 0.032629 정확도: 99.18% 13 검증 세트 손실: 0.057482 최선의 손실: 0.032629 정확도: 98.63% 14 검증 세트 손실: 0.072535 최선의 손실: 0.032629 정확도: 98.44% 15 검증 세트 손실: 0.076306 최선의 손실: 0.032629 정확도: 98.67% 16 검증 세트 손실: 0.039823 최선의 손실: 0.032629 정확도: 98.98% 17 검증 세트 손실: 0.101721 최선의 손실: 0.032629 정확도: 97.81% 18 검증 세트 손실: 0.041055 최선의 손실: 0.032629 정확도: 99.10% 19 검증 세트 손실: 0.046397 최선의 손실: 0.032629 정확도: 98.94% 20 검증 세트 손실: 0.040693 최선의 손실: 0.032629 정확도: 99.26% 21 검증 세트 손실: 0.049694 최선의 손실: 0.032629 정확도: 98.94% 22 검증 세트 손실: 0.042663 최선의 손실: 0.032629 정확도: 99.02% 23 검증 세트 손실: 0.043833 최선의 손실: 0.032629 정확도: 99.14% 24 검증 세트 손실: 0.043171 최선의 손실: 0.032629 정확도: 98.91% 25 검증 세트 손실: 0.044276 최선의 손실: 0.032629 정확도: 99.10% 26 검증 세트 손실: 0.026843 최선의 손실: 0.026843 정확도: 99.26% 27 검증 세트 손실: 0.053940 최선의 손실: 0.026843 정확도: 98.75% 28 검증 세트 손실: 0.056283 최선의 손실: 0.026843 정확도: 98.94% 29 검증 세트 손실: 0.041915 최선의 손실: 0.026843 정확도: 98.91% 30 검증 세트 손실: 0.050856 최선의 손실: 0.026843 정확도: 98.75% 31 검증 세트 손실: 0.053100 최선의 손실: 0.026843 정확도: 98.98% 32 검증 세트 손실: 0.051772 최선의 손실: 0.026843 정확도: 98.87% 33 검증 세트 손실: 0.049575 최선의 손실: 0.026843 정확도: 98.91% 34 검증 세트 손실: 0.047249 최선의 손실: 0.026843 정확도: 99.18% 35 검증 세트 손실: 0.043121 최선의 손실: 0.026843 정확도: 98.98% 36 검증 세트 손실: 0.049502 최선의 손실: 0.026843 정확도: 98.79% 37 검증 세트 손실: 0.062034 최선의 손실: 0.026843 정확도: 98.87% 38 검증 세트 손실: 0.055387 최선의 손실: 0.026843 정확도: 98.94% 39 검증 세트 손실: 0.048374 최선의 손실: 0.026843 정확도: 99.22% 40 검증 세트 손실: 0.045672 최선의 손실: 0.026843 정확도: 99.02% 41 검증 세트 손실: 0.048947 최선의 손실: 0.026843 정확도: 98.94% 42 검증 세트 손실: 0.067613 최선의 손실: 0.026843 정확도: 98.91% 43 검증 세트 손실: 0.048992 최선의 손실: 0.026843 정확도: 98.67% 44 검증 세트 손실: 0.046884 최선의 손실: 0.026843 정확도: 98.98% 45 검증 세트 손실: 0.039326 최선의 손실: 0.026843 정확도: 99.06% 46 검증 세트 손실: 0.051531 최선의 손실: 0.026843 정확도: 98.94% 47 검증 세트 손실: 0.047207 최선의 손실: 0.026843 정확도: 99.10% 조기 종료! [CV] n_neurons=100, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.95, activation=<function relu at 0x7f8ec4c8c510>, total= 31.4s [CV] n_neurons=140, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.98, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.069303 최선의 손실: 0.069303 정확도: 98.01% 1 검증 세트 손실: 0.054452 최선의 손실: 0.054452 정확도: 98.44% 2 검증 세트 손실: 0.064878 최선의 손실: 0.054452 정확도: 98.32% 3 검증 세트 손실: 0.042581 최선의 손실: 0.042581 정확도: 98.63% 4 검증 세트 손실: 0.053605 최선의 손실: 0.042581 정확도: 98.67% 5 검증 세트 손실: 0.041769 최선의 손실: 0.041769 정확도: 98.71% 6 검증 세트 손실: 0.029797 최선의 손실: 0.029797 정확도: 98.98% 7 검증 세트 손실: 0.052659 최선의 손실: 0.029797 정확도: 98.75% 8 검증 세트 손실: 0.040425 최선의 손실: 0.029797 정확도: 98.75% 9 검증 세트 손실: 0.050066 최선의 손실: 0.029797 정확도: 98.63% 10 검증 세트 손실: 0.055382 최선의 손실: 0.029797 정확도: 98.55% 11 검증 세트 손실: 0.039248 최선의 손실: 0.029797 정확도: 99.02% 12 검증 세트 손실: 0.035602 최선의 손실: 0.029797 정확도: 98.83% 13 검증 세트 손실: 0.044072 최선의 손실: 0.029797 정확도: 98.91% 14 검증 세트 손실: 0.075779 최선의 손실: 0.029797 정확도: 98.59% 15 검증 세트 손실: 0.042247 최선의 손실: 0.029797 정확도: 99.06% 16 검증 세트 손실: 0.033734 최선의 손실: 0.029797 정확도: 99.10% 17 검증 세트 손실: 0.079593 최선의 손실: 0.029797 정확도: 98.51% 18 검증 세트 손실: 0.035451 최선의 손실: 0.029797 정확도: 99.06% 19 검증 세트 손실: 0.055338 최선의 손실: 0.029797 정확도: 98.63% 20 검증 세트 손실: 0.043289 최선의 손실: 0.029797 정확도: 98.91% 21 검증 세트 손실: 0.045950 최선의 손실: 0.029797 정확도: 99.02% 22 검증 세트 손실: 0.042686 최선의 손실: 0.029797 정확도: 98.91% 23 검증 세트 손실: 0.040408 최선의 손실: 0.029797 정확도: 98.94% 24 검증 세트 손실: 0.031679 최선의 손실: 0.029797 정확도: 99.06% 25 검증 세트 손실: 0.040836 최선의 손실: 0.029797 정확도: 99.30% 26 검증 세트 손실: 0.034036 최선의 손실: 0.029797 정확도: 98.98% 27 검증 세트 손실: 0.043587 최선의 손실: 0.029797 정확도: 98.94% 조기 종료! [CV] n_neurons=140, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.98, activation=<function relu at 0x7f8ec4c8c510>, total= 33.8s [CV] n_neurons=140, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.98, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.098408 최선의 손실: 0.098408 정확도: 97.34% 1 검증 세트 손실: 0.063783 최선의 손실: 0.063783 정확도: 98.20% 2 검증 세트 손실: 0.054388 최선의 손실: 0.054388 정확도: 98.63% 3 검증 세트 손실: 0.052036 최선의 손실: 0.052036 정확도: 98.48% 4 검증 세트 손실: 0.050833 최선의 손실: 0.050833 정확도: 98.63% 5 검증 세트 손실: 0.037888 최선의 손실: 0.037888 정확도: 98.83% 6 검증 세트 손실: 0.049695 최선의 손실: 0.037888 정확도: 98.79% 7 검증 세트 손실: 0.040720 최선의 손실: 0.037888 정확도: 98.79% 8 검증 세트 손실: 0.049837 최선의 손실: 0.037888 정확도: 98.87% 9 검증 세트 손실: 0.037211 최선의 손실: 0.037211 정확도: 98.79% 10 검증 세트 손실: 0.050192 최선의 손실: 0.037211 정확도: 98.87% 11 검증 세트 손실: 0.042288 최선의 손실: 0.037211 정확도: 98.79% 12 검증 세트 손실: 0.046647 최선의 손실: 0.037211 정확도: 98.71% 13 검증 세트 손실: 0.049420 최선의 손실: 0.037211 정확도: 98.51% 14 검증 세트 손실: 0.051905 최선의 손실: 0.037211 정확도: 98.87% 15 검증 세트 손실: 0.047559 최선의 손실: 0.037211 정확도: 98.79% 16 검증 세트 손실: 0.053026 최선의 손실: 0.037211 정확도: 98.87% 17 검증 세트 손실: 0.051102 최선의 손실: 0.037211 정확도: 98.75% 18 검증 세트 손실: 0.063596 최선의 손실: 0.037211 정확도: 98.67% 19 검증 세트 손실: 0.039276 최선의 손실: 0.037211 정확도: 99.06% 20 검증 세트 손실: 0.043626 최선의 손실: 0.037211 정확도: 98.71% 21 검증 세트 손실: 0.036258 최선의 손실: 0.036258 정확도: 98.98% 22 검증 세트 손실: 0.042970 최선의 손실: 0.036258 정확도: 99.22% 23 검증 세트 손실: 0.035486 최선의 손실: 0.035486 정확도: 99.14% 24 검증 세트 손실: 0.048297 최선의 손실: 0.035486 정확도: 99.06% 25 검증 세트 손실: 0.042108 최선의 손실: 0.035486 정확도: 99.06% 26 검증 세트 손실: 0.042558 최선의 손실: 0.035486 정확도: 98.98% 27 검증 세트 손실: 0.037495 최선의 손실: 0.035486 정확도: 99.06% 28 검증 세트 손실: 0.047745 최선의 손실: 0.035486 정확도: 99.14% 29 검증 세트 손실: 0.036081 최선의 손실: 0.035486 정확도: 99.30% 30 검증 세트 손실: 0.048771 최선의 손실: 0.035486 정확도: 98.87% 31 검증 세트 손실: 0.039521 최선의 손실: 0.035486 정확도: 98.98% 32 검증 세트 손실: 0.037460 최선의 손실: 0.035486 정확도: 99.30% 33 검증 세트 손실: 0.039681 최선의 손실: 0.035486 정확도: 99.06% 34 검증 세트 손실: 0.049201 최선의 손실: 0.035486 정확도: 99.22% 35 검증 세트 손실: 0.043495 최선의 손실: 0.035486 정확도: 99.14% 36 검증 세트 손실: 0.043489 최선의 손실: 0.035486 정확도: 98.87% 37 검증 세트 손실: 0.033241 최선의 손실: 0.033241 정확도: 99.14% 38 검증 세트 손실: 0.034843 최선의 손실: 0.033241 정확도: 99.30% 39 검증 세트 손실: 0.037842 최선의 손실: 0.033241 정확도: 98.98% 40 검증 세트 손실: 0.034294 최선의 손실: 0.033241 정확도: 99.02% 41 검증 세트 손실: 0.035484 최선의 손실: 0.033241 정확도: 99.06% 42 검증 세트 손실: 0.033132 최선의 손실: 0.033132 정확도: 99.06% 43 검증 세트 손실: 0.052289 최선의 손실: 0.033132 정확도: 99.02% 44 검증 세트 손실: 0.045333 최선의 손실: 0.033132 정확도: 99.10% 45 검증 세트 손실: 0.059422 최선의 손실: 0.033132 정확도: 98.98% 46 검증 세트 손실: 0.045713 최선의 손실: 0.033132 정확도: 99.06% 47 검증 세트 손실: 0.044382 최선의 손실: 0.033132 정확도: 98.94% 48 검증 세트 손실: 0.053109 최선의 손실: 0.033132 정확도: 98.94% 49 검증 세트 손실: 0.044820 최선의 손실: 0.033132 정확도: 99.14% 50 검증 세트 손실: 0.049977 최선의 손실: 0.033132 정확도: 99.10% 51 검증 세트 손실: 0.044464 최선의 손실: 0.033132 정확도: 99.18% 52 검증 세트 손실: 0.041730 최선의 손실: 0.033132 정확도: 99.10% 53 검증 세트 손실: 0.043027 최선의 손실: 0.033132 정확도: 99.34% 54 검증 세트 손실: 0.041321 최선의 손실: 0.033132 정확도: 99.06% 55 검증 세트 손실: 0.045778 최선의 손실: 0.033132 정확도: 99.10% 56 검증 세트 손실: 0.041691 최선의 손실: 0.033132 정확도: 99.02% 57 검증 세트 손실: 0.041918 최선의 손실: 0.033132 정확도: 99.18% 58 검증 세트 손실: 0.047877 최선의 손실: 0.033132 정확도: 99.10% 59 검증 세트 손실: 0.054925 최선의 손실: 0.033132 정확도: 98.75% 60 검증 세트 손실: 0.037619 최선의 손실: 0.033132 정확도: 99.26% 61 검증 세트 손실: 0.038823 최선의 손실: 0.033132 정확도: 99.18% 62 검증 세트 손실: 0.046267 최선의 손실: 0.033132 정확도: 99.14% 63 검증 세트 손실: 0.043182 최선의 손실: 0.033132 정확도: 98.94% 조기 종료! [CV] n_neurons=140, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.98, activation=<function relu at 0x7f8ec4c8c510>, total= 1.3min [CV] n_neurons=140, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.98, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.073811 최선의 손실: 0.073811 정확도: 97.77% 1 검증 세트 손실: 0.059193 최선의 손실: 0.059193 정확도: 98.20% 2 검증 세트 손실: 0.057933 최선의 손실: 0.057933 정확도: 98.16% 3 검증 세트 손실: 0.042513 최선의 손실: 0.042513 정확도: 98.63% 4 검증 세트 손실: 0.044867 최선의 손실: 0.042513 정확도: 98.59% 5 검증 세트 손실: 0.054057 최선의 손실: 0.042513 정확도: 98.16% 6 검증 세트 손실: 0.036930 최선의 손실: 0.036930 정확도: 98.63% 7 검증 세트 손실: 0.055154 최선의 손실: 0.036930 정확도: 98.44% 8 검증 세트 손실: 0.037905 최선의 손실: 0.036930 정확도: 98.98% 9 검증 세트 손실: 0.047182 최선의 손실: 0.036930 정확도: 98.83% 10 검증 세트 손실: 0.051197 최선의 손실: 0.036930 정확도: 98.83% 11 검증 세트 손실: 0.034206 최선의 손실: 0.034206 정확도: 98.87% 12 검증 세트 손실: 0.046435 최선의 손실: 0.034206 정확도: 98.87% 13 검증 세트 손실: 0.047091 최선의 손실: 0.034206 정확도: 98.91% 14 검증 세트 손실: 0.038395 최선의 손실: 0.034206 정확도: 98.91% 15 검증 세트 손실: 0.033222 최선의 손실: 0.033222 정확도: 99.26% 16 검증 세트 손실: 0.028644 최선의 손실: 0.028644 정확도: 99.26% 17 검증 세트 손실: 0.052111 최선의 손실: 0.028644 정확도: 98.94% 18 검증 세트 손실: 0.032095 최선의 손실: 0.028644 정확도: 99.02% 19 검증 세트 손실: 0.049699 최선의 손실: 0.028644 정확도: 98.94% 20 검증 세트 손실: 0.032730 최선의 손실: 0.028644 정확도: 99.02% 21 검증 세트 손실: 0.023623 최선의 손실: 0.023623 정확도: 99.26% 22 검증 세트 손실: 0.035763 최선의 손실: 0.023623 정확도: 99.26% 23 검증 세트 손실: 0.036417 최선의 손실: 0.023623 정확도: 99.10% 24 검증 세트 손실: 0.043136 최선의 손실: 0.023623 정확도: 99.14% 25 검증 세트 손실: 0.034090 최선의 손실: 0.023623 정확도: 99.41% 26 검증 세트 손실: 0.039376 최선의 손실: 0.023623 정확도: 99.10% 27 검증 세트 손실: 0.034746 최선의 손실: 0.023623 정확도: 99.18% 28 검증 세트 손실: 0.036059 최선의 손실: 0.023623 정확도: 99.14% 29 검증 세트 손실: 0.044889 최선의 손실: 0.023623 정확도: 98.83% 30 검증 세트 손실: 0.043170 최선의 손실: 0.023623 정확도: 98.98% 31 검증 세트 손실: 0.053884 최선의 손실: 0.023623 정확도: 98.94% 32 검증 세트 손실: 0.039076 최선의 손실: 0.023623 정확도: 99.10% 33 검증 세트 손실: 0.034966 최선의 손실: 0.023623 정확도: 99.18% 34 검증 세트 손실: 0.034829 최선의 손실: 0.023623 정확도: 99.18% 35 검증 세트 손실: 0.032237 최선의 손실: 0.023623 정확도: 99.30% 36 검증 세트 손실: 0.053396 최선의 손실: 0.023623 정확도: 98.83% 37 검증 세트 손실: 0.033320 최선의 손실: 0.023623 정확도: 99.26% 38 검증 세트 손실: 0.042915 최선의 손실: 0.023623 정확도: 99.10% 39 검증 세트 손실: 0.032879 최선의 손실: 0.023623 정확도: 99.34% 40 검증 세트 손실: 0.032572 최선의 손실: 0.023623 정확도: 99.22% 41 검증 세트 손실: 0.028249 최선의 손실: 0.023623 정확도: 99.30% 42 검증 세트 손실: 0.041018 최선의 손실: 0.023623 정확도: 99.26% 조기 종료! [CV] n_neurons=140, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.98, activation=<function relu at 0x7f8ec4c8c510>, total= 51.2s [CV] n_neurons=30, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.093075 최선의 손실: 0.093075 정확도: 97.03% 1 검증 세트 손실: 0.075968 최선의 손실: 0.075968 정확도: 97.73% 2 검증 세트 손실: 0.068777 최선의 손실: 0.068777 정확도: 98.01% 3 검증 세트 손실: 0.054729 최선의 손실: 0.054729 정확도: 98.08% 4 검증 세트 손실: 0.058991 최선의 손실: 0.054729 정확도: 98.05% 5 검증 세트 손실: 0.075930 최선의 손실: 0.054729 정확도: 98.01% 6 검증 세트 손실: 0.055377 최선의 손실: 0.054729 정확도: 98.51% 7 검증 세트 손실: 0.060503 최선의 손실: 0.054729 정확도: 98.32% 8 검증 세트 손실: 0.055821 최선의 손실: 0.054729 정확도: 98.28% 9 검증 세트 손실: 0.065271 최선의 손실: 0.054729 정확도: 98.55% 10 검증 세트 손실: 0.070701 최선의 손실: 0.054729 정확도: 98.36% 11 검증 세트 손실: 0.072530 최선의 손실: 0.054729 정확도: 98.36% 12 검증 세트 손실: 0.060303 최선의 손실: 0.054729 정확도: 98.44% 13 검증 세트 손실: 0.086366 최선의 손실: 0.054729 정확도: 98.08% 14 검증 세트 손실: 0.076648 최선의 손실: 0.054729 정확도: 98.32% 15 검증 세트 손실: 0.101818 최선의 손실: 0.054729 정확도: 98.01% 16 검증 세트 손실: 0.065193 최선의 손실: 0.054729 정확도: 98.59% 17 검증 세트 손실: 0.094030 최선의 손실: 0.054729 정확도: 97.85% 18 검증 세트 손실: 0.086526 최선의 손실: 0.054729 정확도: 98.16% 19 검증 세트 손실: 0.073235 최선의 손실: 0.054729 정확도: 98.59% 20 검증 세트 손실: 0.078611 최선의 손실: 0.054729 정확도: 98.48% 21 검증 세트 손실: 0.080859 최선의 손실: 0.054729 정확도: 98.16% 22 검증 세트 손실: 0.082500 최선의 손실: 0.054729 정확도: 98.28% 23 검증 세트 손실: 0.072484 최선의 손실: 0.054729 정확도: 98.48% 24 검증 세트 손실: 0.064439 최선의 손실: 0.054729 정확도: 98.79% 조기 종료! [CV] n_neurons=30, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28>, total= 6.4s [CV] n_neurons=30, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.093968 최선의 손실: 0.093968 정확도: 97.22% 1 검증 세트 손실: 0.075680 최선의 손실: 0.075680 정확도: 97.34% 2 검증 세트 손실: 0.064978 최선의 손실: 0.064978 정확도: 97.77% 3 검증 세트 손실: 0.065327 최선의 손실: 0.064978 정확도: 98.20% 4 검증 세트 손실: 0.068484 최선의 손실: 0.064978 정확도: 97.89% 5 검증 세트 손실: 0.058664 최선의 손실: 0.058664 정확도: 98.08% 6 검증 세트 손실: 0.061410 최선의 손실: 0.058664 정확도: 98.12% 7 검증 세트 손실: 0.063955 최선의 손실: 0.058664 정확도: 98.12% 8 검증 세트 손실: 0.050687 최선의 손실: 0.050687 정확도: 98.67% 9 검증 세트 손실: 0.067192 최선의 손실: 0.050687 정확도: 98.20% 10 검증 세트 손실: 0.057348 최선의 손실: 0.050687 정확도: 98.28% 11 검증 세트 손실: 0.071747 최선의 손실: 0.050687 정확도: 98.32% 12 검증 세트 손실: 0.056589 최선의 손실: 0.050687 정확도: 98.59% 13 검증 세트 손실: 0.066980 최선의 손실: 0.050687 정확도: 98.48% 14 검증 세트 손실: 0.063250 최선의 손실: 0.050687 정확도: 98.59% 15 검증 세트 손실: 0.052233 최선의 손실: 0.050687 정확도: 98.83% 16 검증 세트 손실: 0.055012 최선의 손실: 0.050687 정확도: 98.71% 17 검증 세트 손실: 0.067112 최선의 손실: 0.050687 정확도: 98.67% 18 검증 세트 손실: 0.077737 최선의 손실: 0.050687 정확도: 98.08% 19 검증 세트 손실: 0.072173 최선의 손실: 0.050687 정확도: 98.51% 20 검증 세트 손실: 0.053839 최선의 손실: 0.050687 정확도: 98.87% 21 검증 세트 손실: 0.065846 최선의 손실: 0.050687 정확도: 98.59% 22 검증 세트 손실: 0.068843 최선의 손실: 0.050687 정확도: 98.75% 23 검증 세트 손실: 0.060869 최선의 손실: 0.050687 정확도: 98.63% 24 검증 세트 손실: 0.059193 최선의 손실: 0.050687 정확도: 98.59% 25 검증 세트 손실: 0.074569 최선의 손실: 0.050687 정확도: 98.67% 26 검증 세트 손실: 0.063692 최선의 손실: 0.050687 정확도: 98.55% 27 검증 세트 손실: 0.064207 최선의 손실: 0.050687 정확도: 98.83% 28 검증 세트 손실: 0.056920 최선의 손실: 0.050687 정확도: 98.87% 29 검증 세트 손실: 0.058223 최선의 손실: 0.050687 정확도: 98.71% 조기 종료! [CV] n_neurons=30, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28>, total= 7.3s [CV] n_neurons=30, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.101058 최선의 손실: 0.101058 정확도: 96.64% 1 검증 세트 손실: 0.073386 최선의 손실: 0.073386 정확도: 97.81% 2 검증 세트 손실: 0.063363 최선의 손실: 0.063363 정확도: 98.01% 3 검증 세트 손실: 0.058877 최선의 손실: 0.058877 정확도: 98.12% 4 검증 세트 손실: 0.053828 최선의 손실: 0.053828 정확도: 98.40% 5 검증 세트 손실: 0.076710 최선의 손실: 0.053828 정확도: 97.93% 6 검증 세트 손실: 0.054175 최선의 손실: 0.053828 정확도: 98.40% 7 검증 세트 손실: 0.054884 최선의 손실: 0.053828 정확도: 98.20% 8 검증 세트 손실: 0.052852 최선의 손실: 0.052852 정확도: 98.55% 9 검증 세트 손실: 0.049851 최선의 손실: 0.049851 정확도: 98.75% 10 검증 세트 손실: 0.059400 최선의 손실: 0.049851 정확도: 98.51% 11 검증 세트 손실: 0.076320 최선의 손실: 0.049851 정확도: 98.44% 12 검증 세트 손실: 0.047231 최선의 손실: 0.047231 정확도: 98.67% 13 검증 세트 손실: 0.059607 최선의 손실: 0.047231 정확도: 98.28% 14 검증 세트 손실: 0.053742 최선의 손실: 0.047231 정확도: 98.48% 15 검증 세트 손실: 0.059160 최선의 손실: 0.047231 정확도: 98.59% 16 검증 세트 손실: 0.042582 최선의 손실: 0.042582 정확도: 98.83% 17 검증 세트 손실: 0.061908 최선의 손실: 0.042582 정확도: 98.75% 18 검증 세트 손실: 0.059357 최선의 손실: 0.042582 정확도: 98.63% 19 검증 세트 손실: 0.060690 최선의 손실: 0.042582 정확도: 98.44% 20 검증 세트 손실: 0.042562 최선의 손실: 0.042562 정확도: 98.87% 21 검증 세트 손실: 0.048000 최선의 손실: 0.042562 정확도: 98.87% 22 검증 세트 손실: 0.063437 최선의 손실: 0.042562 정확도: 98.40% 23 검증 세트 손실: 0.068323 최선의 손실: 0.042562 정확도: 98.67% 24 검증 세트 손실: 0.061304 최선의 손실: 0.042562 정확도: 98.71% 25 검증 세트 손실: 0.073191 최선의 손실: 0.042562 정확도: 98.83% 26 검증 세트 손실: 0.055661 최선의 손실: 0.042562 정확도: 98.63% 27 검증 세트 손실: 0.063273 최선의 손실: 0.042562 정확도: 98.75% 28 검증 세트 손실: 0.059132 최선의 손실: 0.042562 정확도: 98.59% 29 검증 세트 손실: 0.068064 최선의 손실: 0.042562 정확도: 98.75% 30 검증 세트 손실: 0.068732 최선의 손실: 0.042562 정확도: 98.55% 31 검증 세트 손실: 0.057486 최선의 손실: 0.042562 정확도: 98.75% 32 검증 세트 손실: 0.044462 최선의 손실: 0.042562 정확도: 99.10% 33 검증 세트 손실: 0.043247 최선의 손실: 0.042562 정확도: 99.02% 34 검증 세트 손실: 0.040971 최선의 손실: 0.040971 정확도: 99.10% 35 검증 세트 손실: 0.051486 최선의 손실: 0.040971 정확도: 98.83% 36 검증 세트 손실: 0.043223 최선의 손실: 0.040971 정확도: 98.98% 37 검증 세트 손실: 0.068919 최선의 손실: 0.040971 정확도: 98.87% 38 검증 세트 손실: 0.059370 최선의 손실: 0.040971 정확도: 98.91% 39 검증 세트 손실: 0.070623 최선의 손실: 0.040971 정확도: 98.79% 40 검증 세트 손실: 0.056595 최선의 손실: 0.040971 정확도: 98.98% 41 검증 세트 손실: 0.075980 최선의 손실: 0.040971 정확도: 98.67% 42 검증 세트 손실: 0.047117 최선의 손실: 0.040971 정확도: 98.94% 43 검증 세트 손실: 0.084176 최선의 손실: 0.040971 정확도: 98.51% 44 검증 세트 손실: 0.058529 최선의 손실: 0.040971 정확도: 98.87% 45 검증 세트 손실: 0.053853 최선의 손실: 0.040971 정확도: 98.83% 46 검증 세트 손실: 0.053650 최선의 손실: 0.040971 정확도: 98.91% 47 검증 세트 손실: 0.048880 최선의 손실: 0.040971 정확도: 98.98% 48 검증 세트 손실: 0.067848 최선의 손실: 0.040971 정확도: 98.91% 49 검증 세트 손실: 0.066453 최선의 손실: 0.040971 정확도: 98.91% 50 검증 세트 손실: 0.052292 최선의 손실: 0.040971 정확도: 98.94% 51 검증 세트 손실: 0.058421 최선의 손실: 0.040971 정확도: 99.02% 52 검증 세트 손실: 0.054975 최선의 손실: 0.040971 정확도: 98.94% 53 검증 세트 손실: 0.065825 최선의 손실: 0.040971 정확도: 98.67% 54 검증 세트 손실: 0.064168 최선의 손실: 0.040971 정확도: 98.94% 55 검증 세트 손실: 0.060557 최선의 손실: 0.040971 정확도: 98.87% 조기 종료! [CV] n_neurons=30, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28>, total= 12.5s [CV] n_neurons=140, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.95, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.104289 최선의 손실: 0.104289 정확도: 96.76% 1 검증 세트 손실: 0.088055 최선의 손실: 0.088055 정확도: 97.62% 2 검증 세트 손실: 0.069319 최선의 손실: 0.069319 정확도: 97.85% 3 검증 세트 손실: 0.052672 최선의 손실: 0.052672 정확도: 98.36% 4 검증 세트 손실: 0.072860 최선의 손실: 0.052672 정확도: 98.16% 5 검증 세트 손실: 0.059541 최선의 손실: 0.052672 정확도: 98.44% 6 검증 세트 손실: 0.046383 최선의 손실: 0.046383 정확도: 98.59% 7 검증 세트 손실: 0.041506 최선의 손실: 0.041506 정확도: 98.98% 8 검증 세트 손실: 0.047763 최선의 손실: 0.041506 정확도: 98.83% 9 검증 세트 손실: 0.051859 최선의 손실: 0.041506 정확도: 98.79% 10 검증 세트 손실: 0.056382 최선의 손실: 0.041506 정확도: 98.36% 11 검증 세트 손실: 0.040450 최선의 손실: 0.040450 정확도: 98.94% 12 검증 세트 손실: 0.031557 최선의 손실: 0.031557 정확도: 99.10% 13 검증 세트 손실: 0.046088 최선의 손실: 0.031557 정확도: 98.75% 14 검증 세트 손실: 0.037378 최선의 손실: 0.031557 정확도: 99.14% 15 검증 세트 손실: 0.086020 최선의 손실: 0.031557 정확도: 97.81% 16 검증 세트 손실: 0.050288 최선의 손실: 0.031557 정확도: 98.91% 17 검증 세트 손실: 0.063642 최선의 손실: 0.031557 정확도: 98.63% 18 검증 세트 손실: 0.039879 최선의 손실: 0.031557 정확도: 99.10% 19 검증 세트 손실: 0.051761 최선의 손실: 0.031557 정확도: 98.94% 20 검증 세트 손실: 0.063951 최선의 손실: 0.031557 정확도: 98.59% 21 검증 세트 손실: 0.060095 최선의 손실: 0.031557 정확도: 98.87% 22 검증 세트 손실: 0.047208 최선의 손실: 0.031557 정확도: 99.02% 23 검증 세트 손실: 0.060878 최선의 손실: 0.031557 정확도: 98.83% 24 검증 세트 손실: 0.047232 최선의 손실: 0.031557 정확도: 98.94% 25 검증 세트 손실: 0.043657 최선의 손실: 0.031557 정확도: 99.10% 26 검증 세트 손실: 0.032714 최선의 손실: 0.031557 정확도: 99.18% 27 검증 세트 손실: 0.041949 최선의 손실: 0.031557 정확도: 99.02% 28 검증 세트 손실: 0.050942 최선의 손실: 0.031557 정확도: 98.94% 29 검증 세트 손실: 0.038022 최선의 손실: 0.031557 정확도: 99.10% 30 검증 세트 손실: 0.040260 최선의 손실: 0.031557 정확도: 99.18% 31 검증 세트 손실: 0.050866 최선의 손실: 0.031557 정확도: 99.06% 32 검증 세트 손실: 0.038032 최선의 손실: 0.031557 정확도: 99.10% 33 검증 세트 손실: 0.053216 최선의 손실: 0.031557 정확도: 99.14% 조기 종료! [CV] n_neurons=140, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.95, activation=<function elu at 0x7f8ec4ceef28>, total= 29.9s [CV] n_neurons=140, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.95, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.118798 최선의 손실: 0.118798 정확도: 96.40% 1 검증 세트 손실: 0.059795 최선의 손실: 0.059795 정확도: 97.93% 2 검증 세트 손실: 0.050503 최선의 손실: 0.050503 정확도: 98.44% 3 검증 세트 손실: 0.083408 최선의 손실: 0.050503 정확도: 97.69% 4 검증 세트 손실: 0.061110 최선의 손실: 0.050503 정확도: 98.05% 5 검증 세트 손실: 0.039210 최선의 손실: 0.039210 정확도: 98.63% 6 검증 세트 손실: 0.061753 최선의 손실: 0.039210 정확도: 98.36% 7 검증 세트 손실: 0.071503 최선의 손실: 0.039210 정확도: 98.16% 8 검증 세트 손실: 0.070803 최선의 손실: 0.039210 정확도: 98.36% 9 검증 세트 손실: 0.053840 최선의 손실: 0.039210 정확도: 98.51% 10 검증 세트 손실: 0.047859 최선의 손실: 0.039210 정확도: 98.75% 11 검증 세트 손실: 0.050843 최선의 손실: 0.039210 정확도: 98.79% 12 검증 세트 손실: 0.045244 최선의 손실: 0.039210 정확도: 98.63% 13 검증 세트 손실: 0.046966 최선의 손실: 0.039210 정확도: 98.83% 14 검증 세트 손실: 0.051040 최선의 손실: 0.039210 정확도: 98.83% 15 검증 세트 손실: 0.046968 최선의 손실: 0.039210 정확도: 98.67% 16 검증 세트 손실: 0.042550 최선의 손실: 0.039210 정확도: 99.06% 17 검증 세트 손실: 0.041343 최선의 손실: 0.039210 정확도: 98.75% 18 검증 세트 손실: 0.086319 최선의 손실: 0.039210 정확도: 98.12% 19 검증 세트 손실: 0.054425 최선의 손실: 0.039210 정확도: 98.75% 20 검증 세트 손실: 0.046662 최선의 손실: 0.039210 정확도: 98.94% 21 검증 세트 손실: 0.062395 최선의 손실: 0.039210 정확도: 98.83% 22 검증 세트 손실: 0.049680 최선의 손실: 0.039210 정확도: 98.63% 23 검증 세트 손실: 0.083545 최선의 손실: 0.039210 정확도: 98.55% 24 검증 세트 손실: 0.044586 최선의 손실: 0.039210 정확도: 99.06% 25 검증 세트 손실: 0.031454 최선의 손실: 0.031454 정확도: 99.26% 26 검증 세트 손실: 0.053430 최선의 손실: 0.031454 정확도: 98.91% 27 검증 세트 손실: 0.068733 최선의 손실: 0.031454 정확도: 98.71% 28 검증 세트 손실: 0.072873 최선의 손실: 0.031454 정확도: 98.59% 29 검증 세트 손실: 0.067959 최선의 손실: 0.031454 정확도: 98.71% 30 검증 세트 손실: 0.062991 최선의 손실: 0.031454 정확도: 98.36% 31 검증 세트 손실: 0.051514 최선의 손실: 0.031454 정확도: 98.87% 32 검증 세트 손실: 0.045994 최선의 손실: 0.031454 정확도: 98.87% 33 검증 세트 손실: 0.069914 최선의 손실: 0.031454 정확도: 98.83% 34 검증 세트 손실: 0.058887 최선의 손실: 0.031454 정확도: 98.98% 35 검증 세트 손실: 0.062212 최선의 손실: 0.031454 정확도: 98.98% 36 검증 세트 손실: 0.074445 최선의 손실: 0.031454 정확도: 98.36% 37 검증 세트 손실: 0.076238 최선의 손실: 0.031454 정확도: 98.71% 38 검증 세트 손실: 0.062779 최선의 손실: 0.031454 정확도: 98.91% 39 검증 세트 손실: 0.065585 최선의 손실: 0.031454 정확도: 98.83% 40 검증 세트 손실: 0.060330 최선의 손실: 0.031454 정확도: 98.87% 41 검증 세트 손실: 0.054455 최선의 손실: 0.031454 정확도: 98.87% 42 검증 세트 손실: 0.063136 최선의 손실: 0.031454 정확도: 98.91% 43 검증 세트 손실: 0.067011 최선의 손실: 0.031454 정확도: 98.91% 44 검증 세트 손실: 0.073767 최선의 손실: 0.031454 정확도: 98.83% 45 검증 세트 손실: 0.060839 최선의 손실: 0.031454 정확도: 99.02% 46 검증 세트 손실: 0.062900 최선의 손실: 0.031454 정확도: 98.98% 조기 종료! [CV] n_neurons=140, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.95, activation=<function elu at 0x7f8ec4ceef28>, total= 40.7s [CV] n_neurons=140, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.95, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.089269 최선의 손실: 0.089269 정확도: 97.34% 1 검증 세트 손실: 0.064015 최선의 손실: 0.064015 정확도: 97.97% 2 검증 세트 손실: 0.065332 최선의 손실: 0.064015 정확도: 97.81% 3 검증 세트 손실: 0.051505 최선의 손실: 0.051505 정확도: 98.16% 4 검증 세트 손실: 0.064441 최선의 손실: 0.051505 정확도: 98.12% 5 검증 세트 손실: 0.044897 최선의 손실: 0.044897 정확도: 98.67% 6 검증 세트 손실: 0.041494 최선의 손실: 0.041494 정확도: 98.71% 7 검증 세트 손실: 0.072499 최선의 손실: 0.041494 정확도: 98.36% 8 검증 세트 손실: 0.036179 최선의 손실: 0.036179 정확도: 99.02% 9 검증 세트 손실: 0.038194 최선의 손실: 0.036179 정확도: 98.98% 10 검증 세트 손실: 0.054203 최선의 손실: 0.036179 정확도: 98.75% 11 검증 세트 손실: 0.048510 최선의 손실: 0.036179 정확도: 98.44% 12 검증 세트 손실: 0.032630 최선의 손실: 0.032630 정확도: 99.22% 13 검증 세트 손실: 0.042218 최선의 손실: 0.032630 정확도: 98.98% 14 검증 세트 손실: 0.043471 최선의 손실: 0.032630 정확도: 99.02% 15 검증 세트 손실: 0.051250 최선의 손실: 0.032630 정확도: 98.79% 16 검증 세트 손실: 0.059361 최선의 손실: 0.032630 정확도: 98.67% 17 검증 세트 손실: 0.045646 최선의 손실: 0.032630 정확도: 98.91% 18 검증 세트 손실: 0.070216 최선의 손실: 0.032630 정확도: 98.67% 19 검증 세트 손실: 0.050028 최선의 손실: 0.032630 정확도: 98.91% 20 검증 세트 손실: 0.042933 최선의 손실: 0.032630 정확도: 99.06% 21 검증 세트 손실: 0.040881 최선의 손실: 0.032630 정확도: 99.10% 22 검증 세트 손실: 0.046555 최선의 손실: 0.032630 정확도: 98.91% 23 검증 세트 손실: 0.042637 최선의 손실: 0.032630 정확도: 98.91% 24 검증 세트 손실: 0.051474 최선의 손실: 0.032630 정확도: 98.98% 25 검증 세트 손실: 0.047607 최선의 손실: 0.032630 정확도: 99.02% 26 검증 세트 손실: 0.042257 최선의 손실: 0.032630 정확도: 99.10% 27 검증 세트 손실: 0.040131 최선의 손실: 0.032630 정확도: 98.98% 28 검증 세트 손실: 0.058729 최선의 손실: 0.032630 정확도: 98.91% 29 검증 세트 손실: 0.069780 최선의 손실: 0.032630 정확도: 98.44% 30 검증 세트 손실: 0.044402 최선의 손실: 0.032630 정확도: 99.22% 31 검증 세트 손실: 0.037494 최선의 손실: 0.032630 정확도: 99.18% 32 검증 세트 손실: 0.033725 최선의 손실: 0.032630 정확도: 99.30% 33 검증 세트 손실: 0.036022 최선의 손실: 0.032630 정확도: 99.34% 조기 종료! [CV] n_neurons=140, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.95, activation=<function elu at 0x7f8ec4ceef28>, total= 29.9s [CV] n_neurons=120, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.99, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.208730 최선의 손실: 0.208730 정확도: 95.00% 1 검증 세트 손실: 0.080768 최선의 손실: 0.080768 정확도: 97.77% 2 검증 세트 손실: 0.087810 최선의 손실: 0.080768 정확도: 98.28% 3 검증 세트 손실: 0.078392 최선의 손실: 0.078392 정확도: 98.16% 4 검증 세트 손실: 0.067945 최선의 손실: 0.067945 정확도: 98.12% 5 검증 세트 손실: 0.171794 최선의 손실: 0.067945 정확도: 97.50% 6 검증 세트 손실: 0.081828 최선의 손실: 0.067945 정확도: 98.24% 7 검증 세트 손실: 0.105131 최선의 손실: 0.067945 정확도: 98.40% 8 검증 세트 손실: 0.118289 최선의 손실: 0.067945 정확도: 97.89% 9 검증 세트 손실: 2.235662 최선의 손실: 0.067945 정확도: 96.87% 10 검증 세트 손실: 0.095571 최선의 손실: 0.067945 정확도: 98.48% 11 검증 세트 손실: 0.078645 최선의 손실: 0.067945 정확도: 98.59% 12 검증 세트 손실: 0.049215 최선의 손실: 0.049215 정확도: 98.91% 13 검증 세트 손실: 0.068348 최선의 손실: 0.049215 정확도: 99.02% 14 검증 세트 손실: 0.063386 최선의 손실: 0.049215 정확도: 98.63% 15 검증 세트 손실: 0.095897 최선의 손실: 0.049215 정확도: 98.12% 16 검증 세트 손실: 0.152199 최선의 손실: 0.049215 정확도: 97.73% 17 검증 세트 손실: 4.541672 최선의 손실: 0.049215 정확도: 93.86% 18 검증 세트 손실: 0.438085 최선의 손실: 0.049215 정확도: 96.05% 19 검증 세트 손실: 0.218270 최선의 손실: 0.049215 정확도: 98.79% 20 검증 세트 손실: 0.199715 최선의 손실: 0.049215 정확도: 98.98% 21 검증 세트 손실: 0.125885 최선의 손실: 0.049215 정확도: 98.91% 22 검증 세트 손실: 0.167422 최선의 손실: 0.049215 정확도: 98.83% 23 검증 세트 손실: 0.246789 최선의 손실: 0.049215 정확도: 98.51% 24 검증 세트 손실: 0.304223 최선의 손실: 0.049215 정확도: 98.63% 25 검증 세트 손실: 0.180662 최선의 손실: 0.049215 정확도: 99.10% 26 검증 세트 손실: 0.260002 최선의 손실: 0.049215 정확도: 98.36% 27 검증 세트 손실: 0.163190 최선의 손실: 0.049215 정확도: 98.87% 28 검증 세트 손실: 0.138922 최선의 손실: 0.049215 정확도: 98.83% 29 검증 세트 손실: 1.344907 최선의 손실: 0.049215 정확도: 98.16% 30 검증 세트 손실: 0.266195 최선의 손실: 0.049215 정확도: 98.94% 31 검증 세트 손실: 0.242166 최선의 손실: 0.049215 정확도: 98.91% 32 검증 세트 손실: 0.236292 최선의 손실: 0.049215 정확도: 98.75% 33 검증 세트 손실: 0.263645 최선의 손실: 0.049215 정확도: 98.71% 조기 종료! [CV] n_neurons=120, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.99, activation=<function elu at 0x7f8ec4ceef28>, total= 37.4s [CV] n_neurons=120, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.99, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.195867 최선의 손실: 0.195867 정확도: 95.23% 1 검증 세트 손실: 0.099212 최선의 손실: 0.099212 정확도: 97.50% 2 검증 세트 손실: 0.951098 최선의 손실: 0.099212 정확도: 88.43% 3 검증 세트 손실: 0.065655 최선의 손실: 0.065655 정확도: 98.36% 4 검증 세트 손실: 0.117978 최선의 손실: 0.065655 정확도: 97.58% 5 검증 세트 손실: 0.090425 최선의 손실: 0.065655 정확도: 98.05% 6 검증 세트 손실: 0.112880 최선의 손실: 0.065655 정확도: 98.08% 7 검증 세트 손실: 0.063459 최선의 손실: 0.063459 정확도: 98.59% 8 검증 세트 손실: 0.104766 최선의 손실: 0.063459 정확도: 98.08% 9 검증 세트 손실: 0.204395 최선의 손실: 0.063459 정확도: 97.34% 10 검증 세트 손실: 0.060008 최선의 손실: 0.060008 정확도: 98.63% 11 검증 세트 손실: 0.040942 최선의 손실: 0.040942 정확도: 99.02% 12 검증 세트 손실: 5.938588 최선의 손실: 0.040942 정확도: 95.78% 13 검증 세트 손실: 0.212986 최선의 손실: 0.040942 정확도: 98.24% 14 검증 세트 손실: 0.157899 최선의 손실: 0.040942 정확도: 98.40% 15 검증 세트 손실: 0.090690 최선의 손실: 0.040942 정확도: 98.32% 16 검증 세트 손실: 0.134854 최선의 손실: 0.040942 정확도: 97.69% 17 검증 세트 손실: 0.147862 최선의 손실: 0.040942 정확도: 98.59% 18 검증 세트 손실: 0.064164 최선의 손실: 0.040942 정확도: 99.26% 19 검증 세트 손실: 0.208687 최선의 손실: 0.040942 정확도: 98.63% 20 검증 세트 손실: 0.204379 최선의 손실: 0.040942 정확도: 98.20% 21 검증 세트 손실: 0.068695 최선의 손실: 0.040942 정확도: 99.14% 22 검증 세트 손실: 0.155569 최선의 손실: 0.040942 정확도: 99.10% 23 검증 세트 손실: 0.173929 최선의 손실: 0.040942 정확도: 98.51% 24 검증 세트 손실: 0.147234 최선의 손실: 0.040942 정확도: 98.79% 25 검증 세트 손실: 0.168685 최선의 손실: 0.040942 정확도: 98.79% 26 검증 세트 손실: 0.301522 최선의 손실: 0.040942 정확도: 98.83% 27 검증 세트 손실: 0.633516 최선의 손실: 0.040942 정확도: 97.46% 28 검증 세트 손실: 0.139728 최선의 손실: 0.040942 정확도: 98.94% 29 검증 세트 손실: 0.179773 최선의 손실: 0.040942 정확도: 98.94% 30 검증 세트 손실: 0.115226 최선의 손실: 0.040942 정확도: 99.02% 31 검증 세트 손실: 0.081625 최선의 손실: 0.040942 정확도: 98.98% 32 검증 세트 손실: 0.119648 최선의 손실: 0.040942 정확도: 98.87% 조기 종료! [CV] n_neurons=120, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.99, activation=<function elu at 0x7f8ec4ceef28>, total= 36.5s [CV] n_neurons=120, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.99, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.172427 최선의 손실: 0.172427 정확도: 96.95% 1 검증 세트 손실: 0.123897 최선의 손실: 0.123897 정확도: 96.83% 2 검증 세트 손실: 0.086588 최선의 손실: 0.086588 정확도: 97.85% 3 검증 세트 손실: 0.132676 최선의 손실: 0.086588 정확도: 97.22% 4 검증 세트 손실: 0.090178 최선의 손실: 0.086588 정확도: 98.24% 5 검증 세트 손실: 0.119296 최선의 손실: 0.086588 정확도: 97.65% 6 검증 세트 손실: 0.066637 최선의 손실: 0.066637 정확도: 98.63% 7 검증 세트 손실: 0.115669 최선의 손실: 0.066637 정확도: 98.36% 8 검증 세트 손실: 0.065329 최선의 손실: 0.065329 정확도: 98.48% 9 검증 세트 손실: 0.139165 최선의 손실: 0.065329 정확도: 97.65% 10 검증 세트 손실: 0.959097 최선의 손실: 0.065329 정확도: 97.03% 11 검증 세트 손실: 0.107995 최선의 손실: 0.065329 정확도: 98.67% 12 검증 세트 손실: 0.095307 최선의 손실: 0.065329 정확도: 98.48% 13 검증 세트 손실: 0.055173 최선의 손실: 0.055173 정확도: 98.98% 14 검증 세트 손실: 0.067573 최선의 손실: 0.055173 정확도: 98.83% 15 검증 세트 손실: 0.073618 최선의 손실: 0.055173 정확도: 98.91% 16 검증 세트 손실: 0.072231 최선의 손실: 0.055173 정확도: 98.71% 17 검증 세트 손실: 0.127348 최선의 손실: 0.055173 정확도: 98.16% 18 검증 세트 손실: 1.107549 최선의 손실: 0.055173 정확도: 97.22% 19 검증 세트 손실: 0.259501 최선의 손실: 0.055173 정확도: 98.75% 20 검증 세트 손실: 0.083669 최선의 손실: 0.055173 정확도: 99.02% 21 검증 세트 손실: 0.075474 최선의 손실: 0.055173 정확도: 98.67% 22 검증 세트 손실: 0.095771 최선의 손실: 0.055173 정확도: 99.02% 23 검증 세트 손실: 0.093700 최선의 손실: 0.055173 정확도: 99.14% 24 검증 세트 손실: 0.096452 최선의 손실: 0.055173 정확도: 98.98% 25 검증 세트 손실: 0.298177 최선의 손실: 0.055173 정확도: 98.71% 26 검증 세트 손실: 0.374284 최선의 손실: 0.055173 정확도: 98.59% 27 검증 세트 손실: 0.144318 최선의 손실: 0.055173 정확도: 99.06% 28 검증 세트 손실: 0.168230 최선의 손실: 0.055173 정확도: 98.87% 29 검증 세트 손실: 0.133171 최선의 손실: 0.055173 정확도: 99.14% 30 검증 세트 손실: 0.245915 최선의 손실: 0.055173 정확도: 98.83% 31 검증 세트 손실: 0.217255 최선의 손실: 0.055173 정확도: 98.75% 32 검증 세트 손실: 0.223001 최선의 손실: 0.055173 정확도: 98.94% 33 검증 세트 손실: 0.889751 최선의 손실: 0.055173 정확도: 98.16% 34 검증 세트 손실: 0.346960 최선의 손실: 0.055173 정확도: 98.67% 조기 종료! [CV] n_neurons=120, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.99, activation=<function elu at 0x7f8ec4ceef28>, total= 38.7s [CV] n_neurons=10, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.99, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.261385 최선의 손실: 0.261385 정확도: 92.65% 1 검증 세트 손실: 0.162157 최선의 손실: 0.162157 정확도: 95.23% 2 검증 세트 손실: 0.143203 최선의 손실: 0.143203 정확도: 95.47% 3 검증 세트 손실: 0.147119 최선의 손실: 0.143203 정확도: 95.27% 4 검증 세트 손실: 0.279868 최선의 손실: 0.143203 정확도: 89.48% 5 검증 세트 손실: 0.169629 최선의 손실: 0.143203 정확도: 94.96% 6 검증 세트 손실: 0.086600 최선의 손실: 0.086600 정확도: 97.46% 7 검증 세트 손실: 0.130973 최선의 손실: 0.086600 정확도: 96.44% 8 검증 세트 손실: 0.199008 최선의 손실: 0.086600 정확도: 95.00% 9 검증 세트 손실: 0.078077 최선의 손실: 0.078077 정확도: 98.05% 10 검증 세트 손실: 0.122950 최선의 손실: 0.078077 정확도: 96.68% 11 검증 세트 손실: 0.094952 최선의 손실: 0.078077 정확도: 97.65% 12 검증 세트 손실: 0.107395 최선의 손실: 0.078077 정확도: 97.38% 13 검증 세트 손실: 0.126409 최선의 손실: 0.078077 정확도: 96.79% 14 검증 세트 손실: 0.093040 최선의 손실: 0.078077 정확도: 97.93% 15 검증 세트 손실: 0.109853 최선의 손실: 0.078077 정확도: 97.65% 16 검증 세트 손실: 0.099309 최선의 손실: 0.078077 정확도: 97.54% 17 검증 세트 손실: 0.109889 최선의 손실: 0.078077 정확도: 97.77% 18 검증 세트 손실: 0.115121 최선의 손실: 0.078077 정확도: 97.22% 19 검증 세트 손실: 0.133547 최선의 손실: 0.078077 정확도: 97.26% 20 검증 세트 손실: 0.082578 최선의 손실: 0.078077 정확도: 98.36% 21 검증 세트 손실: 0.130825 최선의 손실: 0.078077 정확도: 97.34% 22 검증 세트 손실: 0.102591 최선의 손실: 0.078077 정확도: 97.93% 23 검증 세트 손실: 0.148601 최선의 손실: 0.078077 정확도: 97.26% 24 검증 세트 손실: 0.131845 최선의 손실: 0.078077 정확도: 97.73% 25 검증 세트 손실: 0.121500 최선의 손실: 0.078077 정확도: 97.54% 26 검증 세트 손실: 0.119495 최선의 손실: 0.078077 정확도: 97.73% 27 검증 세트 손실: 0.112208 최선의 손실: 0.078077 정확도: 97.65% 28 검증 세트 손실: 0.115241 최선의 손실: 0.078077 정확도: 97.65% 29 검증 세트 손실: 0.215331 최선의 손실: 0.078077 정확도: 95.70% 30 검증 세트 손실: 0.097444 최선의 손실: 0.078077 정확도: 97.97% 조기 종료! [CV] n_neurons=10, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.99, activation=<function elu at 0x7f8ec4ceef28>, total= 5.2s [CV] n_neurons=10, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.99, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.207014 최선의 손실: 0.207014 정확도: 93.75% 1 검증 세트 손실: 0.185412 최선의 손실: 0.185412 정확도: 93.90% 2 검증 세트 손실: 0.130583 최선의 손실: 0.130583 정확도: 96.52% 3 검증 세트 손실: 0.137197 최선의 손실: 0.130583 정확도: 95.66% 4 검증 세트 손실: 0.094043 최선의 손실: 0.094043 정확도: 96.99% 5 검증 세트 손실: 0.107013 최선의 손실: 0.094043 정확도: 96.60% 6 검증 세트 손실: 0.108102 최선의 손실: 0.094043 정확도: 97.42% 7 검증 세트 손실: 0.161698 최선의 손실: 0.094043 정확도: 95.58% 8 검증 세트 손실: 0.100806 최선의 손실: 0.094043 정확도: 96.83% 9 검증 세트 손실: 0.109001 최선의 손실: 0.094043 정확도: 96.79% 10 검증 세트 손실: 0.110374 최선의 손실: 0.094043 정확도: 97.11% 11 검증 세트 손실: 0.124355 최선의 손실: 0.094043 정확도: 96.76% 12 검증 세트 손실: 0.105535 최선의 손실: 0.094043 정확도: 97.38% 13 검증 세트 손실: 0.122336 최선의 손실: 0.094043 정확도: 97.42% 14 검증 세트 손실: 0.083407 최선의 손실: 0.083407 정확도: 97.81% 15 검증 세트 손실: 0.089028 최선의 손실: 0.083407 정확도: 97.58% 16 검증 세트 손실: 0.087110 최선의 손실: 0.083407 정확도: 98.12% 17 검증 세트 손실: 0.103629 최선의 손실: 0.083407 정확도: 97.58% 18 검증 세트 손실: 0.093321 최선의 손실: 0.083407 정확도: 98.01% 19 검증 세트 손실: 0.114963 최선의 손실: 0.083407 정확도: 97.97% 20 검증 세트 손실: 0.097852 최선의 손실: 0.083407 정확도: 98.05% 21 검증 세트 손실: 0.110359 최선의 손실: 0.083407 정확도: 97.30% 22 검증 세트 손실: 0.095362 최선의 손실: 0.083407 정확도: 97.77% 23 검증 세트 손실: 0.121934 최선의 손실: 0.083407 정확도: 97.93% 24 검증 세트 손실: 0.089751 최선의 손실: 0.083407 정확도: 97.97% 25 검증 세트 손실: 0.111491 최선의 손실: 0.083407 정확도: 97.81% 26 검증 세트 손실: 0.117297 최선의 손실: 0.083407 정확도: 97.62% 27 검증 세트 손실: 0.128388 최선의 손실: 0.083407 정확도: 97.81% 28 검증 세트 손실: 0.093579 최선의 손실: 0.083407 정확도: 98.20% 29 검증 세트 손실: 0.095810 최선의 손실: 0.083407 정확도: 98.24% 30 검증 세트 손실: 0.175770 최선의 손실: 0.083407 정확도: 97.34% 31 검증 세트 손실: 0.110144 최선의 손실: 0.083407 정확도: 97.97% 32 검증 세트 손실: 0.120657 최선의 손실: 0.083407 정확도: 98.12% 33 검증 세트 손실: 0.124450 최선의 손실: 0.083407 정확도: 97.46% 34 검증 세트 손실: 0.107313 최선의 손실: 0.083407 정확도: 98.16% 35 검증 세트 손실: 0.146261 최선의 손실: 0.083407 정확도: 97.58% 조기 종료! [CV] n_neurons=10, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.99, activation=<function elu at 0x7f8ec4ceef28>, total= 5.7s [CV] n_neurons=10, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.99, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.232865 최선의 손실: 0.232865 정확도: 93.00% 1 검증 세트 손실: 0.235792 최선의 손실: 0.232865 정확도: 91.56% 2 검증 세트 손실: 0.247265 최선의 손실: 0.232865 정확도: 91.83% 3 검증 세트 손실: 0.188708 최선의 손실: 0.188708 정확도: 93.86% 4 검증 세트 손실: 0.090292 최선의 손실: 0.090292 정확도: 96.87% 5 검증 세트 손실: 0.100760 최선의 손실: 0.090292 정확도: 96.56% 6 검증 세트 손실: 0.080154 최선의 손실: 0.080154 정확도: 97.11% 7 검증 세트 손실: 0.078640 최선의 손실: 0.078640 정확도: 97.50% 8 검증 세트 손실: 0.092030 최선의 손실: 0.078640 정확도: 97.62% 9 검증 세트 손실: 0.074983 최선의 손실: 0.074983 정확도: 98.01% 10 검증 세트 손실: 0.076790 최선의 손실: 0.074983 정확도: 97.97% 11 검증 세트 손실: 0.082481 최선의 손실: 0.074983 정확도: 97.58% 12 검증 세트 손실: 0.089566 최선의 손실: 0.074983 정확도: 97.69% 13 검증 세트 손실: 0.071471 최선의 손실: 0.071471 정확도: 97.58% 14 검증 세트 손실: 0.122822 최선의 손실: 0.071471 정확도: 96.95% 15 검증 세트 손실: 0.086264 최선의 손실: 0.071471 정확도: 97.89% 16 검증 세트 손실: 0.100651 최선의 손실: 0.071471 정확도: 97.65% 17 검증 세트 손실: 0.105219 최선의 손실: 0.071471 정확도: 97.30% 18 검증 세트 손실: 0.079060 최선의 손실: 0.071471 정확도: 97.54% 19 검증 세트 손실: 0.111028 최선의 손실: 0.071471 정확도: 97.11% 20 검증 세트 손실: 0.076055 최선의 손실: 0.071471 정확도: 98.01% 21 검증 세트 손실: 0.126877 최선의 손실: 0.071471 정확도: 97.11% 22 검증 세트 손실: 0.110235 최선의 손실: 0.071471 정확도: 97.73% 23 검증 세트 손실: 0.077789 최선의 손실: 0.071471 정확도: 98.36% 24 검증 세트 손실: 0.100780 최선의 손실: 0.071471 정확도: 97.62% 25 검증 세트 손실: 0.079903 최선의 손실: 0.071471 정확도: 98.32% 26 검증 세트 손실: 0.085370 최선의 손실: 0.071471 정확도: 98.12% 27 검증 세트 손실: 0.076579 최선의 손실: 0.071471 정확도: 98.01% 28 검증 세트 손실: 0.063970 최선의 손실: 0.063970 정확도: 98.40% 29 검증 세트 손실: 0.074450 최선의 손실: 0.063970 정확도: 98.24% 30 검증 세트 손실: 0.067409 최선의 손실: 0.063970 정확도: 98.40% 31 검증 세트 손실: 0.076819 최선의 손실: 0.063970 정확도: 98.24% 32 검증 세트 손실: 0.078574 최선의 손실: 0.063970 정확도: 98.20% 33 검증 세트 손실: 0.099312 최선의 손실: 0.063970 정확도: 98.20% 34 검증 세트 손실: 0.102943 최선의 손실: 0.063970 정확도: 98.08% 35 검증 세트 손실: 0.091090 최선의 손실: 0.063970 정확도: 97.89% 36 검증 세트 손실: 0.069864 최선의 손실: 0.063970 정확도: 98.24% 37 검증 세트 손실: 0.099319 최선의 손실: 0.063970 정확도: 98.01% 38 검증 세트 손실: 0.083558 최선의 손실: 0.063970 정확도: 98.16% 39 검증 세트 손실: 0.149214 최선의 손실: 0.063970 정확도: 96.91% 40 검증 세트 손실: 0.096099 최선의 손실: 0.063970 정확도: 97.89% 41 검증 세트 손실: 0.101661 최선의 손실: 0.063970 정확도: 97.81% 42 검증 세트 손실: 0.084866 최선의 손실: 0.063970 정확도: 98.36% 43 검증 세트 손실: 0.086606 최선의 손실: 0.063970 정확도: 98.12% 44 검증 세트 손실: 0.092522 최선의 손실: 0.063970 정확도: 98.20% 45 검증 세트 손실: 0.104953 최선의 손실: 0.063970 정확도: 98.05% 46 검증 세트 손실: 0.112595 최선의 손실: 0.063970 정확도: 97.50% 47 검증 세트 손실: 0.082376 최선의 손실: 0.063970 정확도: 98.16% 48 검증 세트 손실: 0.083420 최선의 손실: 0.063970 정확도: 98.08% 49 검증 세트 손실: 0.084266 최선의 손실: 0.063970 정확도: 98.40% 조기 종료! [CV] n_neurons=10, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.99, activation=<function elu at 0x7f8ec4ceef28>, total= 7.3s [CV] n_neurons=160, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 0 검증 세트 손실: 0.154811 최선의 손실: 0.154811 정확도: 96.56% 1 검증 세트 손실: 0.084283 최선의 손실: 0.084283 정확도: 98.05% 2 검증 세트 손실: 0.095032 최선의 손실: 0.084283 정확도: 97.38% 3 검증 세트 손실: 0.065475 최선의 손실: 0.065475 정확도: 98.16% 4 검증 세트 손실: 0.087697 최선의 손실: 0.065475 정확도: 96.95% 5 검증 세트 손실: 0.062333 최선의 손실: 0.062333 정확도: 98.59% 6 검증 세트 손실: 0.089933 최선의 손실: 0.062333 정확도: 97.62% 7 검증 세트 손실: 0.073170 최선의 손실: 0.062333 정확도: 98.36% 8 검증 세트 손실: 0.078915 최선의 손실: 0.062333 정확도: 98.44% 9 검증 세트 손실: 0.076189 최선의 손실: 0.062333 정확도: 98.40% 10 검증 세트 손실: 0.062583 최선의 손실: 0.062333 정확도: 98.20% 11 검증 세트 손실: 0.096394 최선의 손실: 0.062333 정확도: 98.05% 12 검증 세트 손실: 0.077183 최선의 손실: 0.062333 정확도: 98.48% 13 검증 세트 손실: 0.099755 최선의 손실: 0.062333 정확도: 98.16% 14 검증 세트 손실: 0.068972 최선의 손실: 0.062333 정확도: 98.51% 15 검증 세트 손실: 0.098057 최선의 손실: 0.062333 정확도: 98.36% 16 검증 세트 손실: 0.121537 최선의 손실: 0.062333 정확도: 98.16% 17 검증 세트 손실: 0.074331 최선의 손실: 0.062333 정확도: 98.55% 18 검증 세트 손실: 0.123593 최선의 손실: 0.062333 정확도: 98.01% 19 검증 세트 손실: 0.068416 최선의 손실: 0.062333 정확도: 98.71% 20 검증 세트 손실: 0.068545 최선의 손실: 0.062333 정확도: 98.79% 21 검증 세트 손실: 0.055166 최선의 손실: 0.055166 정확도: 98.98% 22 검증 세트 손실: 0.087199 최선의 손실: 0.055166 정확도: 98.44% 23 검증 세트 손실: 0.075018 최선의 손실: 0.055166 정확도: 98.55% 24 검증 세트 손실: 0.047389 최선의 손실: 0.047389 정확도: 99.02% 25 검증 세트 손실: 0.080064 최선의 손실: 0.047389 정확도: 98.83% 26 검증 세트 손실: 0.058506 최선의 손실: 0.047389 정확도: 98.91% 27 검증 세트 손실: 0.117778 최선의 손실: 0.047389 정확도: 98.55% 28 검증 세트 손실: 0.111988 최선의 손실: 0.047389 정확도: 98.63% 29 검증 세트 손실: 0.151922 최선의 손실: 0.047389 정확도: 98.59% 30 검증 세트 손실: 0.112341 최선의 손실: 0.047389 정확도: 98.79% 31 검증 세트 손실: 0.070995 최선의 손실: 0.047389 정확도: 98.91% 32 검증 세트 손실: 0.072973 최선의 손실: 0.047389 정확도: 98.91% 33 검증 세트 손실: 0.100210 최선의 손실: 0.047389 정확도: 98.63% 34 검증 세트 손실: 0.170456 최선의 손실: 0.047389 정확도: 98.59% 35 검증 세트 손실: 0.101874 최선의 손실: 0.047389 정확도: 98.59% 36 검증 세트 손실: 0.074246 최선의 손실: 0.047389 정확도: 99.02% 37 검증 세트 손실: 0.185815 최선의 손실: 0.047389 정확도: 98.20% 38 검증 세트 손실: 0.131166 최선의 손실: 0.047389 정확도: 98.71% 39 검증 세트 손실: 0.085084 최선의 손실: 0.047389 정확도: 98.91% 40 검증 세트 손실: 0.089434 최선의 손실: 0.047389 정확도: 98.55% 41 검증 세트 손실: 0.083510 최선의 손실: 0.047389 정확도: 99.06% 42 검증 세트 손실: 0.083434 최선의 손실: 0.047389 정확도: 99.14% 43 검증 세트 손실: 0.085651 최선의 손실: 0.047389 정확도: 98.94% 44 검증 세트 손실: 0.211753 최선의 손실: 0.047389 정확도: 97.81% 45 검증 세트 손실: 0.136682 최선의 손실: 0.047389 정확도: 98.59% 조기 종료! [CV] n_neurons=160, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 1.1min [CV] n_neurons=160, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 0 검증 세트 손실: 0.139816 최선의 손실: 0.139816 정확도: 96.21% 1 검증 세트 손실: 0.103859 최선의 손실: 0.103859 정확도: 97.89% 2 검증 세트 손실: 0.084236 최선의 손실: 0.084236 정확도: 97.93% 3 검증 세트 손실: 0.199285 최선의 손실: 0.084236 정확도: 96.13% 4 검증 세트 손실: 0.074962 최선의 손실: 0.074962 정확도: 98.01% 5 검증 세트 손실: 0.103917 최선의 손실: 0.074962 정확도: 97.54% 6 검증 세트 손실: 0.079943 최선의 손실: 0.074962 정확도: 97.93% 7 검증 세트 손실: 0.053033 최선의 손실: 0.053033 정확도: 98.55% 8 검증 세트 손실: 0.071027 최선의 손실: 0.053033 정확도: 98.36% 9 검증 세트 손실: 0.063563 최선의 손실: 0.053033 정확도: 98.24% 10 검증 세트 손실: 0.090369 최선의 손실: 0.053033 정확도: 98.20% 11 검증 세트 손실: 0.087036 최선의 손실: 0.053033 정확도: 98.40% 12 검증 세트 손실: 0.088078 최선의 손실: 0.053033 정확도: 97.97% 13 검증 세트 손실: 0.039536 최선의 손실: 0.039536 정확도: 98.91% 14 검증 세트 손실: 0.148475 최선의 손실: 0.039536 정확도: 97.81% 15 검증 세트 손실: 0.065294 최선의 손실: 0.039536 정확도: 98.83% 16 검증 세트 손실: 0.070501 최선의 손실: 0.039536 정확도: 98.63% 17 검증 세트 손실: 0.319948 최선의 손실: 0.039536 정확도: 97.77% 18 검증 세트 손실: 0.059939 최선의 손실: 0.039536 정확도: 98.63% 19 검증 세트 손실: 0.057149 최선의 손실: 0.039536 정확도: 98.75% 20 검증 세트 손실: 0.067073 최선의 손실: 0.039536 정확도: 98.94% 21 검증 세트 손실: 0.063411 최선의 손실: 0.039536 정확도: 98.55% 22 검증 세트 손실: 0.081848 최선의 손실: 0.039536 정확도: 98.71% 23 검증 세트 손실: 0.142494 최선의 손실: 0.039536 정확도: 97.42% 24 검증 세트 손실: 0.062999 최선의 손실: 0.039536 정확도: 98.83% 25 검증 세트 손실: 0.064514 최선의 손실: 0.039536 정확도: 98.71% 26 검증 세트 손실: 0.091956 최선의 손실: 0.039536 정확도: 98.48% 27 검증 세트 손실: 0.064874 최선의 손실: 0.039536 정확도: 98.94% 28 검증 세트 손실: 0.275035 최선의 손실: 0.039536 정확도: 98.63% 29 검증 세트 손실: 0.205618 최선의 손실: 0.039536 정확도: 98.51% 30 검증 세트 손실: 0.147132 최선의 손실: 0.039536 정확도: 98.71% 31 검증 세트 손실: 0.077391 최선의 손실: 0.039536 정확도: 98.91% 32 검증 세트 손실: 0.057300 최선의 손실: 0.039536 정확도: 98.98% 33 검증 세트 손실: 0.141584 최선의 손실: 0.039536 정확도: 98.16% 34 검증 세트 손실: 0.116430 최선의 손실: 0.039536 정확도: 98.63% 조기 종료! [CV] n_neurons=160, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 50.2s [CV] n_neurons=160, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 0 검증 세트 손실: 0.234712 최선의 손실: 0.234712 정확도: 94.76% 1 검증 세트 손실: 0.119066 최선의 손실: 0.119066 정확도: 96.91% 2 검증 세트 손실: 0.069523 최선의 손실: 0.069523 정확도: 98.36% 3 검증 세트 손실: 0.055915 최선의 손실: 0.055915 정확도: 98.32% 4 검증 세트 손실: 0.079563 최선의 손실: 0.055915 정확도: 98.16% 5 검증 세트 손실: 0.058632 최선의 손실: 0.055915 정확도: 98.44% 6 검증 세트 손실: 0.116719 최선의 손실: 0.055915 정확도: 96.56% 7 검증 세트 손실: 0.075467 최선의 손실: 0.055915 정확도: 98.01% 8 검증 세트 손실: 0.044454 최선의 손실: 0.044454 정확도: 98.75% 9 검증 세트 손실: 0.088509 최선의 손실: 0.044454 정확도: 98.16% 10 검증 세트 손실: 0.084162 최선의 손실: 0.044454 정확도: 98.08% 11 검증 세트 손실: 0.061884 최선의 손실: 0.044454 정확도: 98.63% 12 검증 세트 손실: 0.067743 최선의 손실: 0.044454 정확도: 98.40% 13 검증 세트 손실: 0.054607 최선의 손실: 0.044454 정확도: 98.75% 14 검증 세트 손실: 0.050075 최선의 손실: 0.044454 정확도: 98.75% 15 검증 세트 손실: 0.060238 최선의 손실: 0.044454 정확도: 98.94% 16 검증 세트 손실: 0.085472 최선의 손실: 0.044454 정확도: 98.75% 17 검증 세트 손실: 0.083842 최선의 손실: 0.044454 정확도: 98.16% 18 검증 세트 손실: 0.123862 최선의 손실: 0.044454 정확도: 97.97% 19 검증 세트 손실: 0.104352 최선의 손실: 0.044454 정확도: 98.67% 20 검증 세트 손실: 0.052586 최선의 손실: 0.044454 정확도: 98.94% 21 검증 세트 손실: 0.083580 최선의 손실: 0.044454 정확도: 98.67% 22 검증 세트 손실: 0.215760 최선의 손실: 0.044454 정확도: 97.89% 23 검증 세트 손실: 0.107127 최선의 손실: 0.044454 정확도: 98.36% 24 검증 세트 손실: 0.081820 최선의 손실: 0.044454 정확도: 98.87% 25 검증 세트 손실: 0.052555 최선의 손실: 0.044454 정확도: 98.75% 26 검증 세트 손실: 0.087010 최선의 손실: 0.044454 정확도: 98.71% 27 검증 세트 손실: 0.090239 최선의 손실: 0.044454 정확도: 98.59% 28 검증 세트 손실: 0.066670 최선의 손실: 0.044454 정확도: 99.02% 29 검증 세트 손실: 0.110395 최선의 손실: 0.044454 정확도: 98.59% 조기 종료! [CV] n_neurons=160, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 43.2s [CV] n_neurons=100, learning_rate=0.02, batch_size=50, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 0 검증 세트 손실: 0.141335 최선의 손실: 0.141335 정확도: 96.52% 1 검증 세트 손실: 0.061413 최선의 손실: 0.061413 정확도: 98.01% 2 검증 세트 손실: 0.064733 최선의 손실: 0.061413 정확도: 98.24% 3 검증 세트 손실: 0.078236 최선의 손실: 0.061413 정확도: 97.81% 4 검증 세트 손실: 0.039708 최선의 손실: 0.039708 정확도: 98.91% 5 검증 세트 손실: 0.051991 최선의 손실: 0.039708 정확도: 98.55% 6 검증 세트 손실: 0.041348 최선의 손실: 0.039708 정확도: 98.71% 7 검증 세트 손실: 0.056816 최선의 손실: 0.039708 정확도: 98.40% 8 검증 세트 손실: 0.049332 최선의 손실: 0.039708 정확도: 98.91% 9 검증 세트 손실: 0.045931 최선의 손실: 0.039708 정확도: 98.83% 10 검증 세트 손실: 0.042113 최선의 손실: 0.039708 정확도: 99.10% 11 검증 세트 손실: 0.047508 최선의 손실: 0.039708 정확도: 98.91% 12 검증 세트 손실: 0.044585 최선의 손실: 0.039708 정확도: 98.83% 13 검증 세트 손실: 0.045212 최선의 손실: 0.039708 정확도: 98.79% 14 검증 세트 손실: 0.045713 최선의 손실: 0.039708 정확도: 98.83% 15 검증 세트 손실: 0.034023 최선의 손실: 0.034023 정확도: 99.30% 16 검증 세트 손실: 0.067372 최선의 손실: 0.034023 정확도: 98.48% 17 검증 세트 손실: 0.038484 최선의 손실: 0.034023 정확도: 98.91% 18 검증 세트 손실: 0.051220 최선의 손실: 0.034023 정확도: 98.71% 19 검증 세트 손실: 0.069158 최선의 손실: 0.034023 정확도: 98.59% 20 검증 세트 손실: 0.045432 최선의 손실: 0.034023 정확도: 99.06% 21 검증 세트 손실: 0.056940 최선의 손실: 0.034023 정확도: 99.02% 22 검증 세트 손실: 0.058635 최선의 손실: 0.034023 정확도: 98.63% 23 검증 세트 손실: 0.049306 최선의 손실: 0.034023 정확도: 98.87% 24 검증 세트 손실: 0.050061 최선의 손실: 0.034023 정확도: 99.10% 25 검증 세트 손실: 0.052173 최선의 손실: 0.034023 정확도: 98.83% 26 검증 세트 손실: 0.041441 최선의 손실: 0.034023 정확도: 98.98% 27 검증 세트 손실: 0.038558 최선의 손실: 0.034023 정확도: 98.91% 28 검증 세트 손실: 0.048064 최선의 손실: 0.034023 정확도: 98.63% 29 검증 세트 손실: 0.038078 최선의 손실: 0.034023 정확도: 99.18% 30 검증 세트 손실: 0.047551 최선의 손실: 0.034023 정확도: 99.18% 31 검증 세트 손실: 0.041505 최선의 손실: 0.034023 정확도: 99.06% 32 검증 세트 손실: 0.050714 최선의 손실: 0.034023 정확도: 99.18% 33 검증 세트 손실: 0.052887 최선의 손실: 0.034023 정확도: 99.02% 34 검증 세트 손실: 0.057202 최선의 손실: 0.034023 정확도: 98.98% 35 검증 세트 손실: 0.051881 최선의 손실: 0.034023 정확도: 98.94% 36 검증 세트 손실: 0.043397 최선의 손실: 0.034023 정확도: 99.02% 조기 종료! [CV] n_neurons=100, learning_rate=0.02, batch_size=50, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 37.4s [CV] n_neurons=100, learning_rate=0.02, batch_size=50, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 0 검증 세트 손실: 0.122390 최선의 손실: 0.122390 정확도: 96.68% 1 검증 세트 손실: 0.056544 최선의 손실: 0.056544 정확도: 98.16% 2 검증 세트 손실: 0.141340 최선의 손실: 0.056544 정확도: 95.93% 3 검증 세트 손실: 0.051296 최선의 손실: 0.051296 정확도: 98.51% 4 검증 세트 손실: 0.066328 최선의 손실: 0.051296 정확도: 98.16% 5 검증 세트 손실: 0.056698 최선의 손실: 0.051296 정확도: 98.51% 6 검증 세트 손실: 0.054994 최선의 손실: 0.051296 정확도: 98.28% 7 검증 세트 손실: 0.055255 최선의 손실: 0.051296 정확도: 98.55% 8 검증 세트 손실: 0.036173 최선의 손실: 0.036173 정확도: 98.91% 9 검증 세트 손실: 0.063994 최선의 손실: 0.036173 정확도: 98.12% 10 검증 세트 손실: 0.045259 최선의 손실: 0.036173 정확도: 98.91% 11 검증 세트 손실: 0.048033 최선의 손실: 0.036173 정확도: 98.94% 12 검증 세트 손실: 0.040915 최선의 손실: 0.036173 정확도: 98.63% 13 검증 세트 손실: 0.043608 최선의 손실: 0.036173 정확도: 98.67% 14 검증 세트 손실: 0.047104 최선의 손실: 0.036173 정확도: 98.67% 15 검증 세트 손실: 0.029973 최선의 손실: 0.029973 정확도: 98.91% 16 검증 세트 손실: 0.057686 최선의 손실: 0.029973 정확도: 98.71% 17 검증 세트 손실: 0.040743 최선의 손실: 0.029973 정확도: 98.67% 18 검증 세트 손실: 0.048948 최선의 손실: 0.029973 정확도: 98.79% 19 검증 세트 손실: 0.054570 최선의 손실: 0.029973 정확도: 98.79% 20 검증 세트 손실: 0.044568 최선의 손실: 0.029973 정확도: 99.10% 21 검증 세트 손실: 0.053380 최선의 손실: 0.029973 정확도: 99.02% 22 검증 세트 손실: 0.047466 최선의 손실: 0.029973 정확도: 98.98% 23 검증 세트 손실: 0.048010 최선의 손실: 0.029973 정확도: 98.94% 24 검증 세트 손실: 0.045564 최선의 손실: 0.029973 정확도: 99.26% 25 검증 세트 손실: 0.040290 최선의 손실: 0.029973 정확도: 99.14% 26 검증 세트 손실: 0.053243 최선의 손실: 0.029973 정확도: 98.79% 27 검증 세트 손실: 0.042433 최선의 손실: 0.029973 정확도: 99.26% 28 검증 세트 손실: 0.065821 최선의 손실: 0.029973 정확도: 98.48% 29 검증 세트 손실: 0.052128 최선의 손실: 0.029973 정확도: 99.06% 30 검증 세트 손실: 0.042127 최선의 손실: 0.029973 정확도: 99.10% 31 검증 세트 손실: 0.040486 최선의 손실: 0.029973 정확도: 99.14% 32 검증 세트 손실: 0.043039 최선의 손실: 0.029973 정확도: 99.10% 33 검증 세트 손실: 0.043367 최선의 손실: 0.029973 정확도: 98.98% 34 검증 세트 손실: 0.062636 최선의 손실: 0.029973 정확도: 98.98% 35 검증 세트 손실: 0.047254 최선의 손실: 0.029973 정확도: 99.02% 36 검증 세트 손실: 0.049529 최선의 손실: 0.029973 정확도: 99.06% 조기 종료! [CV] n_neurons=100, learning_rate=0.02, batch_size=50, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 37.5s [CV] n_neurons=100, learning_rate=0.02, batch_size=50, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 0 검증 세트 손실: 0.093120 최선의 손실: 0.093120 정확도: 97.97% 1 검증 세트 손실: 0.078011 최선의 손실: 0.078011 정확도: 97.38% 2 검증 세트 손실: 0.083262 최선의 손실: 0.078011 정확도: 98.08% 3 검증 세트 손실: 0.044716 최선의 손실: 0.044716 정확도: 98.44% 4 검증 세트 손실: 0.051373 최선의 손실: 0.044716 정확도: 98.67% 5 검증 세트 손실: 0.053068 최선의 손실: 0.044716 정확도: 98.44% 6 검증 세트 손실: 0.067628 최선의 손실: 0.044716 정확도: 98.28% 7 검증 세트 손실: 0.052515 최선의 손실: 0.044716 정확도: 98.75% 8 검증 세트 손실: 0.040413 최선의 손실: 0.040413 정확도: 99.06% 9 검증 세트 손실: 0.034303 최선의 손실: 0.034303 정확도: 99.02% 10 검증 세트 손실: 0.043697 최선의 손실: 0.034303 정확도: 99.02% 11 검증 세트 손실: 0.067900 최선의 손실: 0.034303 정확도: 97.62% 12 검증 세트 손실: 0.072169 최선의 손실: 0.034303 정확도: 98.51% 13 검증 세트 손실: 0.046959 최선의 손실: 0.034303 정확도: 99.10% 14 검증 세트 손실: 0.050745 최선의 손실: 0.034303 정확도: 98.79% 15 검증 세트 손실: 0.045901 최선의 손실: 0.034303 정확도: 98.79% 16 검증 세트 손실: 0.043545 최선의 손실: 0.034303 정확도: 98.94% 17 검증 세트 손실: 0.056210 최선의 손실: 0.034303 정확도: 98.71% 18 검증 세트 손실: 0.036558 최선의 손실: 0.034303 정확도: 98.83% 19 검증 세트 손실: 0.051108 최선의 손실: 0.034303 정확도: 98.67% 20 검증 세트 손실: 0.056650 최선의 손실: 0.034303 정확도: 98.71% 21 검증 세트 손실: 0.038001 최선의 손실: 0.034303 정확도: 99.10% 22 검증 세트 손실: 0.064812 최선의 손실: 0.034303 정확도: 98.67% 23 검증 세트 손실: 0.053609 최선의 손실: 0.034303 정확도: 99.06% 24 검증 세트 손실: 0.071144 최선의 손실: 0.034303 정확도: 98.75% 25 검증 세트 손실: 0.044123 최선의 손실: 0.034303 정확도: 98.98% 26 검증 세트 손실: 0.052408 최선의 손실: 0.034303 정확도: 98.59% 27 검증 세트 손실: 0.031435 최선의 손실: 0.031435 정확도: 99.26% 28 검증 세트 손실: 0.042197 최선의 손실: 0.031435 정확도: 99.02% 29 검증 세트 손실: 0.037366 최선의 손실: 0.031435 정확도: 99.22% 30 검증 세트 손실: 0.043012 최선의 손실: 0.031435 정확도: 99.10% 31 검증 세트 손실: 0.059582 최선의 손실: 0.031435 정확도: 98.83% 32 검증 세트 손실: 0.044389 최선의 손실: 0.031435 정확도: 98.91% 33 검증 세트 손실: 0.069978 최선의 손실: 0.031435 정확도: 98.75% 34 검증 세트 손실: 0.054611 최선의 손실: 0.031435 정확도: 98.91% 35 검증 세트 손실: 0.043577 최선의 손실: 0.031435 정확도: 99.26% 36 검증 세트 손실: 0.049443 최선의 손실: 0.031435 정확도: 99.06% 37 검증 세트 손실: 0.033359 최선의 손실: 0.031435 정확도: 99.26% 38 검증 세트 손실: 0.040323 최선의 손실: 0.031435 정확도: 99.02% 39 검증 세트 손실: 0.034193 최선의 손실: 0.031435 정확도: 99.18% 40 검증 세트 손실: 0.034348 최선의 손실: 0.031435 정확도: 99.22% 41 검증 세트 손실: 0.049178 최선의 손실: 0.031435 정확도: 99.14% 42 검증 세트 손실: 0.044832 최선의 손실: 0.031435 정확도: 99.14% 43 검증 세트 손실: 0.044374 최선의 손실: 0.031435 정확도: 99.10% 44 검증 세트 손실: 0.066005 최선의 손실: 0.031435 정확도: 98.71% 45 검증 세트 손실: 0.037330 최선의 손실: 0.031435 정확도: 99.26% 46 검증 세트 손실: 0.067141 최선의 손실: 0.031435 정확도: 98.91% 47 검증 세트 손실: 0.054104 최선의 손실: 0.031435 정확도: 98.94% 48 검증 세트 손실: 0.042078 최선의 손실: 0.031435 정확도: 99.30% 조기 종료! [CV] n_neurons=100, learning_rate=0.02, batch_size=50, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 49.0s [CV] n_neurons=100, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 0 검증 세트 손실: 0.075491 최선의 손실: 0.075491 정확도: 97.85% 1 검증 세트 손실: 0.068393 최선의 손실: 0.068393 정확도: 98.20% 2 검증 세트 손실: 0.044805 최선의 손실: 0.044805 정확도: 98.63% 3 검증 세트 손실: 0.040807 최선의 손실: 0.040807 정확도: 98.79% 4 검증 세트 손실: 0.041718 최선의 손실: 0.040807 정확도: 98.67% 5 검증 세트 손실: 0.030649 최선의 손실: 0.030649 정확도: 99.06% 6 검증 세트 손실: 0.046081 최선의 손실: 0.030649 정확도: 98.67% 7 검증 세트 손실: 0.053235 최선의 손실: 0.030649 정확도: 98.67% 8 검증 세트 손실: 0.042768 최선의 손실: 0.030649 정확도: 98.83% 9 검증 세트 손실: 0.039862 최선의 손실: 0.030649 정확도: 98.87% 10 검증 세트 손실: 0.034784 최선의 손실: 0.030649 정확도: 98.94% 11 검증 세트 손실: 0.035766 최선의 손실: 0.030649 정확도: 98.87% 12 검증 세트 손실: 0.036663 최선의 손실: 0.030649 정확도: 98.98% 13 검증 세트 손실: 0.043309 최선의 손실: 0.030649 정확도: 99.02% 14 검증 세트 손실: 0.033974 최선의 손실: 0.030649 정확도: 98.91% 15 검증 세트 손실: 0.043730 최선의 손실: 0.030649 정확도: 98.91% 16 검증 세트 손실: 0.032689 최선의 손실: 0.030649 정확도: 99.26% 17 검증 세트 손실: 0.043658 최선의 손실: 0.030649 정확도: 98.94% 18 검증 세트 손실: 0.036702 최선의 손실: 0.030649 정확도: 99.14% 19 검증 세트 손실: 0.040522 최선의 손실: 0.030649 정확도: 99.10% 20 검증 세트 손실: 0.048211 최선의 손실: 0.030649 정확도: 99.10% 21 검증 세트 손실: 0.041970 최선의 손실: 0.030649 정확도: 99.02% 22 검증 세트 손실: 0.036923 최선의 손실: 0.030649 정확도: 99.14% 23 검증 세트 손실: 0.037089 최선의 손실: 0.030649 정확도: 99.22% 24 검증 세트 손실: 0.033773 최선의 손실: 0.030649 정확도: 99.18% 25 검증 세트 손실: 0.040249 최선의 손실: 0.030649 정확도: 99.06% 26 검증 세트 손실: 0.038816 최선의 손실: 0.030649 정확도: 99.14% 조기 종료! [CV] n_neurons=100, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 19.3s [CV] n_neurons=100, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 0 검증 세트 손실: 0.081612 최선의 손실: 0.081612 정확도: 97.54% 1 검증 세트 손실: 0.045716 최선의 손실: 0.045716 정확도: 98.59% 2 검증 세트 손실: 0.044103 최선의 손실: 0.044103 정확도: 98.51% 3 검증 세트 손실: 0.046870 최선의 손실: 0.044103 정확도: 98.55% 4 검증 세트 손실: 0.044690 최선의 손실: 0.044103 정확도: 98.59% 5 검증 세트 손실: 0.038618 최선의 손실: 0.038618 정확도: 98.63% 6 검증 세트 손실: 0.062088 최선의 손실: 0.038618 정확도: 98.40% 7 검증 세트 손실: 0.046381 최선의 손실: 0.038618 정확도: 98.71% 8 검증 세트 손실: 0.039060 최선의 손실: 0.038618 정확도: 98.91% 9 검증 세트 손실: 0.053182 최선의 손실: 0.038618 정확도: 98.63% 10 검증 세트 손실: 0.047961 최선의 손실: 0.038618 정확도: 98.83% 11 검증 세트 손실: 0.045919 최선의 손실: 0.038618 정확도: 98.71% 12 검증 세트 손실: 0.053143 최선의 손실: 0.038618 정확도: 98.51% 13 검증 세트 손실: 0.039142 최선의 손실: 0.038618 정확도: 98.87% 14 검증 세트 손실: 0.043774 최선의 손실: 0.038618 정확도: 98.94% 15 검증 세트 손실: 0.049380 최선의 손실: 0.038618 정확도: 98.91% 16 검증 세트 손실: 0.056472 최선의 손실: 0.038618 정확도: 98.87% 17 검증 세트 손실: 0.045089 최선의 손실: 0.038618 정확도: 98.94% 18 검증 세트 손실: 0.041171 최선의 손실: 0.038618 정확도: 99.02% 19 검증 세트 손실: 0.044702 최선의 손실: 0.038618 정확도: 98.98% 20 검증 세트 손실: 0.044970 최선의 손실: 0.038618 정확도: 98.87% 21 검증 세트 손실: 0.038338 최선의 손실: 0.038338 정확도: 99.02% 22 검증 세트 손실: 0.056080 최선의 손실: 0.038338 정확도: 98.83% 23 검증 세트 손실: 0.062585 최선의 손실: 0.038338 정확도: 98.75% 24 검증 세트 손실: 0.044380 최선의 손실: 0.038338 정확도: 99.02% 25 검증 세트 손실: 0.063542 최선의 손실: 0.038338 정확도: 98.79% 26 검증 세트 손실: 0.049656 최선의 손실: 0.038338 정확도: 98.94% 27 검증 세트 손실: 0.064249 최선의 손실: 0.038338 정확도: 98.83% 28 검증 세트 손실: 0.071744 최선의 손실: 0.038338 정확도: 98.87% 29 검증 세트 손실: 0.054265 최선의 손실: 0.038338 정확도: 99.02% 30 검증 세트 손실: 0.059769 최선의 손실: 0.038338 정확도: 98.71% 31 검증 세트 손실: 0.062473 최선의 손실: 0.038338 정확도: 98.75% 32 검증 세트 손실: 0.059700 최선의 손실: 0.038338 정확도: 99.02% 33 검증 세트 손실: 0.070211 최선의 손실: 0.038338 정확도: 98.79% 34 검증 세트 손실: 0.056823 최선의 손실: 0.038338 정확도: 98.98% 35 검증 세트 손실: 0.060896 최선의 손실: 0.038338 정확도: 98.87% 36 검증 세트 손실: 0.052177 최선의 손실: 0.038338 정확도: 98.75% 37 검증 세트 손실: 0.051464 최선의 손실: 0.038338 정확도: 98.91% 38 검증 세트 손실: 0.053396 최선의 손실: 0.038338 정확도: 98.87% 39 검증 세트 손실: 0.047279 최선의 손실: 0.038338 정확도: 98.98% 40 검증 세트 손실: 0.054517 최선의 손실: 0.038338 정확도: 99.10% 41 검증 세트 손실: 0.045629 최선의 손실: 0.038338 정확도: 98.98% 42 검증 세트 손실: 0.051702 최선의 손실: 0.038338 정확도: 99.02% 조기 종료! [CV] n_neurons=100, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 29.9s [CV] n_neurons=100, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 0 검증 세트 손실: 0.061196 최선의 손실: 0.061196 정확도: 98.20% 1 검증 세트 손실: 0.062150 최선의 손실: 0.061196 정확도: 98.08% 2 검증 세트 손실: 0.046554 최선의 손실: 0.046554 정확도: 98.32% 3 검증 세트 손실: 0.050200 최선의 손실: 0.046554 정확도: 98.32% 4 검증 세트 손실: 0.038133 최선의 손실: 0.038133 정확도: 98.51% 5 검증 세트 손실: 0.032050 최선의 손실: 0.032050 정확도: 98.87% 6 검증 세트 손실: 0.040779 최선의 손실: 0.032050 정확도: 98.87% 7 검증 세트 손실: 0.046538 최선의 손실: 0.032050 정확도: 98.71% 8 검증 세트 손실: 0.041340 최선의 손실: 0.032050 정확도: 98.87% 9 검증 세트 손실: 0.040119 최선의 손실: 0.032050 정확도: 98.91% 10 검증 세트 손실: 0.039465 최선의 손실: 0.032050 정확도: 98.94% 11 검증 세트 손실: 0.031864 최선의 손실: 0.031864 정확도: 99.10% 12 검증 세트 손실: 0.033944 최선의 손실: 0.031864 정확도: 99.14% 13 검증 세트 손실: 0.036519 최선의 손실: 0.031864 정확도: 98.98% 14 검증 세트 손실: 0.035934 최선의 손실: 0.031864 정확도: 99.06% 15 검증 세트 손실: 0.039248 최선의 손실: 0.031864 정확도: 98.94% 16 검증 세트 손실: 0.041531 최선의 손실: 0.031864 정확도: 98.91% 17 검증 세트 손실: 0.037235 최선의 손실: 0.031864 정확도: 98.98% 18 검증 세트 손실: 0.035805 최선의 손실: 0.031864 정확도: 98.98% 19 검증 세트 손실: 0.037050 최선의 손실: 0.031864 정확도: 98.98% 20 검증 세트 손실: 0.049961 최선의 손실: 0.031864 정확도: 98.48% 21 검증 세트 손실: 0.027104 최선의 손실: 0.027104 정확도: 99.14% 22 검증 세트 손실: 0.038971 최선의 손실: 0.027104 정확도: 98.98% 23 검증 세트 손실: 0.027453 최선의 손실: 0.027104 정확도: 99.30% 24 검증 세트 손실: 0.047679 최선의 손실: 0.027104 정확도: 99.14% 25 검증 세트 손실: 0.038931 최선의 손실: 0.027104 정확도: 99.14% 26 검증 세트 손실: 0.041281 최선의 손실: 0.027104 정확도: 99.26% 27 검증 세트 손실: 0.051883 최선의 손실: 0.027104 정확도: 98.91% 28 검증 세트 손실: 0.034985 최선의 손실: 0.027104 정확도: 99.34% 29 검증 세트 손실: 0.036515 최선의 손실: 0.027104 정확도: 99.14% 30 검증 세트 손실: 0.035565 최선의 손실: 0.027104 정확도: 99.22% 31 검증 세트 손실: 0.049567 최선의 손실: 0.027104 정확도: 99.10% 32 검증 세트 손실: 0.043402 최선의 손실: 0.027104 정확도: 99.06% 33 검증 세트 손실: 0.041818 최선의 손실: 0.027104 정확도: 99.06% 34 검증 세트 손실: 0.038107 최선의 손실: 0.027104 정확도: 99.26% 35 검증 세트 손실: 0.040006 최선의 손실: 0.027104 정확도: 99.06% 36 검증 세트 손실: 0.037485 최선의 손실: 0.027104 정확도: 99.10% 37 검증 세트 손실: 0.043721 최선의 손실: 0.027104 정확도: 99.02% 38 검증 세트 손실: 0.041980 최선의 손실: 0.027104 정확도: 99.14% 39 검증 세트 손실: 0.035519 최선의 손실: 0.027104 정확도: 99.22% 40 검증 세트 손실: 0.048534 최선의 손실: 0.027104 정확도: 98.71% 41 검증 세트 손실: 0.040161 최선의 손실: 0.027104 정확도: 99.30% 42 검증 세트 손실: 0.032246 최선의 손실: 0.027104 정확도: 99.14% 조기 종료! [CV] n_neurons=100, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 29.8s [CV] n_neurons=90, learning_rate=0.05, batch_size=500, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 0 검증 세트 손실: 2.478998 최선의 손실: 2.478998 정확도: 94.53% 1 검증 세트 손실: 0.458788 최선의 손실: 0.458788 정확도: 95.15% 2 검증 세트 손실: 0.140459 최선의 손실: 0.140459 정확도: 97.73% 3 검증 세트 손실: 0.120113 최선의 손실: 0.120113 정확도: 97.50% 4 검증 세트 손실: 0.089016 최선의 손실: 0.089016 정확도: 98.55% 5 검증 세트 손실: 0.173259 최선의 손실: 0.089016 정확도: 97.03% 6 검증 세트 손실: 0.096427 최선의 손실: 0.089016 정확도: 98.01% 7 검증 세트 손실: 0.072181 최선의 손실: 0.072181 정확도: 98.59% 8 검증 세트 손실: 0.062597 최선의 손실: 0.062597 정확도: 98.63% 9 검증 세트 손실: 0.082563 최선의 손실: 0.062597 정확도: 98.63% 10 검증 세트 손실: 0.066648 최선의 손실: 0.062597 정확도: 98.55% 11 검증 세트 손실: 0.056970 최선의 손실: 0.056970 정확도: 98.75% 12 검증 세트 손실: 0.064460 최선의 손실: 0.056970 정확도: 98.87% 13 검증 세트 손실: 0.055867 최선의 손실: 0.055867 정확도: 98.75% 14 검증 세트 손실: 0.104118 최선의 손실: 0.055867 정확도: 97.97% 15 검증 세트 손실: 0.100488 최선의 손실: 0.055867 정확도: 98.01% 16 검증 세트 손실: 0.060207 최선의 손실: 0.055867 정확도: 98.83% 17 검증 세트 손실: 0.054104 최선의 손실: 0.054104 정확도: 98.87% 18 검증 세트 손실: 0.064933 최선의 손실: 0.054104 정확도: 98.75% 19 검증 세트 손실: 0.048565 최선의 손실: 0.048565 정확도: 99.02% 20 검증 세트 손실: 0.062065 최선의 손실: 0.048565 정확도: 98.75% 21 검증 세트 손실: 0.067455 최선의 손실: 0.048565 정확도: 98.79% 22 검증 세트 손실: 0.086593 최선의 손실: 0.048565 정확도: 98.51% 23 검증 세트 손실: 0.087194 최선의 손실: 0.048565 정확도: 98.71% 24 검증 세트 손실: 0.087956 최선의 손실: 0.048565 정확도: 98.51% 25 검증 세트 손실: 0.075433 최선의 손실: 0.048565 정확도: 98.67% 26 검증 세트 손실: 0.071082 최선의 손실: 0.048565 정확도: 98.91% 27 검증 세트 손실: 0.057649 최선의 손실: 0.048565 정확도: 98.83% 28 검증 세트 손실: 0.068848 최선의 손실: 0.048565 정확도: 98.55% 29 검증 세트 손실: 0.057169 최선의 손실: 0.048565 정확도: 98.79% 30 검증 세트 손실: 0.091134 최선의 손실: 0.048565 정확도: 98.55% 31 검증 세트 손실: 0.080886 최선의 손실: 0.048565 정확도: 98.67% 32 검증 세트 손실: 0.108150 최선의 손실: 0.048565 정확도: 98.32% 33 검증 세트 손실: 0.084943 최선의 손실: 0.048565 정확도: 98.51% 34 검증 세트 손실: 0.094366 최선의 손실: 0.048565 정확도: 98.32% 35 검증 세트 손실: 0.063626 최선의 손실: 0.048565 정확도: 98.79% 36 검증 세트 손실: 0.064163 최선의 손실: 0.048565 정확도: 98.79% 37 검증 세트 손실: 0.130550 최선의 손실: 0.048565 정확도: 98.48% 38 검증 세트 손실: 0.091143 최선의 손실: 0.048565 정확도: 98.32% 39 검증 세트 손실: 0.053978 최선의 손실: 0.048565 정확도: 98.94% 40 검증 세트 손실: 0.063374 최선의 손실: 0.048565 정확도: 98.83% 조기 종료! [CV] n_neurons=90, learning_rate=0.05, batch_size=500, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 14.9s [CV] n_neurons=90, learning_rate=0.05, batch_size=500, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 0 검증 세트 손실: 3.864653 최선의 손실: 3.864653 정확도: 86.28% 1 검증 세트 손실: 0.264261 최선의 손실: 0.264261 정확도: 97.22% 2 검증 세트 손실: 0.173995 최선의 손실: 0.173995 정확도: 97.26% 3 검증 세트 손실: 0.071280 최선의 손실: 0.071280 정확도: 98.28% 4 검증 세트 손실: 0.092237 최선의 손실: 0.071280 정확도: 97.85% 5 검증 세트 손실: 0.129167 최선의 손실: 0.071280 정확도: 96.99% 6 검증 세트 손실: 0.070267 최선의 손실: 0.070267 정확도: 98.08% 7 검증 세트 손실: 0.086551 최선의 손실: 0.070267 정확도: 98.20% 8 검증 세트 손실: 0.096464 최선의 손실: 0.070267 정확도: 98.08% 9 검증 세트 손실: 0.065975 최선의 손실: 0.065975 정확도: 98.83% 10 검증 세트 손실: 0.091872 최선의 손실: 0.065975 정확도: 98.48% 11 검증 세트 손실: 0.069650 최선의 손실: 0.065975 정확도: 98.40% 12 검증 세트 손실: 0.060875 최선의 손실: 0.060875 정확도: 98.55% 13 검증 세트 손실: 0.056098 최선의 손실: 0.056098 정확도: 98.67% 14 검증 세트 손실: 0.087803 최선의 손실: 0.056098 정확도: 98.59% 15 검증 세트 손실: 0.077933 최선의 손실: 0.056098 정확도: 98.63% 16 검증 세트 손실: 0.058565 최선의 손실: 0.056098 정확도: 98.87% 17 검증 세트 손실: 0.060645 최선의 손실: 0.056098 정확도: 98.98% 18 검증 세트 손실: 0.073854 최선의 손실: 0.056098 정확도: 98.75% 19 검증 세트 손실: 0.088291 최선의 손실: 0.056098 정확도: 98.44% 20 검증 세트 손실: 0.078110 최선의 손실: 0.056098 정확도: 98.67% 21 검증 세트 손실: 0.074371 최선의 손실: 0.056098 정확도: 98.36% 22 검증 세트 손실: 0.075018 최선의 손실: 0.056098 정확도: 98.51% 23 검증 세트 손실: 0.056407 최선의 손실: 0.056098 정확도: 98.91% 24 검증 세트 손실: 0.063468 최선의 손실: 0.056098 정확도: 98.79% 25 검증 세트 손실: 0.116141 최선의 손실: 0.056098 정확도: 98.12% 26 검증 세트 손실: 0.058222 최선의 손실: 0.056098 정확도: 98.91% 27 검증 세트 손실: 0.069426 최선의 손실: 0.056098 정확도: 98.83% 28 검증 세트 손실: 0.097741 최선의 손실: 0.056098 정확도: 98.59% 29 검증 세트 손실: 0.073053 최선의 손실: 0.056098 정확도: 98.63% 30 검증 세트 손실: 0.065958 최선의 손실: 0.056098 정확도: 98.79% 31 검증 세트 손실: 0.074085 최선의 손실: 0.056098 정확도: 98.67% 32 검증 세트 손실: 0.077389 최선의 손실: 0.056098 정확도: 98.67% 33 검증 세트 손실: 0.082879 최선의 손실: 0.056098 정확도: 98.63% 34 검증 세트 손실: 0.084573 최선의 손실: 0.056098 정확도: 98.75% 조기 종료! [CV] n_neurons=90, learning_rate=0.05, batch_size=500, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 12.9s [CV] n_neurons=90, learning_rate=0.05, batch_size=500, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 0 검증 세트 손실: 1.545305 최선의 손실: 1.545305 정확도: 93.16% 1 검증 세트 손실: 0.282418 최선의 손실: 0.282418 정확도: 97.15% 2 검증 세트 손실: 0.106239 최선의 손실: 0.106239 정확도: 98.16% 3 검증 세트 손실: 0.078249 최선의 손실: 0.078249 정확도: 98.44% 4 검증 세트 손실: 0.106543 최선의 손실: 0.078249 정확도: 97.77% 5 검증 세트 손실: 0.096182 최선의 손실: 0.078249 정확도: 98.36% 6 검증 세트 손실: 0.085939 최선의 손실: 0.078249 정확도: 98.08% 7 검증 세트 손실: 0.061860 최선의 손실: 0.061860 정확도: 98.44% 8 검증 세트 손실: 0.059406 최선의 손실: 0.059406 정확도: 98.83% 9 검증 세트 손실: 0.044102 최선의 손실: 0.044102 정확도: 98.98% 10 검증 세트 손실: 0.071046 최선의 손실: 0.044102 정확도: 98.63% 11 검증 세트 손실: 0.114026 최선의 손실: 0.044102 정확도: 97.89% 12 검증 세트 손실: 0.069768 최선의 손실: 0.044102 정확도: 98.71% 13 검증 세트 손실: 0.070695 최선의 손실: 0.044102 정확도: 98.51% 14 검증 세트 손실: 0.079249 최선의 손실: 0.044102 정확도: 98.51% 15 검증 세트 손실: 0.076373 최선의 손실: 0.044102 정확도: 98.59% 16 검증 세트 손실: 0.071651 최선의 손실: 0.044102 정확도: 98.67% 17 검증 세트 손실: 0.063991 최선의 손실: 0.044102 정확도: 98.75% 18 검증 세트 손실: 0.074036 최선의 손실: 0.044102 정확도: 98.71% 19 검증 세트 손실: 0.055675 최선의 손실: 0.044102 정확도: 98.94% 20 검증 세트 손실: 0.057518 최선의 손실: 0.044102 정확도: 98.91% 21 검증 세트 손실: 0.071406 최선의 손실: 0.044102 정확도: 98.51% 22 검증 세트 손실: 0.067844 최선의 손실: 0.044102 정확도: 98.79% 23 검증 세트 손실: 0.053762 최선의 손실: 0.044102 정확도: 99.02% 24 검증 세트 손실: 0.071873 최선의 손실: 0.044102 정확도: 98.55% 25 검증 세트 손실: 0.081753 최선의 손실: 0.044102 정확도: 98.44% 26 검증 세트 손실: 0.057524 최선의 손실: 0.044102 정확도: 99.02% 27 검증 세트 손실: 0.065538 최선의 손실: 0.044102 정확도: 98.79% 28 검증 세트 손실: 0.050495 최선의 손실: 0.044102 정확도: 98.87% 29 검증 세트 손실: 0.040231 최선의 손실: 0.040231 정확도: 99.06% 30 검증 세트 손실: 0.050914 최선의 손실: 0.040231 정확도: 98.94% 31 검증 세트 손실: 0.077501 최선의 손실: 0.040231 정확도: 98.63% 32 검증 세트 손실: 0.064035 최선의 손실: 0.040231 정확도: 98.98% 33 검증 세트 손실: 0.089943 최선의 손실: 0.040231 정확도: 98.28% 34 검증 세트 손실: 0.057293 최선의 손실: 0.040231 정확도: 98.94% 35 검증 세트 손실: 0.055064 최선의 손실: 0.040231 정확도: 98.98% 36 검증 세트 손실: 0.045044 최선의 손실: 0.040231 정확도: 98.94% 37 검증 세트 손실: 0.059708 최선의 손실: 0.040231 정확도: 98.91% 38 검증 세트 손실: 0.084063 최선의 손실: 0.040231 정확도: 98.59% 39 검증 세트 손실: 0.051146 최선의 손실: 0.040231 정확도: 99.10% 40 검증 세트 손실: 0.058476 최선의 손실: 0.040231 정확도: 98.87% 41 검증 세트 손실: 0.062926 최선의 손실: 0.040231 정확도: 98.75% 42 검증 세트 손실: 0.060139 최선의 손실: 0.040231 정확도: 98.94% 43 검증 세트 손실: 0.055237 최선의 손실: 0.040231 정확도: 99.06% 44 검증 세트 손실: 0.053879 최선의 손실: 0.040231 정확도: 98.98% 45 검증 세트 손실: 0.065132 최선의 손실: 0.040231 정확도: 99.10% 46 검증 세트 손실: 0.051844 최선의 손실: 0.040231 정확도: 99.14% 47 검증 세트 손실: 0.054467 최선의 손실: 0.040231 정확도: 98.71% 48 검증 세트 손실: 0.071239 최선의 손실: 0.040231 정확도: 99.06% 49 검증 세트 손실: 0.072217 최선의 손실: 0.040231 정확도: 99.06% 50 검증 세트 손실: 0.072872 최선의 손실: 0.040231 정확도: 98.83% 조기 종료! [CV] n_neurons=90, learning_rate=0.05, batch_size=500, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 18.1s [CV] n_neurons=50, learning_rate=0.01, batch_size=10, batch_norm_momentum=0.98, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.100603 최선의 손실: 0.100603 정확도: 97.26% 1 검증 세트 손실: 0.095987 최선의 손실: 0.095987 정확도: 96.87% 2 검증 세트 손실: 0.061204 최선의 손실: 0.061204 정확도: 98.28% 3 검증 세트 손실: 0.070166 최선의 손실: 0.061204 정확도: 97.65% 4 검증 세트 손실: 0.057627 최선의 손실: 0.057627 정확도: 98.36% 5 검증 세트 손실: 0.071396 최선의 손실: 0.057627 정확도: 97.69% 6 검증 세트 손실: 0.056442 최선의 손실: 0.056442 정확도: 98.55% 7 검증 세트 손실: 0.043360 최선의 손실: 0.043360 정확도: 98.55% 8 검증 세트 손실: 0.045068 최선의 손실: 0.043360 정확도: 98.59% 9 검증 세트 손실: 0.058310 최선의 손실: 0.043360 정확도: 98.28% 10 검증 세트 손실: 0.058694 최선의 손실: 0.043360 정확도: 98.08% 11 검증 세트 손실: 0.037737 최선의 손실: 0.037737 정확도: 98.75% 12 검증 세트 손실: 0.044625 최선의 손실: 0.037737 정확도: 98.51% 13 검증 세트 손실: 0.044334 최선의 손실: 0.037737 정확도: 98.75% 14 검증 세트 손실: 0.045598 최선의 손실: 0.037737 정확도: 98.75% 15 검증 세트 손실: 0.044164 최선의 손실: 0.037737 정확도: 98.75% 16 검증 세트 손실: 0.044774 최선의 손실: 0.037737 정확도: 98.71% 17 검증 세트 손실: 0.040375 최선의 손실: 0.037737 정확도: 98.94% 18 검증 세트 손실: 0.040069 최선의 손실: 0.037737 정확도: 98.71% 19 검증 세트 손실: 0.045493 최선의 손실: 0.037737 정확도: 98.51% 20 검증 세트 손실: 0.044257 최선의 손실: 0.037737 정확도: 98.55% 21 검증 세트 손실: 0.045531 최선의 손실: 0.037737 정확도: 98.63% 22 검증 세트 손실: 0.043908 최선의 손실: 0.037737 정확도: 98.63% 23 검증 세트 손실: 0.047887 최선의 손실: 0.037737 정확도: 98.67% 24 검증 세트 손실: 0.043792 최선의 손실: 0.037737 정확도: 98.67% 25 검증 세트 손실: 0.037507 최선의 손실: 0.037507 정확도: 98.83% 26 검증 세트 손실: 0.045902 최선의 손실: 0.037507 정확도: 98.75% 27 검증 세트 손실: 0.048083 최선의 손실: 0.037507 정확도: 98.55% 28 검증 세트 손실: 0.049194 최선의 손실: 0.037507 정확도: 98.51% 29 검증 세트 손실: 0.052442 최선의 손실: 0.037507 정확도: 98.75% 30 검증 세트 손실: 0.047821 최선의 손실: 0.037507 정확도: 98.71% 31 검증 세트 손실: 0.040178 최선의 손실: 0.037507 정확도: 98.94% 32 검증 세트 손실: 0.047428 최선의 손실: 0.037507 정확도: 98.79% 33 검증 세트 손실: 0.046033 최선의 손실: 0.037507 정확도: 98.71% 34 검증 세트 손실: 0.043453 최선의 손실: 0.037507 정확도: 98.91% 35 검증 세트 손실: 0.048953 최선의 손실: 0.037507 정확도: 98.59% 36 검증 세트 손실: 0.046497 최선의 손실: 0.037507 정확도: 98.83% 37 검증 세트 손실: 0.050526 최선의 손실: 0.037507 정확도: 98.51% 38 검증 세트 손실: 0.059607 최선의 손실: 0.037507 정확도: 98.48% 39 검증 세트 손실: 0.039519 최선의 손실: 0.037507 정확도: 99.06% 40 검증 세트 손실: 0.040046 최선의 손실: 0.037507 정확도: 98.91% 41 검증 세트 손실: 0.045818 최선의 손실: 0.037507 정확도: 98.63% 42 검증 세트 손실: 0.052572 최선의 손실: 0.037507 정확도: 98.44% 43 검증 세트 손실: 0.049188 최선의 손실: 0.037507 정확도: 98.91% 44 검증 세트 손실: 0.039469 최선의 손실: 0.037507 정확도: 98.87% 45 검증 세트 손실: 0.044195 최선의 손실: 0.037507 정확도: 98.91% 46 검증 세트 손실: 0.048622 최선의 손실: 0.037507 정확도: 98.63% 조기 종료! [CV] n_neurons=50, learning_rate=0.01, batch_size=10, batch_norm_momentum=0.98, activation=<function elu at 0x7f8ec4ceef28>, total= 2.0min [CV] n_neurons=50, learning_rate=0.01, batch_size=10, batch_norm_momentum=0.98, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.121895 최선의 손실: 0.121895 정확도: 96.29% 1 검증 세트 손실: 0.092253 최선의 손실: 0.092253 정확도: 97.15% 2 검증 세트 손실: 0.088004 최선의 손실: 0.088004 정확도: 97.07% 3 검증 세트 손실: 0.060347 최선의 손실: 0.060347 정확도: 98.16% 4 검증 세트 손실: 0.057473 최선의 손실: 0.057473 정확도: 97.93% 5 검증 세트 손실: 0.059368 최선의 손실: 0.057473 정확도: 97.85% 6 검증 세트 손실: 0.046952 최선의 손실: 0.046952 정확도: 98.32% 7 검증 세트 손실: 0.039276 최선의 손실: 0.039276 정확도: 98.63% 8 검증 세트 손실: 0.047805 최선의 손실: 0.039276 정확도: 98.55% 9 검증 세트 손실: 0.052766 최선의 손실: 0.039276 정확도: 98.40% 10 검증 세트 손실: 0.063021 최선의 손실: 0.039276 정확도: 97.93% 11 검증 세트 손실: 0.042493 최선의 손실: 0.039276 정확도: 98.40% 12 검증 세트 손실: 0.045186 최선의 손실: 0.039276 정확도: 98.48% 13 검증 세트 손실: 0.046415 최선의 손실: 0.039276 정확도: 98.59% 14 검증 세트 손실: 0.043055 최선의 손실: 0.039276 정확도: 98.55% 15 검증 세트 손실: 0.049050 최선의 손실: 0.039276 정확도: 98.32% 16 검증 세트 손실: 0.043508 최선의 손실: 0.039276 정확도: 98.63% 17 검증 세트 손실: 0.043853 최선의 손실: 0.039276 정확도: 98.67% 18 검증 세트 손실: 0.044556 최선의 손실: 0.039276 정확도: 98.51% 19 검증 세트 손실: 0.038379 최선의 손실: 0.038379 정확도: 98.75% 20 검증 세트 손실: 0.039012 최선의 손실: 0.038379 정확도: 98.83% 21 검증 세트 손실: 0.045854 최선의 손실: 0.038379 정확도: 98.79% 22 검증 세트 손실: 0.041372 최선의 손실: 0.038379 정확도: 98.63% 23 검증 세트 손실: 0.044562 최선의 손실: 0.038379 정확도: 98.79% 24 검증 세트 손실: 0.030980 최선의 손실: 0.030980 정확도: 98.83% 25 검증 세트 손실: 0.031959 최선의 손실: 0.030980 정확도: 98.98% 26 검증 세트 손실: 0.043089 최선의 손실: 0.030980 정확도: 98.67% 27 검증 세트 손실: 0.041988 최선의 손실: 0.030980 정확도: 98.63% 28 검증 세트 손실: 0.029320 최선의 손실: 0.029320 정확도: 99.14% 29 검증 세트 손실: 0.050636 최선의 손실: 0.029320 정확도: 98.71% 30 검증 세트 손실: 0.045775 최선의 손실: 0.029320 정확도: 98.98% 31 검증 세트 손실: 0.041300 최선의 손실: 0.029320 정확도: 98.71% 32 검증 세트 손실: 0.027898 최선의 손실: 0.027898 정확도: 99.26% 33 검증 세트 손실: 0.033033 최선의 손실: 0.027898 정확도: 98.98% 34 검증 세트 손실: 0.062622 최선의 손실: 0.027898 정확도: 98.71% 35 검증 세트 손실: 0.037295 최선의 손실: 0.027898 정확도: 98.87% 36 검증 세트 손실: 0.041117 최선의 손실: 0.027898 정확도: 98.94% 37 검증 세트 손실: 0.050021 최선의 손실: 0.027898 정확도: 98.48% 38 검증 세트 손실: 0.034783 최선의 손실: 0.027898 정확도: 98.87% 39 검증 세트 손실: 0.034003 최선의 손실: 0.027898 정확도: 99.06% 40 검증 세트 손실: 0.042847 최선의 손실: 0.027898 정확도: 98.71% 41 검증 세트 손실: 0.034893 최선의 손실: 0.027898 정확도: 99.02% 42 검증 세트 손실: 0.036109 최선의 손실: 0.027898 정확도: 98.75% 43 검증 세트 손실: 0.035995 최선의 손실: 0.027898 정확도: 98.87% 44 검증 세트 손실: 0.046147 최선의 손실: 0.027898 정확도: 98.91% 45 검증 세트 손실: 0.035157 최선의 손실: 0.027898 정확도: 98.94% 46 검증 세트 손실: 0.034277 최선의 손실: 0.027898 정확도: 99.10% 47 검증 세트 손실: 0.039010 최선의 손실: 0.027898 정확도: 98.98% 48 검증 세트 손실: 0.058768 최선의 손실: 0.027898 정확도: 98.67% 49 검증 세트 손실: 0.048524 최선의 손실: 0.027898 정확도: 98.75% 50 검증 세트 손실: 0.043241 최선의 손실: 0.027898 정확도: 98.44% 51 검증 세트 손실: 0.041173 최선의 손실: 0.027898 정확도: 98.83% 52 검증 세트 손실: 0.046565 최선의 손실: 0.027898 정확도: 98.83% 53 검증 세트 손실: 0.045326 최선의 손실: 0.027898 정확도: 98.55% 조기 종료! [CV] n_neurons=50, learning_rate=0.01, batch_size=10, batch_norm_momentum=0.98, activation=<function elu at 0x7f8ec4ceef28>, total= 2.3min [CV] n_neurons=50, learning_rate=0.01, batch_size=10, batch_norm_momentum=0.98, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.100030 최선의 손실: 0.100030 정확도: 97.19% 1 검증 세트 손실: 0.070623 최선의 손실: 0.070623 정확도: 98.01% 2 검증 세트 손실: 0.064858 최선의 손실: 0.064858 정확도: 98.01% 3 검증 세트 손실: 0.058851 최선의 손실: 0.058851 정확도: 98.28% 4 검증 세트 손실: 0.047061 최선의 손실: 0.047061 정확도: 98.36% 5 검증 세트 손실: 0.058901 최선의 손실: 0.047061 정확도: 97.97% 6 검증 세트 손실: 0.077585 최선의 손실: 0.047061 정확도: 97.50% 7 검증 세트 손실: 0.040281 최선의 손실: 0.040281 정확도: 98.75% 8 검증 세트 손실: 0.037623 최선의 손실: 0.037623 정확도: 98.91% 9 검증 세트 손실: 0.040125 최선의 손실: 0.037623 정확도: 98.94% 10 검증 세트 손실: 0.035225 최선의 손실: 0.035225 정확도: 98.87% 11 검증 세트 손실: 0.043298 최선의 손실: 0.035225 정확도: 98.91% 12 검증 세트 손실: 0.042809 최선의 손실: 0.035225 정확도: 98.55% 13 검증 세트 손실: 0.041754 최선의 손실: 0.035225 정확도: 98.91% 14 검증 세트 손실: 0.045671 최선의 손실: 0.035225 정확도: 98.75% 15 검증 세트 손실: 0.036880 최선의 손실: 0.035225 정확도: 98.94% 16 검증 세트 손실: 0.030745 최선의 손실: 0.030745 정확도: 99.06% 17 검증 세트 손실: 0.039960 최선의 손실: 0.030745 정확도: 98.71% 18 검증 세트 손실: 0.033983 최선의 손실: 0.030745 정확도: 98.91% 19 검증 세트 손실: 0.041830 최선의 손실: 0.030745 정확도: 98.48% 20 검증 세트 손실: 0.033926 최선의 손실: 0.030745 정확도: 98.98% 21 검증 세트 손실: 0.029316 최선의 손실: 0.029316 정확도: 99.02% 22 검증 세트 손실: 0.032503 최선의 손실: 0.029316 정확도: 99.06% 23 검증 세트 손실: 0.035125 최선의 손실: 0.029316 정확도: 99.10% 24 검증 세트 손실: 0.038176 최선의 손실: 0.029316 정확도: 98.75% 25 검증 세트 손실: 0.039735 최선의 손실: 0.029316 정확도: 98.83% 26 검증 세트 손실: 0.039223 최선의 손실: 0.029316 정확도: 98.98% 27 검증 세트 손실: 0.032711 최선의 손실: 0.029316 정확도: 98.98% 28 검증 세트 손실: 0.033500 최선의 손실: 0.029316 정확도: 99.02% 29 검증 세트 손실: 0.041764 최선의 손실: 0.029316 정확도: 98.83% 30 검증 세트 손실: 0.046980 최선의 손실: 0.029316 정확도: 98.75% 31 검증 세트 손실: 0.041176 최선의 손실: 0.029316 정확도: 98.59% 32 검증 세트 손실: 0.033270 최선의 손실: 0.029316 정확도: 98.98% 33 검증 세트 손실: 0.037823 최선의 손실: 0.029316 정확도: 98.98% 34 검증 세트 손실: 0.032578 최선의 손실: 0.029316 정확도: 98.87% 35 검증 세트 손실: 0.037565 최선의 손실: 0.029316 정확도: 99.02% 36 검증 세트 손실: 0.042676 최선의 손실: 0.029316 정확도: 98.87% 37 검증 세트 손실: 0.036772 최선의 손실: 0.029316 정확도: 98.87% 38 검증 세트 손실: 0.043170 최선의 손실: 0.029316 정확도: 98.75% 39 검증 세트 손실: 0.034908 최선의 손실: 0.029316 정확도: 98.94% 40 검증 세트 손실: 0.036616 최선의 손실: 0.029316 정확도: 98.91% 41 검증 세트 손실: 0.040407 최선의 손실: 0.029316 정확도: 98.98% 42 검증 세트 손실: 0.034894 최선의 손실: 0.029316 정확도: 98.87% 조기 종료! [CV] n_neurons=50, learning_rate=0.01, batch_size=10, batch_norm_momentum=0.98, activation=<function elu at 0x7f8ec4ceef28>, total= 1.8min [CV] n_neurons=120, learning_rate=0.05, batch_size=10, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 0 검증 세트 손실: 0.212140 최선의 손실: 0.212140 정확도: 94.45% 1 검증 세트 손실: 0.098957 최선의 손실: 0.098957 정확도: 97.19% 2 검증 세트 손실: 0.078246 최선의 손실: 0.078246 정확도: 97.65% 3 검증 세트 손실: 0.066202 최선의 손실: 0.066202 정확도: 98.20% 4 검증 세트 손실: 0.052945 최선의 손실: 0.052945 정확도: 98.48% 5 검증 세트 손실: 0.065469 최선의 손실: 0.052945 정확도: 98.05% 6 검증 세트 손실: 0.130332 최선의 손실: 0.052945 정확도: 96.44% 7 검증 세트 손실: 0.057354 최선의 손실: 0.052945 정확도: 98.55% 8 검증 세트 손실: 0.054194 최선의 손실: 0.052945 정확도: 98.24% 9 검증 세트 손실: 0.059746 최선의 손실: 0.052945 정확도: 98.12% 10 검증 세트 손실: 0.050507 최선의 손실: 0.050507 정확도: 98.32% 11 검증 세트 손실: 0.056456 최선의 손실: 0.050507 정확도: 98.48% 12 검증 세트 손실: 0.056127 최선의 손실: 0.050507 정확도: 98.67% 13 검증 세트 손실: 0.051199 최선의 손실: 0.050507 정확도: 98.20% 14 검증 세트 손실: 0.052454 최선의 손실: 0.050507 정확도: 98.71% 15 검증 세트 손실: 0.050868 최선의 손실: 0.050507 정확도: 98.59% 16 검증 세트 손실: 0.054372 최선의 손실: 0.050507 정확도: 98.32% 17 검증 세트 손실: 0.047549 최선의 손실: 0.047549 정확도: 98.71% 18 검증 세트 손실: 0.066167 최선의 손실: 0.047549 정확도: 98.08% 19 검증 세트 손실: 0.063800 최선의 손실: 0.047549 정확도: 98.59% 20 검증 세트 손실: 0.058271 최선의 손실: 0.047549 정확도: 98.83% 21 검증 세트 손실: 0.040681 최선의 손실: 0.040681 정확도: 99.02% 22 검증 세트 손실: 0.057463 최선의 손실: 0.040681 정확도: 98.83% 23 검증 세트 손실: 0.056186 최선의 손실: 0.040681 정확도: 98.36% 24 검증 세트 손실: 0.037900 최선의 손실: 0.037900 정확도: 98.94% 25 검증 세트 손실: 0.060407 최선의 손실: 0.037900 정확도: 98.91% 26 검증 세트 손실: 0.039482 최선의 손실: 0.037900 정확도: 99.18% 27 검증 세트 손실: 0.083588 최선의 손실: 0.037900 정확도: 98.08% 28 검증 세트 손실: 0.075337 최선의 손실: 0.037900 정확도: 98.59% 29 검증 세트 손실: 0.053983 최선의 손실: 0.037900 정확도: 98.75% 30 검증 세트 손실: 0.047716 최선의 손실: 0.037900 정확도: 98.94% 31 검증 세트 손실: 0.047535 최선의 손실: 0.037900 정확도: 99.02% 32 검증 세트 손실: 0.065004 최선의 손실: 0.037900 정확도: 98.98% 33 검증 세트 손실: 0.053850 최선의 손실: 0.037900 정확도: 99.10% 34 검증 세트 손실: 0.058793 최선의 손실: 0.037900 정확도: 98.83% 35 검증 세트 손실: 0.036635 최선의 손실: 0.036635 정확도: 99.14% 36 검증 세트 손실: 0.049593 최선의 손실: 0.036635 정확도: 99.06% 37 검증 세트 손실: 0.092141 최선의 손실: 0.036635 정확도: 98.36% 38 검증 세트 손실: 0.067755 최선의 손실: 0.036635 정확도: 99.02% 39 검증 세트 손실: 0.053219 최선의 손실: 0.036635 정확도: 99.02% 40 검증 세트 손실: 0.050433 최선의 손실: 0.036635 정확도: 98.91% 41 검증 세트 손실: 0.044516 최선의 손실: 0.036635 정확도: 98.98% 42 검증 세트 손실: 0.049445 최선의 손실: 0.036635 정확도: 98.71% 43 검증 세트 손실: 0.049240 최선의 손실: 0.036635 정확도: 98.87% 44 검증 세트 손실: 0.051228 최선의 손실: 0.036635 정확도: 99.02% 45 검증 세트 손실: 0.085578 최선의 손실: 0.036635 정확도: 98.59% 46 검증 세트 손실: 0.056779 최선의 손실: 0.036635 정확도: 98.79% 47 검증 세트 손실: 0.064794 최선의 손실: 0.036635 정확도: 98.51% 48 검증 세트 손실: 0.072838 최선의 손실: 0.036635 정확도: 98.83% 49 검증 세트 손실: 0.085182 최선의 손실: 0.036635 정확도: 98.40% 50 검증 세트 손실: 0.074836 최선의 손실: 0.036635 정확도: 98.40% 51 검증 세트 손실: 0.059198 최선의 손실: 0.036635 정확도: 98.75% 52 검증 세트 손실: 0.094831 최선의 손실: 0.036635 정확도: 98.36% 53 검증 세트 손실: 0.067013 최선의 손실: 0.036635 정확도: 98.83% 54 검증 세트 손실: 0.056849 최선의 손실: 0.036635 정확도: 98.75% 55 검증 세트 손실: 0.081401 최선의 손실: 0.036635 정확도: 98.16% 56 검증 세트 손실: 0.104219 최선의 손실: 0.036635 정확도: 98.63% 조기 종료! [CV] n_neurons=120, learning_rate=0.05, batch_size=10, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 3.1min [CV] n_neurons=120, learning_rate=0.05, batch_size=10, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 0 검증 세트 손실: 0.130739 최선의 손실: 0.130739 정확도: 96.33% 1 검증 세트 손실: 0.096265 최선의 손실: 0.096265 정확도: 97.03% 2 검증 세트 손실: 0.076156 최선의 손실: 0.076156 정확도: 97.85% 3 검증 세트 손실: 0.255259 최선의 손실: 0.076156 정확도: 95.78% 4 검증 세트 손실: 0.052834 최선의 손실: 0.052834 정확도: 98.63% 5 검증 세트 손실: 0.070017 최선의 손실: 0.052834 정확도: 97.89% 6 검증 세트 손실: 0.072873 최선의 손실: 0.052834 정확도: 98.20% 7 검증 세트 손실: 0.062900 최선의 손실: 0.052834 정확도: 97.62% 8 검증 세트 손실: 0.074799 최선의 손실: 0.052834 정확도: 98.12% 9 검증 세트 손실: 0.055148 최선의 손실: 0.052834 정확도: 98.59% 10 검증 세트 손실: 0.071833 최선의 손실: 0.052834 정확도: 98.20% 11 검증 세트 손실: 0.067117 최선의 손실: 0.052834 정확도: 98.24% 12 검증 세트 손실: 0.045779 최선의 손실: 0.045779 정확도: 98.63% 13 검증 세트 손실: 0.046497 최선의 손실: 0.045779 정확도: 99.02% 14 검증 세트 손실: 0.042511 최선의 손실: 0.042511 정확도: 98.75% 15 검증 세트 손실: 0.074468 최선의 손실: 0.042511 정확도: 97.89% 16 검증 세트 손실: 0.067823 최선의 손실: 0.042511 정확도: 98.51% 17 검증 세트 손실: 0.049138 최선의 손실: 0.042511 정확도: 98.59% 18 검증 세트 손실: 0.058330 최선의 손실: 0.042511 정확도: 98.63% 19 검증 세트 손실: 0.045549 최선의 손실: 0.042511 정확도: 98.98% 20 검증 세트 손실: 0.058263 최선의 손실: 0.042511 정확도: 98.51% 21 검증 세트 손실: 0.049386 최선의 손실: 0.042511 정확도: 98.67% 22 검증 세트 손실: 0.053419 최선의 손실: 0.042511 정확도: 98.71% 23 검증 세트 손실: 0.048095 최선의 손실: 0.042511 정확도: 98.59% 24 검증 세트 손실: 0.056695 최선의 손실: 0.042511 정확도: 98.55% 25 검증 세트 손실: 0.059468 최선의 손실: 0.042511 정확도: 98.20% 26 검증 세트 손실: 0.035598 최선의 손실: 0.035598 정확도: 98.98% 27 검증 세트 손실: 0.043477 최선의 손실: 0.035598 정확도: 98.83% 28 검증 세트 손실: 0.077709 최선의 손실: 0.035598 정확도: 98.51% 29 검증 세트 손실: 0.069939 최선의 손실: 0.035598 정확도: 98.40% 30 검증 세트 손실: 0.064058 최선의 손실: 0.035598 정확도: 98.71% 31 검증 세트 손실: 0.074587 최선의 손실: 0.035598 정확도: 98.28% 32 검증 세트 손실: 0.058136 최선의 손실: 0.035598 정확도: 98.71% 33 검증 세트 손실: 0.062856 최선의 손실: 0.035598 정확도: 98.48% 34 검증 세트 손실: 0.046335 최선의 손실: 0.035598 정확도: 98.83% 35 검증 세트 손실: 0.066735 최선의 손실: 0.035598 정확도: 98.63% 36 검증 세트 손실: 0.053662 최선의 손실: 0.035598 정확도: 98.91% 37 검증 세트 손실: 0.101943 최선의 손실: 0.035598 정확도: 97.73% 38 검증 세트 손실: 0.050886 최선의 손실: 0.035598 정확도: 98.71% 39 검증 세트 손실: 0.054765 최선의 손실: 0.035598 정확도: 98.48% 40 검증 세트 손실: 0.057015 최선의 손실: 0.035598 정확도: 98.55% 41 검증 세트 손실: 0.060916 최선의 손실: 0.035598 정확도: 98.59% 42 검증 세트 손실: 0.058006 최선의 손실: 0.035598 정확도: 98.79% 43 검증 세트 손실: 0.061985 최선의 손실: 0.035598 정확도: 98.67% 44 검증 세트 손실: 0.077563 최선의 손실: 0.035598 정확도: 98.87% 45 검증 세트 손실: 0.114689 최선의 손실: 0.035598 정확도: 97.11% 46 검증 세트 손실: 0.071443 최선의 손실: 0.035598 정확도: 98.79% 47 검증 세트 손실: 0.067210 최선의 손실: 0.035598 정확도: 98.94% 조기 종료! [CV] n_neurons=120, learning_rate=0.05, batch_size=10, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 2.6min [CV] n_neurons=120, learning_rate=0.05, batch_size=10, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 0 검증 세트 손실: 0.100971 최선의 손실: 0.100971 정확도: 97.26% 1 검증 세트 손실: 0.136912 최선의 손실: 0.100971 정확도: 96.64% 2 검증 세트 손실: 0.074927 최선의 손실: 0.074927 정확도: 98.08% 3 검증 세트 손실: 0.057939 최선의 손실: 0.057939 정확도: 98.28% 4 검증 세트 손실: 0.076402 최선의 손실: 0.057939 정확도: 97.42% 5 검증 세트 손실: 0.103015 최선의 손실: 0.057939 정확도: 96.95% 6 검증 세트 손실: 0.076994 최선의 손실: 0.057939 정확도: 98.16% 7 검증 세트 손실: 0.067900 최선의 손실: 0.057939 정확도: 98.05% 8 검증 세트 손실: 0.090544 최선의 손실: 0.057939 정확도: 98.28% 9 검증 세트 손실: 0.284188 최선의 손실: 0.057939 정확도: 94.29% 10 검증 세트 손실: 0.046417 최선의 손실: 0.046417 정확도: 98.83% 11 검증 세트 손실: 0.056508 최선의 손실: 0.046417 정확도: 98.55% 12 검증 세트 손실: 0.051637 최선의 손실: 0.046417 정확도: 98.63% 13 검증 세트 손실: 0.060239 최선의 손실: 0.046417 정확도: 98.32% 14 검증 세트 손실: 0.121830 최선의 손실: 0.046417 정확도: 96.25% 15 검증 세트 손실: 0.055006 최선의 손실: 0.046417 정확도: 98.36% 16 검증 세트 손실: 0.062364 최선의 손실: 0.046417 정확도: 98.59% 17 검증 세트 손실: 0.049467 최선의 손실: 0.046417 정확도: 98.55% 18 검증 세트 손실: 0.040422 최선의 손실: 0.040422 정확도: 98.83% 19 검증 세트 손실: 0.063442 최선의 손실: 0.040422 정확도: 98.51% 20 검증 세트 손실: 0.075499 최선의 손실: 0.040422 정확도: 98.24% 21 검증 세트 손실: 0.051109 최선의 손실: 0.040422 정확도: 98.79% 22 검증 세트 손실: 0.059822 최선의 손실: 0.040422 정확도: 98.40% 23 검증 세트 손실: 0.036305 최선의 손실: 0.036305 정확도: 98.87% 24 검증 세트 손실: 0.058390 최선의 손실: 0.036305 정확도: 98.59% 25 검증 세트 손실: 0.042100 최선의 손실: 0.036305 정확도: 98.83% 26 검증 세트 손실: 0.066516 최선의 손실: 0.036305 정확도: 98.83% 27 검증 세트 손실: 0.043694 최선의 손실: 0.036305 정확도: 98.91% 28 검증 세트 손실: 0.054546 최선의 손실: 0.036305 정확도: 98.63% 29 검증 세트 손실: 0.056360 최선의 손실: 0.036305 정확도: 98.48% 30 검증 세트 손실: 0.065390 최선의 손실: 0.036305 정확도: 98.44% 31 검증 세트 손실: 0.067643 최선의 손실: 0.036305 정확도: 98.67% 32 검증 세트 손실: 0.052458 최선의 손실: 0.036305 정확도: 98.94% 33 검증 세트 손실: 0.071327 최선의 손실: 0.036305 정확도: 98.16% 34 검증 세트 손실: 0.067649 최선의 손실: 0.036305 정확도: 98.63% 35 검증 세트 손실: 0.064948 최선의 손실: 0.036305 정확도: 98.63% 36 검증 세트 손실: 0.074286 최선의 손실: 0.036305 정확도: 98.44% 37 검증 세트 손실: 0.054485 최선의 손실: 0.036305 정확도: 98.91% 38 검증 세트 손실: 0.050064 최선의 손실: 0.036305 정확도: 98.94% 39 검증 세트 손실: 0.069414 최선의 손실: 0.036305 정확도: 98.79% 40 검증 세트 손실: 0.061078 최선의 손실: 0.036305 정확도: 98.63% 41 검증 세트 손실: 0.044933 최선의 손실: 0.036305 정확도: 99.02% 42 검증 세트 손실: 0.066873 최선의 손실: 0.036305 정확도: 98.87% 43 검증 세트 손실: 0.066883 최선의 손실: 0.036305 정확도: 98.36% 44 검증 세트 손실: 0.050397 최선의 손실: 0.036305 정확도: 98.91% 조기 종료! [CV] n_neurons=120, learning_rate=0.05, batch_size=10, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 2.5min [CV] n_neurons=120, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 0 검증 세트 손실: 0.078187 최선의 손실: 0.078187 정확도: 98.16% 1 검증 세트 손실: 0.060955 최선의 손실: 0.060955 정확도: 98.36% 2 검증 세트 손실: 0.058321 최선의 손실: 0.058321 정확도: 98.55% 3 검증 세트 손실: 0.072151 최선의 손실: 0.058321 정확도: 98.12% 4 검증 세트 손실: 0.040339 최선의 손실: 0.040339 정확도: 98.91% 5 검증 세트 손실: 0.047388 최선의 손실: 0.040339 정확도: 98.79% 6 검증 세트 손실: 0.039580 최선의 손실: 0.039580 정확도: 98.94% 7 검증 세트 손실: 0.044446 최선의 손실: 0.039580 정확도: 99.02% 8 검증 세트 손실: 0.036923 최선의 손실: 0.036923 정확도: 99.06% 9 검증 세트 손실: 0.049075 최선의 손실: 0.036923 정확도: 98.67% 10 검증 세트 손실: 0.045303 최선의 손실: 0.036923 정확도: 99.02% 11 검증 세트 손실: 0.060998 최선의 손실: 0.036923 정확도: 98.83% 12 검증 세트 손실: 0.045595 최선의 손실: 0.036923 정확도: 98.98% 13 검증 세트 손실: 0.057564 최선의 손실: 0.036923 정확도: 98.75% 14 검증 세트 손실: 0.038945 최선의 손실: 0.036923 정확도: 98.91% 15 검증 세트 손실: 0.048115 최선의 손실: 0.036923 정확도: 99.18% 16 검증 세트 손실: 0.041777 최선의 손실: 0.036923 정확도: 99.10% 17 검증 세트 손실: 0.047780 최선의 손실: 0.036923 정확도: 98.79% 18 검증 세트 손실: 0.072120 최선의 손실: 0.036923 정확도: 98.24% 19 검증 세트 손실: 0.055985 최선의 손실: 0.036923 정확도: 98.87% 20 검증 세트 손실: 0.045593 최선의 손실: 0.036923 정확도: 99.14% 21 검증 세트 손실: 0.053846 최선의 손실: 0.036923 정확도: 98.79% 22 검증 세트 손실: 0.038386 최선의 손실: 0.036923 정확도: 99.06% 23 검증 세트 손실: 0.052726 최선의 손실: 0.036923 정확도: 98.79% 24 검증 세트 손실: 0.038564 최선의 손실: 0.036923 정확도: 99.06% 25 검증 세트 손실: 0.052008 최선의 손실: 0.036923 정확도: 99.02% 26 검증 세트 손실: 0.034041 최선의 손실: 0.034041 정확도: 99.26% 27 검증 세트 손실: 0.044444 최선의 손실: 0.034041 정확도: 99.22% 28 검증 세트 손실: 0.038965 최선의 손실: 0.034041 정확도: 99.10% 29 검증 세트 손실: 0.038980 최선의 손실: 0.034041 정확도: 98.91% 30 검증 세트 손실: 0.048642 최선의 손실: 0.034041 정확도: 99.06% 31 검증 세트 손실: 0.030676 최선의 손실: 0.030676 정확도: 99.30% 32 검증 세트 손실: 0.067955 최선의 손실: 0.030676 정확도: 98.75% 33 검증 세트 손실: 0.058650 최선의 손실: 0.030676 정확도: 98.79% 34 검증 세트 손실: 0.046943 최선의 손실: 0.030676 정확도: 99.02% 35 검증 세트 손실: 0.039030 최선의 손실: 0.030676 정확도: 99.18% 36 검증 세트 손실: 0.040877 최선의 손실: 0.030676 정확도: 99.26% 37 검증 세트 손실: 0.049345 최선의 손실: 0.030676 정확도: 99.06% 38 검증 세트 손실: 0.044923 최선의 손실: 0.030676 정확도: 99.06% 39 검증 세트 손실: 0.032241 최선의 손실: 0.030676 정확도: 99.10% 40 검증 세트 손실: 0.042731 최선의 손실: 0.030676 정확도: 99.22% 41 검증 세트 손실: 0.063376 최선의 손실: 0.030676 정확도: 98.79% 42 검증 세트 손실: 0.049270 최선의 손실: 0.030676 정확도: 99.22% 43 검증 세트 손실: 0.048825 최선의 손실: 0.030676 정확도: 98.94% 44 검증 세트 손실: 0.047671 최선의 손실: 0.030676 정확도: 99.02% 45 검증 세트 손실: 0.053872 최선의 손실: 0.030676 정확도: 98.83% 46 검증 세트 손실: 0.043402 최선의 손실: 0.030676 정확도: 99.10% 47 검증 세트 손실: 0.053526 최선의 손실: 0.030676 정확도: 98.94% 48 검증 세트 손실: 0.050458 최선의 손실: 0.030676 정확도: 98.94% 49 검증 세트 손실: 0.044060 최선의 손실: 0.030676 정확도: 98.87% 50 검증 세트 손실: 0.048762 최선의 손실: 0.030676 정확도: 98.98% 51 검증 세트 손실: 0.043963 최선의 손실: 0.030676 정확도: 99.14% 52 검증 세트 손실: 0.039025 최선의 손실: 0.030676 정확도: 99.34% 조기 종료! [CV] n_neurons=120, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 58.4s [CV] n_neurons=120, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 0 검증 세트 손실: 0.111888 최선의 손실: 0.111888 정확도: 96.76% 1 검증 세트 손실: 0.049706 최선의 손실: 0.049706 정확도: 98.79% 2 검증 세트 손실: 0.047537 최선의 손실: 0.047537 정확도: 98.59% 3 검증 세트 손실: 0.055002 최선의 손실: 0.047537 정확도: 98.44% 4 검증 세트 손실: 0.057803 최선의 손실: 0.047537 정확도: 98.36% 5 검증 세트 손실: 0.075896 최선의 손실: 0.047537 정확도: 97.77% 6 검증 세트 손실: 0.055984 최선의 손실: 0.047537 정확도: 98.67% 7 검증 세트 손실: 0.067534 최선의 손실: 0.047537 정확도: 98.55% 8 검증 세트 손실: 0.048776 최선의 손실: 0.047537 정확도: 98.91% 9 검증 세트 손실: 0.081232 최선의 손실: 0.047537 정확도: 97.81% 10 검증 세트 손실: 0.039141 최선의 손실: 0.039141 정확도: 98.98% 11 검증 세트 손실: 0.044540 최선의 손실: 0.039141 정확도: 98.83% 12 검증 세트 손실: 0.041863 최선의 손실: 0.039141 정확도: 99.14% 13 검증 세트 손실: 0.045043 최선의 손실: 0.039141 정확도: 98.79% 14 검증 세트 손실: 0.045412 최선의 손실: 0.039141 정확도: 98.91% 15 검증 세트 손실: 0.046455 최선의 손실: 0.039141 정확도: 98.98% 16 검증 세트 손실: 0.045159 최선의 손실: 0.039141 정확도: 98.83% 17 검증 세트 손실: 0.051285 최선의 손실: 0.039141 정확도: 98.83% 18 검증 세트 손실: 0.034931 최선의 손실: 0.034931 정확도: 98.94% 19 검증 세트 손실: 0.049003 최선의 손실: 0.034931 정확도: 98.91% 20 검증 세트 손실: 0.033017 최선의 손실: 0.033017 정확도: 99.26% 21 검증 세트 손실: 0.035224 최선의 손실: 0.033017 정확도: 99.14% 22 검증 세트 손실: 0.052526 최선의 손실: 0.033017 정확도: 98.79% 23 검증 세트 손실: 0.064070 최선의 손실: 0.033017 정확도: 98.48% 24 검증 세트 손실: 0.054564 최선의 손실: 0.033017 정확도: 98.75% 25 검증 세트 손실: 0.059322 최선의 손실: 0.033017 정확도: 98.79% 26 검증 세트 손실: 0.047935 최선의 손실: 0.033017 정확도: 98.94% 27 검증 세트 손실: 0.046030 최선의 손실: 0.033017 정확도: 99.06% 28 검증 세트 손실: 0.086053 최선의 손실: 0.033017 정확도: 98.28% 29 검증 세트 손실: 0.042262 최선의 손실: 0.033017 정확도: 99.18% 30 검증 세트 손실: 0.042905 최선의 손실: 0.033017 정확도: 98.98% 31 검증 세트 손실: 0.051565 최선의 손실: 0.033017 정확도: 99.10% 32 검증 세트 손실: 0.065207 최선의 손실: 0.033017 정확도: 98.55% 33 검증 세트 손실: 0.043525 최선의 손실: 0.033017 정확도: 98.91% 34 검증 세트 손실: 0.048505 최선의 손실: 0.033017 정확도: 99.18% 35 검증 세트 손실: 0.054293 최선의 손실: 0.033017 정확도: 98.79% 36 검증 세트 손실: 0.044403 최선의 손실: 0.033017 정확도: 99.14% 37 검증 세트 손실: 0.045835 최선의 손실: 0.033017 정확도: 99.14% 38 검증 세트 손실: 0.048221 최선의 손실: 0.033017 정확도: 98.87% 39 검증 세트 손실: 0.046241 최선의 손실: 0.033017 정확도: 99.14% 40 검증 세트 손실: 0.059192 최선의 손실: 0.033017 정확도: 99.14% 41 검증 세트 손실: 0.047793 최선의 손실: 0.033017 정확도: 99.22% 조기 종료! [CV] n_neurons=120, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 46.5s [CV] n_neurons=120, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 0 검증 세트 손실: 0.109661 최선의 손실: 0.109661 정확도: 97.15% 1 검증 세트 손실: 0.057337 최선의 손실: 0.057337 정확도: 98.32% 2 검증 세트 손실: 0.076807 최선의 손실: 0.057337 정확도: 97.93% 3 검증 세트 손실: 0.043972 최선의 손실: 0.043972 정확도: 98.59% 4 검증 세트 손실: 0.040494 최선의 손실: 0.040494 정확도: 98.83% 5 검증 세트 손실: 0.048201 최선의 손실: 0.040494 정확도: 98.55% 6 검증 세트 손실: 0.045245 최선의 손실: 0.040494 정확도: 98.36% 7 검증 세트 손실: 0.080178 최선의 손실: 0.040494 정확도: 98.24% 8 검증 세트 손실: 0.035473 최선의 손실: 0.035473 정확도: 98.94% 9 검증 세트 손실: 0.037262 최선의 손실: 0.035473 정확도: 98.98% 10 검증 세트 손실: 0.043671 최선의 손실: 0.035473 정확도: 98.67% 11 검증 세트 손실: 0.041624 최선의 손실: 0.035473 정확도: 98.87% 12 검증 세트 손실: 0.042134 최선의 손실: 0.035473 정확도: 98.98% 13 검증 세트 손실: 0.029472 최선의 손실: 0.029472 정확도: 99.26% 14 검증 세트 손실: 0.026874 최선의 손실: 0.026874 정확도: 99.18% 15 검증 세트 손실: 0.038204 최선의 손실: 0.026874 정확도: 99.06% 16 검증 세트 손실: 0.028434 최선의 손실: 0.026874 정확도: 99.26% 17 검증 세트 손실: 0.043095 최선의 손실: 0.026874 정확도: 98.98% 18 검증 세트 손실: 0.040237 최선의 손실: 0.026874 정확도: 98.91% 19 검증 세트 손실: 0.042846 최선의 손실: 0.026874 정확도: 99.06% 20 검증 세트 손실: 0.041822 최선의 손실: 0.026874 정확도: 99.10% 21 검증 세트 손실: 0.051387 최선의 손실: 0.026874 정확도: 98.83% 22 검증 세트 손실: 0.038324 최선의 손실: 0.026874 정확도: 99.10% 23 검증 세트 손실: 0.037662 최선의 손실: 0.026874 정확도: 99.10% 24 검증 세트 손실: 0.043253 최선의 손실: 0.026874 정확도: 99.26% 25 검증 세트 손실: 0.043117 최선의 손실: 0.026874 정확도: 98.87% 26 검증 세트 손실: 0.036473 최선의 손실: 0.026874 정확도: 99.22% 27 검증 세트 손실: 0.037221 최선의 손실: 0.026874 정확도: 99.02% 28 검증 세트 손실: 0.044277 최선의 손실: 0.026874 정확도: 99.02% 29 검증 세트 손실: 0.035341 최선의 손실: 0.026874 정확도: 99.10% 30 검증 세트 손실: 0.039849 최선의 손실: 0.026874 정확도: 99.02% 31 검증 세트 손실: 0.052319 최선의 손실: 0.026874 정확도: 99.10% 32 검증 세트 손실: 0.053971 최선의 손실: 0.026874 정확도: 98.94% 33 검증 세트 손실: 0.057302 최선의 손실: 0.026874 정확도: 98.83% 34 검증 세트 손실: 0.036608 최선의 손실: 0.026874 정확도: 99.14% 35 검증 세트 손실: 0.052428 최선의 손실: 0.026874 정확도: 98.91% 조기 종료! [CV] n_neurons=120, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 40.2s [CV] n_neurons=140, learning_rate=0.05, batch_size=500, batch_norm_momentum=0.999, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 1010.064026 최선의 손실: 1010.064026 정확도: 67.28% 1 검증 세트 손실: 144.496490 최선의 손실: 144.496490 정확도: 75.61% 2 검증 세트 손실: 101.046722 최선의 손실: 101.046722 정확도: 62.71% 3 검증 세트 손실: 14.740313 최선의 손실: 14.740313 정확도: 79.75% 4 검증 세트 손실: 11.709397 최선의 손실: 11.709397 정확도: 79.44% 5 검증 세트 손실: 11.485903 최선의 손실: 11.485903 정확도: 81.47% 6 검증 세트 손실: 3.953874 최선의 손실: 3.953874 정확도: 91.28% 7 검증 세트 손실: 1.972650 최선의 손실: 1.972650 정확도: 94.80% 8 검증 세트 손실: 0.843536 최선의 손실: 0.843536 정확도: 97.50% 9 검증 세트 손실: 0.871858 최선의 손실: 0.843536 정확도: 97.42% 10 검증 세트 손실: 0.691136 최선의 손실: 0.691136 정확도: 97.65% 11 검증 세트 손실: 0.882070 최선의 손실: 0.691136 정확도: 96.33% 12 검증 세트 손실: 0.561596 최선의 손실: 0.561596 정확도: 97.77% 13 검증 세트 손실: 0.486120 최선의 손실: 0.486120 정확도: 98.16% 14 검증 세트 손실: 0.484020 최선의 손실: 0.484020 정확도: 98.16% 15 검증 세트 손실: 0.422796 최선의 손실: 0.422796 정확도: 98.44% 16 검증 세트 손실: 0.386707 최선의 손실: 0.386707 정확도: 98.28% 17 검증 세트 손실: 0.309320 최선의 손실: 0.309320 정확도: 98.71% 18 검증 세트 손실: 0.240735 최선의 손실: 0.240735 정확도: 98.55% 19 검증 세트 손실: 0.342090 최선의 손실: 0.240735 정확도: 98.32% 20 검증 세트 손실: 0.333395 최선의 손실: 0.240735 정확도: 98.55% 21 검증 세트 손실: 0.360702 최선의 손실: 0.240735 정확도: 98.32% 22 검증 세트 손실: 0.373497 최선의 손실: 0.240735 정확도: 97.54% 23 검증 세트 손실: 0.263054 최선의 손실: 0.240735 정확도: 98.32% 24 검증 세트 손실: 0.301029 최선의 손실: 0.240735 정확도: 98.32% 25 검증 세트 손실: 0.265570 최선의 손실: 0.240735 정확도: 98.59% 26 검증 세트 손실: 0.235059 최선의 손실: 0.235059 정확도: 98.67% 27 검증 세트 손실: 0.278470 최선의 손실: 0.235059 정확도: 98.44% 28 검증 세트 손실: 0.267915 최선의 손실: 0.235059 정확도: 98.44% 29 검증 세트 손실: 0.487918 최선의 손실: 0.235059 정확도: 97.07% 30 검증 세트 손실: 0.251736 최선의 손실: 0.235059 정확도: 98.48% 31 검증 세트 손실: 0.282769 최선의 손실: 0.235059 정확도: 98.36% 32 검증 세트 손실: 0.540163 최선의 손실: 0.235059 정확도: 97.73% 33 검증 세트 손실: 0.282167 최선의 손실: 0.235059 정확도: 97.81% 34 검증 세트 손실: 0.286275 최선의 손실: 0.235059 정확도: 98.40% 35 검증 세트 손실: 0.239637 최선의 손실: 0.235059 정확도: 98.44% 36 검증 세트 손실: 0.230052 최선의 손실: 0.230052 정확도: 98.24% 37 검증 세트 손실: 0.205287 최선의 손실: 0.205287 정확도: 98.63% 38 검증 세트 손실: 0.173679 최선의 손실: 0.173679 정확도: 98.87% 39 검증 세트 손실: 0.191841 최선의 손실: 0.173679 정확도: 98.55% 40 검증 세트 손실: 0.159074 최선의 손실: 0.159074 정확도: 98.71% 41 검증 세트 손실: 0.126687 최선의 손실: 0.126687 정확도: 98.87% 42 검증 세트 손실: 0.149708 최선의 손실: 0.126687 정확도: 98.75% 43 검증 세트 손실: 0.254841 최선의 손실: 0.126687 정확도: 98.05% 44 검증 세트 손실: 0.338863 최선의 손실: 0.126687 정확도: 97.42% 45 검증 세트 손실: 0.135585 최선의 손실: 0.126687 정확도: 98.87% 46 검증 세트 손실: 0.147057 최선의 손실: 0.126687 정확도: 98.55% 47 검증 세트 손실: 0.137186 최선의 손실: 0.126687 정확도: 98.59% 48 검증 세트 손실: 0.141723 최선의 손실: 0.126687 정확도: 98.91% 49 검증 세트 손실: 0.133940 최선의 손실: 0.126687 정확도: 98.94% 50 검증 세트 손실: 0.136769 최선의 손실: 0.126687 정확도: 98.94% 51 검증 세트 손실: 0.264432 최선의 손실: 0.126687 정확도: 98.40% 52 검증 세트 손실: 0.237356 최선의 손실: 0.126687 정확도: 98.32% 53 검증 세트 손실: 0.295111 최선의 손실: 0.126687 정확도: 98.16% 54 검증 세트 손실: 0.228898 최선의 손실: 0.126687 정확도: 98.16% 55 검증 세트 손실: 0.227283 최선의 손실: 0.126687 정확도: 98.51% 56 검증 세트 손실: 0.244272 최선의 손실: 0.126687 정확도: 98.28% 57 검증 세트 손실: 0.233691 최선의 손실: 0.126687 정확도: 98.36% 58 검증 세트 손실: 0.462173 최선의 손실: 0.126687 정확도: 97.34% 59 검증 세트 손실: 0.195402 최선의 손실: 0.126687 정확도: 98.63% 60 검증 세트 손실: 0.146608 최선의 손실: 0.126687 정확도: 99.02% 61 검증 세트 손실: 0.213690 최선의 손실: 0.126687 정확도: 98.79% 62 검증 세트 손실: 0.148592 최선의 손실: 0.126687 정확도: 99.10% 조기 종료! [CV] n_neurons=140, learning_rate=0.05, batch_size=500, batch_norm_momentum=0.999, activation=<function elu at 0x7f8ec4ceef28>, total= 28.9s [CV] n_neurons=140, learning_rate=0.05, batch_size=500, batch_norm_momentum=0.999, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 234.979431 최선의 손실: 234.979431 정확도: 85.93% 1 검증 세트 손실: 57.949440 최선의 손실: 57.949440 정확도: 85.57% 2 검증 세트 손실: 28.900074 최선의 손실: 28.900074 정확도: 82.96% 3 검증 세트 손실: 6.395320 최선의 손실: 6.395320 정확도: 90.19% 4 검증 세트 손실: 16.080132 최선의 손실: 6.395320 정확도: 75.84% 5 검증 세트 손실: 12.166788 최선의 손실: 6.395320 정확도: 81.78% 6 검증 세트 손실: 4.962381 최선의 손실: 4.962381 정확도: 88.55% 7 검증 세트 손실: 1.995511 최선의 손실: 1.995511 정확도: 93.90% 8 검증 세트 손실: 1.519193 최선의 손실: 1.519193 정확도: 95.00% 9 검증 세트 손실: 1.121704 최선의 손실: 1.121704 정확도: 96.36% 10 검증 세트 손실: 1.486912 최선의 손실: 1.121704 정확도: 95.23% 11 검증 세트 손실: 0.926115 최선의 손실: 0.926115 정확도: 96.99% 12 검증 세트 손실: 0.586037 최선의 손실: 0.586037 정확도: 98.01% 13 검증 세트 손실: 0.902556 최선의 손실: 0.586037 정확도: 96.79% 14 검증 세트 손실: 0.850522 최선의 손실: 0.586037 정확도: 96.91% 15 검증 세트 손실: 0.789798 최선의 손실: 0.586037 정확도: 96.91% 16 검증 세트 손실: 0.800106 최선의 손실: 0.586037 정확도: 96.79% 17 검증 세트 손실: 0.797817 최선의 손실: 0.586037 정확도: 96.76% 18 검증 세트 손실: 0.632106 최선의 손실: 0.586037 정확도: 97.15% 19 검증 세트 손실: 0.532847 최선의 손실: 0.532847 정확도: 97.50% 20 검증 세트 손실: 0.454667 최선의 손실: 0.454667 정확도: 98.12% 21 검증 세트 손실: 1.047446 최선의 손실: 0.454667 정확도: 95.35% 22 검증 세트 손실: 0.595570 최선의 손실: 0.454667 정확도: 97.19% 23 검증 세트 손실: 0.546675 최선의 손실: 0.454667 정확도: 97.73% 24 검증 세트 손실: 0.615950 최선의 손실: 0.454667 정확도: 96.40% 25 검증 세트 손실: 0.412710 최선의 손실: 0.412710 정확도: 98.24% 26 검증 세트 손실: 0.466116 최선의 손실: 0.412710 정확도: 98.08% 27 검증 세트 손실: 0.348010 최선의 손실: 0.348010 정확도: 98.24% 28 검증 세트 손실: 0.371329 최선의 손실: 0.348010 정확도: 97.97% 29 검증 세트 손실: 0.286016 최선의 손실: 0.286016 정확도: 98.48% 30 검증 세트 손실: 0.391482 최선의 손실: 0.286016 정확도: 98.28% 31 검증 세트 손실: 0.250425 최선의 손실: 0.250425 정확도: 98.75% 32 검증 세트 손실: 0.348643 최선의 손실: 0.250425 정확도: 98.40% 33 검증 세트 손실: 0.276224 최선의 손실: 0.250425 정확도: 98.83% 34 검증 세트 손실: 0.331639 최선의 손실: 0.250425 정확도: 98.48% 35 검증 세트 손실: 0.262888 최선의 손실: 0.250425 정확도: 98.75% 36 검증 세트 손실: 0.493380 최선의 손실: 0.250425 정확도: 97.11% 37 검증 세트 손실: 0.262202 최선의 손실: 0.250425 정확도: 98.48% 38 검증 세트 손실: 0.247989 최선의 손실: 0.247989 정확도: 98.59% 39 검증 세트 손실: 0.220463 최선의 손실: 0.220463 정확도: 98.79% 40 검증 세트 손실: 0.233527 최선의 손실: 0.220463 정확도: 98.55% 41 검증 세트 손실: 0.257290 최선의 손실: 0.220463 정확도: 98.59% 42 검증 세트 손실: 0.219116 최선의 손실: 0.219116 정확도: 98.55% 43 검증 세트 손실: 0.236490 최선의 손실: 0.219116 정확도: 98.44% 44 검증 세트 손실: 0.212678 최선의 손실: 0.212678 정확도: 98.28% 45 검증 세트 손실: 0.197235 최선의 손실: 0.197235 정확도: 98.51% 46 검증 세트 손실: 0.240024 최선의 손실: 0.197235 정확도: 98.44% 47 검증 세트 손실: 0.234043 최선의 손실: 0.197235 정확도: 98.32% 48 검증 세트 손실: 0.201418 최선의 손실: 0.197235 정확도: 98.40% 49 검증 세트 손실: 0.178730 최선의 손실: 0.178730 정확도: 98.67% 50 검증 세트 손실: 0.160614 최선의 손실: 0.160614 정확도: 98.71% 51 검증 세트 손실: 0.150636 최선의 손실: 0.150636 정확도: 98.87% 52 검증 세트 손실: 0.139748 최선의 손실: 0.139748 정확도: 98.87% 53 검증 세트 손실: 0.134207 최선의 손실: 0.134207 정확도: 98.94% 54 검증 세트 손실: 0.131052 최선의 손실: 0.131052 정확도: 98.91% 55 검증 세트 손실: 0.125552 최선의 손실: 0.125552 정확도: 98.94% 56 검증 세트 손실: 0.118856 최선의 손실: 0.118856 정확도: 98.94% 57 검증 세트 손실: 0.115297 최선의 손실: 0.115297 정확도: 98.98% 58 검증 세트 손실: 0.111126 최선의 손실: 0.111126 정확도: 98.98% 59 검증 세트 손실: 0.107343 최선의 손실: 0.107343 정확도: 99.02% 60 검증 세트 손실: 0.104186 최선의 손실: 0.104186 정확도: 99.02% 61 검증 세트 손실: 0.101324 최선의 손실: 0.101324 정확도: 99.02% 62 검증 세트 손실: 0.098560 최선의 손실: 0.098560 정확도: 99.02% 63 검증 세트 손실: 0.095927 최선의 손실: 0.095927 정확도: 99.02% 64 검증 세트 손실: 0.093908 최선의 손실: 0.093908 정확도: 99.02% 65 검증 세트 손실: 0.091727 최선의 손실: 0.091727 정확도: 99.02% 66 검증 세트 손실: 0.087966 최선의 손실: 0.087966 정확도: 99.02% 67 검증 세트 손실: 0.091107 최선의 손실: 0.087966 정확도: 98.94% 68 검증 세트 손실: 0.089075 최선의 손실: 0.087966 정확도: 98.94% 69 검증 세트 손실: 0.086446 최선의 손실: 0.086446 정확도: 98.94% 70 검증 세트 손실: 0.093096 최선의 손실: 0.086446 정확도: 99.02% 71 검증 세트 손실: 0.079422 최선의 손실: 0.079422 정확도: 98.98% 72 검증 세트 손실: 0.154691 최선의 손실: 0.079422 정확도: 98.63% 73 검증 세트 손실: 0.320954 최선의 손실: 0.079422 정확도: 97.30% 74 검증 세트 손실: 0.461011 최선의 손실: 0.079422 정확도: 97.46% 75 검증 세트 손실: 0.302356 최선의 손실: 0.079422 정확도: 98.67% 76 검증 세트 손실: 0.338045 최선의 손실: 0.079422 정확도: 97.62% 77 검증 세트 손실: 0.547740 최선의 손실: 0.079422 정확도: 97.30% 78 검증 세트 손실: 0.302050 최선의 손실: 0.079422 정확도: 98.55% 79 검증 세트 손실: 0.341035 최선의 손실: 0.079422 정확도: 98.40% 80 검증 세트 손실: 0.485129 최선의 손실: 0.079422 정확도: 97.77% 81 검증 세트 손실: 0.313330 최선의 손실: 0.079422 정확도: 98.40% 82 검증 세트 손실: 0.293934 최선의 손실: 0.079422 정확도: 98.40% 83 검증 세트 손실: 0.301956 최선의 손실: 0.079422 정확도: 98.40% 84 검증 세트 손실: 0.302643 최선의 손실: 0.079422 정확도: 98.40% 85 검증 세트 손실: 0.328506 최선의 손실: 0.079422 정확도: 98.48% 86 검증 세트 손실: 0.296302 최선의 손실: 0.079422 정확도: 98.44% 87 검증 세트 손실: 0.531193 최선의 손실: 0.079422 정확도: 97.73% 88 검증 세트 손실: 0.330409 최선의 손실: 0.079422 정확도: 98.36% 89 검증 세트 손실: 0.257414 최선의 손실: 0.079422 정확도: 98.59% 90 검증 세트 손실: 0.207653 최선의 손실: 0.079422 정확도: 98.87% 91 검증 세트 손실: 0.201105 최선의 손실: 0.079422 정확도: 98.94% 92 검증 세트 손실: 0.218980 최선의 손실: 0.079422 정확도: 98.55% 조기 종료! [CV] n_neurons=140, learning_rate=0.05, batch_size=500, batch_norm_momentum=0.999, activation=<function elu at 0x7f8ec4ceef28>, total= 42.1s [CV] n_neurons=140, learning_rate=0.05, batch_size=500, batch_norm_momentum=0.999, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 456.280640 최선의 손실: 456.280640 정확도: 73.34% 1 검증 세트 손실: 115.983658 최선의 손실: 115.983658 정확도: 72.63% 2 검증 세트 손실: 25.859509 최선의 손실: 25.859509 정확도: 77.72% 3 검증 세트 손실: 12.632772 최선의 손실: 12.632772 정확도: 80.88% 4 검증 세트 손실: 4.415475 최선의 손실: 4.415475 정확도: 89.99% 5 검증 세트 손실: 4.715579 최선의 손실: 4.415475 정확도: 87.33% 6 검증 세트 손실: 2.192693 최선의 손실: 2.192693 정확도: 92.53% 7 검증 세트 손실: 1.237276 최선의 손실: 1.237276 정확도: 95.54% 8 검증 세트 손실: 1.262897 최선의 손실: 1.237276 정확도: 95.54% 9 검증 세트 손실: 0.965210 최선의 손실: 0.965210 정확도: 96.64% 10 검증 세트 손실: 1.151526 최선의 손실: 0.965210 정확도: 95.15% 11 검증 세트 손실: 0.667303 최선의 손실: 0.667303 정확도: 97.58% 12 검증 세트 손실: 0.642315 최선의 손실: 0.642315 정확도: 97.11% 13 검증 세트 손실: 0.735906 최선의 손실: 0.642315 정확도: 97.15% 14 검증 세트 손실: 0.400536 최선의 손실: 0.400536 정확도: 97.93% 15 검증 세트 손실: 0.451051 최선의 손실: 0.400536 정확도: 97.97% 16 검증 세트 손실: 0.490637 최선의 손실: 0.400536 정확도: 97.58% 17 검증 세트 손실: 0.416785 최선의 손실: 0.400536 정확도: 98.05% 18 검증 세트 손실: 0.305962 최선의 손실: 0.305962 정확도: 98.16% 19 검증 세트 손실: 0.368471 최선의 손실: 0.305962 정확도: 97.81% 20 검증 세트 손실: 0.300164 최선의 손실: 0.300164 정확도: 98.36% 21 검증 세트 손실: 0.532603 최선의 손실: 0.300164 정확도: 97.38% 22 검증 세트 손실: 0.416303 최선의 손실: 0.300164 정확도: 97.97% 23 검증 세트 손실: 0.252976 최선의 손실: 0.252976 정확도: 98.51% 24 검증 세트 손실: 0.334629 최선의 손실: 0.252976 정확도: 98.05% 25 검증 세트 손실: 0.293906 최선의 손실: 0.252976 정확도: 98.48% 26 검증 세트 손실: 0.319023 최선의 손실: 0.252976 정확도: 98.24% 27 검증 세트 손실: 0.376137 최선의 손실: 0.252976 정확도: 98.01% 28 검증 세트 손실: 0.470712 최선의 손실: 0.252976 정확도: 97.89% 29 검증 세트 손실: 0.296131 최선의 손실: 0.252976 정확도: 98.40% 30 검증 세트 손실: 0.411311 최선의 손실: 0.252976 정확도: 97.81% 31 검증 세트 손실: 0.240356 최선의 손실: 0.240356 정확도: 98.48% 32 검증 세트 손실: 0.237893 최선의 손실: 0.237893 정확도: 98.79% 33 검증 세트 손실: 0.175500 최선의 손실: 0.175500 정확도: 98.91% 34 검증 세트 손실: 0.237413 최선의 손실: 0.175500 정확도: 98.40% 35 검증 세트 손실: 0.243432 최선의 손실: 0.175500 정확도: 98.36% 36 검증 세트 손실: 0.169824 최선의 손실: 0.169824 정확도: 98.75% 37 검증 세트 손실: 0.192019 최선의 손실: 0.169824 정확도: 98.55% 38 검증 세트 손실: 0.251581 최선의 손실: 0.169824 정확도: 98.32% 39 검증 세트 손실: 0.208143 최선의 손실: 0.169824 정확도: 98.71% 40 검증 세트 손실: 0.167066 최선의 손실: 0.167066 정확도: 98.94% 41 검증 세트 손실: 0.203740 최선의 손실: 0.167066 정확도: 98.67% 42 검증 세트 손실: 0.186341 최선의 손실: 0.167066 정확도: 98.67% 43 검증 세트 손실: 0.250975 최선의 손실: 0.167066 정확도: 98.40% 44 검증 세트 손실: 0.209538 최선의 손실: 0.167066 정확도: 98.55% 45 검증 세트 손실: 0.170486 최선의 손실: 0.167066 정확도: 98.91% 46 검증 세트 손실: 0.201155 최선의 손실: 0.167066 정확도: 98.75% 47 검증 세트 손실: 0.202411 최선의 손실: 0.167066 정확도: 98.75% 48 검증 세트 손실: 0.163214 최선의 손실: 0.163214 정확도: 98.59% 49 검증 세트 손실: 0.176403 최선의 손실: 0.163214 정확도: 98.63% 50 검증 세트 손실: 0.333854 최선의 손실: 0.163214 정확도: 97.89% 51 검증 세트 손실: 0.193207 최선의 손실: 0.163214 정확도: 98.55% 52 검증 세트 손실: 0.193022 최선의 손실: 0.163214 정확도: 98.67% 53 검증 세트 손실: 0.183490 최선의 손실: 0.163214 정확도: 98.83% 54 검증 세트 손실: 0.189206 최선의 손실: 0.163214 정확도: 98.67% 55 검증 세트 손실: 0.190531 최선의 손실: 0.163214 정확도: 98.83% 56 검증 세트 손실: 0.229597 최선의 손실: 0.163214 정확도: 98.51% 57 검증 세트 손실: 0.298463 최선의 손실: 0.163214 정확도: 98.12% 58 검증 세트 손실: 0.202690 최선의 손실: 0.163214 정확도: 98.75% 59 검증 세트 손실: 0.217539 최선의 손실: 0.163214 정확도: 98.87% 60 검증 세트 손실: 0.191314 최선의 손실: 0.163214 정확도: 98.87% 61 검증 세트 손실: 0.222471 최선의 손실: 0.163214 정확도: 98.75% 62 검증 세트 손실: 0.183865 최선의 손실: 0.163214 정확도: 98.87% 63 검증 세트 손실: 0.206308 최선의 손실: 0.163214 정확도: 98.75% 64 검증 세트 손실: 0.255746 최선의 손실: 0.163214 정확도: 98.40% 65 검증 세트 손실: 0.199988 최선의 손실: 0.163214 정확도: 98.75% 66 검증 세트 손실: 0.158960 최선의 손실: 0.158960 정확도: 98.75% 67 검증 세트 손실: 0.179000 최선의 손실: 0.158960 정확도: 98.94% 68 검증 세트 손실: 0.137839 최선의 손실: 0.137839 정확도: 98.94% 69 검증 세트 손실: 0.259284 최선의 손실: 0.137839 정확도: 98.55% 70 검증 세트 손실: 0.201989 최선의 손실: 0.137839 정확도: 98.44% 71 검증 세트 손실: 0.171242 최선의 손실: 0.137839 정확도: 98.75% 72 검증 세트 손실: 0.192511 최선의 손실: 0.137839 정확도: 98.79% 73 검증 세트 손실: 0.194389 최선의 손실: 0.137839 정확도: 98.71% 74 검증 세트 손실: 0.177807 최선의 손실: 0.137839 정확도: 98.83% 75 검증 세트 손실: 0.208533 최선의 손실: 0.137839 정확도: 98.79% 76 검증 세트 손실: 0.198413 최선의 손실: 0.137839 정확도: 98.79% 77 검증 세트 손실: 0.176047 최선의 손실: 0.137839 정확도: 98.94% 78 검증 세트 손실: 0.185037 최선의 손실: 0.137839 정확도: 98.71% 79 검증 세트 손실: 0.177991 최선의 손실: 0.137839 정확도: 98.94% 80 검증 세트 손실: 0.141431 최선의 손실: 0.137839 정확도: 98.67% 81 검증 세트 손실: 0.173093 최선의 손실: 0.137839 정확도: 98.83% 82 검증 세트 손실: 0.160719 최선의 손실: 0.137839 정확도: 98.91% 83 검증 세트 손실: 0.151830 최선의 손실: 0.137839 정확도: 99.02% 84 검증 세트 손실: 0.118023 최선의 손실: 0.118023 정확도: 99.18% 85 검증 세트 손실: 0.121695 최선의 손실: 0.118023 정확도: 99.10% 86 검증 세트 손실: 0.128663 최선의 손실: 0.118023 정확도: 98.83% 87 검증 세트 손실: 0.195922 최선의 손실: 0.118023 정확도: 98.67% 88 검증 세트 손실: 0.118394 최선의 손실: 0.118023 정확도: 99.06% 89 검증 세트 손실: 0.121565 최선의 손실: 0.118023 정확도: 99.18% 90 검증 세트 손실: 0.123056 최선의 손실: 0.118023 정확도: 99.10% 91 검증 세트 손실: 0.177495 최선의 손실: 0.118023 정확도: 98.51% 92 검증 세트 손실: 0.165703 최선의 손실: 0.118023 정확도: 98.63% 93 검증 세트 손실: 0.159487 최선의 손실: 0.118023 정확도: 98.75% 94 검증 세트 손실: 0.265186 최선의 손실: 0.118023 정확도: 98.44% 95 검증 세트 손실: 0.203918 최선의 손실: 0.118023 정확도: 98.98% 96 검증 세트 손실: 0.184205 최선의 손실: 0.118023 정확도: 98.71% 97 검증 세트 손실: 0.153483 최선의 손실: 0.118023 정확도: 98.98% 98 검증 세트 손실: 0.163263 최선의 손실: 0.118023 정확도: 98.98% 99 검증 세트 손실: 0.152066 최선의 손실: 0.118023 정확도: 99.14% 100 검증 세트 손실: 0.145097 최선의 손실: 0.118023 정확도: 99.22% 101 검증 세트 손실: 0.198099 최선의 손실: 0.118023 정확도: 98.63% 102 검증 세트 손실: 0.168951 최선의 손실: 0.118023 정확도: 98.71% 103 검증 세트 손실: 0.201277 최선의 손실: 0.118023 정확도: 98.83% 104 검증 세트 손실: 0.194332 최선의 손실: 0.118023 정확도: 98.75% 105 검증 세트 손실: 0.192864 최선의 손실: 0.118023 정확도: 98.67% 조기 종료! [CV] n_neurons=140, learning_rate=0.05, batch_size=500, batch_norm_momentum=0.999, activation=<function elu at 0x7f8ec4ceef28>, total= 47.7s [CV] n_neurons=140, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 0 검증 세트 손실: 0.078147 최선의 손실: 0.078147 정확도: 98.12% 1 검증 세트 손실: 0.057204 최선의 손실: 0.057204 정확도: 98.20% 2 검증 세트 손실: 0.046853 최선의 손실: 0.046853 정확도: 98.63% 3 검증 세트 손실: 0.049125 최선의 손실: 0.046853 정확도: 98.67% 4 검증 세트 손실: 0.042105 최선의 손실: 0.042105 정확도: 98.67% 5 검증 세트 손실: 0.057231 최선의 손실: 0.042105 정확도: 98.59% 6 검증 세트 손실: 0.055480 최선의 손실: 0.042105 정확도: 98.51% 7 검증 세트 손실: 0.045701 최선의 손실: 0.042105 정확도: 98.87% 8 검증 세트 손실: 0.040086 최선의 손실: 0.040086 정확도: 98.91% 9 검증 세트 손실: 0.055159 최선의 손실: 0.040086 정확도: 98.79% 10 검증 세트 손실: 0.052161 최선의 손실: 0.040086 정확도: 98.87% 11 검증 세트 손실: 0.037863 최선의 손실: 0.037863 정확도: 99.02% 12 검증 세트 손실: 0.051799 최선의 손실: 0.037863 정확도: 98.75% 13 검증 세트 손실: 0.047442 최선의 손실: 0.037863 정확도: 98.79% 14 검증 세트 손실: 0.049529 최선의 손실: 0.037863 정확도: 98.75% 15 검증 세트 손실: 0.059665 최선의 손실: 0.037863 정확도: 98.87% 16 검증 세트 손실: 0.078243 최선의 손실: 0.037863 정확도: 98.36% 17 검증 세트 손실: 0.043728 최선의 손실: 0.037863 정확도: 98.98% 18 검증 세트 손실: 0.042722 최선의 손실: 0.037863 정확도: 98.98% 19 검증 세트 손실: 0.048433 최선의 손실: 0.037863 정확도: 98.98% 20 검증 세트 손실: 0.053723 최선의 손실: 0.037863 정확도: 98.59% 21 검증 세트 손실: 0.046215 최선의 손실: 0.037863 정확도: 98.71% 22 검증 세트 손실: 0.042246 최선의 손실: 0.037863 정확도: 99.06% 23 검증 세트 손실: 0.045643 최선의 손실: 0.037863 정확도: 99.06% 24 검증 세트 손실: 0.048908 최선의 손실: 0.037863 정확도: 99.06% 25 검증 세트 손실: 0.046052 최선의 손실: 0.037863 정확도: 99.10% 26 검증 세트 손실: 0.035846 최선의 손실: 0.035846 정확도: 99.22% 27 검증 세트 손실: 0.049433 최선의 손실: 0.035846 정확도: 99.18% 28 검증 세트 손실: 0.046466 최선의 손실: 0.035846 정확도: 98.98% 29 검증 세트 손실: 0.049366 최선의 손실: 0.035846 정확도: 98.91% 30 검증 세트 손실: 0.072425 최선의 손실: 0.035846 정확도: 98.67% 31 검증 세트 손실: 0.058118 최선의 손실: 0.035846 정확도: 98.71% 32 검증 세트 손실: 0.055882 최선의 손실: 0.035846 정확도: 98.79% 33 검증 세트 손실: 0.050399 최선의 손실: 0.035846 정확도: 98.94% 34 검증 세트 손실: 0.043155 최선의 손실: 0.035846 정확도: 99.06% 35 검증 세트 손실: 0.050494 최선의 손실: 0.035846 정확도: 98.91% 36 검증 세트 손실: 0.040758 최선의 손실: 0.035846 정확도: 99.14% 37 검증 세트 손실: 0.057688 최선의 손실: 0.035846 정확도: 98.94% 38 검증 세트 손실: 0.078430 최선의 손실: 0.035846 정확도: 98.32% 39 검증 세트 손실: 0.041047 최선의 손실: 0.035846 정확도: 99.02% 40 검증 세트 손실: 0.034587 최선의 손실: 0.034587 정확도: 99.22% 41 검증 세트 손실: 0.042730 최선의 손실: 0.034587 정확도: 98.94% 42 검증 세트 손실: 0.038310 최선의 손실: 0.034587 정확도: 99.14% 43 검증 세트 손실: 0.035308 최선의 손실: 0.034587 정확도: 99.18% 44 검증 세트 손실: 0.052728 최선의 손실: 0.034587 정확도: 98.83% 45 검증 세트 손실: 0.043117 최선의 손실: 0.034587 정확도: 99.14% 46 검증 세트 손실: 0.047921 최선의 손실: 0.034587 정확도: 98.87% 47 검증 세트 손실: 0.043315 최선의 손실: 0.034587 정확도: 98.87% 48 검증 세트 손실: 0.057964 최선의 손실: 0.034587 정확도: 98.83% 49 검증 세트 손실: 0.060044 최선의 손실: 0.034587 정확도: 98.98% 50 검증 세트 손실: 0.058755 최선의 손실: 0.034587 정확도: 98.94% 51 검증 세트 손실: 0.054942 최선의 손실: 0.034587 정확도: 98.94% 52 검증 세트 손실: 0.068158 최선의 손실: 0.034587 정확도: 98.79% 53 검증 세트 손실: 0.045620 최선의 손실: 0.034587 정확도: 99.14% 54 검증 세트 손실: 0.055144 최선의 손실: 0.034587 정확도: 98.94% 55 검증 세트 손실: 0.045578 최선의 손실: 0.034587 정확도: 98.94% 56 검증 세트 손실: 0.057760 최선의 손실: 0.034587 정확도: 98.83% 57 검증 세트 손실: 0.043997 최선의 손실: 0.034587 정확도: 99.26% 58 검증 세트 손실: 0.053498 최선의 손실: 0.034587 정확도: 98.98% 59 검증 세트 손실: 0.065459 최선의 손실: 0.034587 정확도: 98.94% 60 검증 세트 손실: 0.054261 최선의 손실: 0.034587 정확도: 98.94% 61 검증 세트 손실: 0.048226 최선의 손실: 0.034587 정확도: 99.10% 조기 종료! [CV] n_neurons=140, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 29.5s [CV] n_neurons=140, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 0 검증 세트 손실: 0.081992 최선의 손실: 0.081992 정확도: 97.26% 1 검증 세트 손실: 0.050278 최선의 손실: 0.050278 정확도: 98.28% 2 검증 세트 손실: 0.049981 최선의 손실: 0.049981 정확도: 98.63% 3 검증 세트 손실: 0.045476 최선의 손실: 0.045476 정확도: 98.44% 4 검증 세트 손실: 0.039363 최선의 손실: 0.039363 정확도: 98.83% 5 검증 세트 손실: 0.052543 최선의 손실: 0.039363 정확도: 98.67% 6 검증 세트 손실: 0.047280 최선의 손실: 0.039363 정확도: 98.59% 7 검증 세트 손실: 0.052698 최선의 손실: 0.039363 정확도: 98.67% 8 검증 세트 손실: 0.055455 최선의 손실: 0.039363 정확도: 98.40% 9 검증 세트 손실: 0.037981 최선의 손실: 0.037981 정확도: 99.18% 10 검증 세트 손실: 0.044999 최선의 손실: 0.037981 정확도: 98.98% 11 검증 세트 손실: 0.037346 최선의 손실: 0.037346 정확도: 99.30% 12 검증 세트 손실: 0.048064 최선의 손실: 0.037346 정확도: 98.83% 13 검증 세트 손실: 0.048961 최선의 손실: 0.037346 정확도: 98.83% 14 검증 세트 손실: 0.049904 최선의 손실: 0.037346 정확도: 98.91% 15 검증 세트 손실: 0.059381 최선의 손실: 0.037346 정확도: 98.75% 16 검증 세트 손실: 0.055561 최선의 손실: 0.037346 정확도: 98.75% 17 검증 세트 손실: 0.056900 최선의 손실: 0.037346 정확도: 98.71% 18 검증 세트 손실: 0.042677 최선의 손실: 0.037346 정확도: 98.83% 19 검증 세트 손실: 0.039957 최선의 손실: 0.037346 정확도: 99.02% 20 검증 세트 손실: 0.045055 최선의 손실: 0.037346 정확도: 98.87% 21 검증 세트 손실: 0.041379 최선의 손실: 0.037346 정확도: 99.14% 22 검증 세트 손실: 0.043492 최선의 손실: 0.037346 정확도: 99.10% 23 검증 세트 손실: 0.048171 최선의 손실: 0.037346 정확도: 99.02% 24 검증 세트 손실: 0.045658 최선의 손실: 0.037346 정확도: 99.10% 25 검증 세트 손실: 0.057954 최선의 손실: 0.037346 정확도: 98.83% 26 검증 세트 손실: 0.061537 최선의 손실: 0.037346 정확도: 98.91% 27 검증 세트 손실: 0.040791 최선의 손실: 0.037346 정확도: 99.02% 28 검증 세트 손실: 0.098123 최선의 손실: 0.037346 정확도: 98.24% 29 검증 세트 손실: 0.048709 최선의 손실: 0.037346 정확도: 98.91% 30 검증 세트 손실: 0.047141 최선의 손실: 0.037346 정확도: 98.71% 31 검증 세트 손실: 0.044248 최선의 손실: 0.037346 정확도: 98.94% 32 검증 세트 손실: 0.052749 최선의 손실: 0.037346 정확도: 99.06% 조기 종료! [CV] n_neurons=140, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 16.5s [CV] n_neurons=140, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 0 검증 세트 손실: 0.064815 최선의 손실: 0.064815 정확도: 98.16% 1 검증 세트 손실: 0.059036 최선의 손실: 0.059036 정확도: 98.24% 2 검증 세트 손실: 0.045541 최선의 손실: 0.045541 정확도: 98.75% 3 검증 세트 손실: 0.061688 최선의 손실: 0.045541 정확도: 98.28% 4 검증 세트 손실: 0.042376 최선의 손실: 0.042376 정확도: 98.91% 5 검증 세트 손실: 0.046549 최선의 손실: 0.042376 정확도: 98.83% 6 검증 세트 손실: 0.041504 최선의 손실: 0.041504 정확도: 99.10% 7 검증 세트 손실: 0.055102 최선의 손실: 0.041504 정확도: 98.79% 8 검증 세트 손실: 0.044209 최선의 손실: 0.041504 정확도: 98.67% 9 검증 세트 손실: 0.051434 최선의 손실: 0.041504 정확도: 98.83% 10 검증 세트 손실: 0.058782 최선의 손실: 0.041504 정확도: 98.67% 11 검증 세트 손실: 0.079655 최선의 손실: 0.041504 정확도: 98.48% 12 검증 세트 손실: 0.051087 최선의 손실: 0.041504 정확도: 98.67% 13 검증 세트 손실: 0.043582 최선의 손실: 0.041504 정확도: 98.79% 14 검증 세트 손실: 0.051048 최선의 손실: 0.041504 정확도: 98.87% 15 검증 세트 손실: 0.048021 최선의 손실: 0.041504 정확도: 98.98% 16 검증 세트 손실: 0.042548 최선의 손실: 0.041504 정확도: 98.94% 17 검증 세트 손실: 0.057092 최선의 손실: 0.041504 정확도: 98.83% 18 검증 세트 손실: 0.055192 최선의 손실: 0.041504 정확도: 98.75% 19 검증 세트 손실: 0.081643 최선의 손실: 0.041504 정확도: 98.55% 20 검증 세트 손실: 0.056583 최선의 손실: 0.041504 정확도: 98.83% 21 검증 세트 손실: 0.076582 최선의 손실: 0.041504 정확도: 98.51% 22 검증 세트 손실: 0.069742 최선의 손실: 0.041504 정확도: 98.40% 23 검증 세트 손실: 0.070782 최선의 손실: 0.041504 정확도: 98.55% 24 검증 세트 손실: 0.050215 최선의 손실: 0.041504 정확도: 98.71% 25 검증 세트 손실: 0.045901 최선의 손실: 0.041504 정확도: 99.06% 26 검증 세트 손실: 0.040296 최선의 손실: 0.040296 정확도: 99.14% 27 검증 세트 손실: 0.050940 최선의 손실: 0.040296 정확도: 98.91% 28 검증 세트 손실: 0.053824 최선의 손실: 0.040296 정확도: 98.94% 29 검증 세트 손실: 0.045648 최선의 손실: 0.040296 정확도: 98.94% 30 검증 세트 손실: 0.038456 최선의 손실: 0.038456 정확도: 98.98% 31 검증 세트 손실: 0.044586 최선의 손실: 0.038456 정확도: 99.02% 32 검증 세트 손실: 0.047818 최선의 손실: 0.038456 정확도: 98.75% 33 검증 세트 손실: 0.043491 최선의 손실: 0.038456 정확도: 98.94% 34 검증 세트 손실: 0.049433 최선의 손실: 0.038456 정확도: 98.94% 35 검증 세트 손실: 0.043584 최선의 손실: 0.038456 정확도: 99.02% 36 검증 세트 손실: 0.071874 최선의 손실: 0.038456 정확도: 98.67% 37 검증 세트 손실: 0.052066 최선의 손실: 0.038456 정확도: 99.02% 38 검증 세트 손실: 0.058991 최선의 손실: 0.038456 정확도: 98.87% 39 검증 세트 손실: 0.060413 최선의 손실: 0.038456 정확도: 98.75% 40 검증 세트 손실: 0.041909 최선의 손실: 0.038456 정확도: 99.02% 41 검증 세트 손실: 0.044576 최선의 손실: 0.038456 정확도: 98.91% 42 검증 세트 손실: 0.052876 최선의 손실: 0.038456 정확도: 99.02% 43 검증 세트 손실: 0.060591 최선의 손실: 0.038456 정확도: 99.02% 44 검증 세트 손실: 0.049364 최선의 손실: 0.038456 정확도: 99.18% 45 검증 세트 손실: 0.058948 최선의 손실: 0.038456 정확도: 98.98% 46 검증 세트 손실: 0.065838 최선의 손실: 0.038456 정확도: 98.87% 47 검증 세트 손실: 0.043338 최선의 손실: 0.038456 정확도: 99.26% 48 검증 세트 손실: 0.075382 최선의 손실: 0.038456 정확도: 98.63% 49 검증 세트 손실: 0.041043 최선의 손실: 0.038456 정확도: 99.14% 50 검증 세트 손실: 0.055140 최선의 손실: 0.038456 정확도: 98.94% 51 검증 세트 손실: 0.056542 최선의 손실: 0.038456 정확도: 98.79% 조기 종료! [CV] n_neurons=140, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 25.1s [CV] n_neurons=100, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 0 검증 세트 손실: 0.092492 최선의 손실: 0.092492 정확도: 97.58% 1 검증 세트 손실: 0.061308 최선의 손실: 0.061308 정확도: 98.24% 2 검증 세트 손실: 0.064455 최선의 손실: 0.061308 정확도: 97.97% 3 검증 세트 손실: 0.064591 최선의 손실: 0.061308 정확도: 98.08% 4 검증 세트 손실: 0.048778 최선의 손실: 0.048778 정확도: 98.63% 5 검증 세트 손실: 0.080401 최선의 손실: 0.048778 정확도: 97.89% 6 검증 세트 손실: 0.049132 최선의 손실: 0.048778 정확도: 98.36% 7 검증 세트 손실: 0.051769 최선의 손실: 0.048778 정확도: 98.55% 8 검증 세트 손실: 0.071332 최선의 손실: 0.048778 정확도: 98.44% 9 검증 세트 손실: 0.071764 최선의 손실: 0.048778 정확도: 98.48% 10 검증 세트 손실: 0.110190 최선의 손실: 0.048778 정확도: 97.93% 11 검증 세트 손실: 0.064752 최선의 손실: 0.048778 정확도: 98.55% 12 검증 세트 손실: 0.066177 최선의 손실: 0.048778 정확도: 98.67% 13 검증 세트 손실: 0.087177 최선의 손실: 0.048778 정확도: 98.40% 14 검증 세트 손실: 0.119275 최선의 손실: 0.048778 정확도: 97.73% 15 검증 세트 손실: 0.051321 최선의 손실: 0.048778 정확도: 98.79% 16 검증 세트 손실: 0.045919 최선의 손실: 0.045919 정확도: 98.83% 17 검증 세트 손실: 0.064225 최선의 손실: 0.045919 정확도: 98.44% 18 검증 세트 손실: 0.081066 최선의 손실: 0.045919 정확도: 98.36% 19 검증 세트 손실: 0.114460 최선의 손실: 0.045919 정확도: 98.08% 20 검증 세트 손실: 0.054040 최선의 손실: 0.045919 정확도: 98.67% 21 검증 세트 손실: 0.162678 최선의 손실: 0.045919 정확도: 96.91% 22 검증 세트 손실: 0.073115 최선의 손실: 0.045919 정확도: 98.83% 23 검증 세트 손실: 0.053513 최선의 손실: 0.045919 정확도: 98.98% 24 검증 세트 손실: 0.055864 최선의 손실: 0.045919 정확도: 98.94% 25 검증 세트 손실: 0.053494 최선의 손실: 0.045919 정확도: 99.06% 26 검증 세트 손실: 0.057841 최선의 손실: 0.045919 정확도: 98.91% 27 검증 세트 손실: 0.256817 최선의 손실: 0.045919 정확도: 97.42% 28 검증 세트 손실: 0.083137 최선의 손실: 0.045919 정확도: 98.63% 29 검증 세트 손실: 0.091150 최선의 손실: 0.045919 정확도: 98.87% 30 검증 세트 손실: 0.088372 최선의 손실: 0.045919 정확도: 98.87% 31 검증 세트 손실: 0.071191 최선의 손실: 0.045919 정확도: 98.87% 32 검증 세트 손실: 0.091082 최선의 손실: 0.045919 정확도: 99.10% 33 검증 세트 손실: 0.115246 최선의 손실: 0.045919 정확도: 98.24% 34 검증 세트 손실: 0.077569 최선의 손실: 0.045919 정확도: 98.94% 35 검증 세트 손실: 0.060783 최선의 손실: 0.045919 정확도: 98.98% 36 검증 세트 손실: 0.119128 최선의 손실: 0.045919 정확도: 98.55% 37 검증 세트 손실: 0.182822 최선의 손실: 0.045919 정확도: 98.12% 조기 종료! [CV] n_neurons=100, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 38.5s [CV] n_neurons=100, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 0 검증 세트 손실: 0.176941 최선의 손실: 0.176941 정확도: 94.53% 1 검증 세트 손실: 0.084157 최선의 손실: 0.084157 정확도: 97.38% 2 검증 세트 손실: 0.100879 최선의 손실: 0.084157 정확도: 97.58% 3 검증 세트 손실: 0.082315 최선의 손실: 0.082315 정확도: 97.89% 4 검증 세트 손실: 0.066953 최선의 손실: 0.066953 정확도: 98.20% 5 검증 세트 손실: 0.075969 최선의 손실: 0.066953 정확도: 98.28% 6 검증 세트 손실: 0.068412 최선의 손실: 0.066953 정확도: 98.44% 7 검증 세트 손실: 0.071382 최선의 손실: 0.066953 정확도: 98.36% 8 검증 세트 손실: 0.100406 최선의 손실: 0.066953 정확도: 97.42% 9 검증 세트 손실: 0.059413 최선의 손실: 0.059413 정확도: 98.63% 10 검증 세트 손실: 0.088878 최선의 손실: 0.059413 정확도: 98.08% 11 검증 세트 손실: 0.292542 최선의 손실: 0.059413 정확도: 94.61% 12 검증 세트 손실: 0.062154 최선의 손실: 0.059413 정확도: 98.32% 13 검증 세트 손실: 0.057846 최선의 손실: 0.057846 정확도: 98.67% 14 검증 세트 손실: 0.053826 최선의 손실: 0.053826 정확도: 98.87% 15 검증 세트 손실: 0.075626 최선의 손실: 0.053826 정확도: 98.71% 16 검증 세트 손실: 0.272922 최선의 손실: 0.053826 정확도: 96.56% 17 검증 세트 손실: 0.069157 최선의 손실: 0.053826 정확도: 98.16% 18 검증 세트 손실: 0.049368 최선의 손실: 0.049368 정확도: 98.75% 19 검증 세트 손실: 0.109019 최선의 손실: 0.049368 정확도: 98.44% 20 검증 세트 손실: 0.096686 최선의 손실: 0.049368 정확도: 98.16% 21 검증 세트 손실: 0.053000 최선의 손실: 0.049368 정확도: 99.02% 22 검증 세트 손실: 0.053864 최선의 손실: 0.049368 정확도: 98.98% 23 검증 세트 손실: 0.071373 최선의 손실: 0.049368 정확도: 98.94% 24 검증 세트 손실: 0.049000 최선의 손실: 0.049000 정확도: 99.02% 25 검증 세트 손실: 0.059150 최선의 손실: 0.049000 정확도: 98.75% 26 검증 세트 손실: 0.073564 최선의 손실: 0.049000 정확도: 98.87% 27 검증 세트 손실: 0.189299 최선의 손실: 0.049000 정확도: 97.77% 28 검증 세트 손실: 0.054280 최선의 손실: 0.049000 정확도: 99.06% 29 검증 세트 손실: 0.065188 최선의 손실: 0.049000 정확도: 98.51% 30 검증 세트 손실: 0.066261 최선의 손실: 0.049000 정확도: 98.91% 31 검증 세트 손실: 0.062475 최선의 손실: 0.049000 정확도: 98.83% 32 검증 세트 손실: 0.073695 최선의 손실: 0.049000 정확도: 98.55% 33 검증 세트 손실: 0.114874 최선의 손실: 0.049000 정확도: 98.59% 34 검증 세트 손실: 0.087601 최선의 손실: 0.049000 정확도: 98.71% 35 검증 세트 손실: 0.167780 최선의 손실: 0.049000 정확도: 98.48% 36 검증 세트 손실: 0.140684 최선의 손실: 0.049000 정확도: 97.97% 37 검증 세트 손실: 0.091137 최선의 손실: 0.049000 정확도: 98.79% 38 검증 세트 손실: 0.078147 최선의 손실: 0.049000 정확도: 98.67% 39 검증 세트 손실: 0.088146 최선의 손실: 0.049000 정확도: 98.67% 40 검증 세트 손실: 0.065013 최선의 손실: 0.049000 정확도: 98.83% 41 검증 세트 손실: 0.062937 최선의 손실: 0.049000 정확도: 98.98% 42 검증 세트 손실: 0.085397 최선의 손실: 0.049000 정확도: 98.75% 43 검증 세트 손실: 0.201837 최선의 손실: 0.049000 정확도: 97.97% 44 검증 세트 손실: 0.124856 최선의 손실: 0.049000 정확도: 98.36% 45 검증 세트 손실: 0.134501 최선의 손실: 0.049000 정확도: 98.75% 조기 종료! [CV] n_neurons=100, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 46.0s [CV] n_neurons=100, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 0 검증 세트 손실: 0.202825 최선의 손실: 0.202825 정확도: 95.04% 1 검증 세트 손실: 0.084687 최선의 손실: 0.084687 정확도: 97.46% 2 검증 세트 손실: 0.091119 최선의 손실: 0.084687 정확도: 97.34% 3 검증 세트 손실: 0.078418 최선의 손실: 0.078418 정확도: 97.93% 4 검증 세트 손실: 0.084370 최선의 손실: 0.078418 정확도: 98.32% 5 검증 세트 손실: 0.094872 최선의 손실: 0.078418 정확도: 97.34% 6 검증 세트 손실: 0.068847 최선의 손실: 0.068847 정확도: 98.12% 7 검증 세트 손실: 0.064141 최선의 손실: 0.064141 정확도: 98.51% 8 검증 세트 손실: 0.081237 최선의 손실: 0.064141 정확도: 98.16% 9 검증 세트 손실: 0.101669 최선의 손실: 0.064141 정확도: 96.95% 10 검증 세트 손실: 0.066247 최선의 손실: 0.064141 정확도: 98.55% 11 검증 세트 손실: 0.088391 최선의 손실: 0.064141 정확도: 97.97% 12 검증 세트 손실: 0.103469 최선의 손실: 0.064141 정확도: 98.20% 13 검증 세트 손실: 0.083513 최선의 손실: 0.064141 정확도: 98.63% 14 검증 세트 손실: 0.079824 최선의 손실: 0.064141 정확도: 98.36% 15 검증 세트 손실: 0.090558 최선의 손실: 0.064141 정확도: 98.05% 16 검증 세트 손실: 0.054843 최선의 손실: 0.054843 정확도: 98.98% 17 검증 세트 손실: 0.102469 최선의 손실: 0.054843 정확도: 97.97% 18 검증 세트 손실: 0.077001 최선의 손실: 0.054843 정확도: 98.51% 19 검증 세트 손실: 0.059901 최선의 손실: 0.054843 정확도: 98.67% 20 검증 세트 손실: 0.059099 최선의 손실: 0.054843 정확도: 98.87% 21 검증 세트 손실: 0.197959 최선의 손실: 0.054843 정확도: 97.19% 22 검증 세트 손실: 0.077555 최선의 손실: 0.054843 정확도: 98.71% 23 검증 세트 손실: 0.053620 최선의 손실: 0.053620 정확도: 98.91% 24 검증 세트 손실: 0.082991 최선의 손실: 0.053620 정확도: 98.91% 25 검증 세트 손실: 0.090567 최선의 손실: 0.053620 정확도: 98.83% 26 검증 세트 손실: 0.107453 최선의 손실: 0.053620 정확도: 98.75% 27 검증 세트 손실: 0.074406 최선의 손실: 0.053620 정확도: 98.94% 28 검증 세트 손실: 0.157559 최선의 손실: 0.053620 정확도: 97.97% 29 검증 세트 손실: 0.072032 최선의 손실: 0.053620 정확도: 98.51% 30 검증 세트 손실: 0.061326 최선의 손실: 0.053620 정확도: 98.94% 31 검증 세트 손실: 0.080304 최선의 손실: 0.053620 정확도: 98.98% 32 검증 세트 손실: 0.102808 최선의 손실: 0.053620 정확도: 98.71% 33 검증 세트 손실: 0.124063 최선의 손실: 0.053620 정확도: 98.40% 34 검증 세트 손실: 0.071729 최선의 손실: 0.053620 정확도: 98.94% 35 검증 세트 손실: 0.100126 최선의 손실: 0.053620 정확도: 99.10% 36 검증 세트 손실: 0.091374 최선의 손실: 0.053620 정확도: 98.63% 37 검증 세트 손실: 0.078469 최선의 손실: 0.053620 정확도: 99.02% 38 검증 세트 손실: 0.144927 최선의 손실: 0.053620 정확도: 98.75% 39 검증 세트 손실: 0.070875 최선의 손실: 0.053620 정확도: 99.06% 40 검증 세트 손실: 0.075755 최선의 손실: 0.053620 정확도: 98.98% 41 검증 세트 손실: 0.096375 최선의 손실: 0.053620 정확도: 98.87% 42 검증 세트 손실: 0.092725 최선의 손실: 0.053620 정확도: 98.87% 43 검증 세트 손실: 0.225476 최선의 손실: 0.053620 정확도: 98.40% 44 검증 세트 손실: 0.084583 최선의 손실: 0.053620 정확도: 98.91% 조기 종료! [CV] n_neurons=100, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 45.0s [CV] n_neurons=50, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 0 검증 세트 손실: 0.141763 최선의 손실: 0.141763 정확도: 96.99% 1 검증 세트 손실: 0.066788 최선의 손실: 0.066788 정확도: 98.20% 2 검증 세트 손실: 0.055339 최선의 손실: 0.055339 정확도: 98.44% 3 검증 세트 손실: 0.059105 최선의 손실: 0.055339 정확도: 98.36% 4 검증 세트 손실: 0.048296 최선의 손실: 0.048296 정확도: 98.63% 5 검증 세트 손실: 0.070270 최선의 손실: 0.048296 정확도: 98.55% 6 검증 세트 손실: 0.069489 최선의 손실: 0.048296 정확도: 98.32% 7 검증 세트 손실: 0.074403 최선의 손실: 0.048296 정확도: 98.44% 8 검증 세트 손실: 0.047764 최선의 손실: 0.047764 정확도: 98.87% 9 검증 세트 손실: 0.069150 최선의 손실: 0.047764 정확도: 98.48% 10 검증 세트 손실: 0.105997 최선의 손실: 0.047764 정확도: 97.81% 11 검증 세트 손실: 0.083694 최선의 손실: 0.047764 정확도: 98.28% 12 검증 세트 손실: 0.062409 최선의 손실: 0.047764 정확도: 98.55% 13 검증 세트 손실: 0.074875 최선의 손실: 0.047764 정확도: 98.28% 14 검증 세트 손실: 0.046454 최선의 손실: 0.046454 정확도: 98.87% 15 검증 세트 손실: 0.065828 최선의 손실: 0.046454 정확도: 98.63% 16 검증 세트 손실: 0.045871 최선의 손실: 0.045871 정확도: 98.71% 17 검증 세트 손실: 0.047858 최선의 손실: 0.045871 정확도: 98.63% 18 검증 세트 손실: 0.052737 최선의 손실: 0.045871 정확도: 98.75% 19 검증 세트 손실: 0.046744 최선의 손실: 0.045871 정확도: 98.87% 20 검증 세트 손실: 0.050212 최선의 손실: 0.045871 정확도: 98.94% 21 검증 세트 손실: 0.043739 최선의 손실: 0.043739 정확도: 98.94% 22 검증 세트 손실: 0.079386 최선의 손실: 0.043739 정확도: 98.48% 23 검증 세트 손실: 0.062169 최선의 손실: 0.043739 정확도: 98.44% 24 검증 세트 손실: 0.072171 최선의 손실: 0.043739 정확도: 98.40% 25 검증 세트 손실: 0.056711 최선의 손실: 0.043739 정확도: 98.71% 26 검증 세트 손실: 0.059447 최선의 손실: 0.043739 정확도: 98.63% 27 검증 세트 손실: 0.051647 최선의 손실: 0.043739 정확도: 98.98% 28 검증 세트 손실: 0.094550 최선의 손실: 0.043739 정확도: 97.93% 29 검증 세트 손실: 0.069172 최선의 손실: 0.043739 정확도: 98.48% 30 검증 세트 손실: 0.079916 최선의 손실: 0.043739 정확도: 98.28% 31 검증 세트 손실: 0.051154 최선의 손실: 0.043739 정확도: 99.10% 32 검증 세트 손실: 0.071337 최선의 손실: 0.043739 정확도: 98.28% 33 검증 세트 손실: 0.049608 최선의 손실: 0.043739 정확도: 98.98% 34 검증 세트 손실: 0.079539 최선의 손실: 0.043739 정확도: 98.59% 35 검증 세트 손실: 0.096537 최선의 손실: 0.043739 정확도: 98.36% 36 검증 세트 손실: 0.069136 최선의 손실: 0.043739 정확도: 98.71% 37 검증 세트 손실: 0.048167 최선의 손실: 0.043739 정확도: 99.06% 38 검증 세트 손실: 0.059643 최선의 손실: 0.043739 정확도: 98.71% 39 검증 세트 손실: 0.079928 최선의 손실: 0.043739 정확도: 98.40% 40 검증 세트 손실: 0.064932 최선의 손실: 0.043739 정확도: 98.51% 41 검증 세트 손실: 0.068414 최선의 손실: 0.043739 정확도: 98.59% 42 검증 세트 손실: 0.060368 최선의 손실: 0.043739 정확도: 98.71% 조기 종료! [CV] n_neurons=50, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 12.1s [CV] n_neurons=50, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 0 검증 세트 손실: 0.280207 최선의 손실: 0.280207 정확도: 95.15% 1 검증 세트 손실: 0.097537 최선의 손실: 0.097537 정확도: 97.58% 2 검증 세트 손실: 0.065564 최선의 손실: 0.065564 정확도: 98.12% 3 검증 세트 손실: 0.051405 최선의 손실: 0.051405 정확도: 98.79% 4 검증 세트 손실: 0.046678 최선의 손실: 0.046678 정확도: 98.63% 5 검증 세트 손실: 0.068383 최선의 손실: 0.046678 정확도: 98.44% 6 검증 세트 손실: 0.052424 최선의 손실: 0.046678 정확도: 98.83% 7 검증 세트 손실: 0.100878 최선의 손실: 0.046678 정확도: 97.50% 8 검증 세트 손실: 0.076038 최선의 손실: 0.046678 정확도: 97.65% 9 검증 세트 손실: 0.041058 최선의 손실: 0.041058 정확도: 98.87% 10 검증 세트 손실: 0.052101 최선의 손실: 0.041058 정확도: 98.63% 11 검증 세트 손실: 0.092289 최선의 손실: 0.041058 정확도: 97.85% 12 검증 세트 손실: 0.067570 최선의 손실: 0.041058 정확도: 98.59% 13 검증 세트 손실: 0.061777 최선의 손실: 0.041058 정확도: 98.51% 14 검증 세트 손실: 0.052779 최선의 손실: 0.041058 정확도: 98.83% 15 검증 세트 손실: 0.065462 최선의 손실: 0.041058 정확도: 98.44% 16 검증 세트 손실: 0.062188 최선의 손실: 0.041058 정확도: 98.51% 17 검증 세트 손실: 0.058526 최선의 손실: 0.041058 정확도: 98.40% 18 검증 세트 손실: 0.045023 최선의 손실: 0.041058 정확도: 99.18% 19 검증 세트 손실: 0.060911 최선의 손실: 0.041058 정확도: 98.63% 20 검증 세트 손실: 0.061345 최선의 손실: 0.041058 정확도: 98.87% 21 검증 세트 손실: 0.058534 최선의 손실: 0.041058 정확도: 98.67% 22 검증 세트 손실: 0.066216 최선의 손실: 0.041058 정확도: 98.59% 23 검증 세트 손실: 0.080684 최선의 손실: 0.041058 정확도: 98.40% 24 검증 세트 손실: 0.042166 최선의 손실: 0.041058 정확도: 99.02% 25 검증 세트 손실: 0.041973 최선의 손실: 0.041058 정확도: 99.02% 26 검증 세트 손실: 0.069171 최선의 손실: 0.041058 정확도: 98.75% 27 검증 세트 손실: 0.053858 최선의 손실: 0.041058 정확도: 98.91% 28 검증 세트 손실: 0.056761 최선의 손실: 0.041058 정확도: 99.06% 29 검증 세트 손실: 0.058536 최선의 손실: 0.041058 정확도: 98.91% 30 검증 세트 손실: 0.060312 최선의 손실: 0.041058 정확도: 98.91% 조기 종료! [CV] n_neurons=50, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 9.1s [CV] n_neurons=50, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 0 검증 세트 손실: 0.183066 최선의 손실: 0.183066 정확도: 96.25% 1 검증 세트 손실: 0.071020 최선의 손실: 0.071020 정확도: 98.24% 2 검증 세트 손실: 0.060205 최선의 손실: 0.060205 정확도: 98.51% 3 검증 세트 손실: 0.052721 최선의 손실: 0.052721 정확도: 98.44% 4 검증 세트 손실: 0.054612 최선의 손실: 0.052721 정확도: 98.36% 5 검증 세트 손실: 0.090727 최선의 손실: 0.052721 정확도: 97.97% 6 검증 세트 손실: 0.061087 최선의 손실: 0.052721 정확도: 98.36% 7 검증 세트 손실: 0.055393 최선의 손실: 0.052721 정확도: 98.75% 8 검증 세트 손실: 0.061090 최선의 손실: 0.052721 정확도: 98.59% 9 검증 세트 손실: 0.042861 최선의 손실: 0.042861 정확도: 98.94% 10 검증 세트 손실: 0.048577 최선의 손실: 0.042861 정확도: 98.87% 11 검증 세트 손실: 0.062300 최선의 손실: 0.042861 정확도: 98.63% 12 검증 세트 손실: 0.046722 최선의 손실: 0.042861 정확도: 98.94% 13 검증 세트 손실: 0.065796 최선의 손실: 0.042861 정확도: 98.44% 14 검증 세트 손실: 0.050877 최선의 손실: 0.042861 정확도: 98.83% 15 검증 세트 손실: 0.044249 최선의 손실: 0.042861 정확도: 98.94% 16 검증 세트 손실: 0.046493 최선의 손실: 0.042861 정확도: 98.98% 17 검증 세트 손실: 0.057902 최선의 손실: 0.042861 정확도: 98.91% 18 검증 세트 손실: 0.071565 최선의 손실: 0.042861 정확도: 98.67% 19 검증 세트 손실: 0.047269 최선의 손실: 0.042861 정확도: 98.94% 20 검증 세트 손실: 0.053873 최선의 손실: 0.042861 정확도: 98.98% 21 검증 세트 손실: 0.048860 최선의 손실: 0.042861 정확도: 98.94% 22 검증 세트 손실: 0.062678 최선의 손실: 0.042861 정확도: 98.75% 23 검증 세트 손실: 0.058394 최선의 손실: 0.042861 정확도: 98.67% 24 검증 세트 손실: 0.059773 최선의 손실: 0.042861 정확도: 98.79% 25 검증 세트 손실: 0.047675 최선의 손실: 0.042861 정확도: 98.91% 26 검증 세트 손실: 0.059630 최선의 손실: 0.042861 정확도: 98.91% 27 검증 세트 손실: 0.054685 최선의 손실: 0.042861 정확도: 98.87% 28 검증 세트 손실: 0.058963 최선의 손실: 0.042861 정확도: 98.87% 29 검증 세트 손실: 0.043266 최선의 손실: 0.042861 정확도: 99.14% 30 검증 세트 손실: 0.053470 최선의 손실: 0.042861 정확도: 98.83% 조기 종료! [CV] n_neurons=50, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 9.1s [CV] n_neurons=160, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 0 검증 세트 손실: 0.092615 최선의 손실: 0.092615 정확도: 97.81% 1 검증 세트 손실: 0.115838 최선의 손실: 0.092615 정확도: 97.38% 2 검증 세트 손실: 0.068658 최선의 손실: 0.068658 정확도: 98.24% 3 검증 세트 손실: 0.061574 최선의 손실: 0.061574 정확도: 98.32% 4 검증 세트 손실: 0.047035 최선의 손실: 0.047035 정확도: 98.94% 5 검증 세트 손실: 0.068900 최선의 손실: 0.047035 정확도: 98.51% 6 검증 세트 손실: 0.052929 최선의 손실: 0.047035 정확도: 98.63% 7 검증 세트 손실: 0.047051 최선의 손실: 0.047035 정확도: 98.75% 8 검증 세트 손실: 0.084144 최선의 손실: 0.047035 정확도: 98.51% 9 검증 세트 손실: 0.035242 최선의 손실: 0.035242 정확도: 99.06% 10 검증 세트 손실: 0.048166 최선의 손실: 0.035242 정확도: 98.67% 11 검증 세트 손실: 0.052362 최선의 손실: 0.035242 정확도: 99.06% 12 검증 세트 손실: 0.074768 최선의 손실: 0.035242 정확도: 98.55% 13 검증 세트 손실: 0.051303 최선의 손실: 0.035242 정확도: 98.87% 14 검증 세트 손실: 0.042337 최선의 손실: 0.035242 정확도: 99.02% 15 검증 세트 손실: 0.047022 최선의 손실: 0.035242 정확도: 98.94% 16 검증 세트 손실: 0.074924 최선의 손실: 0.035242 정확도: 98.75% 17 검증 세트 손실: 0.046348 최선의 손실: 0.035242 정확도: 99.02% 18 검증 세트 손실: 0.065701 최선의 손실: 0.035242 정확도: 98.63% 19 검증 세트 손실: 0.054773 최선의 손실: 0.035242 정확도: 98.87% 20 검증 세트 손실: 0.052844 최선의 손실: 0.035242 정확도: 98.75% 21 검증 세트 손실: 0.044779 최선의 손실: 0.035242 정확도: 99.14% 22 검증 세트 손실: 0.041500 최선의 손실: 0.035242 정확도: 99.10% 23 검증 세트 손실: 0.059176 최선의 손실: 0.035242 정확도: 98.79% 24 검증 세트 손실: 0.037933 최선의 손실: 0.035242 정확도: 99.18% 25 검증 세트 손실: 0.062030 최선의 손실: 0.035242 정확도: 98.98% 26 검증 세트 손실: 0.050103 최선의 손실: 0.035242 정확도: 98.94% 27 검증 세트 손실: 0.043000 최선의 손실: 0.035242 정확도: 98.98% 28 검증 세트 손실: 0.079142 최선의 손실: 0.035242 정확도: 98.51% 29 검증 세트 손실: 0.052764 최선의 손실: 0.035242 정확도: 98.98% 30 검증 세트 손실: 0.043246 최선의 손실: 0.035242 정확도: 99.10% 조기 종료! [CV] n_neurons=160, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 31.3s [CV] n_neurons=160, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 0 검증 세트 손실: 0.215852 최선의 손실: 0.215852 정확도: 95.62% 1 검증 세트 손실: 0.063280 최선의 손실: 0.063280 정확도: 98.16% 2 검증 세트 손실: 0.058840 최선의 손실: 0.058840 정확도: 98.63% 3 검증 세트 손실: 0.057257 최선의 손실: 0.057257 정확도: 98.36% 4 검증 세트 손실: 0.060812 최선의 손실: 0.057257 정확도: 98.63% 5 검증 세트 손실: 0.037772 최선의 손실: 0.037772 정확도: 98.71% 6 검증 세트 손실: 0.052452 최선의 손실: 0.037772 정확도: 98.48% 7 검증 세트 손실: 0.065158 최선의 손실: 0.037772 정확도: 98.48% 8 검증 세트 손실: 0.062168 최선의 손실: 0.037772 정확도: 98.67% 9 검증 세트 손실: 0.054397 최선의 손실: 0.037772 정확도: 98.94% 10 검증 세트 손실: 0.071213 최선의 손실: 0.037772 정확도: 98.55% 11 검증 세트 손실: 0.049289 최선의 손실: 0.037772 정확도: 98.91% 12 검증 세트 손실: 0.046745 최선의 손실: 0.037772 정확도: 98.71% 13 검증 세트 손실: 0.047756 최선의 손실: 0.037772 정확도: 99.10% 14 검증 세트 손실: 0.056504 최선의 손실: 0.037772 정확도: 98.55% 15 검증 세트 손실: 0.044482 최선의 손실: 0.037772 정확도: 98.94% 16 검증 세트 손실: 0.049598 최선의 손실: 0.037772 정확도: 99.06% 17 검증 세트 손실: 0.075394 최선의 손실: 0.037772 정확도: 98.87% 18 검증 세트 손실: 0.043138 최선의 손실: 0.037772 정확도: 99.22% 19 검증 세트 손실: 0.050550 최선의 손실: 0.037772 정확도: 98.79% 20 검증 세트 손실: 0.044722 최선의 손실: 0.037772 정확도: 99.10% 21 검증 세트 손실: 0.051287 최선의 손실: 0.037772 정확도: 98.87% 22 검증 세트 손실: 0.046767 최선의 손실: 0.037772 정확도: 98.87% 23 검증 세트 손실: 0.075630 최선의 손실: 0.037772 정확도: 98.71% 24 검증 세트 손실: 0.078609 최선의 손실: 0.037772 정확도: 98.71% 25 검증 세트 손실: 0.053032 최선의 손실: 0.037772 정확도: 98.79% 26 검증 세트 손실: 0.056442 최선의 손실: 0.037772 정확도: 98.83% 조기 종료! [CV] n_neurons=160, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 27.6s [CV] n_neurons=160, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 0 검증 세트 손실: 0.110308 최선의 손실: 0.110308 정확도: 97.38% 1 검증 세트 손실: 0.103582 최선의 손실: 0.103582 정확도: 97.50% 2 검증 세트 손실: 0.077819 최선의 손실: 0.077819 정확도: 97.97% 3 검증 세트 손실: 0.048839 최선의 손실: 0.048839 정확도: 98.67% 4 검증 세트 손실: 0.054243 최선의 손실: 0.048839 정확도: 98.87% 5 검증 세트 손실: 0.043279 최선의 손실: 0.043279 정확도: 98.91% 6 검증 세트 손실: 0.042194 최선의 손실: 0.042194 정확도: 98.94% 7 검증 세트 손실: 0.073846 최선의 손실: 0.042194 정확도: 98.59% 8 검증 세트 손실: 0.045791 최선의 손실: 0.042194 정확도: 98.83% 9 검증 세트 손실: 0.047085 최선의 손실: 0.042194 정확도: 99.10% 10 검증 세트 손실: 0.034554 최선의 손실: 0.034554 정확도: 99.06% 11 검증 세트 손실: 0.035371 최선의 손실: 0.034554 정확도: 99.10% 12 검증 세트 손실: 0.029178 최선의 손실: 0.029178 정확도: 99.22% 13 검증 세트 손실: 0.064966 최선의 손실: 0.029178 정확도: 98.79% 14 검증 세트 손실: 0.060175 최선의 손실: 0.029178 정확도: 98.59% 15 검증 세트 손실: 0.065102 최선의 손실: 0.029178 정확도: 98.71% 16 검증 세트 손실: 0.048091 최선의 손실: 0.029178 정확도: 98.94% 17 검증 세트 손실: 0.049929 최선의 손실: 0.029178 정확도: 98.83% 18 검증 세트 손실: 0.053939 최선의 손실: 0.029178 정확도: 98.83% 19 검증 세트 손실: 0.059949 최선의 손실: 0.029178 정확도: 98.75% 20 검증 세트 손실: 0.047010 최선의 손실: 0.029178 정확도: 99.22% 21 검증 세트 손실: 0.041923 최선의 손실: 0.029178 정확도: 98.94% 22 검증 세트 손실: 0.040958 최선의 손실: 0.029178 정확도: 99.10% 23 검증 세트 손실: 0.048497 최선의 손실: 0.029178 정확도: 98.98% 24 검증 세트 손실: 0.045394 최선의 손실: 0.029178 정확도: 98.98% 25 검증 세트 손실: 0.042978 최선의 손실: 0.029178 정확도: 99.06% 26 검증 세트 손실: 0.039780 최선의 손실: 0.029178 정확도: 99.02% 27 검증 세트 손실: 0.038132 최선의 손실: 0.029178 정확도: 99.02% 28 검증 세트 손실: 0.038994 최선의 손실: 0.029178 정확도: 99.37% 29 검증 세트 손실: 0.033430 최선의 손실: 0.029178 정확도: 99.26% 30 검증 세트 손실: 0.036945 최선의 손실: 0.029178 정확도: 99.34% 31 검증 세트 손실: 0.046834 최선의 손실: 0.029178 정확도: 98.98% 32 검증 세트 손실: 0.045647 최선의 손실: 0.029178 정확도: 98.98% 33 검증 세트 손실: 0.044411 최선의 손실: 0.029178 정확도: 99.10% 조기 종료! [CV] n_neurons=160, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 34.4s [CV] n_neurons=50, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.171059 최선의 손실: 0.171059 정확도: 95.15% 1 검증 세트 손실: 0.088663 최선의 손실: 0.088663 정확도: 97.58% 2 검증 세트 손실: 0.090951 최선의 손실: 0.088663 정확도: 97.22% 3 검증 세트 손실: 0.073111 최선의 손실: 0.073111 정확도: 97.73% 4 검증 세트 손실: 0.066913 최선의 손실: 0.066913 정확도: 98.01% 5 검증 세트 손실: 0.110773 최선의 손실: 0.066913 정확도: 96.44% 6 검증 세트 손실: 0.064188 최선의 손실: 0.064188 정확도: 98.12% 7 검증 세트 손실: 0.069757 최선의 손실: 0.064188 정확도: 98.05% 8 검증 세트 손실: 0.069276 최선의 손실: 0.064188 정확도: 97.73% 9 검증 세트 손실: 0.063514 최선의 손실: 0.063514 정확도: 98.12% 10 검증 세트 손실: 0.066032 최선의 손실: 0.063514 정확도: 98.24% 11 검증 세트 손실: 0.080535 최선의 손실: 0.063514 정확도: 97.85% 12 검증 세트 손실: 0.060029 최선의 손실: 0.060029 정확도: 98.51% 13 검증 세트 손실: 0.061915 최선의 손실: 0.060029 정확도: 98.32% 14 검증 세트 손실: 0.064874 최선의 손실: 0.060029 정확도: 98.20% 15 검증 세트 손실: 0.072183 최선의 손실: 0.060029 정확도: 98.28% 16 검증 세트 손실: 0.062984 최선의 손실: 0.060029 정확도: 98.36% 17 검증 세트 손실: 0.077526 최선의 손실: 0.060029 정확도: 98.16% 18 검증 세트 손실: 0.077427 최선의 손실: 0.060029 정확도: 98.08% 19 검증 세트 손실: 0.083266 최선의 손실: 0.060029 정확도: 98.08% 20 검증 세트 손실: 0.059525 최선의 손실: 0.059525 정확도: 98.36% 21 검증 세트 손실: 0.124467 최선의 손실: 0.059525 정확도: 97.42% 22 검증 세트 손실: 0.083279 최선의 손실: 0.059525 정확도: 98.28% 23 검증 세트 손실: 0.075264 최선의 손실: 0.059525 정확도: 98.40% 24 검증 세트 손실: 0.077159 최선의 손실: 0.059525 정확도: 98.24% 25 검증 세트 손실: 0.090969 최선의 손실: 0.059525 정확도: 98.08% 26 검증 세트 손실: 0.074036 최선의 손실: 0.059525 정확도: 98.48% 27 검증 세트 손실: 0.094315 최선의 손실: 0.059525 정확도: 98.12% 28 검증 세트 손실: 0.076264 최선의 손실: 0.059525 정확도: 98.24% 29 검증 세트 손실: 0.114763 최선의 손실: 0.059525 정확도: 97.42% 30 검증 세트 손실: 0.091200 최선의 손실: 0.059525 정확도: 98.24% 31 검증 세트 손실: 0.081389 최선의 손실: 0.059525 정확도: 98.36% 32 검증 세트 손실: 0.106775 최선의 손실: 0.059525 정확도: 98.16% 33 검증 세트 손실: 0.079343 최선의 손실: 0.059525 정확도: 98.48% 34 검증 세트 손실: 0.088802 최선의 손실: 0.059525 정확도: 98.32% 35 검증 세트 손실: 0.117636 최선의 손실: 0.059525 정확도: 98.36% 36 검증 세트 손실: 0.117396 최선의 손실: 0.059525 정확도: 98.16% 37 검증 세트 손실: 0.098606 최선의 손실: 0.059525 정확도: 98.01% 38 검증 세트 손실: 0.084177 최선의 손실: 0.059525 정확도: 98.44% 39 검증 세트 손실: 0.086490 최선의 손실: 0.059525 정확도: 98.32% 40 검증 세트 손실: 0.078091 최선의 손실: 0.059525 정확도: 98.28% 41 검증 세트 손실: 0.081495 최선의 손실: 0.059525 정확도: 98.44% 조기 종료! [CV] n_neurons=50, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28>, total= 11.8s [CV] n_neurons=50, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.184570 최선의 손실: 0.184570 정확도: 94.64% 1 검증 세트 손실: 0.093963 최선의 손실: 0.093963 정확도: 97.42% 2 검증 세트 손실: 0.069974 최선의 손실: 0.069974 정확도: 97.81% 3 검증 세트 손실: 0.092989 최선의 손실: 0.069974 정확도: 96.95% 4 검증 세트 손실: 0.066953 최선의 손실: 0.066953 정확도: 97.81% 5 검증 세트 손실: 0.064867 최선의 손실: 0.064867 정확도: 97.77% 6 검증 세트 손실: 0.072278 최선의 손실: 0.064867 정확도: 97.97% 7 검증 세트 손실: 0.068722 최선의 손실: 0.064867 정확도: 97.77% 8 검증 세트 손실: 0.084900 최선의 손실: 0.064867 정확도: 97.34% 9 검증 세트 손실: 0.089994 최선의 손실: 0.064867 정확도: 98.12% 10 검증 세트 손실: 0.075441 최선의 손실: 0.064867 정확도: 98.16% 11 검증 세트 손실: 0.061371 최선의 손실: 0.061371 정확도: 98.51% 12 검증 세트 손실: 0.060653 최선의 손실: 0.060653 정확도: 98.63% 13 검증 세트 손실: 0.067469 최선의 손실: 0.060653 정확도: 98.48% 14 검증 세트 손실: 0.065859 최선의 손실: 0.060653 정확도: 98.44% 15 검증 세트 손실: 0.093166 최선의 손실: 0.060653 정확도: 97.85% 16 검증 세트 손실: 0.067028 최선의 손실: 0.060653 정확도: 98.55% 17 검증 세트 손실: 0.056255 최선의 손실: 0.056255 정확도: 98.67% 18 검증 세트 손실: 0.069464 최선의 손실: 0.056255 정확도: 98.36% 19 검증 세트 손실: 0.066900 최선의 손실: 0.056255 정확도: 98.28% 20 검증 세트 손실: 0.109722 최선의 손실: 0.056255 정확도: 98.01% 21 검증 세트 손실: 0.067366 최선의 손실: 0.056255 정확도: 98.28% 22 검증 세트 손실: 0.066086 최선의 손실: 0.056255 정확도: 98.48% 23 검증 세트 손실: 0.072867 최선의 손실: 0.056255 정확도: 98.44% 24 검증 세트 손실: 0.078491 최선의 손실: 0.056255 정확도: 98.32% 25 검증 세트 손실: 0.065533 최선의 손실: 0.056255 정확도: 98.55% 26 검증 세트 손실: 0.074195 최선의 손실: 0.056255 정확도: 98.44% 27 검증 세트 손실: 0.069133 최선의 손실: 0.056255 정확도: 98.59% 28 검증 세트 손실: 0.089871 최선의 손실: 0.056255 정확도: 98.44% 29 검증 세트 손실: 0.074972 최선의 손실: 0.056255 정확도: 98.24% 30 검증 세트 손실: 0.097003 최선의 손실: 0.056255 정확도: 98.48% 31 검증 세트 손실: 0.106570 최선의 손실: 0.056255 정확도: 98.12% 32 검증 세트 손실: 0.069013 최선의 손실: 0.056255 정확도: 98.51% 33 검증 세트 손실: 0.099714 최선의 손실: 0.056255 정확도: 98.28% 34 검증 세트 손실: 0.111085 최선의 손실: 0.056255 정확도: 98.20% 35 검증 세트 손실: 0.098384 최선의 손실: 0.056255 정확도: 98.28% 36 검증 세트 손실: 0.079746 최선의 손실: 0.056255 정확도: 98.55% 37 검증 세트 손실: 0.079570 최선의 손실: 0.056255 정확도: 98.67% 38 검증 세트 손실: 0.085948 최선의 손실: 0.056255 정확도: 98.55% 조기 종료! [CV] n_neurons=50, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28>, total= 11.0s [CV] n_neurons=50, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.161133 최선의 손실: 0.161133 정확도: 95.19% 1 검증 세트 손실: 0.091983 최선의 손실: 0.091983 정확도: 97.30% 2 검증 세트 손실: 0.078080 최선의 손실: 0.078080 정확도: 97.65% 3 검증 세트 손실: 0.071704 최선의 손실: 0.071704 정확도: 97.77% 4 검증 세트 손실: 0.081327 최선의 손실: 0.071704 정확도: 97.42% 5 검증 세트 손실: 0.066075 최선의 손실: 0.066075 정확도: 97.89% 6 검증 세트 손실: 0.058196 최선의 손실: 0.058196 정확도: 98.48% 7 검증 세트 손실: 0.073338 최선의 손실: 0.058196 정확도: 97.65% 8 검증 세트 손실: 0.055870 최선의 손실: 0.055870 정확도: 98.16% 9 검증 세트 손실: 0.054802 최선의 손실: 0.054802 정확도: 98.36% 10 검증 세트 손실: 0.059678 최선의 손실: 0.054802 정확도: 98.32% 11 검증 세트 손실: 0.063105 최선의 손실: 0.054802 정확도: 98.12% 12 검증 세트 손실: 0.059872 최선의 손실: 0.054802 정확도: 98.55% 13 검증 세트 손실: 0.080143 최선의 손실: 0.054802 정확도: 98.08% 14 검증 세트 손실: 0.051669 최선의 손실: 0.051669 정확도: 98.63% 15 검증 세트 손실: 0.087903 최선의 손실: 0.051669 정확도: 98.28% 16 검증 세트 손실: 0.051712 최선의 손실: 0.051669 정확도: 98.71% 17 검증 세트 손실: 0.070965 최선의 손실: 0.051669 정확도: 98.16% 18 검증 세트 손실: 0.062853 최선의 손실: 0.051669 정확도: 98.59% 19 검증 세트 손실: 0.055163 최선의 손실: 0.051669 정확도: 98.63% 20 검증 세트 손실: 0.066905 최선의 손실: 0.051669 정확도: 98.75% 21 검증 세트 손실: 0.068644 최선의 손실: 0.051669 정확도: 98.55% 22 검증 세트 손실: 0.080125 최선의 손실: 0.051669 정확도: 98.36% 23 검증 세트 손실: 0.088040 최선의 손실: 0.051669 정확도: 98.16% 24 검증 세트 손실: 0.078729 최선의 손실: 0.051669 정확도: 98.36% 25 검증 세트 손실: 0.063293 최선의 손실: 0.051669 정확도: 98.59% 26 검증 세트 손실: 0.060264 최선의 손실: 0.051669 정확도: 98.63% 27 검증 세트 손실: 0.053625 최선의 손실: 0.051669 정확도: 98.87% 28 검증 세트 손실: 0.063638 최선의 손실: 0.051669 정확도: 98.63% 29 검증 세트 손실: 0.071928 최선의 손실: 0.051669 정확도: 98.44% 30 검증 세트 손실: 0.064908 최선의 손실: 0.051669 정확도: 98.98% 31 검증 세트 손실: 0.056927 최선의 손실: 0.051669 정확도: 98.91% 32 검증 세트 손실: 0.073637 최선의 손실: 0.051669 정확도: 98.67% 33 검증 세트 손실: 0.073036 최선의 손실: 0.051669 정확도: 98.67% 34 검증 세트 손실: 0.105667 최선의 손실: 0.051669 정확도: 98.48% 35 검증 세트 손실: 0.065414 최선의 손실: 0.051669 정확도: 98.75% 조기 종료! [CV] n_neurons=50, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28>, total= 10.3s [CV] n_neurons=90, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 0 검증 세트 손실: 0.140822 최선의 손실: 0.140822 정확도: 95.90% 1 검증 세트 손실: 0.082633 최선의 손실: 0.082633 정확도: 97.50% 2 검증 세트 손실: 0.064084 최선의 손실: 0.064084 정확도: 98.05% 3 검증 세트 손실: 0.061194 최선의 손실: 0.061194 정확도: 97.93% 4 검증 세트 손실: 0.061395 최선의 손실: 0.061194 정확도: 98.28% 5 검증 세트 손실: 0.095874 최선의 손실: 0.061194 정확도: 97.11% 6 검증 세트 손실: 0.051429 최선의 손실: 0.051429 정확도: 98.28% 7 검증 세트 손실: 0.069614 최선의 손실: 0.051429 정확도: 98.28% 8 검증 세트 손실: 0.046168 최선의 손실: 0.046168 정확도: 98.59% 9 검증 세트 손실: 0.058167 최선의 손실: 0.046168 정확도: 98.51% 10 검증 세트 손실: 0.061108 최선의 손실: 0.046168 정확도: 98.48% 11 검증 세트 손실: 0.074856 최선의 손실: 0.046168 정확도: 98.20% 12 검증 세트 손실: 0.045359 최선의 손실: 0.045359 정확도: 98.71% 13 검증 세트 손실: 0.054158 최선의 손실: 0.045359 정확도: 98.63% 14 검증 세트 손실: 0.056385 최선의 손실: 0.045359 정확도: 98.98% 15 검증 세트 손실: 0.058765 최선의 손실: 0.045359 정확도: 98.44% 16 검증 세트 손실: 0.059400 최선의 손실: 0.045359 정확도: 98.75% 17 검증 세트 손실: 0.054341 최선의 손실: 0.045359 정확도: 98.83% 18 검증 세트 손실: 0.068342 최선의 손실: 0.045359 정확도: 98.44% 19 검증 세트 손실: 0.063954 최선의 손실: 0.045359 정확도: 98.51% 20 검증 세트 손실: 0.055993 최선의 손실: 0.045359 정확도: 98.63% 21 검증 세트 손실: 0.064808 최선의 손실: 0.045359 정확도: 98.59% 22 검증 세트 손실: 0.057288 최선의 손실: 0.045359 정확도: 98.91% 23 검증 세트 손실: 0.060961 최선의 손실: 0.045359 정확도: 98.59% 24 검증 세트 손실: 0.053204 최선의 손실: 0.045359 정확도: 98.48% 25 검증 세트 손실: 0.063796 최선의 손실: 0.045359 정확도: 98.67% 26 검증 세트 손실: 0.057954 최선의 손실: 0.045359 정확도: 98.71% 27 검증 세트 손실: 0.045796 최선의 손실: 0.045359 정확도: 98.94% 28 검증 세트 손실: 0.050166 최선의 손실: 0.045359 정확도: 98.94% 29 검증 세트 손실: 0.055828 최선의 손실: 0.045359 정확도: 98.79% 30 검증 세트 손실: 0.078270 최선의 손실: 0.045359 정확도: 98.36% 31 검증 세트 손실: 0.063441 최선의 손실: 0.045359 정확도: 98.87% 32 검증 세트 손실: 0.081855 최선의 손실: 0.045359 정확도: 98.36% 33 검증 세트 손실: 0.074538 최선의 손실: 0.045359 정확도: 98.91% 조기 종료! [CV] n_neurons=90, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 12.6s [CV] n_neurons=90, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 0 검증 세트 손실: 0.131295 최선의 손실: 0.131295 정확도: 95.97% 1 검증 세트 손실: 0.077599 최선의 손실: 0.077599 정확도: 97.62% 2 검증 세트 손실: 0.067669 최선의 손실: 0.067669 정확도: 97.93% 3 검증 세트 손실: 0.058339 최선의 손실: 0.058339 정확도: 98.40% 4 검증 세트 손실: 0.067773 최선의 손실: 0.058339 정확도: 98.20% 5 검증 세트 손실: 0.058532 최선의 손실: 0.058339 정확도: 98.05% 6 검증 세트 손실: 0.051651 최선의 손실: 0.051651 정확도: 98.48% 7 검증 세트 손실: 0.070256 최선의 손실: 0.051651 정확도: 98.12% 8 검증 세트 손실: 0.050993 최선의 손실: 0.050993 정확도: 98.44% 9 검증 세트 손실: 0.048529 최선의 손실: 0.048529 정확도: 98.63% 10 검증 세트 손실: 0.056953 최선의 손실: 0.048529 정확도: 98.55% 11 검증 세트 손실: 0.071445 최선의 손실: 0.048529 정확도: 98.40% 12 검증 세트 손실: 0.057251 최선의 손실: 0.048529 정확도: 98.63% 13 검증 세트 손실: 0.063848 최선의 손실: 0.048529 정확도: 98.51% 14 검증 세트 손실: 0.054832 최선의 손실: 0.048529 정확도: 98.94% 15 검증 세트 손실: 0.069416 최선의 손실: 0.048529 정확도: 98.55% 16 검증 세트 손실: 0.047131 최선의 손실: 0.047131 정확도: 98.91% 17 검증 세트 손실: 0.045439 최선의 손실: 0.045439 정확도: 99.26% 18 검증 세트 손실: 0.057264 최선의 손실: 0.045439 정확도: 98.91% 19 검증 세트 손실: 0.057512 최선의 손실: 0.045439 정확도: 98.59% 20 검증 세트 손실: 0.053412 최선의 손실: 0.045439 정확도: 98.98% 21 검증 세트 손실: 0.061222 최선의 손실: 0.045439 정확도: 98.67% 22 검증 세트 손실: 0.061719 최선의 손실: 0.045439 정확도: 98.67% 23 검증 세트 손실: 0.057569 최선의 손실: 0.045439 정확도: 99.02% 24 검증 세트 손실: 0.062489 최선의 손실: 0.045439 정확도: 98.63% 25 검증 세트 손실: 0.069081 최선의 손실: 0.045439 정확도: 98.55% 26 검증 세트 손실: 0.071501 최선의 손실: 0.045439 정확도: 98.59% 27 검증 세트 손실: 0.077435 최선의 손실: 0.045439 정확도: 98.55% 28 검증 세트 손실: 0.065439 최선의 손실: 0.045439 정확도: 98.83% 29 검증 세트 손실: 0.077742 최선의 손실: 0.045439 정확도: 98.71% 30 검증 세트 손실: 0.085174 최선의 손실: 0.045439 정확도: 98.63% 31 검증 세트 손실: 0.050705 최선의 손실: 0.045439 정확도: 98.63% 32 검증 세트 손실: 0.061399 최선의 손실: 0.045439 정확도: 98.79% 33 검증 세트 손실: 0.092911 최선의 손실: 0.045439 정확도: 98.40% 34 검증 세트 손실: 0.073682 최선의 손실: 0.045439 정확도: 98.51% 35 검증 세트 손실: 0.074531 최선의 손실: 0.045439 정확도: 98.36% 36 검증 세트 손실: 0.068441 최선의 손실: 0.045439 정확도: 98.51% 37 검증 세트 손실: 0.073469 최선의 손실: 0.045439 정확도: 98.63% 38 검증 세트 손실: 0.100938 최선의 손실: 0.045439 정확도: 98.24% 조기 종료! [CV] n_neurons=90, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 14.2s [CV] n_neurons=90, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 0 검증 세트 손실: 0.124578 최선의 손실: 0.124578 정확도: 96.01% 1 검증 세트 손실: 0.070664 최선의 손실: 0.070664 정확도: 97.50% 2 검증 세트 손실: 0.054728 최선의 손실: 0.054728 정확도: 98.40% 3 검증 세트 손실: 0.056908 최선의 손실: 0.054728 정확도: 98.32% 4 검증 세트 손실: 0.044010 최선의 손실: 0.044010 정확도: 98.75% 5 검증 세트 손실: 0.059860 최선의 손실: 0.044010 정확도: 98.40% 6 검증 세트 손실: 0.078997 최선의 손실: 0.044010 정확도: 97.73% 7 검증 세트 손실: 0.043646 최선의 손실: 0.043646 정확도: 98.71% 8 검증 세트 손실: 0.052680 최선의 손실: 0.043646 정확도: 98.71% 9 검증 세트 손실: 0.043184 최선의 손실: 0.043184 정확도: 98.83% 10 검증 세트 손실: 0.057058 최선의 손실: 0.043184 정확도: 98.55% 11 검증 세트 손실: 0.052013 최선의 손실: 0.043184 정확도: 98.55% 12 검증 세트 손실: 0.042971 최선의 손실: 0.042971 정확도: 98.83% 13 검증 세트 손실: 0.040537 최선의 손실: 0.040537 정확도: 99.14% 14 검증 세트 손실: 0.056453 최선의 손실: 0.040537 정확도: 98.63% 15 검증 세트 손실: 0.046881 최선의 손실: 0.040537 정확도: 98.75% 16 검증 세트 손실: 0.059996 최선의 손실: 0.040537 정확도: 98.59% 17 검증 세트 손실: 0.068978 최선의 손실: 0.040537 정확도: 98.79% 18 검증 세트 손실: 0.046426 최선의 손실: 0.040537 정확도: 98.91% 19 검증 세트 손실: 0.079138 최선의 손실: 0.040537 정확도: 98.48% 20 검증 세트 손실: 0.081031 최선의 손실: 0.040537 정확도: 98.51% 21 검증 세트 손실: 0.063551 최선의 손실: 0.040537 정확도: 98.67% 22 검증 세트 손실: 0.065991 최선의 손실: 0.040537 정확도: 98.55% 23 검증 세트 손실: 0.056070 최선의 손실: 0.040537 정확도: 98.67% 24 검증 세트 손실: 0.042961 최선의 손실: 0.040537 정확도: 99.02% 25 검증 세트 손실: 0.075129 최선의 손실: 0.040537 정확도: 98.40% 26 검증 세트 손실: 0.040831 최선의 손실: 0.040537 정확도: 98.87% 27 검증 세트 손실: 0.033652 최선의 손실: 0.033652 정확도: 99.18% 28 검증 세트 손실: 0.047560 최선의 손실: 0.033652 정확도: 99.10% 29 검증 세트 손실: 0.045208 최선의 손실: 0.033652 정확도: 99.06% 30 검증 세트 손실: 0.051470 최선의 손실: 0.033652 정확도: 98.94% 31 검증 세트 손실: 0.050538 최선의 손실: 0.033652 정확도: 99.06% 32 검증 세트 손실: 0.045926 최선의 손실: 0.033652 정확도: 99.10% 33 검증 세트 손실: 0.069739 최선의 손실: 0.033652 정확도: 98.59% 34 검증 세트 손실: 0.100661 최선의 손실: 0.033652 정확도: 98.20% 35 검증 세트 손실: 0.059598 최선의 손실: 0.033652 정확도: 98.71% 36 검증 세트 손실: 0.049156 최선의 손실: 0.033652 정확도: 98.83% 37 검증 세트 손실: 0.054560 최선의 손실: 0.033652 정확도: 98.83% 38 검증 세트 손실: 0.069837 최선의 손실: 0.033652 정확도: 98.63% 39 검증 세트 손실: 0.048407 최선의 손실: 0.033652 정확도: 98.91% 40 검증 세트 손실: 0.059486 최선의 손실: 0.033652 정확도: 98.83% 41 검증 세트 손실: 0.048959 최선의 손실: 0.033652 정확도: 99.02% 42 검증 세트 손실: 0.064640 최선의 손실: 0.033652 정확도: 98.91% 43 검증 세트 손실: 0.057914 최선의 손실: 0.033652 정확도: 98.91% 44 검증 세트 손실: 0.071244 최선의 손실: 0.033652 정확도: 98.83% 45 검증 세트 손실: 0.067352 최선의 손실: 0.033652 정확도: 98.87% 46 검증 세트 손실: 0.074187 최선의 손실: 0.033652 정확도: 98.51% 47 검증 세트 손실: 0.051783 최선의 손실: 0.033652 정확도: 98.98% 48 검증 세트 손실: 0.072249 최선의 손실: 0.033652 정확도: 98.63% 조기 종료! [CV] n_neurons=90, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 17.5s [CV] n_neurons=140, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.063477 최선의 손실: 0.063477 정확도: 98.28% 1 검증 세트 손실: 0.048737 최선의 손실: 0.048737 정확도: 98.51% 2 검증 세트 손실: 0.053888 최선의 손실: 0.048737 정확도: 98.32% 3 검증 세트 손실: 0.047502 최선의 손실: 0.047502 정확도: 98.71% 4 검증 세트 손실: 0.031727 최선의 손실: 0.031727 정확도: 99.06% 5 검증 세트 손실: 0.041483 최선의 손실: 0.031727 정확도: 98.79% 6 검증 세트 손실: 0.048648 최선의 손실: 0.031727 정확도: 98.79% 7 검증 세트 손실: 0.046553 최선의 손실: 0.031727 정확도: 98.79% 8 검증 세트 손실: 0.044340 최선의 손실: 0.031727 정확도: 98.79% 9 검증 세트 손실: 0.031078 최선의 손실: 0.031078 정확도: 99.14% 10 검증 세트 손실: 0.037854 최선의 손실: 0.031078 정확도: 98.98% 11 검증 세트 손실: 0.031460 최선의 손실: 0.031078 정확도: 99.18% 12 검증 세트 손실: 0.042333 최선의 손실: 0.031078 정확도: 98.98% 13 검증 세트 손실: 0.069370 최선의 손실: 0.031078 정확도: 98.44% 14 검증 세트 손실: 0.050184 최선의 손실: 0.031078 정확도: 98.79% 15 검증 세트 손실: 0.056445 최선의 손실: 0.031078 정확도: 99.06% 16 검증 세트 손실: 0.067878 최선의 손실: 0.031078 정확도: 98.48% 17 검증 세트 손실: 0.046472 최선의 손실: 0.031078 정확도: 98.94% 18 검증 세트 손실: 0.046664 최선의 손실: 0.031078 정확도: 98.94% 19 검증 세트 손실: 0.040344 최선의 손실: 0.031078 정확도: 99.06% 20 검증 세트 손실: 0.050834 최선의 손실: 0.031078 정확도: 98.94% 21 검증 세트 손실: 0.043783 최선의 손실: 0.031078 정확도: 99.10% 22 검증 세트 손실: 0.045924 최선의 손실: 0.031078 정확도: 99.10% 23 검증 세트 손실: 0.050211 최선의 손실: 0.031078 정확도: 99.02% 24 검증 세트 손실: 0.050423 최선의 손실: 0.031078 정확도: 98.98% 25 검증 세트 손실: 0.047149 최선의 손실: 0.031078 정확도: 99.10% 26 검증 세트 손실: 0.062115 최선의 손실: 0.031078 정확도: 98.94% 27 검증 세트 손실: 0.066241 최선의 손실: 0.031078 정확도: 98.83% 28 검증 세트 손실: 0.059185 최선의 손실: 0.031078 정확도: 98.59% 29 검증 세트 손실: 0.066729 최선의 손실: 0.031078 정확도: 98.83% 30 검증 세트 손실: 0.055278 최선의 손실: 0.031078 정확도: 98.75% 조기 종료! [CV] n_neurons=140, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=<function relu at 0x7f8ec4c8c510>, total= 14.9s [CV] n_neurons=140, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.065311 최선의 손실: 0.065311 정확도: 97.97% 1 검증 세트 손실: 0.047484 최선의 손실: 0.047484 정확도: 98.67% 2 검증 세트 손실: 0.043112 최선의 손실: 0.043112 정확도: 98.71% 3 검증 세트 손실: 0.047656 최선의 손실: 0.043112 정확도: 98.44% 4 검증 세트 손실: 0.043808 최선의 손실: 0.043112 정확도: 98.79% 5 검증 세트 손실: 0.049723 최선의 손실: 0.043112 정확도: 98.48% 6 검증 세트 손실: 0.041190 최선의 손실: 0.041190 정확도: 99.02% 7 검증 세트 손실: 0.044885 최선의 손실: 0.041190 정확도: 98.87% 8 검증 세트 손실: 0.062136 최선의 손실: 0.041190 정확도: 98.44% 9 검증 세트 손실: 0.048816 최선의 손실: 0.041190 정확도: 98.98% 10 검증 세트 손실: 0.037836 최선의 손실: 0.037836 정확도: 99.10% 11 검증 세트 손실: 0.043283 최선의 손실: 0.037836 정확도: 99.06% 12 검증 세트 손실: 0.036957 최선의 손실: 0.036957 정확도: 99.02% 13 검증 세트 손실: 0.039044 최선의 손실: 0.036957 정확도: 99.14% 14 검증 세트 손실: 0.040032 최선의 손실: 0.036957 정확도: 99.26% 15 검증 세트 손실: 0.051030 최선의 손실: 0.036957 정확도: 98.79% 16 검증 세트 손실: 0.037220 최선의 손실: 0.036957 정확도: 98.91% 17 검증 세트 손실: 0.041052 최선의 손실: 0.036957 정확도: 99.06% 18 검증 세트 손실: 0.038708 최선의 손실: 0.036957 정확도: 99.10% 19 검증 세트 손실: 0.036168 최선의 손실: 0.036168 정확도: 99.02% 20 검증 세트 손실: 0.035756 최선의 손실: 0.035756 정확도: 99.30% 21 검증 세트 손실: 0.039414 최선의 손실: 0.035756 정확도: 99.18% 22 검증 세트 손실: 0.037555 최선의 손실: 0.035756 정확도: 99.22% 23 검증 세트 손실: 0.066223 최선의 손실: 0.035756 정확도: 98.91% 24 검증 세트 손실: 0.064371 최선의 손실: 0.035756 정확도: 98.75% 25 검증 세트 손실: 0.048263 최선의 손실: 0.035756 정확도: 98.71% 26 검증 세트 손실: 0.053088 최선의 손실: 0.035756 정확도: 98.79% 27 검증 세트 손실: 0.045680 최선의 손실: 0.035756 정확도: 99.10% 28 검증 세트 손실: 0.039480 최선의 손실: 0.035756 정확도: 99.02% 29 검증 세트 손실: 0.043469 최선의 손실: 0.035756 정확도: 99.18% 30 검증 세트 손실: 0.044092 최선의 손실: 0.035756 정확도: 99.18% 31 검증 세트 손실: 0.040478 최선의 손실: 0.035756 정확도: 99.34% 32 검증 세트 손실: 0.043673 최선의 손실: 0.035756 정확도: 98.98% 33 검증 세트 손실: 0.047034 최선의 손실: 0.035756 정확도: 98.94% 34 검증 세트 손실: 0.047572 최선의 손실: 0.035756 정확도: 99.02% 35 검증 세트 손실: 0.032107 최선의 손실: 0.032107 정확도: 99.22% 36 검증 세트 손실: 0.047321 최선의 손실: 0.032107 정확도: 99.02% 37 검증 세트 손실: 0.045880 최선의 손실: 0.032107 정확도: 98.94% 38 검증 세트 손실: 0.033600 최선의 손실: 0.032107 정확도: 99.37% 39 검증 세트 손실: 0.056154 최선의 손실: 0.032107 정확도: 99.14% 40 검증 세트 손실: 0.056492 최선의 손실: 0.032107 정확도: 99.14% 41 검증 세트 손실: 0.052988 최선의 손실: 0.032107 정확도: 99.02% 42 검증 세트 손실: 0.044204 최선의 손실: 0.032107 정확도: 99.14% 43 검증 세트 손실: 0.049684 최선의 손실: 0.032107 정확도: 99.14% 44 검증 세트 손실: 0.034238 최선의 손실: 0.032107 정확도: 99.22% 45 검증 세트 손실: 0.036250 최선의 손실: 0.032107 정확도: 99.22% 46 검증 세트 손실: 0.033646 최선의 손실: 0.032107 정확도: 99.26% 47 검증 세트 손실: 0.040553 최선의 손실: 0.032107 정확도: 98.83% 48 검증 세트 손실: 0.039866 최선의 손실: 0.032107 정확도: 99.22% 49 검증 세트 손실: 0.037110 최선의 손실: 0.032107 정확도: 99.10% 50 검증 세트 손실: 0.039167 최선의 손실: 0.032107 정확도: 99.18% 51 검증 세트 손실: 0.043983 최선의 손실: 0.032107 정확도: 99.02% 52 검증 세트 손실: 0.056665 최선의 손실: 0.032107 정확도: 99.14% 53 검증 세트 손실: 0.056942 최선의 손실: 0.032107 정확도: 99.02% 54 검증 세트 손실: 0.058014 최선의 손실: 0.032107 정확도: 98.91% 55 검증 세트 손실: 0.056853 최선의 손실: 0.032107 정확도: 98.75% 56 검증 세트 손실: 0.070122 최선의 손실: 0.032107 정확도: 98.75% 조기 종료! [CV] n_neurons=140, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=<function relu at 0x7f8ec4c8c510>, total= 26.3s [CV] n_neurons=140, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.064626 최선의 손실: 0.064626 정확도: 97.89% 1 검증 세트 손실: 0.052373 최선의 손실: 0.052373 정확도: 98.32% 2 검증 세트 손실: 0.036296 최선의 손실: 0.036296 정확도: 98.98% 3 검증 세트 손실: 0.038425 최선의 손실: 0.036296 정확도: 98.91% 4 검증 세트 손실: 0.036733 최선의 손실: 0.036296 정확도: 98.91% 5 검증 세트 손실: 0.056489 최선의 손실: 0.036296 정확도: 98.32% 6 검증 세트 손실: 0.038087 최선의 손실: 0.036296 정확도: 98.83% 7 검증 세트 손실: 0.044718 최선의 손실: 0.036296 정확도: 98.83% 8 검증 세트 손실: 0.049772 최선의 손실: 0.036296 정확도: 98.75% 9 검증 세트 손실: 0.055939 최선의 손실: 0.036296 정확도: 98.83% 10 검증 세트 손실: 0.043103 최선의 손실: 0.036296 정확도: 98.63% 11 검증 세트 손실: 0.038262 최선의 손실: 0.036296 정확도: 98.98% 12 검증 세트 손실: 0.040300 최선의 손실: 0.036296 정확도: 98.98% 13 검증 세트 손실: 0.050213 최선의 손실: 0.036296 정확도: 98.91% 14 검증 세트 손실: 0.033515 최선의 손실: 0.033515 정확도: 99.02% 15 검증 세트 손실: 0.036253 최선의 손실: 0.033515 정확도: 98.98% 16 검증 세트 손실: 0.063034 최선의 손실: 0.033515 정확도: 98.51% 17 검증 세트 손실: 0.037518 최선의 손실: 0.033515 정확도: 99.10% 18 검증 세트 손실: 0.036804 최선의 손실: 0.033515 정확도: 99.06% 19 검증 세트 손실: 0.051849 최선의 손실: 0.033515 정확도: 98.55% 20 검증 세트 손실: 0.045505 최선의 손실: 0.033515 정확도: 99.06% 21 검증 세트 손실: 0.040961 최선의 손실: 0.033515 정확도: 99.10% 22 검증 세트 손실: 0.054374 최선의 손실: 0.033515 정확도: 99.02% 23 검증 세트 손실: 0.048013 최선의 손실: 0.033515 정확도: 98.83% 24 검증 세트 손실: 0.042267 최선의 손실: 0.033515 정확도: 99.06% 25 검증 세트 손실: 0.030022 최선의 손실: 0.030022 정확도: 99.34% 26 검증 세트 손실: 0.029454 최선의 손실: 0.029454 정확도: 99.34% 27 검증 세트 손실: 0.041724 최선의 손실: 0.029454 정확도: 99.02% 28 검증 세트 손실: 0.037122 최선의 손실: 0.029454 정확도: 99.30% 29 검증 세트 손실: 0.040615 최선의 손실: 0.029454 정확도: 99.18% 30 검증 세트 손실: 0.037711 최선의 손실: 0.029454 정확도: 99.22% 31 검증 세트 손실: 0.045125 최선의 손실: 0.029454 정확도: 99.02% 32 검증 세트 손실: 0.036658 최선의 손실: 0.029454 정확도: 99.02% 33 검증 세트 손실: 0.047035 최선의 손실: 0.029454 정확도: 99.10% 34 검증 세트 손실: 0.037245 최선의 손실: 0.029454 정확도: 98.98% 35 검증 세트 손실: 0.030266 최선의 손실: 0.029454 정확도: 99.26% 36 검증 세트 손실: 0.026520 최선의 손실: 0.026520 정확도: 99.26% 37 검증 세트 손실: 0.032032 최선의 손실: 0.026520 정확도: 99.30% 38 검증 세트 손실: 0.037685 최선의 손실: 0.026520 정확도: 99.22% 39 검증 세트 손실: 0.035736 최선의 손실: 0.026520 정확도: 99.14% 40 검증 세트 손실: 0.036220 최선의 손실: 0.026520 정확도: 99.14% 41 검증 세트 손실: 0.036171 최선의 손실: 0.026520 정확도: 99.26% 42 검증 세트 손실: 0.062166 최선의 손실: 0.026520 정확도: 99.02% 43 검증 세트 손실: 0.044855 최선의 손실: 0.026520 정확도: 99.22% 44 검증 세트 손실: 0.042436 최선의 손실: 0.026520 정확도: 98.87% 45 검증 세트 손실: 0.042494 최선의 손실: 0.026520 정확도: 99.14% 46 검증 세트 손실: 0.040540 최선의 손실: 0.026520 정확도: 99.14% 47 검증 세트 손실: 0.047777 최선의 손실: 0.026520 정확도: 99.14% 48 검증 세트 손실: 0.034800 최선의 손실: 0.026520 정확도: 99.18% 49 검증 세트 손실: 0.038949 최선의 손실: 0.026520 정확도: 99.14% 50 검증 세트 손실: 0.035014 최선의 손실: 0.026520 정확도: 99.14% 51 검증 세트 손실: 0.035409 최선의 손실: 0.026520 정확도: 99.30% 52 검증 세트 손실: 0.034602 최선의 손실: 0.026520 정확도: 99.22% 53 검증 세트 손실: 0.032281 최선의 손실: 0.026520 정확도: 99.37% 54 검증 세트 손실: 0.033641 최선의 손실: 0.026520 정확도: 99.37% 55 검증 세트 손실: 0.033059 최선의 손실: 0.026520 정확도: 99.34% 56 검증 세트 손실: 0.034806 최선의 손실: 0.026520 정확도: 99.34% 57 검증 세트 손실: 0.028019 최선의 손실: 0.026520 정확도: 99.34% 조기 종료! [CV] n_neurons=140, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=<function relu at 0x7f8ec4c8c510>, total= 26.7s [CV] n_neurons=140, learning_rate=0.01, batch_size=500, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 0 검증 세트 손실: 0.069277 최선의 손실: 0.069277 정확도: 98.20% 1 검증 세트 손실: 0.061487 최선의 손실: 0.061487 정확도: 97.93% 2 검증 세트 손실: 0.041685 최선의 손실: 0.041685 정확도: 98.94% 3 검증 세트 손실: 0.046300 최선의 손실: 0.041685 정확도: 98.63% 4 검증 세트 손실: 0.038092 최선의 손실: 0.038092 정확도: 98.87% 5 검증 세트 손실: 0.063802 최선의 손실: 0.038092 정확도: 98.51% 6 검증 세트 손실: 0.057011 최선의 손실: 0.038092 정확도: 98.44% 7 검증 세트 손실: 0.053442 최선의 손실: 0.038092 정확도: 98.71% 8 검증 세트 손실: 0.032092 최선의 손실: 0.032092 정확도: 99.14% 9 검증 세트 손실: 0.038600 최선의 손실: 0.032092 정확도: 99.14% 10 검증 세트 손실: 0.038476 최선의 손실: 0.032092 정확도: 99.02% 11 검증 세트 손실: 0.045270 최선의 손실: 0.032092 정확도: 98.98% 12 검증 세트 손실: 0.056328 최선의 손실: 0.032092 정확도: 98.83% 13 검증 세트 손실: 0.049206 최선의 손실: 0.032092 정확도: 98.83% 14 검증 세트 손실: 0.044632 최선의 손실: 0.032092 정확도: 98.87% 15 검증 세트 손실: 0.058128 최선의 손실: 0.032092 정확도: 98.63% 16 검증 세트 손실: 0.058684 최선의 손실: 0.032092 정확도: 98.91% 17 검증 세트 손실: 0.056107 최선의 손실: 0.032092 정확도: 98.79% 18 검증 세트 손실: 0.071710 최선의 손실: 0.032092 정확도: 98.51% 19 검증 세트 손실: 0.053441 최선의 손실: 0.032092 정확도: 98.79% 20 검증 세트 손실: 0.037892 최선의 손실: 0.032092 정확도: 99.06% 21 검증 세트 손실: 0.044339 최선의 손실: 0.032092 정확도: 99.02% 22 검증 세트 손실: 0.062378 최선의 손실: 0.032092 정확도: 98.83% 23 검증 세트 손실: 0.049467 최선의 손실: 0.032092 정확도: 99.02% 24 검증 세트 손실: 0.045966 최선의 손실: 0.032092 정확도: 99.14% 25 검증 세트 손실: 0.045151 최선의 손실: 0.032092 정확도: 98.94% 26 검증 세트 손실: 0.050116 최선의 손실: 0.032092 정확도: 98.83% 27 검증 세트 손실: 0.044307 최선의 손실: 0.032092 정확도: 99.02% 28 검증 세트 손실: 0.050716 최선의 손실: 0.032092 정확도: 99.06% 29 검증 세트 손실: 0.077799 최선의 손실: 0.032092 정확도: 98.48% 조기 종료! [CV] n_neurons=140, learning_rate=0.01, batch_size=500, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 15.0s [CV] n_neurons=140, learning_rate=0.01, batch_size=500, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 0 검증 세트 손실: 0.061526 최선의 손실: 0.061526 정확도: 97.97% 1 검증 세트 손실: 0.045697 최선의 손실: 0.045697 정확도: 98.44% 2 검증 세트 손실: 0.053120 최선의 손실: 0.045697 정확도: 98.28% 3 검증 세트 손실: 0.044335 최선의 손실: 0.044335 정확도: 98.51% 4 검증 세트 손실: 0.043921 최선의 손실: 0.043921 정확도: 98.36% 5 검증 세트 손실: 0.052357 최선의 손실: 0.043921 정확도: 98.79% 6 검증 세트 손실: 0.041424 최선의 손실: 0.041424 정확도: 98.87% 7 검증 세트 손실: 0.043853 최선의 손실: 0.041424 정확도: 98.91% 8 검증 세트 손실: 0.037305 최선의 손실: 0.037305 정확도: 98.87% 9 검증 세트 손실: 0.035022 최선의 손실: 0.035022 정확도: 99.06% 10 검증 세트 손실: 0.047999 최선의 손실: 0.035022 정확도: 99.06% 11 검증 세트 손실: 0.050584 최선의 손실: 0.035022 정확도: 98.87% 12 검증 세트 손실: 0.050530 최선의 손실: 0.035022 정확도: 98.59% 13 검증 세트 손실: 0.050269 최선의 손실: 0.035022 정확도: 98.67% 14 검증 세트 손실: 0.067954 최선의 손실: 0.035022 정확도: 98.36% 15 검증 세트 손실: 0.054507 최선의 손실: 0.035022 정확도: 98.98% 16 검증 세트 손실: 0.040587 최선의 손실: 0.035022 정확도: 98.94% 17 검증 세트 손실: 0.063212 최선의 손실: 0.035022 정확도: 98.63% 18 검증 세트 손실: 0.057710 최선의 손실: 0.035022 정확도: 98.75% 19 검증 세트 손실: 0.055299 최선의 손실: 0.035022 정확도: 98.75% 20 검증 세트 손실: 0.057662 최선의 손실: 0.035022 정확도: 98.67% 21 검증 세트 손실: 0.047784 최선의 손실: 0.035022 정확도: 99.06% 22 검증 세트 손실: 0.063486 최선의 손실: 0.035022 정확도: 98.63% 23 검증 세트 손실: 0.063758 최선의 손실: 0.035022 정확도: 98.63% 24 검증 세트 손실: 0.063198 최선의 손실: 0.035022 정확도: 98.71% 25 검증 세트 손실: 0.061762 최선의 손실: 0.035022 정확도: 98.87% 26 검증 세트 손실: 0.053213 최선의 손실: 0.035022 정확도: 98.75% 27 검증 세트 손실: 0.059716 최선의 손실: 0.035022 정확도: 98.75% 28 검증 세트 손실: 0.043507 최선의 손실: 0.035022 정확도: 98.87% 29 검증 세트 손실: 0.047515 최선의 손실: 0.035022 정확도: 98.98% 30 검증 세트 손실: 0.040817 최선의 손실: 0.035022 정확도: 99.06% 조기 종료! [CV] n_neurons=140, learning_rate=0.01, batch_size=500, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 15.6s [CV] n_neurons=140, learning_rate=0.01, batch_size=500, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 0 검증 세트 손실: 0.055981 최선의 손실: 0.055981 정확도: 98.20% 1 검증 세트 손실: 0.050416 최선의 손실: 0.050416 정확도: 98.36% 2 검증 세트 손실: 0.045378 최선의 손실: 0.045378 정확도: 98.44% 3 검증 세트 손실: 0.056748 최선의 손실: 0.045378 정확도: 98.16% 4 검증 세트 손실: 0.035094 최선의 손실: 0.035094 정확도: 98.87% 5 검증 세트 손실: 0.068826 최선의 손실: 0.035094 정확도: 98.16% 6 검증 세트 손실: 0.047269 최선의 손실: 0.035094 정확도: 98.67% 7 검증 세트 손실: 0.034221 최선의 손실: 0.034221 정확도: 99.02% 8 검증 세트 손실: 0.048749 최선의 손실: 0.034221 정확도: 98.87% 9 검증 세트 손실: 0.042339 최선의 손실: 0.034221 정확도: 98.98% 10 검증 세트 손실: 0.050137 최선의 손실: 0.034221 정확도: 98.71% 11 검증 세트 손실: 0.052958 최선의 손실: 0.034221 정확도: 98.75% 12 검증 세트 손실: 0.048541 최선의 손실: 0.034221 정확도: 99.02% 13 검증 세트 손실: 0.062809 최선의 손실: 0.034221 정확도: 98.40% 14 검증 세트 손실: 0.048790 최선의 손실: 0.034221 정확도: 98.83% 15 검증 세트 손실: 0.047352 최선의 손실: 0.034221 정확도: 98.71% 16 검증 세트 손실: 0.054542 최선의 손실: 0.034221 정확도: 98.71% 17 검증 세트 손실: 0.038573 최선의 손실: 0.034221 정확도: 99.18% 18 검증 세트 손실: 0.040756 최선의 손실: 0.034221 정확도: 99.02% 19 검증 세트 손실: 0.041154 최선의 손실: 0.034221 정확도: 99.26% 20 검증 세트 손실: 0.040873 최선의 손실: 0.034221 정확도: 99.30% 21 검증 세트 손실: 0.055550 최선의 손실: 0.034221 정확도: 98.79% 22 검증 세트 손실: 0.064107 최선의 손실: 0.034221 정확도: 98.71% 23 검증 세트 손실: 0.041130 최선의 손실: 0.034221 정확도: 98.94% 24 검증 세트 손실: 0.049754 최선의 손실: 0.034221 정확도: 98.91% 25 검증 세트 손실: 0.049959 최선의 손실: 0.034221 정확도: 98.94% 26 검증 세트 손실: 0.057005 최선의 손실: 0.034221 정확도: 99.06% 27 검증 세트 손실: 0.054901 최선의 손실: 0.034221 정확도: 98.79% 28 검증 세트 손실: 0.052608 최선의 손실: 0.034221 정확도: 98.91% 조기 종료! [CV] n_neurons=140, learning_rate=0.01, batch_size=500, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 14.7s [CV] n_neurons=160, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.999, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 0 검증 세트 손실: 9.738727 최선의 손실: 9.738727 정확도: 85.97% 1 검증 세트 손실: 0.734870 최선의 손실: 0.734870 정확도: 92.38% 2 검증 세트 손실: 0.930431 최선의 손실: 0.734870 정확도: 94.76% 3 검증 세트 손실: 0.983529 최선의 손실: 0.734870 정확도: 93.59% 4 검증 세트 손실: 0.523504 최선의 손실: 0.523504 정확도: 95.62% 5 검증 세트 손실: 0.240284 최선의 손실: 0.240284 정확도: 96.52% 6 검증 세트 손실: 0.574664 최선의 손실: 0.240284 정확도: 94.61% 7 검증 세트 손실: 0.182912 최선의 손실: 0.182912 정확도: 97.50% 8 검증 세트 손실: 0.310844 최선의 손실: 0.182912 정확도: 97.89% 9 검증 세트 손실: 0.130313 최선의 손실: 0.130313 정확도: 98.20% 10 검증 세트 손실: 0.256367 최선의 손실: 0.130313 정확도: 97.30% 11 검증 세트 손실: 0.084459 최선의 손실: 0.084459 정확도: 98.20% 12 검증 세트 손실: 0.133447 최선의 손실: 0.084459 정확도: 98.48% 13 검증 세트 손실: 0.228161 최선의 손실: 0.084459 정확도: 97.03% 14 검증 세트 손실: 0.236479 최선의 손실: 0.084459 정확도: 97.30% 15 검증 세트 손실: 0.156968 최선의 손실: 0.084459 정확도: 98.20% 16 검증 세트 손실: 0.282740 최선의 손실: 0.084459 정확도: 97.34% 17 검증 세트 손실: 0.153333 최선의 손실: 0.084459 정확도: 98.40% 18 검증 세트 손실: 0.666473 최선의 손실: 0.084459 정확도: 96.13% 19 검증 세트 손실: 0.103814 최선의 손실: 0.084459 정확도: 98.71% 20 검증 세트 손실: 0.146087 최선의 손실: 0.084459 정확도: 98.67% 21 검증 세트 손실: 0.197908 최선의 손실: 0.084459 정확도: 97.07% 22 검증 세트 손실: 0.201433 최선의 손실: 0.084459 정확도: 97.97% 23 검증 세트 손실: 0.224857 최선의 손실: 0.084459 정확도: 98.44% 24 검증 세트 손실: 0.200603 최선의 손실: 0.084459 정확도: 97.89% 25 검증 세트 손실: 0.373686 최선의 손실: 0.084459 정확도: 96.95% 26 검증 세트 손실: 0.159758 최선의 손실: 0.084459 정확도: 98.40% 27 검증 세트 손실: 0.243181 최선의 손실: 0.084459 정확도: 98.51% 28 검증 세트 손실: 0.162730 최선의 손실: 0.084459 정확도: 98.48% 29 검증 세트 손실: 0.278361 최선의 손실: 0.084459 정확도: 98.08% 30 검증 세트 손실: 0.321619 최선의 손실: 0.084459 정확도: 97.93% 31 검증 세트 손실: 0.211882 최선의 손실: 0.084459 정확도: 98.63% 32 검증 세트 손실: 0.318474 최선의 손실: 0.084459 정확도: 97.81% 조기 종료! [CV] n_neurons=160, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.999, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 2.4min [CV] n_neurons=160, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.999, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 0 검증 세트 손실: 22.297178 최선의 손실: 22.297178 정확도: 65.01% 1 검증 세트 손실: 4.458448 최선의 손실: 4.458448 정확도: 79.95% 2 검증 세트 손실: 1.924845 최선의 손실: 1.924845 정확도: 92.53% 3 검증 세트 손실: 0.402342 최선의 손실: 0.402342 정확도: 94.02% 4 검증 세트 손실: 0.743910 최선의 손실: 0.402342 정확도: 94.76% 5 검증 세트 손실: 0.232487 최선의 손실: 0.232487 정확도: 95.39% 6 검증 세트 손실: 0.670266 최선의 손실: 0.232487 정확도: 90.81% 7 검증 세트 손실: 0.424519 최선의 손실: 0.232487 정확도: 96.56% 8 검증 세트 손실: 0.658646 최선의 손실: 0.232487 정확도: 94.02% 9 검증 세트 손실: 0.256298 최선의 손실: 0.232487 정확도: 95.39% 10 검증 세트 손실: 0.344962 최선의 손실: 0.232487 정확도: 96.99% 11 검증 세트 손실: 0.338288 최선의 손실: 0.232487 정확도: 97.46% 12 검증 세트 손실: 0.152054 최선의 손실: 0.152054 정확도: 98.51% 13 검증 세트 손실: 0.288073 최선의 손실: 0.152054 정확도: 96.91% 14 검증 세트 손실: 1.122285 최선의 손실: 0.152054 정확도: 93.00% 15 검증 세트 손실: 0.281588 최선의 손실: 0.152054 정확도: 96.60% 16 검증 세트 손실: 0.234202 최선의 손실: 0.152054 정확도: 98.12% 17 검증 세트 손실: 0.589742 최선의 손실: 0.152054 정확도: 96.79% 18 검증 세트 손실: 0.179324 최선의 손실: 0.152054 정확도: 98.44% 19 검증 세트 손실: 3.749451 최선의 손실: 0.152054 정확도: 91.20% 20 검증 세트 손실: 0.185050 최선의 손실: 0.152054 정확도: 98.08% 21 검증 세트 손실: 0.681894 최선의 손실: 0.152054 정확도: 93.98% 22 검증 세트 손실: 0.121694 최선의 손실: 0.121694 정확도: 98.67% 23 검증 세트 손실: 0.160800 최선의 손실: 0.121694 정확도: 98.40% 24 검증 세트 손실: 0.248986 최선의 손실: 0.121694 정확도: 98.55% 25 검증 세트 손실: 0.359851 최선의 손실: 0.121694 정확도: 97.58% 26 검증 세트 손실: 0.215050 최선의 손실: 0.121694 정확도: 98.36% 27 검증 세트 손실: 0.279318 최선의 손실: 0.121694 정확도: 97.85% 28 검증 세트 손실: 0.220104 최선의 손실: 0.121694 정확도: 98.48% 29 검증 세트 손실: 0.214426 최선의 손실: 0.121694 정확도: 98.28% 30 검증 세트 손실: 0.359162 최선의 손실: 0.121694 정확도: 97.73% 31 검증 세트 손실: 0.216691 최선의 손실: 0.121694 정확도: 98.32% 32 검증 세트 손실: 11.512515 최선의 손실: 0.121694 정확도: 89.60% 33 검증 세트 손실: 0.253163 최선의 손실: 0.121694 정확도: 98.44% 34 검증 세트 손실: 0.217156 최선의 손실: 0.121694 정확도: 97.81% 35 검증 세트 손실: 0.249955 최선의 손실: 0.121694 정확도: 98.20% 36 검증 세트 손실: 0.301939 최선의 손실: 0.121694 정확도: 97.69% 37 검증 세트 손실: 0.596550 최선의 손실: 0.121694 정확도: 96.25% 38 검증 세트 손실: 0.218058 최선의 손실: 0.121694 정확도: 98.51% 39 검증 세트 손실: 0.200049 최선의 손실: 0.121694 정확도: 98.63% 40 검증 세트 손실: 0.262244 최선의 손실: 0.121694 정확도: 98.75% 41 검증 세트 손실: 0.255550 최선의 손실: 0.121694 정확도: 98.59% 42 검증 세트 손실: 0.368755 최선의 손실: 0.121694 정확도: 98.20% 43 검증 세트 손실: 0.283637 최선의 손실: 0.121694 정확도: 98.83% 조기 종료! [CV] n_neurons=160, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.999, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 3.2min [CV] n_neurons=160, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.999, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 0 검증 세트 손실: 31.787273 최선의 손실: 31.787273 정확도: 58.21% 1 검증 세트 손실: 2.535948 최선의 손실: 2.535948 정확도: 92.18% 2 검증 세트 손실: 0.577870 최선의 손실: 0.577870 정확도: 96.01% 3 검증 세트 손실: 0.326380 최선의 손실: 0.326380 정확도: 97.03% 4 검증 세트 손실: 0.302108 최선의 손실: 0.302108 정확도: 97.50% 5 검증 세트 손실: 0.456826 최선의 손실: 0.302108 정확도: 94.84% 6 검증 세트 손실: 0.551453 최선의 손실: 0.302108 정확도: 94.96% 7 검증 세트 손실: 0.219659 최선의 손실: 0.219659 정확도: 96.25% 8 검증 세트 손실: 0.557994 최선의 손실: 0.219659 정확도: 93.98% 9 검증 세트 손실: 1.279997 최선의 손실: 0.219659 정확도: 85.22% 10 검증 세트 손실: 0.162590 최선의 손실: 0.162590 정확도: 98.24% 11 검증 세트 손실: 0.133032 최선의 손실: 0.133032 정확도: 98.40% 12 검증 세트 손실: 0.301222 최선의 손실: 0.133032 정확도: 96.87% 13 검증 세트 손실: 0.251595 최선의 손실: 0.133032 정확도: 98.32% 14 검증 세트 손실: 0.514565 최선의 손실: 0.133032 정확도: 95.70% 15 검증 세트 손실: 0.254914 최선의 손실: 0.133032 정확도: 98.05% 16 검증 세트 손실: 0.153884 최선의 손실: 0.133032 정확도: 98.16% 17 검증 세트 손실: 0.769023 최선의 손실: 0.133032 정확도: 95.00% 18 검증 세트 손실: 0.177450 최선의 손실: 0.133032 정확도: 97.73% 19 검증 세트 손실: 0.156805 최선의 손실: 0.133032 정확도: 98.63% 20 검증 세트 손실: 0.288163 최선의 손실: 0.133032 정확도: 97.93% 21 검증 세트 손실: 0.164452 최선의 손실: 0.133032 정확도: 98.16% 22 검증 세트 손실: 0.176759 최선의 손실: 0.133032 정확도: 98.40% 23 검증 세트 손실: 0.216264 최선의 손실: 0.133032 정확도: 98.12% 24 검증 세트 손실: 0.280007 최선의 손실: 0.133032 정확도: 98.01% 25 검증 세트 손실: 0.212781 최선의 손실: 0.133032 정확도: 98.36% 26 검증 세트 손실: 0.289238 최선의 손실: 0.133032 정확도: 98.36% 27 검증 세트 손실: 0.163983 최선의 손실: 0.133032 정확도: 98.51% 28 검증 세트 손실: 0.283674 최선의 손실: 0.133032 정확도: 98.48% 29 검증 세트 손실: 0.331548 최선의 손실: 0.133032 정확도: 98.16% 30 검증 세트 손실: 0.297406 최선의 손실: 0.133032 정확도: 98.67% 31 검증 세트 손실: 0.252557 최선의 손실: 0.133032 정확도: 97.50% 32 검증 세트 손실: 0.262748 최선의 손실: 0.133032 정확도: 97.89% 조기 종료! [CV] n_neurons=160, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.999, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 2.4min [CV] n_neurons=100, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 0 검증 세트 손실: 0.124859 최선의 손실: 0.124859 정확도: 97.26% 1 검증 세트 손실: 0.106536 최선의 손실: 0.106536 정확도: 98.01% 2 검증 세트 손실: 0.089321 최선의 손실: 0.089321 정확도: 97.62% 3 검증 세트 손실: 0.054731 최선의 손실: 0.054731 정확도: 98.51% 4 검증 세트 손실: 0.049337 최선의 손실: 0.049337 정확도: 98.63% 5 검증 세트 손실: 0.107117 최선의 손실: 0.049337 정확도: 97.81% 6 검증 세트 손실: 0.055256 최선의 손실: 0.049337 정확도: 98.51% 7 검증 세트 손실: 0.055912 최선의 손실: 0.049337 정확도: 98.79% 8 검증 세트 손실: 0.059574 최선의 손실: 0.049337 정확도: 98.28% 9 검증 세트 손실: 0.057554 최선의 손실: 0.049337 정확도: 98.67% 10 검증 세트 손실: 0.047892 최선의 손실: 0.047892 정확도: 98.79% 11 검증 세트 손실: 0.063360 최선의 손실: 0.047892 정확도: 98.71% 12 검증 세트 손실: 0.052368 최선의 손실: 0.047892 정확도: 98.91% 13 검증 세트 손실: 0.047311 최선의 손실: 0.047311 정확도: 98.79% 14 검증 세트 손실: 0.056095 최선의 손실: 0.047311 정확도: 98.59% 15 검증 세트 손실: 0.048590 최선의 손실: 0.047311 정확도: 98.98% 16 검증 세트 손실: 0.060837 최선의 손실: 0.047311 정확도: 98.55% 17 검증 세트 손실: 0.043111 최선의 손실: 0.043111 정확도: 98.91% 18 검증 세트 손실: 0.066702 최선의 손실: 0.043111 정확도: 98.75% 19 검증 세트 손실: 0.057129 최선의 손실: 0.043111 정확도: 98.79% 20 검증 세트 손실: 0.054535 최선의 손실: 0.043111 정확도: 99.02% 21 검증 세트 손실: 0.047850 최선의 손실: 0.043111 정확도: 98.79% 22 검증 세트 손실: 0.051106 최선의 손실: 0.043111 정확도: 99.10% 23 검증 세트 손실: 0.039743 최선의 손실: 0.039743 정확도: 99.10% 24 검증 세트 손실: 0.065632 최선의 손실: 0.039743 정확도: 98.44% 25 검증 세트 손실: 0.055955 최선의 손실: 0.039743 정확도: 98.75% 26 검증 세트 손실: 0.051029 최선의 손실: 0.039743 정확도: 98.91% 27 검증 세트 손실: 0.036002 최선의 손실: 0.036002 정확도: 99.26% 28 검증 세트 손실: 0.044668 최선의 손실: 0.036002 정확도: 98.87% 29 검증 세트 손실: 0.061711 최선의 손실: 0.036002 정확도: 98.83% 30 검증 세트 손실: 0.057820 최선의 손실: 0.036002 정확도: 98.71% 31 검증 세트 손실: 0.052321 최선의 손실: 0.036002 정확도: 98.71% 32 검증 세트 손실: 0.063412 최선의 손실: 0.036002 정확도: 98.67% 33 검증 세트 손실: 0.047003 최선의 손실: 0.036002 정확도: 98.87% 34 검증 세트 손실: 0.052387 최선의 손실: 0.036002 정확도: 98.87% 35 검증 세트 손실: 0.046704 최선의 손실: 0.036002 정확도: 99.22% 36 검증 세트 손실: 0.051920 최선의 손실: 0.036002 정확도: 99.10% 37 검증 세트 손실: 0.080661 최선의 손실: 0.036002 정확도: 98.40% 38 검증 세트 손실: 0.047670 최선의 손실: 0.036002 정확도: 98.98% 39 검증 세트 손실: 0.050224 최선의 손실: 0.036002 정확도: 99.14% 40 검증 세트 손실: 0.063234 최선의 손실: 0.036002 정확도: 98.98% 41 검증 세트 손실: 0.058537 최선의 손실: 0.036002 정확도: 98.98% 42 검증 세트 손실: 0.042003 최선의 손실: 0.036002 정확도: 98.98% 43 검증 세트 손실: 0.041883 최선의 손실: 0.036002 정확도: 99.14% 44 검증 세트 손실: 0.047767 최선의 손실: 0.036002 정확도: 99.18% 45 검증 세트 손실: 0.076704 최선의 손실: 0.036002 정확도: 98.55% 46 검증 세트 손실: 0.070268 최선의 손실: 0.036002 정확도: 98.63% 47 검증 세트 손실: 0.091338 최선의 손실: 0.036002 정확도: 98.32% 48 검증 세트 손실: 0.070773 최선의 손실: 0.036002 정확도: 98.91% 조기 종료! [CV] n_neurons=100, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 33.8s [CV] n_neurons=100, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 0 검증 세트 손실: 0.170035 최선의 손실: 0.170035 정확도: 95.93% 1 검증 세트 손실: 0.052680 최선의 손실: 0.052680 정확도: 98.40% 2 검증 세트 손실: 0.059086 최선의 손실: 0.052680 정확도: 98.40% 3 검증 세트 손실: 0.082150 최선의 손실: 0.052680 정확도: 98.05% 4 검증 세트 손실: 0.072233 최선의 손실: 0.052680 정확도: 98.32% 5 검증 세트 손실: 0.049776 최선의 손실: 0.049776 정확도: 98.79% 6 검증 세트 손실: 0.056509 최선의 손실: 0.049776 정확도: 98.55% 7 검증 세트 손실: 0.053337 최선의 손실: 0.049776 정확도: 98.44% 8 검증 세트 손실: 0.045478 최선의 손실: 0.045478 정확도: 98.63% 9 검증 세트 손실: 0.049743 최선의 손실: 0.045478 정확도: 98.79% 10 검증 세트 손실: 0.061758 최선의 손실: 0.045478 정확도: 98.71% 11 검증 세트 손실: 0.050220 최선의 손실: 0.045478 정확도: 98.87% 12 검증 세트 손실: 0.069658 최선의 손실: 0.045478 정확도: 98.32% 13 검증 세트 손실: 0.064037 최선의 손실: 0.045478 정확도: 98.44% 14 검증 세트 손실: 0.057720 최선의 손실: 0.045478 정확도: 98.40% 15 검증 세트 손실: 0.041087 최선의 손실: 0.041087 정확도: 98.91% 16 검증 세트 손실: 0.045688 최선의 손실: 0.041087 정확도: 98.79% 17 검증 세트 손실: 0.107715 최선의 손실: 0.041087 정확도: 98.32% 18 검증 세트 손실: 0.045540 최선의 손실: 0.041087 정확도: 99.02% 19 검증 세트 손실: 0.043185 최선의 손실: 0.041087 정확도: 98.98% 20 검증 세트 손실: 0.053742 최선의 손실: 0.041087 정확도: 98.71% 21 검증 세트 손실: 0.052213 최선의 손실: 0.041087 정확도: 98.98% 22 검증 세트 손실: 0.048429 최선의 손실: 0.041087 정확도: 99.10% 23 검증 세트 손실: 0.093501 최선의 손실: 0.041087 정확도: 98.32% 24 검증 세트 손실: 0.054087 최선의 손실: 0.041087 정확도: 98.94% 25 검증 세트 손실: 0.047718 최선의 손실: 0.041087 정확도: 98.91% 26 검증 세트 손실: 0.049185 최선의 손실: 0.041087 정확도: 98.75% 27 검증 세트 손실: 0.054024 최선의 손실: 0.041087 정확도: 98.51% 28 검증 세트 손실: 0.058370 최선의 손실: 0.041087 정확도: 98.63% 29 검증 세트 손실: 0.058113 최선의 손실: 0.041087 정확도: 98.59% 30 검증 세트 손실: 0.058821 최선의 손실: 0.041087 정확도: 98.75% 31 검증 세트 손실: 0.118758 최선의 손실: 0.041087 정확도: 97.15% 32 검증 세트 손실: 0.043810 최선의 손실: 0.041087 정확도: 99.06% 33 검증 세트 손실: 0.084875 최선의 손실: 0.041087 정확도: 98.55% 34 검증 세트 손실: 0.069467 최선의 손실: 0.041087 정확도: 98.51% 35 검증 세트 손실: 0.054470 최선의 손실: 0.041087 정확도: 98.98% 36 검증 세트 손실: 0.110263 최선의 손실: 0.041087 정확도: 97.93% 조기 종료! [CV] n_neurons=100, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 25.8s [CV] n_neurons=100, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 0 검증 세트 손실: 0.157971 최선의 손실: 0.157971 정확도: 96.64% 1 검증 세트 손실: 0.085125 최선의 손실: 0.085125 정확도: 97.73% 2 검증 세트 손실: 0.075379 최선의 손실: 0.075379 정확도: 98.08% 3 검증 세트 손실: 0.063558 최선의 손실: 0.063558 정확도: 98.44% 4 검증 세트 손실: 0.044068 최선의 손실: 0.044068 정확도: 98.59% 5 검증 세트 손실: 0.049937 최선의 손실: 0.044068 정확도: 98.71% 6 검증 세트 손실: 0.038469 최선의 손실: 0.038469 정확도: 98.91% 7 검증 세트 손실: 0.077721 최선의 손실: 0.038469 정확도: 98.05% 8 검증 세트 손실: 0.042893 최선의 손실: 0.038469 정확도: 98.87% 9 검증 세트 손실: 0.085975 최선의 손실: 0.038469 정확도: 97.93% 10 검증 세트 손실: 0.050317 최선의 손실: 0.038469 정확도: 98.79% 11 검증 세트 손실: 0.076410 최선의 손실: 0.038469 정확도: 98.36% 12 검증 세트 손실: 0.061913 최선의 손실: 0.038469 정확도: 98.59% 13 검증 세트 손실: 0.073930 최선의 손실: 0.038469 정확도: 98.32% 14 검증 세트 손실: 0.047848 최선의 손실: 0.038469 정확도: 98.94% 15 검증 세트 손실: 0.067152 최선의 손실: 0.038469 정확도: 98.63% 16 검증 세트 손실: 0.040366 최선의 손실: 0.038469 정확도: 98.98% 17 검증 세트 손실: 0.040939 최선의 손실: 0.038469 정확도: 99.06% 18 검증 세트 손실: 0.040451 최선의 손실: 0.038469 정확도: 99.14% 19 검증 세트 손실: 0.084523 최선의 손실: 0.038469 정확도: 98.51% 20 검증 세트 손실: 0.049721 최선의 손실: 0.038469 정확도: 98.98% 21 검증 세트 손실: 0.034949 최선의 손실: 0.034949 정확도: 99.06% 22 검증 세트 손실: 0.050379 최선의 손실: 0.034949 정확도: 98.98% 23 검증 세트 손실: 0.056052 최선의 손실: 0.034949 정확도: 98.67% 24 검증 세트 손실: 0.046652 최선의 손실: 0.034949 정확도: 99.10% 25 검증 세트 손실: 0.034469 최선의 손실: 0.034469 정확도: 99.02% 26 검증 세트 손실: 0.060034 최선의 손실: 0.034469 정확도: 98.75% 27 검증 세트 손실: 0.047699 최선의 손실: 0.034469 정확도: 98.87% 28 검증 세트 손실: 0.023849 최선의 손실: 0.023849 정확도: 99.53% 29 검증 세트 손실: 0.032839 최선의 손실: 0.023849 정확도: 98.98% 30 검증 세트 손실: 0.040843 최선의 손실: 0.023849 정확도: 99.10% 31 검증 세트 손실: 0.036232 최선의 손실: 0.023849 정확도: 99.30% 32 검증 세트 손실: 0.075257 최선의 손실: 0.023849 정확도: 98.71% 33 검증 세트 손실: 0.051102 최선의 손실: 0.023849 정확도: 99.10% 34 검증 세트 손실: 0.044406 최선의 손실: 0.023849 정확도: 99.06% 35 검증 세트 손실: 0.046806 최선의 손실: 0.023849 정확도: 99.26% 36 검증 세트 손실: 0.042568 최선의 손실: 0.023849 정확도: 99.30% 37 검증 세트 손실: 0.051491 최선의 손실: 0.023849 정확도: 98.98% 38 검증 세트 손실: 0.038605 최선의 손실: 0.023849 정확도: 99.14% 39 검증 세트 손실: 0.051106 최선의 손실: 0.023849 정확도: 99.06% 40 검증 세트 손실: 0.061185 최선의 손실: 0.023849 정확도: 98.83% 41 검증 세트 손실: 0.061415 최선의 손실: 0.023849 정확도: 98.91% 42 검증 세트 손실: 0.045860 최선의 손실: 0.023849 정확도: 99.18% 43 검증 세트 손실: 0.047549 최선의 손실: 0.023849 정확도: 98.87% 44 검증 세트 손실: 0.048482 최선의 손실: 0.023849 정확도: 99.02% 45 검증 세트 손실: 0.036163 최선의 손실: 0.023849 정확도: 99.10% 46 검증 세트 손실: 0.041805 최선의 손실: 0.023849 정확도: 98.94% 47 검증 세트 손실: 0.040458 최선의 손실: 0.023849 정확도: 99.06% 48 검증 세트 손실: 0.045438 최선의 손실: 0.023849 정확도: 99.26% 49 검증 세트 손실: 0.123784 최선의 손실: 0.023849 정확도: 98.20% 조기 종료! [CV] n_neurons=100, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 34.6s [CV] n_neurons=100, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 0 검증 세트 손실: 0.211880 최선의 손실: 0.211880 정확도: 93.78% 1 검증 세트 손실: 0.137079 최선의 손실: 0.137079 정확도: 94.92% 2 검증 세트 손실: 0.103738 최선의 손실: 0.103738 정확도: 97.03% 3 검증 세트 손실: 0.156666 최선의 손실: 0.103738 정확도: 95.19% 4 검증 세트 손실: 0.063632 최선의 손실: 0.063632 정확도: 98.16% 5 검증 세트 손실: 0.075008 최선의 손실: 0.063632 정확도: 98.01% 6 검증 세트 손실: 0.081752 최선의 손실: 0.063632 정확도: 97.50% 7 검증 세트 손실: 0.673547 최선의 손실: 0.063632 정확도: 87.88% 8 검증 세트 손실: 0.066437 최선의 손실: 0.063632 정확도: 97.97% 9 검증 세트 손실: 0.083416 최선의 손실: 0.063632 정확도: 98.12% 10 검증 세트 손실: 0.108252 최선의 손실: 0.063632 정확도: 97.15% 11 검증 세트 손실: 0.052522 최선의 손실: 0.052522 정확도: 98.40% 12 검증 세트 손실: 0.067801 최선의 손실: 0.052522 정확도: 98.01% 13 검증 세트 손실: 0.107056 최선의 손실: 0.052522 정확도: 97.15% 14 검증 세트 손실: 0.086343 최선의 손실: 0.052522 정확도: 97.65% 15 검증 세트 손실: 0.052717 최선의 손실: 0.052522 정확도: 98.79% 16 검증 세트 손실: 0.075682 최선의 손실: 0.052522 정확도: 98.05% 17 검증 세트 손실: 0.055845 최선의 손실: 0.052522 정확도: 98.71% 18 검증 세트 손실: 0.082290 최선의 손실: 0.052522 정확도: 97.97% 19 검증 세트 손실: 0.073144 최선의 손실: 0.052522 정확도: 98.24% 20 검증 세트 손실: 0.058481 최선의 손실: 0.052522 정확도: 98.51% 21 검증 세트 손실: 0.113643 최선의 손실: 0.052522 정확도: 98.28% 22 검증 세트 손실: 0.088577 최선의 손실: 0.052522 정확도: 98.36% 23 검증 세트 손실: 0.046414 최선의 손실: 0.046414 정확도: 98.83% 24 검증 세트 손실: 0.054732 최선의 손실: 0.046414 정확도: 98.28% 25 검증 세트 손실: 0.049774 최선의 손실: 0.046414 정확도: 98.83% 26 검증 세트 손실: 0.056705 최선의 손실: 0.046414 정확도: 98.83% 27 검증 세트 손실: 0.068111 최선의 손실: 0.046414 정확도: 98.79% 28 검증 세트 손실: 0.061112 최선의 손실: 0.046414 정확도: 98.75% 29 검증 세트 손실: 0.082492 최선의 손실: 0.046414 정확도: 98.24% 30 검증 세트 손실: 0.466989 최선의 손실: 0.046414 정확도: 94.49% 31 검증 세트 손실: 0.072053 최선의 손실: 0.046414 정확도: 98.83% 32 검증 세트 손실: 0.053139 최선의 손실: 0.046414 정확도: 98.71% 33 검증 세트 손실: 0.088726 최선의 손실: 0.046414 정확도: 97.89% 34 검증 세트 손실: 0.058527 최선의 손실: 0.046414 정확도: 98.71% 35 검증 세트 손실: 0.067056 최선의 손실: 0.046414 정확도: 98.48% 36 검증 세트 손실: 0.064762 최선의 손실: 0.046414 정확도: 98.87% 37 검증 세트 손실: 0.092468 최선의 손실: 0.046414 정확도: 98.20% 38 검증 세트 손실: 0.054660 최선의 손실: 0.046414 정확도: 98.63% 39 검증 세트 손실: 0.064893 최선의 손실: 0.046414 정확도: 98.59% 40 검증 세트 손실: 0.060888 최선의 손실: 0.046414 정확도: 98.79% 41 검증 세트 손실: 0.057694 최선의 손실: 0.046414 정확도: 98.75% 42 검증 세트 손실: 0.108344 최선의 손실: 0.046414 정확도: 98.44% 43 검증 세트 손실: 0.054494 최선의 손실: 0.046414 정확도: 98.67% 44 검증 세트 손실: 0.067370 최선의 손실: 0.046414 정확도: 98.71% 조기 종료! [CV] n_neurons=100, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 2.4min [CV] n_neurons=100, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 0 검증 세트 손실: 0.125771 최선의 손실: 0.125771 정확도: 96.44% 1 검증 세트 손실: 0.156424 최선의 손실: 0.125771 정확도: 96.33% 2 검증 세트 손실: 0.163165 최선의 손실: 0.125771 정확도: 95.43% 3 검증 세트 손실: 0.087621 최선의 손실: 0.087621 정확도: 97.42% 4 검증 세트 손실: 0.070970 최선의 손실: 0.070970 정확도: 98.20% 5 검증 세트 손실: 0.071215 최선의 손실: 0.070970 정확도: 98.32% 6 검증 세트 손실: 0.055954 최선의 손실: 0.055954 정확도: 98.63% 7 검증 세트 손실: 0.067345 최선의 손실: 0.055954 정확도: 98.05% 8 검증 세트 손실: 0.084220 최선의 손실: 0.055954 정확도: 98.44% 9 검증 세트 손실: 0.073256 최선의 손실: 0.055954 정확도: 98.05% 10 검증 세트 손실: 0.084843 최선의 손실: 0.055954 정확도: 97.69% 11 검증 세트 손실: 0.058626 최선의 손실: 0.055954 정확도: 98.59% 12 검증 세트 손실: 0.109272 최선의 손실: 0.055954 정확도: 97.50% 13 검증 세트 손실: 0.048225 최선의 손실: 0.048225 정확도: 98.83% 14 검증 세트 손실: 0.067430 최선의 손실: 0.048225 정확도: 98.55% 15 검증 세트 손실: 0.061037 최선의 손실: 0.048225 정확도: 98.40% 16 검증 세트 손실: 0.063676 최선의 손실: 0.048225 정확도: 98.40% 17 검증 세트 손실: 0.078240 최선의 손실: 0.048225 정확도: 98.36% 18 검증 세트 손실: 0.098436 최선의 손실: 0.048225 정확도: 97.97% 19 검증 세트 손실: 0.081828 최선의 손실: 0.048225 정확도: 98.67% 20 검증 세트 손실: 0.059240 최선의 손실: 0.048225 정확도: 98.71% 21 검증 세트 손실: 0.115250 최선의 손실: 0.048225 정확도: 97.62% 22 검증 세트 손실: 0.065068 최선의 손실: 0.048225 정확도: 98.44% 23 검증 세트 손실: 0.067888 최선의 손실: 0.048225 정확도: 98.55% 24 검증 세트 손실: 0.103821 최선의 손실: 0.048225 정확도: 97.97% 25 검증 세트 손실: 0.061455 최선의 손실: 0.048225 정확도: 98.83% 26 검증 세트 손실: 0.096361 최선의 손실: 0.048225 정확도: 98.55% 27 검증 세트 손실: 0.058291 최선의 손실: 0.048225 정확도: 98.67% 28 검증 세트 손실: 0.067858 최선의 손실: 0.048225 정확도: 98.48% 29 검증 세트 손실: 0.105515 최선의 손실: 0.048225 정확도: 96.99% 30 검증 세트 손실: 0.056689 최선의 손실: 0.048225 정확도: 98.48% 31 검증 세트 손실: 0.079612 최선의 손실: 0.048225 정확도: 97.89% 32 검증 세트 손실: 0.094362 최선의 손실: 0.048225 정확도: 98.16% 33 검증 세트 손실: 0.061057 최선의 손실: 0.048225 정확도: 98.36% 34 검증 세트 손실: 0.092730 최선의 손실: 0.048225 정확도: 98.16% 조기 종료! [CV] n_neurons=100, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 1.8min [CV] n_neurons=100, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 0 검증 세트 손실: 0.133346 최선의 손실: 0.133346 정확도: 96.68% 1 검증 세트 손실: 0.092253 최선의 손실: 0.092253 정확도: 97.38% 2 검증 세트 손실: 0.136111 최선의 손실: 0.092253 정확도: 95.78% 3 검증 세트 손실: 0.069890 최선의 손실: 0.069890 정확도: 97.81% 4 검증 세트 손실: 0.099141 최선의 손실: 0.069890 정확도: 97.15% 5 검증 세트 손실: 0.066556 최선의 손실: 0.066556 정확도: 98.05% 6 검증 세트 손실: 0.076363 최선의 손실: 0.066556 정확도: 98.05% 7 검증 세트 손실: 0.067370 최선의 손실: 0.066556 정확도: 98.24% 8 검증 세트 손실: 0.140166 최선의 손실: 0.066556 정확도: 97.42% 9 검증 세트 손실: 0.066631 최선의 손실: 0.066556 정확도: 98.08% 10 검증 세트 손실: 0.180645 최선의 손실: 0.066556 정확도: 95.97% 11 검증 세트 손실: 0.042569 최선의 손실: 0.042569 정확도: 98.87% 12 검증 세트 손실: 0.068061 최선의 손실: 0.042569 정확도: 98.05% 13 검증 세트 손실: 0.047307 최선의 손실: 0.042569 정확도: 98.32% 14 검증 세트 손실: 0.095993 최선의 손실: 0.042569 정확도: 98.08% 15 검증 세트 손실: 0.105915 최선의 손실: 0.042569 정확도: 97.65% 16 검증 세트 손실: 0.083543 최선의 손실: 0.042569 정확도: 98.28% 17 검증 세트 손실: 0.111681 최선의 손실: 0.042569 정확도: 97.50% 18 검증 세트 손실: 0.067460 최선의 손실: 0.042569 정확도: 98.67% 19 검증 세트 손실: 0.066219 최선의 손실: 0.042569 정확도: 98.36% 20 검증 세트 손실: 0.050561 최선의 손실: 0.042569 정확도: 98.48% 21 검증 세트 손실: 0.064436 최선의 손실: 0.042569 정확도: 98.32% 22 검증 세트 손실: 0.068323 최선의 손실: 0.042569 정확도: 98.48% 23 검증 세트 손실: 0.070235 최선의 손실: 0.042569 정확도: 98.55% 24 검증 세트 손실: 0.059749 최선의 손실: 0.042569 정확도: 98.71% 25 검증 세트 손실: 0.059526 최선의 손실: 0.042569 정확도: 98.40% 26 검증 세트 손실: 0.055389 최선의 손실: 0.042569 정확도: 98.67% 27 검증 세트 손실: 0.085408 최선의 손실: 0.042569 정확도: 98.20% 28 검증 세트 손실: 0.078196 최선의 손실: 0.042569 정확도: 98.36% 29 검증 세트 손실: 0.059490 최선의 손실: 0.042569 정확도: 98.40% 30 검증 세트 손실: 0.075333 최선의 손실: 0.042569 정확도: 98.59% 31 검증 세트 손실: 0.072249 최선의 손실: 0.042569 정확도: 97.89% 32 검증 세트 손실: 0.116213 최선의 손실: 0.042569 정확도: 97.46% 조기 종료! [CV] n_neurons=100, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 1.7min [CV] n_neurons=140, learning_rate=0.05, batch_size=10, batch_norm_momentum=0.999, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 3.379658 최선의 손실: 3.379658 정확도: 91.75% 1 검증 세트 손실: 0.982626 최선의 손실: 0.982626 정확도: 89.48% 2 검증 세트 손실: 0.467639 최선의 손실: 0.467639 정확도: 92.10% 3 검증 세트 손실: 0.629243 최선의 손실: 0.467639 정확도: 83.39% 4 검증 세트 손실: 0.319113 최선의 손실: 0.319113 정확도: 94.18% 5 검증 세트 손실: 0.280127 최선의 손실: 0.280127 정확도: 92.46% 6 검증 세트 손실: 0.211779 최선의 손실: 0.211779 정확도: 96.60% 7 검증 세트 손실: 0.101026 최선의 손실: 0.101026 정확도: 98.01% 8 검증 세트 손실: 0.212782 최선의 손실: 0.101026 정확도: 97.58% 9 검증 세트 손실: 0.165132 최선의 손실: 0.101026 정확도: 97.89% 10 검증 세트 손실: 0.206488 최선의 손실: 0.101026 정확도: 98.16% 11 검증 세트 손실: 0.098530 최선의 손실: 0.098530 정확도: 97.50% 12 검증 세트 손실: 0.136034 최선의 손실: 0.098530 정확도: 98.12% 13 검증 세트 손실: 0.156293 최선의 손실: 0.098530 정확도: 97.85% 14 검증 세트 손실: 0.181174 최선의 손실: 0.098530 정확도: 96.64% 15 검증 세트 손실: 0.126481 최선의 손실: 0.098530 정확도: 98.40% 16 검증 세트 손실: 0.575125 최선의 손실: 0.098530 정확도: 95.35% 17 검증 세트 손실: 0.117311 최선의 손실: 0.098530 정확도: 98.32% 18 검증 세트 손실: 0.140160 최선의 손실: 0.098530 정확도: 98.51% 19 검증 세트 손실: 0.087691 최선의 손실: 0.087691 정확도: 98.94% 20 검증 세트 손실: 0.192029 최선의 손실: 0.087691 정확도: 98.36% 21 검증 세트 손실: 0.214761 최선의 손실: 0.087691 정확도: 97.54% 22 검증 세트 손실: 0.227348 최선의 손실: 0.087691 정확도: 98.01% 23 검증 세트 손실: 0.224913 최선의 손실: 0.087691 정확도: 98.12% 24 검증 세트 손실: 0.137710 최선의 손실: 0.087691 정확도: 98.28% 25 검증 세트 손실: 0.212345 최선의 손실: 0.087691 정확도: 97.85% 26 검증 세트 손실: 0.175138 최선의 손실: 0.087691 정확도: 98.75% 27 검증 세트 손실: 0.283096 최선의 손실: 0.087691 정확도: 97.50% 28 검증 세트 손실: 0.463745 최선의 손실: 0.087691 정확도: 96.13% 29 검증 세트 손실: 0.139465 최선의 손실: 0.087691 정확도: 98.48% 30 검증 세트 손실: 0.108919 최선의 손실: 0.087691 정확도: 98.83% 31 검증 세트 손실: 0.254839 최선의 손실: 0.087691 정확도: 97.73% 32 검증 세트 손실: 0.298108 최선의 손실: 0.087691 정확도: 97.97% 33 검증 세트 손실: 0.477420 최선의 손실: 0.087691 정확도: 96.25% 34 검증 세트 손실: 0.171667 최선의 손실: 0.087691 정확도: 98.48% 35 검증 세트 손실: 0.172515 최선의 손실: 0.087691 정확도: 98.75% 36 검증 세트 손실: 0.137779 최선의 손실: 0.087691 정확도: 98.94% 37 검증 세트 손실: 0.201901 최선의 손실: 0.087691 정확도: 98.63% 38 검증 세트 손실: 0.221855 최선의 손실: 0.087691 정확도: 98.24% 39 검증 세트 손실: 0.157483 최선의 손실: 0.087691 정확도: 98.98% 40 검증 세트 손실: 0.384741 최선의 손실: 0.087691 정확도: 96.95% 조기 종료! [CV] n_neurons=140, learning_rate=0.05, batch_size=10, batch_norm_momentum=0.999, activation=<function elu at 0x7f8ec4ceef28>, total= 2.7min [CV] n_neurons=140, learning_rate=0.05, batch_size=10, batch_norm_momentum=0.999, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.420665 최선의 손실: 0.420665 정확도: 95.93% 1 검증 세트 손실: 0.639411 최선의 손실: 0.420665 정확도: 92.49% 2 검증 세트 손실: 0.568680 최선의 손실: 0.420665 정확도: 93.94% 3 검증 세트 손실: 0.240046 최선의 손실: 0.240046 정확도: 96.17% 4 검증 세트 손실: 0.258242 최선의 손실: 0.240046 정확도: 93.16% 5 검증 세트 손실: 0.126659 최선의 손실: 0.126659 정확도: 96.25% 6 검증 세트 손실: 0.401696 최선의 손실: 0.126659 정확도: 92.03% 7 검증 세트 손실: 0.098748 최선의 손실: 0.098748 정확도: 97.77% 8 검증 세트 손실: 0.095541 최선의 손실: 0.095541 정확도: 97.85% 9 검증 세트 손실: 0.109859 최선의 손실: 0.095541 정확도: 98.20% 10 검증 세트 손실: 0.787210 최선의 손실: 0.095541 정확도: 94.61% 11 검증 세트 손실: 0.078854 최선의 손실: 0.078854 정확도: 97.97% 12 검증 세트 손실: 0.238200 최선의 손실: 0.078854 정확도: 95.93% 13 검증 세트 손실: 0.164941 최선의 손실: 0.078854 정확도: 97.81% 14 검증 세트 손실: 0.120243 최선의 손실: 0.078854 정확도: 98.08% 15 검증 세트 손실: 0.237256 최선의 손실: 0.078854 정확도: 97.73% 16 검증 세트 손실: 0.736618 최선의 손실: 0.078854 정확도: 94.64% 17 검증 세트 손실: 0.307341 최선의 손실: 0.078854 정확도: 96.48% 18 검증 세트 손실: 0.105529 최선의 손실: 0.078854 정확도: 98.75% 19 검증 세트 손실: 0.162109 최선의 손실: 0.078854 정확도: 98.08% 20 검증 세트 손실: 0.117121 최선의 손실: 0.078854 정확도: 98.40% 21 검증 세트 손실: 0.170956 최선의 손실: 0.078854 정확도: 98.55% 22 검증 세트 손실: 0.139365 최선의 손실: 0.078854 정확도: 98.20% 23 검증 세트 손실: 0.132150 최선의 손실: 0.078854 정확도: 98.67% 24 검증 세트 손실: 0.085726 최선의 손실: 0.078854 정확도: 98.75% 25 검증 세트 손실: 0.151900 최선의 손실: 0.078854 정확도: 98.63% 26 검증 세트 손실: 0.140471 최선의 손실: 0.078854 정확도: 98.20% 27 검증 세트 손실: 0.225787 최선의 손실: 0.078854 정확도: 97.46% 28 검증 세트 손실: 0.184156 최선의 손실: 0.078854 정확도: 98.48% 29 검증 세트 손실: 0.120329 최선의 손실: 0.078854 정확도: 98.87% 30 검증 세트 손실: 0.162691 최선의 손실: 0.078854 정확도: 98.79% 31 검증 세트 손실: 0.185776 최선의 손실: 0.078854 정확도: 98.55% 32 검증 세트 손실: 0.506007 최선의 손실: 0.078854 정확도: 96.79% 조기 종료! [CV] n_neurons=140, learning_rate=0.05, batch_size=10, batch_norm_momentum=0.999, activation=<function elu at 0x7f8ec4ceef28>, total= 2.2min [CV] n_neurons=140, learning_rate=0.05, batch_size=10, batch_norm_momentum=0.999, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 1.213176 최선의 손실: 1.213176 정확도: 92.38% 1 검증 세트 손실: 0.155421 최선의 손실: 0.155421 정확도: 98.01% 2 검증 세트 손실: 0.106864 최선의 손실: 0.106864 정확도: 97.69% 3 검증 세트 손실: 0.201448 최선의 손실: 0.106864 정확도: 96.44% 4 검증 세트 손실: 0.368151 최선의 손실: 0.106864 정확도: 95.04% 5 검증 세트 손실: 0.226775 최선의 손실: 0.106864 정확도: 97.46% 6 검증 세트 손실: 0.613091 최선의 손실: 0.106864 정확도: 97.15% 7 검증 세트 손실: 0.124042 최선의 손실: 0.106864 정확도: 97.58% 8 검증 세트 손실: 0.091571 최선의 손실: 0.091571 정확도: 98.05% 9 검증 세트 손실: 0.091362 최선의 손실: 0.091362 정확도: 98.08% 10 검증 세트 손실: 0.283615 최선의 손실: 0.091362 정확도: 95.86% 11 검증 세트 손실: 0.189329 최선의 손실: 0.091362 정확도: 98.12% 12 검증 세트 손실: 0.126958 최선의 손실: 0.091362 정확도: 97.89% 13 검증 세트 손실: 0.309816 최선의 손실: 0.091362 정확도: 97.22% 14 검증 세트 손실: 0.089215 최선의 손실: 0.089215 정확도: 98.01% 15 검증 세트 손실: 0.148816 최선의 손실: 0.089215 정확도: 97.97% 16 검증 세트 손실: 0.091953 최선의 손실: 0.089215 정확도: 98.40% 17 검증 세트 손실: 0.223619 최선의 손실: 0.089215 정확도: 97.65% 18 검증 세트 손실: 0.204771 최선의 손실: 0.089215 정확도: 97.62% 19 검증 세트 손실: 0.139097 최선의 손실: 0.089215 정확도: 98.48% 20 검증 세트 손실: 0.386144 최선의 손실: 0.089215 정확도: 96.48% 21 검증 세트 손실: 0.109225 최선의 손실: 0.089215 정확도: 98.24% 22 검증 세트 손실: 0.103933 최선의 손실: 0.089215 정확도: 98.79% 23 검증 세트 손실: 0.120715 최선의 손실: 0.089215 정확도: 98.75% 24 검증 세트 손실: 0.105676 최선의 손실: 0.089215 정확도: 98.75% 25 검증 세트 손실: 0.131960 최선의 손실: 0.089215 정확도: 98.32% 26 검증 세트 손실: 0.260022 최선의 손실: 0.089215 정확도: 97.97% 27 검증 세트 손실: 0.171426 최선의 손실: 0.089215 정확도: 97.69% 28 검증 세트 손실: 0.200766 최선의 손실: 0.089215 정확도: 98.44% 29 검증 세트 손실: 0.103591 최선의 손실: 0.089215 정확도: 98.75% 30 검증 세트 손실: 0.696411 최선의 손실: 0.089215 정확도: 94.68% 31 검증 세트 손실: 0.150714 최선의 손실: 0.089215 정확도: 98.71% 32 검증 세트 손실: 0.178717 최선의 손실: 0.089215 정확도: 98.24% 33 검증 세트 손실: 0.151926 최선의 손실: 0.089215 정확도: 98.48% 34 검증 세트 손실: 0.177869 최선의 손실: 0.089215 정확도: 98.32% 35 검증 세트 손실: 0.176844 최선의 손실: 0.089215 정확도: 98.67% 조기 종료! [CV] n_neurons=140, learning_rate=0.05, batch_size=10, batch_norm_momentum=0.999, activation=<function elu at 0x7f8ec4ceef28>, total= 2.4min [CV] n_neurons=70, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 0 검증 세트 손실: 0.118445 최선의 손실: 0.118445 정확도: 97.15% 1 검증 세트 손실: 0.096976 최선의 손실: 0.096976 정확도: 97.58% 2 검증 세트 손실: 0.079803 최선의 손실: 0.079803 정확도: 97.19% 3 검증 세트 손실: 0.073884 최선의 손실: 0.073884 정확도: 97.93% 4 검증 세트 손실: 0.080394 최선의 손실: 0.073884 정확도: 97.73% 5 검증 세트 손실: 0.061520 최선의 손실: 0.061520 정확도: 98.51% 6 검증 세트 손실: 0.056961 최선의 손실: 0.056961 정확도: 98.28% 7 검증 세트 손실: 0.088921 최선의 손실: 0.056961 정확도: 98.32% 8 검증 세트 손실: 0.069309 최선의 손실: 0.056961 정확도: 98.59% 9 검증 세트 손실: 0.077232 최선의 손실: 0.056961 정확도: 98.36% 10 검증 세트 손실: 0.090309 최선의 손실: 0.056961 정확도: 98.20% 11 검증 세트 손실: 0.054661 최선의 손실: 0.054661 정확도: 98.63% 12 검증 세트 손실: 0.066232 최선의 손실: 0.054661 정확도: 98.40% 13 검증 세트 손실: 0.068344 최선의 손실: 0.054661 정확도: 98.51% 14 검증 세트 손실: 0.058697 최선의 손실: 0.054661 정확도: 98.75% 15 검증 세트 손실: 0.065090 최선의 손실: 0.054661 정확도: 98.51% 16 검증 세트 손실: 0.065116 최선의 손실: 0.054661 정확도: 98.83% 17 검증 세트 손실: 0.053457 최선의 손실: 0.053457 정확도: 99.02% 18 검증 세트 손실: 0.042730 최선의 손실: 0.042730 정확도: 98.94% 19 검증 세트 손실: 0.073875 최선의 손실: 0.042730 정확도: 98.44% 20 검증 세트 손실: 0.071922 최선의 손실: 0.042730 정확도: 98.83% 21 검증 세트 손실: 0.076648 최선의 손실: 0.042730 정확도: 98.71% 22 검증 세트 손실: 0.151328 최선의 손실: 0.042730 정확도: 96.91% 23 검증 세트 손실: 0.092234 최선의 손실: 0.042730 정확도: 98.28% 24 검증 세트 손실: 0.053222 최선의 손실: 0.042730 정확도: 98.87% 25 검증 세트 손실: 0.053362 최선의 손실: 0.042730 정확도: 98.44% 26 검증 세트 손실: 0.037808 최선의 손실: 0.037808 정확도: 98.91% 27 검증 세트 손실: 0.058370 최선의 손실: 0.037808 정확도: 98.75% 28 검증 세트 손실: 0.064635 최선의 손실: 0.037808 정확도: 98.67% 29 검증 세트 손실: 0.096080 최선의 손실: 0.037808 정확도: 98.71% 30 검증 세트 손실: 0.082699 최선의 손실: 0.037808 정확도: 98.83% 31 검증 세트 손실: 0.077647 최선의 손실: 0.037808 정확도: 98.75% 32 검증 세트 손실: 0.075896 최선의 손실: 0.037808 정확도: 98.67% 33 검증 세트 손실: 0.084469 최선의 손실: 0.037808 정확도: 98.94% 34 검증 세트 손실: 0.070606 최선의 손실: 0.037808 정확도: 98.83% 35 검증 세트 손실: 0.086963 최선의 손실: 0.037808 정확도: 98.75% 36 검증 세트 손실: 0.111779 최선의 손실: 0.037808 정확도: 98.36% 37 검증 세트 손실: 0.100355 최선의 손실: 0.037808 정확도: 98.55% 38 검증 세트 손실: 0.084490 최선의 손실: 0.037808 정확도: 98.83% 39 검증 세트 손실: 0.109431 최선의 손실: 0.037808 정확도: 98.75% 40 검증 세트 손실: 0.057646 최선의 손실: 0.037808 정확도: 98.87% 41 검증 세트 손실: 0.081654 최선의 손실: 0.037808 정확도: 98.75% 42 검증 세트 손실: 0.102338 최선의 손실: 0.037808 정확도: 98.87% 43 검증 세트 손실: 0.075442 최선의 손실: 0.037808 정확도: 98.94% 44 검증 세트 손실: 0.097639 최선의 손실: 0.037808 정확도: 98.71% 45 검증 세트 손실: 0.116718 최선의 손실: 0.037808 정확도: 98.51% 46 검증 세트 손실: 0.117353 최선의 손실: 0.037808 정확도: 98.63% 47 검증 세트 손실: 0.124984 최선의 손실: 0.037808 정확도: 98.67% 조기 종료! [CV] n_neurons=70, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 40.3s [CV] n_neurons=70, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 0 검증 세트 손실: 0.155967 최선의 손실: 0.155967 정확도: 95.90% 1 검증 세트 손실: 0.079732 최선의 손실: 0.079732 정확도: 97.93% 2 검증 세트 손실: 0.074790 최선의 손실: 0.074790 정확도: 97.77% 3 검증 세트 손실: 0.064969 최선의 손실: 0.064969 정확도: 98.28% 4 검증 세트 손실: 0.071460 최선의 손실: 0.064969 정확도: 97.97% 5 검증 세트 손실: 0.077138 최선의 손실: 0.064969 정확도: 98.32% 6 검증 세트 손실: 0.068602 최선의 손실: 0.064969 정확도: 98.16% 7 검증 세트 손실: 0.087255 최선의 손실: 0.064969 정확도: 98.01% 8 검증 세트 손실: 0.075463 최선의 손실: 0.064969 정확도: 98.36% 9 검증 세트 손실: 0.108870 최선의 손실: 0.064969 정확도: 97.97% 10 검증 세트 손실: 0.079243 최선의 손실: 0.064969 정확도: 98.36% 11 검증 세트 손실: 0.056590 최선의 손실: 0.056590 정확도: 98.55% 12 검증 세트 손실: 0.073756 최선의 손실: 0.056590 정확도: 98.44% 13 검증 세트 손실: 0.090901 최선의 손실: 0.056590 정확도: 97.81% 14 검증 세트 손실: 0.104134 최선의 손실: 0.056590 정확도: 98.12% 15 검증 세트 손실: 0.067356 최선의 손실: 0.056590 정확도: 98.48% 16 검증 세트 손실: 0.088926 최선의 손실: 0.056590 정확도: 98.32% 17 검증 세트 손실: 0.079066 최선의 손실: 0.056590 정확도: 98.40% 18 검증 세트 손실: 0.106283 최선의 손실: 0.056590 정확도: 98.16% 19 검증 세트 손실: 0.117949 최선의 손실: 0.056590 정확도: 97.65% 20 검증 세트 손실: 0.058870 최선의 손실: 0.056590 정확도: 98.55% 21 검증 세트 손실: 0.076907 최선의 손실: 0.056590 정확도: 98.48% 22 검증 세트 손실: 0.091253 최선의 손실: 0.056590 정확도: 98.08% 23 검증 세트 손실: 0.091407 최선의 손실: 0.056590 정확도: 98.20% 24 검증 세트 손실: 0.075287 최선의 손실: 0.056590 정확도: 98.75% 25 검증 세트 손실: 0.065180 최선의 손실: 0.056590 정확도: 98.59% 26 검증 세트 손실: 0.077303 최선의 손실: 0.056590 정확도: 98.67% 27 검증 세트 손실: 0.068367 최선의 손실: 0.056590 정확도: 98.75% 28 검증 세트 손실: 0.070591 최선의 손실: 0.056590 정확도: 98.55% 29 검증 세트 손실: 0.051162 최선의 손실: 0.051162 정확도: 98.79% 30 검증 세트 손실: 0.075537 최선의 손실: 0.051162 정확도: 98.63% 31 검증 세트 손실: 0.097779 최선의 손실: 0.051162 정확도: 98.44% 32 검증 세트 손실: 0.167454 최선의 손실: 0.051162 정확도: 98.24% 33 검증 세트 손실: 0.161405 최선의 손실: 0.051162 정확도: 98.44% 34 검증 세트 손실: 0.102506 최선의 손실: 0.051162 정확도: 98.59% 35 검증 세트 손실: 0.115067 최선의 손실: 0.051162 정확도: 98.71% 36 검증 세트 손실: 0.136748 최선의 손실: 0.051162 정확도: 98.28% 37 검증 세트 손실: 0.070474 최선의 손실: 0.051162 정확도: 98.79% 38 검증 세트 손실: 0.090449 최선의 손실: 0.051162 정확도: 98.55% 39 검증 세트 손실: 0.075310 최선의 손실: 0.051162 정확도: 98.67% 40 검증 세트 손실: 0.090262 최선의 손실: 0.051162 정확도: 98.51% 41 검증 세트 손실: 0.091393 최선의 손실: 0.051162 정확도: 98.87% 42 검증 세트 손실: 0.105684 최선의 손실: 0.051162 정확도: 98.63% 43 검증 세트 손실: 0.157863 최선의 손실: 0.051162 정확도: 98.48% 44 검증 세트 손실: 0.126184 최선의 손실: 0.051162 정확도: 98.63% 45 검증 세트 손실: 0.095349 최선의 손실: 0.051162 정확도: 98.71% 46 검증 세트 손실: 0.134807 최선의 손실: 0.051162 정확도: 98.79% 47 검증 세트 손실: 0.108948 최선의 손실: 0.051162 정확도: 98.91% 48 검증 세트 손실: 0.094183 최선의 손실: 0.051162 정확도: 98.67% 49 검증 세트 손실: 0.116607 최선의 손실: 0.051162 정확도: 98.83% 50 검증 세트 손실: 0.105446 최선의 손실: 0.051162 정확도: 98.67% 조기 종료! [CV] n_neurons=70, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 42.8s [CV] n_neurons=70, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 0 검증 세트 손실: 0.518100 최선의 손실: 0.518100 정확도: 91.44% 1 검증 세트 손실: 0.091071 최선의 손실: 0.091071 정확도: 97.34% 2 검증 세트 손실: 0.065991 최선의 손실: 0.065991 정확도: 97.97% 3 검증 세트 손실: 0.096091 최선의 손실: 0.065991 정확도: 97.93% 4 검증 세트 손실: 0.065404 최선의 손실: 0.065404 정확도: 98.16% 5 검증 세트 손실: 0.094921 최선의 손실: 0.065404 정확도: 97.69% 6 검증 세트 손실: 0.063330 최선의 손실: 0.063330 정확도: 98.32% 7 검증 세트 손실: 0.080486 최선의 손실: 0.063330 정확도: 98.01% 8 검증 세트 손실: 0.059139 최선의 손실: 0.059139 정확도: 98.79% 9 검증 세트 손실: 0.049634 최선의 손실: 0.049634 정확도: 98.55% 10 검증 세트 손실: 0.078806 최선의 손실: 0.049634 정확도: 98.16% 11 검증 세트 손실: 0.044441 최선의 손실: 0.044441 정확도: 98.71% 12 검증 세트 손실: 0.063934 최선의 손실: 0.044441 정확도: 98.40% 13 검증 세트 손실: 0.069075 최선의 손실: 0.044441 정확도: 98.51% 14 검증 세트 손실: 0.079248 최선의 손실: 0.044441 정확도: 98.08% 15 검증 세트 손실: 0.071419 최선의 손실: 0.044441 정확도: 98.48% 16 검증 세트 손실: 0.046318 최선의 손실: 0.044441 정확도: 98.75% 17 검증 세트 손실: 0.058561 최선의 손실: 0.044441 정확도: 98.59% 18 검증 세트 손실: 0.075758 최선의 손실: 0.044441 정확도: 98.67% 19 검증 세트 손실: 0.083009 최선의 손실: 0.044441 정확도: 98.12% 20 검증 세트 손실: 0.089859 최선의 손실: 0.044441 정확도: 98.71% 21 검증 세트 손실: 0.052805 최선의 손실: 0.044441 정확도: 98.87% 22 검증 세트 손실: 0.053694 최선의 손실: 0.044441 정확도: 98.67% 23 검증 세트 손실: 0.051802 최선의 손실: 0.044441 정확도: 98.83% 24 검증 세트 손실: 0.055365 최선의 손실: 0.044441 정확도: 99.06% 25 검증 세트 손실: 0.065847 최선의 손실: 0.044441 정확도: 98.63% 26 검증 세트 손실: 0.072963 최선의 손실: 0.044441 정확도: 98.59% 27 검증 세트 손실: 0.040547 최선의 손실: 0.040547 정확도: 98.98% 28 검증 세트 손실: 0.051811 최선의 손실: 0.040547 정확도: 98.94% 29 검증 세트 손실: 0.062280 최선의 손실: 0.040547 정확도: 98.75% 30 검증 세트 손실: 0.077613 최선의 손실: 0.040547 정확도: 98.63% 31 검증 세트 손실: 0.284400 최선의 손실: 0.040547 정확도: 97.46% 32 검증 세트 손실: 0.074472 최선의 손실: 0.040547 정확도: 98.67% 33 검증 세트 손실: 0.068215 최선의 손실: 0.040547 정확도: 98.71% 34 검증 세트 손실: 0.071241 최선의 손실: 0.040547 정확도: 98.71% 35 검증 세트 손실: 0.059362 최선의 손실: 0.040547 정확도: 98.98% 36 검증 세트 손실: 0.041344 최선의 손실: 0.040547 정확도: 99.10% 37 검증 세트 손실: 0.079203 최선의 손실: 0.040547 정확도: 98.79% 38 검증 세트 손실: 0.050785 최선의 손실: 0.040547 정확도: 98.91% 39 검증 세트 손실: 0.078625 최선의 손실: 0.040547 정확도: 98.83% 40 검증 세트 손실: 0.092492 최선의 손실: 0.040547 정확도: 98.63% 41 검증 세트 손실: 0.058838 최선의 손실: 0.040547 정확도: 99.06% 42 검증 세트 손실: 0.087397 최선의 손실: 0.040547 정확도: 98.55% 43 검증 세트 손실: 0.074119 최선의 손실: 0.040547 정확도: 98.75% 44 검증 세트 손실: 0.065719 최선의 손실: 0.040547 정확도: 98.67% 45 검증 세트 손실: 0.071939 최선의 손실: 0.040547 정확도: 98.71% 46 검증 세트 손실: 0.060181 최선의 손실: 0.040547 정확도: 99.14% 47 검증 세트 손실: 0.070087 최선의 손실: 0.040547 정확도: 98.94% 48 검증 세트 손실: 0.239547 최선의 손실: 0.040547 정확도: 98.59% 조기 종료! [CV] n_neurons=70, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 41.1s [CV] n_neurons=30, learning_rate=0.01, batch_size=500, batch_norm_momentum=0.999, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.293761 최선의 손실: 0.293761 정확도: 91.48% 1 검증 세트 손실: 0.755442 최선의 손실: 0.293761 정확도: 83.54% 2 검증 세트 손실: 0.293596 최선의 손실: 0.293596 정확도: 93.39% 3 검증 세트 손실: 0.197692 최선의 손실: 0.197692 정확도: 95.07% 4 검증 세트 손실: 0.212457 최선의 손실: 0.197692 정확도: 94.88% 5 검증 세트 손실: 0.364270 최선의 손실: 0.197692 정확도: 93.55% 6 검증 세트 손실: 0.139716 최선의 손실: 0.139716 정확도: 97.42% 7 검증 세트 손실: 0.160663 최선의 손실: 0.139716 정확도: 97.22% 8 검증 세트 손실: 0.114988 최선의 손실: 0.114988 정확도: 97.89% 9 검증 세트 손실: 0.135900 최선의 손실: 0.114988 정확도: 97.97% 10 검증 세트 손실: 0.130165 최선의 손실: 0.114988 정확도: 98.08% 11 검증 세트 손실: 0.252014 최선의 손실: 0.114988 정확도: 96.95% 12 검증 세트 손실: 0.215489 최선의 손실: 0.114988 정확도: 96.76% 13 검증 세트 손실: 0.249277 최선의 손실: 0.114988 정확도: 96.83% 14 검증 세트 손실: 0.131245 최선의 손실: 0.114988 정확도: 98.32% 15 검증 세트 손실: 0.167363 최선의 손실: 0.114988 정확도: 98.16% 16 검증 세트 손실: 0.180978 최선의 손실: 0.114988 정확도: 98.08% 17 검증 세트 손실: 0.182313 최선의 손실: 0.114988 정확도: 98.12% 18 검증 세트 손실: 0.140347 최선의 손실: 0.114988 정확도: 98.48% 19 검증 세트 손실: 0.193538 최선의 손실: 0.114988 정확도: 98.01% 20 검증 세트 손실: 0.162612 최선의 손실: 0.114988 정확도: 98.16% 21 검증 세트 손실: 0.178196 최선의 손실: 0.114988 정확도: 97.85% 22 검증 세트 손실: 0.186191 최선의 손실: 0.114988 정확도: 98.05% 23 검증 세트 손실: 0.136903 최선의 손실: 0.114988 정확도: 98.40% 24 검증 세트 손실: 0.121833 최선의 손실: 0.114988 정확도: 98.63% 25 검증 세트 손실: 0.125330 최선의 손실: 0.114988 정확도: 98.51% 26 검증 세트 손실: 0.125204 최선의 손실: 0.114988 정확도: 98.48% 27 검증 세트 손실: 0.110843 최선의 손실: 0.110843 정확도: 98.75% 28 검증 세트 손실: 0.107576 최선의 손실: 0.107576 정확도: 98.63% 29 검증 세트 손실: 0.099938 최선의 손실: 0.099938 정확도: 98.79% 30 검증 세트 손실: 0.097566 최선의 손실: 0.097566 정확도: 98.83% 31 검증 세트 손실: 0.090593 최선의 손실: 0.090593 정확도: 98.71% 32 검증 세트 손실: 0.085572 최선의 손실: 0.085572 정확도: 98.75% 33 검증 세트 손실: 0.086057 최선의 손실: 0.085572 정확도: 98.79% 34 검증 세트 손실: 0.076039 최선의 손실: 0.076039 정확도: 98.83% 35 검증 세트 손실: 0.073952 최선의 손실: 0.073952 정확도: 98.79% 36 검증 세트 손실: 0.074455 최선의 손실: 0.073952 정확도: 98.75% 37 검증 세트 손실: 0.077019 최선의 손실: 0.073952 정확도: 98.79% 38 검증 세트 손실: 0.070785 최선의 손실: 0.070785 정확도: 98.75% 39 검증 세트 손실: 0.069751 최선의 손실: 0.069751 정확도: 98.83% 40 검증 세트 손실: 0.068790 최선의 손실: 0.068790 정확도: 98.87% 41 검증 세트 손실: 0.068468 최선의 손실: 0.068468 정확도: 98.79% 42 검증 세트 손실: 0.070198 최선의 손실: 0.068468 정확도: 98.75% 43 검증 세트 손실: 0.064942 최선의 손실: 0.064942 정확도: 98.75% 44 검증 세트 손실: 0.067820 최선의 손실: 0.064942 정확도: 98.75% 45 검증 세트 손실: 0.067032 최선의 손실: 0.064942 정확도: 98.75% 46 검증 세트 손실: 0.064981 최선의 손실: 0.064942 정확도: 98.75% 47 검증 세트 손실: 0.063061 최선의 손실: 0.063061 정확도: 98.83% 48 검증 세트 손실: 0.061428 최선의 손실: 0.061428 정확도: 98.87% 49 검증 세트 손실: 0.067527 최선의 손실: 0.061428 정확도: 98.75% 50 검증 세트 손실: 0.061451 최선의 손실: 0.061428 정확도: 98.83% 51 검증 세트 손실: 0.060914 최선의 손실: 0.060914 정확도: 98.94% 52 검증 세트 손실: 0.060045 최선의 손실: 0.060045 정확도: 98.91% 53 검증 세트 손실: 0.060342 최선의 손실: 0.060045 정확도: 98.91% 54 검증 세트 손실: 0.060420 최선의 손실: 0.060045 정확도: 98.91% 55 검증 세트 손실: 0.060165 최선의 손실: 0.060045 정확도: 98.87% 56 검증 세트 손실: 0.061292 최선의 손실: 0.060045 정확도: 98.67% 57 검증 세트 손실: 0.065017 최선의 손실: 0.060045 정확도: 98.94% 58 검증 세트 손실: 0.479919 최선의 손실: 0.060045 정확도: 96.13% 59 검증 세트 손실: 0.400706 최선의 손실: 0.060045 정확도: 96.99% 60 검증 세트 손실: 0.320223 최선의 손실: 0.060045 정확도: 97.30% 61 검증 세트 손실: 0.334299 최선의 손실: 0.060045 정확도: 98.01% 62 검증 세트 손실: 0.264431 최선의 손실: 0.060045 정확도: 98.20% 63 검증 세트 손실: 0.229154 최선의 손실: 0.060045 정확도: 98.28% 64 검증 세트 손실: 0.261920 최선의 손실: 0.060045 정확도: 98.44% 65 검증 세트 손실: 0.237270 최선의 손실: 0.060045 정확도: 98.20% 66 검증 세트 손실: 0.263530 최선의 손실: 0.060045 정확도: 98.20% 67 검증 세트 손실: 0.247358 최선의 손실: 0.060045 정확도: 98.08% 68 검증 세트 손실: 0.231528 최선의 손실: 0.060045 정확도: 98.05% 69 검증 세트 손실: 0.183060 최선의 손실: 0.060045 정확도: 98.44% 70 검증 세트 손실: 0.229961 최선의 손실: 0.060045 정확도: 98.28% 71 검증 세트 손실: 0.205281 최선의 손실: 0.060045 정확도: 98.32% 72 검증 세트 손실: 0.207094 최선의 손실: 0.060045 정확도: 98.48% 73 검증 세트 손실: 0.223835 최선의 손실: 0.060045 정확도: 98.28% 조기 종료! [CV] n_neurons=30, learning_rate=0.01, batch_size=500, batch_norm_momentum=0.999, activation=<function elu at 0x7f8ec4ceef28>, total= 16.1s [CV] n_neurons=30, learning_rate=0.01, batch_size=500, batch_norm_momentum=0.999, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.353487 최선의 손실: 0.353487 정확도: 89.72% 1 검증 세트 손실: 0.170060 최선의 손실: 0.170060 정확도: 95.62% 2 검증 세트 손실: 0.144062 최선의 손실: 0.144062 정확도: 96.33% 3 검증 세트 손실: 0.107548 최선의 손실: 0.107548 정확도: 97.58% 4 검증 세트 손실: 0.144815 최선의 손실: 0.107548 정확도: 97.07% 5 검증 세트 손실: 0.186889 최선의 손실: 0.107548 정확도: 96.76% 6 검증 세트 손실: 0.148381 최선의 손실: 0.107548 정확도: 97.34% 7 검증 세트 손실: 0.127165 최선의 손실: 0.107548 정확도: 97.93% 8 검증 세트 손실: 0.170552 최선의 손실: 0.107548 정확도: 97.42% 9 검증 세트 손실: 0.293297 최선의 손실: 0.107548 정확도: 96.05% 10 검증 세트 손실: 0.222563 최선의 손실: 0.107548 정확도: 97.11% 11 검증 세트 손실: 0.213661 최선의 손실: 0.107548 정확도: 97.42% 12 검증 세트 손실: 0.228014 최선의 손실: 0.107548 정확도: 97.11% 13 검증 세트 손실: 0.195099 최선의 손실: 0.107548 정확도: 97.77% 14 검증 세트 손실: 0.191703 최선의 손실: 0.107548 정확도: 97.93% 15 검증 세트 손실: 0.195506 최선의 손실: 0.107548 정확도: 97.89% 16 검증 세트 손실: 0.170240 최선의 손실: 0.107548 정확도: 98.12% 17 검증 세트 손실: 0.252191 최선의 손실: 0.107548 정확도: 97.58% 18 검증 세트 손실: 0.192234 최선의 손실: 0.107548 정확도: 98.01% 19 검증 세트 손실: 0.181073 최선의 손실: 0.107548 정확도: 98.28% 20 검증 세트 손실: 0.175975 최선의 손실: 0.107548 정확도: 98.08% 21 검증 세트 손실: 0.173205 최선의 손실: 0.107548 정확도: 98.24% 22 검증 세트 손실: 0.229891 최선의 손실: 0.107548 정확도: 97.69% 23 검증 세트 손실: 0.180947 최선의 손실: 0.107548 정확도: 98.40% 24 검증 세트 손실: 0.302480 최선의 손실: 0.107548 정확도: 96.83% 조기 종료! [CV] n_neurons=30, learning_rate=0.01, batch_size=500, batch_norm_momentum=0.999, activation=<function elu at 0x7f8ec4ceef28>, total= 6.4s [CV] n_neurons=30, learning_rate=0.01, batch_size=500, batch_norm_momentum=0.999, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.751562 최선의 손실: 0.751562 정확도: 80.30% 1 검증 세트 손실: 0.212701 최선의 손실: 0.212701 정확도: 94.45% 2 검증 세트 손실: 0.226318 최선의 손실: 0.212701 정확도: 94.72% 3 검증 세트 손실: 0.128307 최선의 손실: 0.128307 정확도: 96.25% 4 검증 세트 손실: 0.131049 최선의 손실: 0.128307 정확도: 96.79% 5 검증 세트 손실: 0.158078 최선의 손실: 0.128307 정확도: 96.60% 6 검증 세트 손실: 0.136999 최선의 손실: 0.128307 정확도: 97.46% 7 검증 세트 손실: 0.133097 최선의 손실: 0.128307 정확도: 97.93% 8 검증 세트 손실: 0.157153 최선의 손실: 0.128307 정확도: 97.77% 9 검증 세트 손실: 0.133417 최선의 손실: 0.128307 정확도: 97.93% 10 검증 세트 손실: 0.204938 최선의 손실: 0.128307 정확도: 97.19% 11 검증 세트 손실: 0.227268 최선의 손실: 0.128307 정확도: 97.30% 12 검증 세트 손실: 0.165124 최선의 손실: 0.128307 정확도: 97.81% 13 검증 세트 손실: 0.131744 최선의 손실: 0.128307 정확도: 98.20% 14 검증 세트 손실: 0.124015 최선의 손실: 0.124015 정확도: 98.24% 15 검증 세트 손실: 0.176897 최선의 손실: 0.124015 정확도: 98.20% 16 검증 세트 손실: 0.172798 최선의 손실: 0.124015 정확도: 98.12% 17 검증 세트 손실: 0.146141 최선의 손실: 0.124015 정확도: 98.12% 18 검증 세트 손실: 0.138607 최선의 손실: 0.124015 정확도: 98.51% 19 검증 세트 손실: 0.144296 최선의 손실: 0.124015 정확도: 98.67% 20 검증 세트 손실: 0.185485 최선의 손실: 0.124015 정확도: 98.20% 21 검증 세트 손실: 0.122321 최선의 손실: 0.122321 정확도: 98.79% 22 검증 세트 손실: 0.134034 최선의 손실: 0.122321 정확도: 98.51% 23 검증 세트 손실: 0.166559 최선의 손실: 0.122321 정확도: 98.44% 24 검증 세트 손실: 0.203764 최선의 손실: 0.122321 정확도: 98.08% 25 검증 세트 손실: 0.252425 최선의 손실: 0.122321 정확도: 97.65% 26 검증 세트 손실: 0.246696 최선의 손실: 0.122321 정확도: 97.89% 27 검증 세트 손실: 0.109772 최선의 손실: 0.109772 정확도: 98.83% 28 검증 세트 손실: 0.161442 최선의 손실: 0.109772 정확도: 98.63% 29 검증 세트 손실: 0.132687 최선의 손실: 0.109772 정확도: 98.91% 30 검증 세트 손실: 0.124046 최선의 손실: 0.109772 정확도: 98.87% 31 검증 세트 손실: 0.146876 최선의 손실: 0.109772 정확도: 98.59% 32 검증 세트 손실: 0.130567 최선의 손실: 0.109772 정확도: 98.59% 33 검증 세트 손실: 0.116598 최선의 손실: 0.109772 정확도: 98.71% 34 검증 세트 손실: 0.094582 최선의 손실: 0.094582 정확도: 98.94% 35 검증 세트 손실: 0.080715 최선의 손실: 0.080715 정확도: 99.02% 36 검증 세트 손실: 0.076449 최선의 손실: 0.076449 정확도: 98.94% 37 검증 세트 손실: 0.080108 최선의 손실: 0.076449 정확도: 98.94% 38 검증 세트 손실: 0.073276 최선의 손실: 0.073276 정확도: 99.02% 39 검증 세트 손실: 0.079769 최선의 손실: 0.073276 정확도: 98.94% 40 검증 세트 손실: 0.066798 최선의 손실: 0.066798 정확도: 99.02% 41 검증 세트 손실: 0.061990 최선의 손실: 0.061990 정확도: 98.98% 42 검증 세트 손실: 0.063826 최선의 손실: 0.061990 정확도: 98.94% 43 검증 세트 손실: 0.056886 최선의 손실: 0.056886 정확도: 99.02% 44 검증 세트 손실: 0.057055 최선의 손실: 0.056886 정확도: 99.02% 45 검증 세트 손실: 0.054763 최선의 손실: 0.054763 정확도: 99.02% 46 검증 세트 손실: 0.055034 최선의 손실: 0.054763 정확도: 98.98% 47 검증 세트 손실: 0.055312 최선의 손실: 0.054763 정확도: 99.02% 48 검증 세트 손실: 0.057337 최선의 손실: 0.054763 정확도: 99.02% 49 검증 세트 손실: 0.051573 최선의 손실: 0.051573 정확도: 99.10% 50 검증 세트 손실: 0.052983 최선의 손실: 0.051573 정확도: 99.02% 51 검증 세트 손실: 0.051856 최선의 손실: 0.051573 정확도: 99.10% 52 검증 세트 손실: 0.051015 최선의 손실: 0.051015 정확도: 99.06% 53 검증 세트 손실: 0.049387 최선의 손실: 0.049387 정확도: 99.06% 54 검증 세트 손실: 0.049856 최선의 손실: 0.049387 정확도: 99.06% 55 검증 세트 손실: 0.050346 최선의 손실: 0.049387 정확도: 99.10% 56 검증 세트 손실: 0.048836 최선의 손실: 0.048836 정확도: 99.10% 57 검증 세트 손실: 0.047167 최선의 손실: 0.047167 정확도: 99.06% 58 검증 세트 손실: 0.047428 최선의 손실: 0.047167 정확도: 99.06% 59 검증 세트 손실: 0.047336 최선의 손실: 0.047167 정확도: 99.06% 60 검증 세트 손실: 0.047376 최선의 손실: 0.047167 정확도: 99.02% 61 검증 세트 손실: 0.047115 최선의 손실: 0.047115 정확도: 99.02% 62 검증 세트 손실: 0.046543 최선의 손실: 0.046543 정확도: 99.02% 63 검증 세트 손실: 0.046636 최선의 손실: 0.046543 정확도: 99.02% 64 검증 세트 손실: 0.046546 최선의 손실: 0.046543 정확도: 99.02% 65 검증 세트 손실: 0.047016 최선의 손실: 0.046543 정확도: 99.02% 66 검증 세트 손실: 0.046262 최선의 손실: 0.046262 정확도: 99.02% 67 검증 세트 손실: 0.044845 최선의 손실: 0.044845 정확도: 99.06% 68 검증 세트 손실: 0.044895 최선의 손실: 0.044845 정확도: 99.02% 69 검증 세트 손실: 0.045057 최선의 손실: 0.044845 정확도: 98.98% 70 검증 세트 손실: 0.045221 최선의 손실: 0.044845 정확도: 98.98% 71 검증 세트 손실: 0.045055 최선의 손실: 0.044845 정확도: 98.91% 72 검증 세트 손실: 0.044772 최선의 손실: 0.044772 정확도: 99.06% 73 검증 세트 손실: 0.044757 최선의 손실: 0.044757 정확도: 99.10% 74 검증 세트 손실: 0.045229 최선의 손실: 0.044757 정확도: 99.02% 75 검증 세트 손실: 0.045194 최선의 손실: 0.044757 정확도: 99.10% 76 검증 세트 손실: 0.045625 최선의 손실: 0.044757 정확도: 99.06% 77 검증 세트 손실: 0.045382 최선의 손실: 0.044757 정확도: 99.02% 78 검증 세트 손실: 0.048750 최선의 손실: 0.044757 정확도: 99.02% 79 검증 세트 손실: 0.049659 최선의 손실: 0.044757 정확도: 99.02% 80 검증 세트 손실: 0.048732 최선의 손실: 0.044757 정확도: 98.98% 81 검증 세트 손실: 0.052058 최선의 손실: 0.044757 정확도: 98.91% 82 검증 세트 손실: 0.048976 최선의 손실: 0.044757 정확도: 98.91% 83 검증 세트 손실: 0.047482 최선의 손실: 0.044757 정확도: 98.87% 84 검증 세트 손실: 0.049620 최선의 손실: 0.044757 정확도: 98.91% 85 검증 세트 손실: 0.049073 최선의 손실: 0.044757 정확도: 98.91% 86 검증 세트 손실: 0.048932 최선의 손실: 0.044757 정확도: 98.87% 87 검증 세트 손실: 0.047738 최선의 손실: 0.044757 정확도: 98.91% 88 검증 세트 손실: 0.047026 최선의 손실: 0.044757 정확도: 98.94% 89 검증 세트 손실: 0.046657 최선의 손실: 0.044757 정확도: 98.94% 90 검증 세트 손실: 0.045989 최선의 손실: 0.044757 정확도: 98.94% 91 검증 세트 손실: 0.046774 최선의 손실: 0.044757 정확도: 98.94% 92 검증 세트 손실: 0.046605 최선의 손실: 0.044757 정확도: 98.94% 93 검증 세트 손실: 0.046911 최선의 손실: 0.044757 정확도: 98.94% 94 검증 세트 손실: 0.047093 최선의 손실: 0.044757 정확도: 98.98% 조기 종료! [CV] n_neurons=30, learning_rate=0.01, batch_size=500, batch_norm_momentum=0.999, activation=<function elu at 0x7f8ec4ceef28>, total= 20.1s [CV] n_neurons=90, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.999, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 0 검증 세트 손실: 0.567522 최선의 손실: 0.567522 정확도: 96.01% 1 검증 세트 손실: 0.097874 최선의 손실: 0.097874 정확도: 97.69% 2 검증 세트 손실: 0.104150 최선의 손실: 0.097874 정확도: 98.24% 3 검증 세트 손실: 0.155069 최선의 손실: 0.097874 정확도: 96.95% 4 검증 세트 손실: 0.057450 최선의 손실: 0.057450 정확도: 98.48% 5 검증 세트 손실: 0.094948 최선의 손실: 0.057450 정확도: 97.58% 6 검증 세트 손실: 0.104371 최선의 손실: 0.057450 정확도: 96.95% 7 검증 세트 손실: 0.055161 최선의 손실: 0.055161 정확도: 98.67% 8 검증 세트 손실: 0.070940 최선의 손실: 0.055161 정확도: 97.81% 9 검증 세트 손실: 0.065417 최선의 손실: 0.055161 정확도: 98.48% 10 검증 세트 손실: 0.075444 최선의 손실: 0.055161 정확도: 97.77% 11 검증 세트 손실: 0.070587 최선의 손실: 0.055161 정확도: 98.05% 12 검증 세트 손실: 0.079735 최선의 손실: 0.055161 정확도: 97.77% 13 검증 세트 손실: 0.046789 최선의 손실: 0.046789 정확도: 98.67% 14 검증 세트 손실: 0.065232 최선의 손실: 0.046789 정확도: 98.20% 15 검증 세트 손실: 0.053585 최선의 손실: 0.046789 정확도: 98.59% 16 검증 세트 손실: 0.066055 최선의 손실: 0.046789 정확도: 98.32% 17 검증 세트 손실: 0.049776 최선의 손실: 0.046789 정확도: 98.36% 18 검증 세트 손실: 0.047667 최선의 손실: 0.046789 정확도: 98.51% 19 검증 세트 손실: 0.050757 최선의 손실: 0.046789 정확도: 98.32% 20 검증 세트 손실: 0.061545 최선의 손실: 0.046789 정확도: 98.51% 21 검증 세트 손실: 0.038089 최선의 손실: 0.038089 정확도: 98.91% 22 검증 세트 손실: 0.054952 최선의 손실: 0.038089 정확도: 98.63% 23 검증 세트 손실: 0.051027 최선의 손실: 0.038089 정확도: 98.71% 24 검증 세트 손실: 0.078350 최선의 손실: 0.038089 정확도: 97.97% 25 검증 세트 손실: 0.048246 최선의 손실: 0.038089 정확도: 98.51% 26 검증 세트 손실: 0.040342 최선의 손실: 0.038089 정확도: 98.91% 27 검증 세트 손실: 0.062026 최선의 손실: 0.038089 정확도: 98.51% 28 검증 세트 손실: 0.041558 최선의 손실: 0.038089 정확도: 99.02% 29 검증 세트 손실: 0.055998 최선의 손실: 0.038089 정확도: 98.75% 30 검증 세트 손실: 0.045386 최선의 손실: 0.038089 정확도: 98.83% 31 검증 세트 손실: 0.043103 최선의 손실: 0.038089 정확도: 99.06% 32 검증 세트 손실: 0.044294 최선의 손실: 0.038089 정확도: 98.94% 33 검증 세트 손실: 0.060156 최선의 손실: 0.038089 정확도: 98.59% 34 검증 세트 손실: 0.044823 최선의 손실: 0.038089 정확도: 98.98% 35 검증 세트 손실: 0.040487 최선의 손실: 0.038089 정확도: 98.98% 36 검증 세트 손실: 0.051332 최선의 손실: 0.038089 정확도: 98.55% 37 검증 세트 손실: 0.046549 최선의 손실: 0.038089 정확도: 98.75% 38 검증 세트 손실: 0.043616 최선의 손실: 0.038089 정확도: 98.87% 39 검증 세트 손실: 0.036224 최선의 손실: 0.036224 정확도: 98.87% 40 검증 세트 손실: 0.072686 최선의 손실: 0.036224 정확도: 98.28% 41 검증 세트 손실: 0.047522 최선의 손실: 0.036224 정확도: 98.98% 42 검증 세트 손실: 0.052453 최선의 손실: 0.036224 정확도: 98.83% 43 검증 세트 손실: 0.062838 최선의 손실: 0.036224 정확도: 98.71% 44 검증 세트 손실: 0.045917 최선의 손실: 0.036224 정확도: 98.83% 45 검증 세트 손실: 0.056827 최선의 손실: 0.036224 정확도: 98.28% 46 검증 세트 손실: 0.037732 최선의 손실: 0.036224 정확도: 98.83% 47 검증 세트 손실: 0.070288 최선의 손실: 0.036224 정확도: 98.40% 48 검증 세트 손실: 0.049500 최선의 손실: 0.036224 정확도: 98.87% 49 검증 세트 손실: 0.045961 최선의 손실: 0.036224 정확도: 98.91% 50 검증 세트 손실: 0.051574 최선의 손실: 0.036224 정확도: 98.71% 51 검증 세트 손실: 0.052054 최선의 손실: 0.036224 정확도: 98.67% 52 검증 세트 손실: 0.047829 최선의 손실: 0.036224 정확도: 98.91% 53 검증 세트 손실: 0.051384 최선의 손실: 0.036224 정확도: 98.83% 54 검증 세트 손실: 0.082153 최선의 손실: 0.036224 정확도: 98.28% 55 검증 세트 손실: 0.043088 최선의 손실: 0.036224 정확도: 98.91% 56 검증 세트 손실: 0.046191 최선의 손실: 0.036224 정확도: 98.87% 57 검증 세트 손실: 0.054216 최선의 손실: 0.036224 정확도: 98.87% 58 검증 세트 손실: 0.050872 최선의 손실: 0.036224 정확도: 98.83% 59 검증 세트 손실: 0.042636 최선의 손실: 0.036224 정확도: 99.06% 60 검증 세트 손실: 0.061656 최선의 손실: 0.036224 정확도: 99.10% 조기 종료! [CV] n_neurons=90, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.999, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 3.1min [CV] n_neurons=90, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.999, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 0 검증 세트 손실: 0.350211 최선의 손실: 0.350211 정확도: 95.43% 1 검증 세트 손실: 0.322165 최선의 손실: 0.322165 정확도: 95.90% 2 검증 세트 손실: 0.154909 최선의 손실: 0.154909 정확도: 96.68% 3 검증 세트 손실: 0.078982 최선의 손실: 0.078982 정확도: 98.16% 4 검증 세트 손실: 0.120312 최선의 손실: 0.078982 정확도: 97.46% 5 검증 세트 손실: 0.171650 최선의 손실: 0.078982 정확도: 95.39% 6 검증 세트 손실: 0.062365 최선의 손실: 0.062365 정확도: 98.32% 7 검증 세트 손실: 0.102669 최선의 손실: 0.062365 정확도: 97.62% 8 검증 세트 손실: 0.096393 최선의 손실: 0.062365 정확도: 97.81% 9 검증 세트 손실: 0.054934 최선의 손실: 0.054934 정확도: 98.63% 10 검증 세트 손실: 0.114816 최선의 손실: 0.054934 정확도: 97.42% 11 검증 세트 손실: 0.108278 최선의 손실: 0.054934 정확도: 96.99% 12 검증 세트 손실: 0.085854 최선의 손실: 0.054934 정확도: 97.50% 13 검증 세트 손실: 0.080352 최선의 손실: 0.054934 정확도: 97.73% 14 검증 세트 손실: 0.054125 최선의 손실: 0.054125 정확도: 98.24% 15 검증 세트 손실: 0.053159 최선의 손실: 0.053159 정확도: 98.48% 16 검증 세트 손실: 0.055840 최선의 손실: 0.053159 정확도: 98.36% 17 검증 세트 손실: 0.049685 최선의 손실: 0.049685 정확도: 98.63% 18 검증 세트 손실: 0.060765 최선의 손실: 0.049685 정확도: 97.89% 19 검증 세트 손실: 0.054672 최선의 손실: 0.049685 정확도: 98.48% 20 검증 세트 손실: 0.048962 최선의 손실: 0.048962 정확도: 98.63% 21 검증 세트 손실: 0.052049 최선의 손실: 0.048962 정확도: 98.75% 22 검증 세트 손실: 0.052766 최선의 손실: 0.048962 정확도: 98.44% 23 검증 세트 손실: 0.047113 최선의 손실: 0.047113 정확도: 98.79% 24 검증 세트 손실: 0.049368 최선의 손실: 0.047113 정확도: 98.71% 25 검증 세트 손실: 0.051666 최선의 손실: 0.047113 정확도: 98.91% 26 검증 세트 손실: 0.039044 최선의 손실: 0.039044 정확도: 98.83% 27 검증 세트 손실: 0.437585 최선의 손실: 0.039044 정확도: 93.20% 28 검증 세트 손실: 0.062286 최선의 손실: 0.039044 정확도: 98.40% 29 검증 세트 손실: 0.067358 최선의 손실: 0.039044 정확도: 98.32% 30 검증 세트 손실: 0.055097 최선의 손실: 0.039044 정확도: 98.59% 31 검증 세트 손실: 0.044892 최선의 손실: 0.039044 정확도: 98.79% 32 검증 세트 손실: 0.042079 최선의 손실: 0.039044 정확도: 98.75% 33 검증 세트 손실: 0.041856 최선의 손실: 0.039044 정확도: 99.02% 34 검증 세트 손실: 0.056962 최선의 손실: 0.039044 정확도: 98.48% 35 검증 세트 손실: 0.048398 최선의 손실: 0.039044 정확도: 98.51% 36 검증 세트 손실: 0.049313 최선의 손실: 0.039044 정확도: 98.91% 37 검증 세트 손실: 0.038852 최선의 손실: 0.038852 정확도: 99.06% 38 검증 세트 손실: 0.044140 최선의 손실: 0.038852 정확도: 98.87% 39 검증 세트 손실: 0.039828 최선의 손실: 0.038852 정확도: 98.87% 40 검증 세트 손실: 0.056061 최선의 손실: 0.038852 정확도: 98.79% 41 검증 세트 손실: 0.054227 최선의 손실: 0.038852 정확도: 98.75% 42 검증 세트 손실: 0.053628 최선의 손실: 0.038852 정확도: 98.83% 43 검증 세트 손실: 0.051051 최선의 손실: 0.038852 정확도: 98.67% 44 검증 세트 손실: 0.043928 최선의 손실: 0.038852 정확도: 98.91% 45 검증 세트 손실: 0.058338 최선의 손실: 0.038852 정확도: 98.75% 46 검증 세트 손실: 0.064130 최선의 손실: 0.038852 정확도: 98.55% 47 검증 세트 손실: 0.051872 최선의 손실: 0.038852 정확도: 98.71% 48 검증 세트 손실: 0.037164 최선의 손실: 0.037164 정확도: 98.98% 49 검증 세트 손실: 0.049553 최선의 손실: 0.037164 정확도: 98.75% 50 검증 세트 손실: 0.050252 최선의 손실: 0.037164 정확도: 98.51% 51 검증 세트 손실: 0.045118 최선의 손실: 0.037164 정확도: 98.71% 52 검증 세트 손실: 0.056971 최선의 손실: 0.037164 정확도: 98.94% 53 검증 세트 손실: 0.044817 최선의 손실: 0.037164 정확도: 99.02% 54 검증 세트 손실: 0.090761 최선의 손실: 0.037164 정확도: 98.16% 55 검증 세트 손실: 0.044212 최선의 손실: 0.037164 정확도: 98.87% 56 검증 세트 손실: 0.043818 최선의 손실: 0.037164 정확도: 98.94% 57 검증 세트 손실: 0.032875 최선의 손실: 0.032875 정확도: 99.10% 58 검증 세트 손실: 0.050619 최선의 손실: 0.032875 정확도: 98.83% 59 검증 세트 손실: 0.057272 최선의 손실: 0.032875 정확도: 98.87% 60 검증 세트 손실: 0.051008 최선의 손실: 0.032875 정확도: 98.94% 61 검증 세트 손실: 0.038567 최선의 손실: 0.032875 정확도: 98.79% 62 검증 세트 손실: 0.031549 최선의 손실: 0.031549 정확도: 99.26% 63 검증 세트 손실: 0.035643 최선의 손실: 0.031549 정확도: 99.18% 64 검증 세트 손실: 0.052910 최선의 손실: 0.031549 정확도: 98.71% 65 검증 세트 손실: 0.039878 최선의 손실: 0.031549 정확도: 99.18% 66 검증 세트 손실: 0.033019 최선의 손실: 0.031549 정확도: 99.06% 67 검증 세트 손실: 0.034011 최선의 손실: 0.031549 정확도: 99.06% 68 검증 세트 손실: 0.057707 최선의 손실: 0.031549 정확도: 98.67% 69 검증 세트 손실: 0.054864 최선의 손실: 0.031549 정확도: 98.79% 70 검증 세트 손실: 0.041670 최선의 손실: 0.031549 정확도: 98.98% 71 검증 세트 손실: 0.053093 최선의 손실: 0.031549 정확도: 98.79% 72 검증 세트 손실: 0.042719 최선의 손실: 0.031549 정확도: 99.10% 73 검증 세트 손실: 0.039211 최선의 손실: 0.031549 정확도: 98.98% 74 검증 세트 손실: 0.038323 최선의 손실: 0.031549 정확도: 99.18% 75 검증 세트 손실: 0.034171 최선의 손실: 0.031549 정확도: 99.10% 76 검증 세트 손실: 0.037945 최선의 손실: 0.031549 정확도: 99.26% 77 검증 세트 손실: 0.043642 최선의 손실: 0.031549 정확도: 98.91% 78 검증 세트 손실: 0.058769 최선의 손실: 0.031549 정확도: 98.51% 79 검증 세트 손실: 0.044407 최선의 손실: 0.031549 정확도: 98.75% 80 검증 세트 손실: 0.043071 최선의 손실: 0.031549 정확도: 99.06% 81 검증 세트 손실: 0.039554 최선의 손실: 0.031549 정확도: 99.14% 82 검증 세트 손실: 0.038447 최선의 손실: 0.031549 정확도: 99.06% 83 검증 세트 손실: 0.042949 최선의 손실: 0.031549 정확도: 99.14% 조기 종료! [CV] n_neurons=90, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.999, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 4.2min [CV] n_neurons=90, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.999, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 0 검증 세트 손실: 0.528409 최선의 손실: 0.528409 정확도: 94.45% 1 검증 세트 손실: 0.130407 최선의 손실: 0.130407 정확도: 97.93% 2 검증 세트 손실: 0.167507 최선의 손실: 0.130407 정확도: 96.52% 3 검증 세트 손실: 0.163657 최선의 손실: 0.130407 정확도: 96.72% 4 검증 세트 손실: 0.093866 최선의 손실: 0.093866 정확도: 97.85% 5 검증 세트 손실: 0.266104 최선의 손실: 0.093866 정확도: 93.12% 6 검증 세트 손실: 0.062718 최선의 손실: 0.062718 정확도: 98.40% 7 검증 세트 손실: 0.065421 최선의 손실: 0.062718 정확도: 98.32% 8 검증 세트 손실: 0.049376 최선의 손실: 0.049376 정확도: 98.59% 9 검증 세트 손실: 0.046540 최선의 손실: 0.046540 정확도: 98.75% 10 검증 세트 손실: 0.068502 최선의 손실: 0.046540 정확도: 98.12% 11 검증 세트 손실: 0.046824 최선의 손실: 0.046540 정확도: 98.51% 12 검증 세트 손실: 0.053358 최선의 손실: 0.046540 정확도: 98.48% 13 검증 세트 손실: 0.045320 최선의 손실: 0.045320 정확도: 98.94% 14 검증 세트 손실: 0.079961 최선의 손실: 0.045320 정확도: 98.08% 15 검증 세트 손실: 0.051117 최선의 손실: 0.045320 정확도: 98.40% 16 검증 세트 손실: 0.040194 최선의 손실: 0.040194 정확도: 98.94% 17 검증 세트 손실: 0.038243 최선의 손실: 0.038243 정확도: 98.71% 18 검증 세트 손실: 0.041086 최선의 손실: 0.038243 정확도: 98.71% 19 검증 세트 손실: 0.040521 최선의 손실: 0.038243 정확도: 98.83% 20 검증 세트 손실: 0.051071 최선의 손실: 0.038243 정확도: 98.67% 21 검증 세트 손실: 0.038507 최선의 손실: 0.038243 정확도: 98.83% 22 검증 세트 손실: 0.045722 최선의 손실: 0.038243 정확도: 98.67% 23 검증 세트 손실: 0.051671 최선의 손실: 0.038243 정확도: 98.55% 24 검증 세트 손실: 0.047337 최선의 손실: 0.038243 정확도: 98.67% 25 검증 세트 손실: 0.054606 최선의 손실: 0.038243 정확도: 98.67% 26 검증 세트 손실: 0.052825 최선의 손실: 0.038243 정확도: 98.44% 27 검증 세트 손실: 0.045421 최선의 손실: 0.038243 정확도: 98.55% 28 검증 세트 손실: 0.047311 최선의 손실: 0.038243 정확도: 98.55% 29 검증 세트 손실: 0.036371 최선의 손실: 0.036371 정확도: 98.75% 30 검증 세트 손실: 0.058621 최선의 손실: 0.036371 정확도: 98.44% 31 검증 세트 손실: 0.050093 최선의 손실: 0.036371 정확도: 98.59% 32 검증 세트 손실: 0.036069 최선의 손실: 0.036069 정확도: 99.14% 33 검증 세트 손실: 0.043742 최선의 손실: 0.036069 정확도: 98.79% 34 검증 세트 손실: 0.043624 최선의 손실: 0.036069 정확도: 98.91% 35 검증 세트 손실: 0.045135 최선의 손실: 0.036069 정확도: 98.87% 36 검증 세트 손실: 0.034773 최선의 손실: 0.034773 정확도: 99.06% 37 검증 세트 손실: 0.057465 최선의 손실: 0.034773 정확도: 98.91% 38 검증 세트 손실: 0.042606 최선의 손실: 0.034773 정확도: 98.94% 39 검증 세트 손실: 0.089882 최선의 손실: 0.034773 정확도: 98.05% 40 검증 세트 손실: 0.044947 최선의 손실: 0.034773 정확도: 99.02% 41 검증 세트 손실: 0.036317 최선의 손실: 0.034773 정확도: 98.79% 42 검증 세트 손실: 0.034732 최선의 손실: 0.034732 정확도: 99.02% 43 검증 세트 손실: 0.058725 최선의 손실: 0.034732 정확도: 98.44% 44 검증 세트 손실: 0.044473 최선의 손실: 0.034732 정확도: 98.83% 45 검증 세트 손실: 0.052199 최선의 손실: 0.034732 정확도: 98.48% 46 검증 세트 손실: 0.059939 최선의 손실: 0.034732 정확도: 98.36% 47 검증 세트 손실: 0.038806 최선의 손실: 0.034732 정확도: 98.91% 48 검증 세트 손실: 0.069748 최선의 손실: 0.034732 정확도: 98.08% 49 검증 세트 손실: 0.050419 최선의 손실: 0.034732 정확도: 99.18% 50 검증 세트 손실: 0.058548 최선의 손실: 0.034732 정확도: 98.91% 51 검증 세트 손실: 0.038110 최선의 손실: 0.034732 정확도: 98.98% 52 검증 세트 손실: 0.043129 최선의 손실: 0.034732 정확도: 99.06% 53 검증 세트 손실: 0.052469 최선의 손실: 0.034732 정확도: 98.79% 54 검증 세트 손실: 0.043339 최선의 손실: 0.034732 정확도: 98.94% 55 검증 세트 손실: 0.039581 최선의 손실: 0.034732 정확도: 99.14% 56 검증 세트 손실: 0.054064 최선의 손실: 0.034732 정확도: 99.14% 57 검증 세트 손실: 0.052773 최선의 손실: 0.034732 정확도: 98.75% 58 검증 세트 손실: 0.038811 최선의 손실: 0.034732 정확도: 99.14% 59 검증 세트 손실: 0.093191 최선의 손실: 0.034732 정확도: 98.28% 60 검증 세트 손실: 0.040730 최선의 손실: 0.034732 정확도: 98.91% 61 검증 세트 손실: 0.045452 최선의 손실: 0.034732 정확도: 98.94% 62 검증 세트 손실: 0.060884 최선의 손실: 0.034732 정확도: 98.63% 63 검증 세트 손실: 0.067442 최선의 손실: 0.034732 정확도: 98.01% 조기 종료! [CV] n_neurons=90, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.999, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 3.2min [CV] n_neurons=70, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 0 검증 세트 손실: 0.087812 최선의 손실: 0.087812 정확도: 97.58% 1 검증 세트 손실: 0.064553 최선의 손실: 0.064553 정확도: 98.44% 2 검증 세트 손실: 0.068140 최선의 손실: 0.064553 정확도: 98.44% 3 검증 세트 손실: 0.050669 최선의 손실: 0.050669 정확도: 98.67% 4 검증 세트 손실: 0.055411 최선의 손실: 0.050669 정확도: 98.48% 5 검증 세트 손실: 0.041672 최선의 손실: 0.041672 정확도: 98.75% 6 검증 세트 손실: 0.059107 최선의 손실: 0.041672 정확도: 98.51% 7 검증 세트 손실: 0.073250 최선의 손실: 0.041672 정확도: 98.16% 8 검증 세트 손실: 0.044287 최선의 손실: 0.041672 정확도: 98.79% 9 검증 세트 손실: 0.048867 최선의 손실: 0.041672 정확도: 98.75% 10 검증 세트 손실: 0.043201 최선의 손실: 0.041672 정확도: 98.91% 11 검증 세트 손실: 0.039146 최선의 손실: 0.039146 정확도: 98.91% 12 검증 세트 손실: 0.037454 최선의 손실: 0.037454 정확도: 99.06% 13 검증 세트 손실: 0.043869 최선의 손실: 0.037454 정확도: 98.91% 14 검증 세트 손실: 0.056305 최선의 손실: 0.037454 정확도: 98.55% 15 검증 세트 손실: 0.045583 최선의 손실: 0.037454 정확도: 98.87% 16 검증 세트 손실: 0.067640 최선의 손실: 0.037454 정확도: 98.63% 17 검증 세트 손실: 0.072201 최선의 손실: 0.037454 정확도: 98.48% 18 검증 세트 손실: 0.055430 최선의 손실: 0.037454 정확도: 98.59% 19 검증 세트 손실: 0.052496 최선의 손실: 0.037454 정확도: 98.83% 20 검증 세트 손실: 0.112833 최선의 손실: 0.037454 정확도: 97.89% 21 검증 세트 손실: 0.049092 최선의 손실: 0.037454 정확도: 98.91% 22 검증 세트 손실: 0.050744 최선의 손실: 0.037454 정확도: 98.79% 23 검증 세트 손실: 0.054348 최선의 손실: 0.037454 정확도: 98.94% 24 검증 세트 손실: 0.058789 최선의 손실: 0.037454 정확도: 98.67% 25 검증 세트 손실: 0.041646 최선의 손실: 0.037454 정확도: 99.02% 26 검증 세트 손실: 0.042890 최선의 손실: 0.037454 정확도: 98.91% 27 검증 세트 손실: 0.053502 최선의 손실: 0.037454 정확도: 98.94% 28 검증 세트 손실: 0.051556 최선의 손실: 0.037454 정확도: 98.98% 29 검증 세트 손실: 0.058861 최선의 손실: 0.037454 정확도: 98.59% 30 검증 세트 손실: 0.043612 최선의 손실: 0.037454 정확도: 99.10% 31 검증 세트 손실: 0.042752 최선의 손실: 0.037454 정확도: 99.10% 32 검증 세트 손실: 0.065576 최선의 손실: 0.037454 정확도: 98.79% 33 검증 세트 손실: 0.045663 최선의 손실: 0.037454 정확도: 98.94% 조기 종료! [CV] n_neurons=70, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 20.4s [CV] n_neurons=70, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 0 검증 세트 손실: 0.116750 최선의 손실: 0.116750 정확도: 96.87% 1 검증 세트 손실: 0.049369 최선의 손실: 0.049369 정확도: 98.55% 2 검증 세트 손실: 0.049524 최선의 손실: 0.049369 정확도: 98.55% 3 검증 세트 손실: 0.073452 최선의 손실: 0.049369 정확도: 97.62% 4 검증 세트 손실: 0.067573 최선의 손실: 0.049369 정확도: 98.48% 5 검증 세트 손실: 0.054711 최선의 손실: 0.049369 정확도: 98.75% 6 검증 세트 손실: 0.049083 최선의 손실: 0.049083 정확도: 98.75% 7 검증 세트 손실: 0.060912 최선의 손실: 0.049083 정확도: 98.44% 8 검증 세트 손실: 0.057420 최선의 손실: 0.049083 정확도: 98.67% 9 검증 세트 손실: 0.044980 최선의 손실: 0.044980 정확도: 98.94% 10 검증 세트 손실: 0.049767 최선의 손실: 0.044980 정확도: 98.79% 11 검증 세트 손실: 0.047355 최선의 손실: 0.044980 정확도: 98.83% 12 검증 세트 손실: 0.038715 최선의 손실: 0.038715 정확도: 99.02% 13 검증 세트 손실: 0.048705 최선의 손실: 0.038715 정확도: 98.94% 14 검증 세트 손실: 0.050366 최선의 손실: 0.038715 정확도: 98.87% 15 검증 세트 손실: 0.060576 최선의 손실: 0.038715 정확도: 98.75% 16 검증 세트 손실: 0.053471 최선의 손실: 0.038715 정확도: 99.02% 17 검증 세트 손실: 0.043266 최선의 손실: 0.038715 정확도: 98.91% 18 검증 세트 손실: 0.060228 최선의 손실: 0.038715 정확도: 98.40% 19 검증 세트 손실: 0.069335 최선의 손실: 0.038715 정확도: 98.51% 20 검증 세트 손실: 0.054626 최선의 손실: 0.038715 정확도: 98.79% 21 검증 세트 손실: 0.060779 최선의 손실: 0.038715 정확도: 98.79% 22 검증 세트 손실: 0.051444 최선의 손실: 0.038715 정확도: 98.83% 23 검증 세트 손실: 0.142821 최선의 손실: 0.038715 정확도: 98.44% 24 검증 세트 손실: 0.038961 최선의 손실: 0.038715 정확도: 99.18% 25 검증 세트 손실: 0.045030 최선의 손실: 0.038715 정확도: 99.02% 26 검증 세트 손실: 0.049966 최선의 손실: 0.038715 정확도: 98.59% 27 검증 세트 손실: 0.046800 최선의 손실: 0.038715 정확도: 99.02% 28 검증 세트 손실: 0.054326 최선의 손실: 0.038715 정확도: 98.79% 29 검증 세트 손실: 0.052097 최선의 손실: 0.038715 정확도: 98.75% 30 검증 세트 손실: 0.052867 최선의 손실: 0.038715 정확도: 98.83% 31 검증 세트 손실: 0.047371 최선의 손실: 0.038715 정확도: 98.87% 32 검증 세트 손실: 0.044704 최선의 손실: 0.038715 정확도: 99.02% 33 검증 세트 손실: 0.054607 최선의 손실: 0.038715 정확도: 98.79% 조기 종료! [CV] n_neurons=70, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 20.4s [CV] n_neurons=70, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 0 검증 세트 손실: 0.105057 최선의 손실: 0.105057 정확도: 97.73% 1 검증 세트 손실: 0.058231 최선의 손실: 0.058231 정확도: 98.12% 2 검증 세트 손실: 0.053226 최선의 손실: 0.053226 정확도: 98.32% 3 검증 세트 손실: 0.041625 최선의 손실: 0.041625 정확도: 98.59% 4 검증 세트 손실: 0.046774 최선의 손실: 0.041625 정확도: 98.75% 5 검증 세트 손실: 0.052786 최선의 손실: 0.041625 정확도: 98.63% 6 검증 세트 손실: 0.049684 최선의 손실: 0.041625 정확도: 98.75% 7 검증 세트 손실: 0.039335 최선의 손실: 0.039335 정확도: 99.02% 8 검증 세트 손실: 0.055289 최선의 손실: 0.039335 정확도: 98.63% 9 검증 세트 손실: 0.056288 최선의 손실: 0.039335 정확도: 98.75% 10 검증 세트 손실: 0.046265 최선의 손실: 0.039335 정확도: 98.83% 11 검증 세트 손실: 0.051392 최선의 손실: 0.039335 정확도: 98.71% 12 검증 세트 손실: 0.046146 최선의 손실: 0.039335 정확도: 98.91% 13 검증 세트 손실: 0.039773 최선의 손실: 0.039335 정확도: 98.79% 14 검증 세트 손실: 0.036976 최선의 손실: 0.036976 정확도: 99.22% 15 검증 세트 손실: 0.044991 최선의 손실: 0.036976 정확도: 98.79% 16 검증 세트 손실: 0.033913 최선의 손실: 0.033913 정확도: 98.98% 17 검증 세트 손실: 0.044064 최선의 손실: 0.033913 정확도: 98.87% 18 검증 세트 손실: 0.034809 최선의 손실: 0.033913 정확도: 98.91% 19 검증 세트 손실: 0.056481 최선의 손실: 0.033913 정확도: 98.59% 20 검증 세트 손실: 0.056779 최선의 손실: 0.033913 정확도: 98.51% 21 검증 세트 손실: 0.052635 최선의 손실: 0.033913 정확도: 98.79% 22 검증 세트 손실: 0.041842 최선의 손실: 0.033913 정확도: 98.79% 23 검증 세트 손실: 0.040977 최선의 손실: 0.033913 정확도: 99.18% 24 검증 세트 손실: 0.042980 최선의 손실: 0.033913 정확도: 99.06% 25 검증 세트 손실: 0.035474 최선의 손실: 0.033913 정확도: 98.98% 26 검증 세트 손실: 0.049910 최선의 손실: 0.033913 정확도: 98.87% 27 검증 세트 손실: 0.032837 최선의 손실: 0.032837 정확도: 99.06% 28 검증 세트 손실: 0.051185 최선의 손실: 0.032837 정확도: 99.06% 29 검증 세트 손실: 0.036470 최선의 손실: 0.032837 정확도: 99.14% 30 검증 세트 손실: 0.037151 최선의 손실: 0.032837 정확도: 99.10% 31 검증 세트 손실: 0.035757 최선의 손실: 0.032837 정확도: 99.26% 32 검증 세트 손실: 0.052062 최선의 손실: 0.032837 정확도: 98.98% 33 검증 세트 손실: 0.051830 최선의 손실: 0.032837 정확도: 98.98% 34 검증 세트 손실: 0.035463 최선의 손실: 0.032837 정확도: 99.22% 35 검증 세트 손실: 0.028811 최선의 손실: 0.028811 정확도: 99.37% 36 검증 세트 손실: 0.037316 최선의 손실: 0.028811 정확도: 99.14% 37 검증 세트 손실: 0.044685 최선의 손실: 0.028811 정확도: 99.02% 38 검증 세트 손실: 0.035967 최선의 손실: 0.028811 정확도: 99.02% 39 검증 세트 손실: 0.058678 최선의 손실: 0.028811 정확도: 98.91% 40 검증 세트 손실: 0.046733 최선의 손실: 0.028811 정확도: 98.91% 41 검증 세트 손실: 0.038411 최선의 손실: 0.028811 정확도: 99.10% 42 검증 세트 손실: 0.034719 최선의 손실: 0.028811 정확도: 99.18% 43 검증 세트 손실: 0.079918 최선의 손실: 0.028811 정확도: 98.44% 44 검증 세트 손실: 0.039111 최선의 손실: 0.028811 정확도: 99.26% 45 검증 세트 손실: 0.056214 최선의 손실: 0.028811 정확도: 98.94% 46 검증 세트 손실: 0.053683 최선의 손실: 0.028811 정확도: 98.94% 47 검증 세트 손실: 0.041169 최선의 손실: 0.028811 정확도: 98.98% 48 검증 세트 손실: 0.045883 최선의 손실: 0.028811 정확도: 99.10% 49 검증 세트 손실: 0.036616 최선의 손실: 0.028811 정확도: 99.22% 50 검증 세트 손실: 0.041563 최선의 손실: 0.028811 정확도: 99.10% 51 검증 세트 손실: 0.036842 최선의 손실: 0.028811 정확도: 99.06% 52 검증 세트 손실: 0.027032 최선의 손실: 0.027032 정확도: 99.41% 53 검증 세트 손실: 0.033045 최선의 손실: 0.027032 정확도: 99.34% 54 검증 세트 손실: 0.031211 최선의 손실: 0.027032 정확도: 99.49% 55 검증 세트 손실: 0.037963 최선의 손실: 0.027032 정확도: 99.30% 56 검증 세트 손실: 0.045096 최선의 손실: 0.027032 정확도: 98.83% 57 검증 세트 손실: 0.055794 최선의 손실: 0.027032 정확도: 98.94% 58 검증 세트 손실: 0.030156 최선의 손실: 0.027032 정확도: 99.37% 59 검증 세트 손실: 0.049189 최선의 손실: 0.027032 정확도: 99.06% 60 검증 세트 손실: 0.027620 최선의 손실: 0.027032 정확도: 99.30% 61 검증 세트 손실: 0.040138 최선의 손실: 0.027032 정확도: 99.22% 62 검증 세트 손실: 0.036149 최선의 손실: 0.027032 정확도: 99.22% 63 검증 세트 손실: 0.030111 최선의 손실: 0.027032 정확도: 99.41% 64 검증 세트 손실: 0.043917 최선의 손실: 0.027032 정확도: 99.18% 65 검증 세트 손실: 0.047071 최선의 손실: 0.027032 정확도: 99.22% 66 검증 세트 손실: 0.038757 최선의 손실: 0.027032 정확도: 99.02% 67 검증 세트 손실: 0.035191 최선의 손실: 0.027032 정확도: 99.10% 68 검증 세트 손실: 0.043112 최선의 손실: 0.027032 정확도: 99.22% 69 검증 세트 손실: 0.036800 최선의 손실: 0.027032 정확도: 99.26% 70 검증 세트 손실: 0.042870 최선의 손실: 0.027032 정확도: 99.18% 71 검증 세트 손실: 0.040749 최선의 손실: 0.027032 정확도: 99.26% 72 검증 세트 손실: 0.049601 최선의 손실: 0.027032 정확도: 98.98% 73 검증 세트 손실: 0.043522 최선의 손실: 0.027032 정확도: 99.10% 조기 종료! [CV] n_neurons=70, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 42.7s [CV] n_neurons=160, learning_rate=0.01, batch_size=10, batch_norm_momentum=0.98, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.102576 최선의 손실: 0.102576 정확도: 97.11% 1 검증 세트 손실: 0.073843 최선의 손실: 0.073843 정확도: 98.16% 2 검증 세트 손실: 0.057348 최선의 손실: 0.057348 정확도: 98.48% 3 검증 세트 손실: 0.048350 최선의 손실: 0.048350 정확도: 98.63% 4 검증 세트 손실: 0.036745 최선의 손실: 0.036745 정확도: 98.79% 5 검증 세트 손실: 0.044089 최선의 손실: 0.036745 정확도: 98.55% 6 검증 세트 손실: 0.038080 최선의 손실: 0.036745 정확도: 98.91% 7 검증 세트 손실: 0.045790 최선의 손실: 0.036745 정확도: 98.55% 8 검증 세트 손실: 0.041349 최선의 손실: 0.036745 정확도: 98.75% 9 검증 세트 손실: 0.038364 최선의 손실: 0.036745 정확도: 98.87% 10 검증 세트 손실: 0.044156 최선의 손실: 0.036745 정확도: 98.79% 11 검증 세트 손실: 0.041015 최선의 손실: 0.036745 정확도: 98.75% 12 검증 세트 손실: 0.039946 최선의 손실: 0.036745 정확도: 98.83% 13 검증 세트 손실: 0.061287 최선의 손실: 0.036745 정확도: 98.44% 14 검증 세트 손실: 0.066301 최선의 손실: 0.036745 정확도: 98.24% 15 검증 세트 손실: 0.043078 최선의 손실: 0.036745 정확도: 98.87% 16 검증 세트 손실: 0.050406 최선의 손실: 0.036745 정확도: 98.87% 17 검증 세트 손실: 0.035317 최선의 손실: 0.035317 정확도: 99.02% 18 검증 세트 손실: 0.035885 최선의 손실: 0.035317 정확도: 99.06% 19 검증 세트 손실: 0.043909 최선의 손실: 0.035317 정확도: 98.79% 20 검증 세트 손실: 0.048787 최선의 손실: 0.035317 정확도: 98.75% 21 검증 세트 손실: 0.041117 최선의 손실: 0.035317 정확도: 99.10% 22 검증 세트 손실: 0.040276 최선의 손실: 0.035317 정확도: 99.06% 23 검증 세트 손실: 0.047037 최선의 손실: 0.035317 정확도: 99.02% 24 검증 세트 손실: 0.050668 최선의 손실: 0.035317 정확도: 98.67% 25 검증 세트 손실: 0.039296 최선의 손실: 0.035317 정확도: 99.10% 26 검증 세트 손실: 0.034867 최선의 손실: 0.034867 정확도: 99.26% 27 검증 세트 손실: 0.059101 최선의 손실: 0.034867 정확도: 98.63% 28 검증 세트 손실: 0.046288 최선의 손실: 0.034867 정확도: 98.94% 29 검증 세트 손실: 0.032155 최선의 손실: 0.032155 정확도: 99.10% 30 검증 세트 손실: 0.041667 최선의 손실: 0.032155 정확도: 98.87% 31 검증 세트 손실: 0.034541 최선의 손실: 0.032155 정확도: 99.10% 32 검증 세트 손실: 0.041048 최선의 손실: 0.032155 정확도: 99.06% 33 검증 세트 손실: 0.050633 최선의 손실: 0.032155 정확도: 98.91% 34 검증 세트 손실: 0.046462 최선의 손실: 0.032155 정확도: 98.91% 35 검증 세트 손실: 0.038013 최선의 손실: 0.032155 정확도: 98.98% 36 검증 세트 손실: 0.034044 최선의 손실: 0.032155 정확도: 98.91% 37 검증 세트 손실: 0.056781 최선의 손실: 0.032155 정확도: 98.83% 38 검증 세트 손실: 0.035270 최선의 손실: 0.032155 정확도: 98.94% 39 검증 세트 손실: 0.040345 최선의 손실: 0.032155 정확도: 98.91% 40 검증 세트 손실: 0.041302 최선의 손실: 0.032155 정확도: 98.94% 41 검증 세트 손실: 0.042295 최선의 손실: 0.032155 정확도: 98.79% 42 검증 세트 손실: 0.045496 최선의 손실: 0.032155 정확도: 99.02% 43 검증 세트 손실: 0.043715 최선의 손실: 0.032155 정확도: 99.02% 44 검증 세트 손실: 0.035253 최선의 손실: 0.032155 정확도: 99.02% 45 검증 세트 손실: 0.041387 최선의 손실: 0.032155 정확도: 98.87% 46 검증 세트 손실: 0.038307 최선의 손실: 0.032155 정확도: 98.83% 47 검증 세트 손실: 0.046421 최선의 손실: 0.032155 정확도: 98.71% 48 검증 세트 손실: 0.040355 최선의 손실: 0.032155 정확도: 98.98% 49 검증 세트 손실: 0.053719 최선의 손실: 0.032155 정확도: 98.87% 50 검증 세트 손실: 0.044054 최선의 손실: 0.032155 정확도: 99.06% 조기 종료! [CV] n_neurons=160, learning_rate=0.01, batch_size=10, batch_norm_momentum=0.98, activation=<function relu at 0x7f8ec4c8c510>, total= 3.3min [CV] n_neurons=160, learning_rate=0.01, batch_size=10, batch_norm_momentum=0.98, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.093411 최선의 손실: 0.093411 정확도: 97.03% 1 검증 세트 손실: 0.065424 최선의 손실: 0.065424 정확도: 97.97% 2 검증 세트 손실: 0.061798 최선의 손실: 0.061798 정확도: 98.24% 3 검증 세트 손실: 0.060370 최선의 손실: 0.060370 정확도: 98.08% 4 검증 세트 손실: 0.056594 최선의 손실: 0.056594 정확도: 98.20% 5 검증 세트 손실: 0.039845 최선의 손실: 0.039845 정확도: 98.79% 6 검증 세트 손실: 0.036823 최선의 손실: 0.036823 정확도: 98.87% 7 검증 세트 손실: 0.036040 최선의 손실: 0.036040 정확도: 98.71% 8 검증 세트 손실: 0.034847 최선의 손실: 0.034847 정확도: 99.02% 9 검증 세트 손실: 0.041956 최선의 손실: 0.034847 정확도: 98.63% 10 검증 세트 손실: 0.037984 최선의 손실: 0.034847 정확도: 98.75% 11 검증 세트 손실: 0.030058 최선의 손실: 0.030058 정확도: 99.06% 12 검증 세트 손실: 0.032557 최선의 손실: 0.030058 정확도: 99.02% 13 검증 세트 손실: 0.041553 최선의 손실: 0.030058 정확도: 98.63% 14 검증 세트 손실: 0.035305 최선의 손실: 0.030058 정확도: 99.02% 15 검증 세트 손실: 0.034930 최선의 손실: 0.030058 정확도: 98.91% 16 검증 세트 손실: 0.044814 최선의 손실: 0.030058 정확도: 98.59% 17 검증 세트 손실: 0.032787 최선의 손실: 0.030058 정확도: 99.06% 18 검증 세트 손실: 0.036811 최선의 손실: 0.030058 정확도: 98.79% 19 검증 세트 손실: 0.030962 최선의 손실: 0.030058 정확도: 99.06% 20 검증 세트 손실: 0.027889 최선의 손실: 0.027889 정확도: 98.98% 21 검증 세트 손실: 0.042702 최선의 손실: 0.027889 정확도: 98.79% 22 검증 세트 손실: 0.044673 최선의 손실: 0.027889 정확도: 98.79% 23 검증 세트 손실: 0.029588 최선의 손실: 0.027889 정확도: 99.26% 24 검증 세트 손실: 0.033623 최선의 손실: 0.027889 정확도: 99.18% 25 검증 세트 손실: 0.030994 최선의 손실: 0.027889 정확도: 98.98% 26 검증 세트 손실: 0.027787 최선의 손실: 0.027787 정확도: 99.10% 27 검증 세트 손실: 0.033529 최선의 손실: 0.027787 정확도: 99.06% 28 검증 세트 손실: 0.030397 최선의 손실: 0.027787 정확도: 98.91% 29 검증 세트 손실: 0.035105 최선의 손실: 0.027787 정확도: 98.91% 30 검증 세트 손실: 0.036109 최선의 손실: 0.027787 정확도: 98.91% 31 검증 세트 손실: 0.042689 최선의 손실: 0.027787 정확도: 98.98% 32 검증 세트 손실: 0.040656 최선의 손실: 0.027787 정확도: 98.91% 33 검증 세트 손실: 0.044880 최선의 손실: 0.027787 정확도: 98.83% 34 검증 세트 손실: 0.039374 최선의 손실: 0.027787 정확도: 98.91% 35 검증 세트 손실: 0.043793 최선의 손실: 0.027787 정확도: 98.75% 36 검증 세트 손실: 0.049524 최선의 손실: 0.027787 정확도: 98.91% 37 검증 세트 손실: 0.034369 최선의 손실: 0.027787 정확도: 98.87% 38 검증 세트 손실: 0.035910 최선의 손실: 0.027787 정확도: 98.83% 39 검증 세트 손실: 0.031542 최선의 손실: 0.027787 정확도: 98.94% 40 검증 세트 손실: 0.034131 최선의 손실: 0.027787 정확도: 98.87% 41 검증 세트 손실: 0.033153 최선의 손실: 0.027787 정확도: 99.06% 42 검증 세트 손실: 0.029432 최선의 손실: 0.027787 정확도: 99.18% 43 검증 세트 손실: 0.038007 최선의 손실: 0.027787 정확도: 99.06% 44 검증 세트 손실: 0.032069 최선의 손실: 0.027787 정확도: 99.14% 45 검증 세트 손실: 0.036041 최선의 손실: 0.027787 정확도: 99.10% 46 검증 세트 손실: 0.035375 최선의 손실: 0.027787 정확도: 99.18% 47 검증 세트 손실: 0.032454 최선의 손실: 0.027787 정확도: 99.06% 조기 종료! [CV] n_neurons=160, learning_rate=0.01, batch_size=10, batch_norm_momentum=0.98, activation=<function relu at 0x7f8ec4c8c510>, total= 3.2min [CV] n_neurons=160, learning_rate=0.01, batch_size=10, batch_norm_momentum=0.98, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.092877 최선의 손실: 0.092877 정확도: 97.58% 1 검증 세트 손실: 0.055992 최선의 손실: 0.055992 정확도: 98.20% 2 검증 세트 손실: 0.068754 최선의 손실: 0.055992 정확도: 98.12% 3 검증 세트 손실: 0.047175 최선의 손실: 0.047175 정확도: 98.59% 4 검증 세트 손실: 0.052473 최선의 손실: 0.047175 정확도: 98.48% 5 검증 세트 손실: 0.053118 최선의 손실: 0.047175 정확도: 98.40% 6 검증 세트 손실: 0.044048 최선의 손실: 0.044048 정확도: 98.63% 7 검증 세트 손실: 0.037487 최선의 손실: 0.037487 정확도: 98.63% 8 검증 세트 손실: 0.040106 최선의 손실: 0.037487 정확도: 98.79% 9 검증 세트 손실: 0.039328 최선의 손실: 0.037487 정확도: 98.51% 10 검증 세트 손실: 0.034464 최선의 손실: 0.034464 정확도: 98.75% 11 검증 세트 손실: 0.037247 최선의 손실: 0.034464 정확도: 98.87% 12 검증 세트 손실: 0.033022 최선의 손실: 0.033022 정확도: 98.94% 13 검증 세트 손실: 0.033781 최선의 손실: 0.033022 정확도: 99.10% 14 검증 세트 손실: 0.034988 최선의 손실: 0.033022 정확도: 98.79% 15 검증 세트 손실: 0.032677 최선의 손실: 0.032677 정확도: 99.06% 16 검증 세트 손실: 0.033252 최선의 손실: 0.032677 정확도: 98.98% 17 검증 세트 손실: 0.043378 최선의 손실: 0.032677 정확도: 98.75% 18 검증 세트 손실: 0.034762 최선의 손실: 0.032677 정확도: 99.02% 19 검증 세트 손실: 0.029707 최선의 손실: 0.029707 정확도: 98.98% 20 검증 세트 손실: 0.026351 최선의 손실: 0.026351 정확도: 99.10% 21 검증 세트 손실: 0.023910 최선의 손실: 0.023910 정확도: 99.30% 22 검증 세트 손실: 0.024809 최선의 손실: 0.023910 정확도: 99.18% 23 검증 세트 손실: 0.032281 최선의 손실: 0.023910 정확도: 99.10% 24 검증 세트 손실: 0.032348 최선의 손실: 0.023910 정확도: 99.02% 25 검증 세트 손실: 0.021673 최선의 손실: 0.021673 정확도: 99.41% 26 검증 세트 손실: 0.035176 최선의 손실: 0.021673 정확도: 99.06% 27 검증 세트 손실: 0.036873 최선의 손실: 0.021673 정확도: 98.83% 28 검증 세트 손실: 0.029929 최선의 손실: 0.021673 정확도: 98.98% 29 검증 세트 손실: 0.030010 최선의 손실: 0.021673 정확도: 99.06% 30 검증 세트 손실: 0.033627 최선의 손실: 0.021673 정확도: 98.87% 31 검증 세트 손실: 0.028218 최선의 손실: 0.021673 정확도: 99.26% 32 검증 세트 손실: 0.031958 최선의 손실: 0.021673 정확도: 99.14% 33 검증 세트 손실: 0.025660 최선의 손실: 0.021673 정확도: 99.34% 34 검증 세트 손실: 0.029348 최선의 손실: 0.021673 정확도: 99.10% 35 검증 세트 손실: 0.043915 최선의 손실: 0.021673 정확도: 98.83% 36 검증 세트 손실: 0.038343 최선의 손실: 0.021673 정확도: 99.06% 37 검증 세트 손실: 0.037049 최선의 손실: 0.021673 정확도: 99.14% 38 검증 세트 손실: 0.032889 최선의 손실: 0.021673 정확도: 98.83% 39 검증 세트 손실: 0.040372 최선의 손실: 0.021673 정확도: 99.18% 40 검증 세트 손실: 0.031815 최선의 손실: 0.021673 정확도: 99.02% 41 검증 세트 손실: 0.039172 최선의 손실: 0.021673 정확도: 98.91% 42 검증 세트 손실: 0.035044 최선의 손실: 0.021673 정확도: 99.06% 43 검증 세트 손실: 0.036193 최선의 손실: 0.021673 정확도: 98.98% 44 검증 세트 손실: 0.034337 최선의 손실: 0.021673 정확도: 98.75% 45 검증 세트 손실: 0.032715 최선의 손실: 0.021673 정확도: 99.06% 46 검증 세트 손실: 0.032784 최선의 손실: 0.021673 정확도: 99.22% 조기 종료! [CV] n_neurons=160, learning_rate=0.01, batch_size=10, batch_norm_momentum=0.98, activation=<function relu at 0x7f8ec4c8c510>, total= 3.1min [CV] n_neurons=100, learning_rate=0.1, batch_size=100, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 0 검증 세트 손실: 0.172632 최선의 손실: 0.172632 정확도: 97.07% 1 검증 세트 손실: 0.127338 최선의 손실: 0.127338 정확도: 97.85% 2 검증 세트 손실: 0.167529 최선의 손실: 0.127338 정확도: 97.03% 3 검증 세트 손실: 0.086108 최선의 손실: 0.086108 정확도: 97.81% 4 검증 세트 손실: 0.115597 최선의 손실: 0.086108 정확도: 97.77% 5 검증 세트 손실: 0.104995 최선의 손실: 0.086108 정확도: 98.08% 6 검증 세트 손실: 0.079326 최선의 손실: 0.079326 정확도: 98.16% 7 검증 세트 손실: 0.064354 최선의 손실: 0.064354 정확도: 98.67% 8 검증 세트 손실: 0.077549 최선의 손실: 0.064354 정확도: 98.12% 9 검증 세트 손실: 0.074422 최선의 손실: 0.064354 정확도: 98.40% 10 검증 세트 손실: 0.102253 최선의 손실: 0.064354 정확도: 98.01% 11 검증 세트 손실: 0.059386 최선의 손실: 0.059386 정확도: 98.67% 12 검증 세트 손실: 0.070048 최선의 손실: 0.059386 정확도: 98.71% 13 검증 세트 손실: 0.067014 최선의 손실: 0.059386 정확도: 98.67% 14 검증 세트 손실: 0.058121 최선의 손실: 0.058121 정확도: 98.67% 15 검증 세트 손실: 0.099994 최선의 손실: 0.058121 정확도: 98.59% 16 검증 세트 손실: 0.074793 최선의 손실: 0.058121 정확도: 98.71% 17 검증 세트 손실: 0.124511 최선의 손실: 0.058121 정확도: 97.89% 18 검증 세트 손실: 0.126258 최선의 손실: 0.058121 정확도: 97.34% 19 검증 세트 손실: 0.082993 최선의 손실: 0.058121 정확도: 98.55% 20 검증 세트 손실: 0.081338 최선의 손실: 0.058121 정확도: 98.63% 21 검증 세트 손실: 0.066099 최선의 손실: 0.058121 정확도: 98.75% 22 검증 세트 손실: 0.069735 최선의 손실: 0.058121 정확도: 98.67% 23 검증 세트 손실: 0.085176 최선의 손실: 0.058121 정확도: 98.63% 24 검증 세트 손실: 0.163379 최선의 손실: 0.058121 정확도: 98.20% 25 검증 세트 손실: 1.996140 최선의 손실: 0.058121 정확도: 96.99% 26 검증 세트 손실: 0.066863 최선의 손실: 0.058121 정확도: 98.91% 27 검증 세트 손실: 0.055087 최선의 손실: 0.055087 정확도: 98.94% 28 검증 세트 손실: 0.123777 최선의 손실: 0.055087 정확도: 98.44% 29 검증 세트 손실: 0.064101 최선의 손실: 0.055087 정확도: 99.02% 30 검증 세트 손실: 0.073873 최선의 손실: 0.055087 정확도: 98.91% 31 검증 세트 손실: 0.057312 최선의 손실: 0.055087 정확도: 99.10% 32 검증 세트 손실: 0.056029 최선의 손실: 0.055087 정확도: 99.02% 33 검증 세트 손실: 0.094997 최선의 손실: 0.055087 정확도: 98.79% 34 검증 세트 손실: 0.067671 최선의 손실: 0.055087 정확도: 98.83% 35 검증 세트 손실: 0.193793 최선의 손실: 0.055087 정확도: 97.34% 36 검증 세트 손실: 0.057467 최선의 손실: 0.055087 정확도: 98.91% 37 검증 세트 손실: 0.052559 최선의 손실: 0.052559 정확도: 98.94% 38 검증 세트 손실: 0.101764 최선의 손실: 0.052559 정확도: 98.63% 39 검증 세트 손실: 0.069096 최선의 손실: 0.052559 정확도: 98.83% 40 검증 세트 손실: 0.062111 최선의 손실: 0.052559 정확도: 98.83% 41 검증 세트 손실: 0.083517 최선의 손실: 0.052559 정확도: 98.75% 42 검증 세트 손실: 0.058545 최선의 손실: 0.052559 정확도: 99.10% 43 검증 세트 손실: 0.100031 최선의 손실: 0.052559 정확도: 98.44% 44 검증 세트 손실: 0.073756 최선의 손실: 0.052559 정확도: 99.14% 45 검증 세트 손실: 0.063625 최선의 손실: 0.052559 정확도: 98.98% 46 검증 세트 손실: 0.060534 최선의 손실: 0.052559 정확도: 99.14% 47 검증 세트 손실: 0.080954 최선의 손실: 0.052559 정확도: 99.02% 48 검증 세트 손실: 0.068139 최선의 손실: 0.052559 정확도: 99.10% 49 검증 세트 손실: 0.156941 최선의 손실: 0.052559 정확도: 98.36% 50 검증 세트 손실: 0.179150 최선의 손실: 0.052559 정확도: 98.75% 51 검증 세트 손실: 0.066174 최선의 손실: 0.052559 정확도: 98.98% 52 검증 세트 손실: 0.081150 최선의 손실: 0.052559 정확도: 98.79% 53 검증 세트 손실: 0.096230 최선의 손실: 0.052559 정확도: 98.55% 54 검증 세트 손실: 0.075193 최선의 손실: 0.052559 정확도: 98.98% 55 검증 세트 손실: 0.088354 최선의 손실: 0.052559 정확도: 98.87% 56 검증 세트 손실: 0.066930 최선의 손실: 0.052559 정확도: 99.10% 57 검증 세트 손실: 0.089648 최선의 손실: 0.052559 정확도: 98.79% 58 검증 세트 손실: 0.091185 최선의 손실: 0.052559 정확도: 98.79% 조기 종료! [CV] n_neurons=100, learning_rate=0.1, batch_size=100, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 40.4s [CV] n_neurons=100, learning_rate=0.1, batch_size=100, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 0 검증 세트 손실: 0.288914 최선의 손실: 0.288914 정확도: 96.36% 1 검증 세트 손실: 0.295103 최선의 손실: 0.288914 정확도: 96.95% 2 검증 세트 손실: 0.092572 최선의 손실: 0.092572 정확도: 97.77% 3 검증 세트 손실: 0.097222 최선의 손실: 0.092572 정확도: 97.93% 4 검증 세트 손실: 0.106207 최선의 손실: 0.092572 정확도: 97.93% 5 검증 세트 손실: 0.097466 최선의 손실: 0.092572 정확도: 98.12% 6 검증 세트 손실: 0.080326 최선의 손실: 0.080326 정확도: 98.16% 7 검증 세트 손실: 0.073586 최선의 손실: 0.073586 정확도: 98.08% 8 검증 세트 손실: 0.081629 최선의 손실: 0.073586 정확도: 98.55% 9 검증 세트 손실: 0.114939 최선의 손실: 0.073586 정확도: 97.85% 10 검증 세트 손실: 0.084080 최선의 손실: 0.073586 정확도: 98.48% 11 검증 세트 손실: 0.076889 최선의 손실: 0.073586 정확도: 98.51% 12 검증 세트 손실: 0.066533 최선의 손실: 0.066533 정확도: 98.75% 13 검증 세트 손실: 0.116199 최선의 손실: 0.066533 정확도: 98.32% 14 검증 세트 손실: 0.097467 최선의 손실: 0.066533 정확도: 98.59% 15 검증 세트 손실: 0.191124 최선의 손실: 0.066533 정확도: 97.42% 16 검증 세트 손실: 0.103267 최선의 손실: 0.066533 정확도: 98.40% 17 검증 세트 손실: 0.070729 최선의 손실: 0.066533 정확도: 98.75% 18 검증 세트 손실: 0.062405 최선의 손실: 0.062405 정확도: 98.51% 19 검증 세트 손실: 0.107100 최선의 손실: 0.062405 정확도: 97.89% 20 검증 세트 손실: 0.107933 최선의 손실: 0.062405 정확도: 98.32% 21 검증 세트 손실: 0.082877 최선의 손실: 0.062405 정확도: 98.32% 22 검증 세트 손실: 0.066174 최선의 손실: 0.062405 정확도: 98.87% 23 검증 세트 손실: 0.118267 최선의 손실: 0.062405 정확도: 98.40% 24 검증 세트 손실: 0.202478 최선의 손실: 0.062405 정확도: 97.65% 25 검증 세트 손실: 0.098229 최선의 손실: 0.062405 정확도: 98.79% 26 검증 세트 손실: 0.055440 최선의 손실: 0.055440 정확도: 98.83% 27 검증 세트 손실: 0.055648 최선의 손실: 0.055440 정확도: 98.75% 28 검증 세트 손실: 0.069534 최선의 손실: 0.055440 정확도: 98.75% 29 검증 세트 손실: 0.061672 최선의 손실: 0.055440 정확도: 98.91% 30 검증 세트 손실: 0.059775 최선의 손실: 0.055440 정확도: 98.71% 31 검증 세트 손실: 0.066068 최선의 손실: 0.055440 정확도: 98.75% 32 검증 세트 손실: 0.060590 최선의 손실: 0.055440 정확도: 99.02% 33 검증 세트 손실: 0.134338 최선의 손실: 0.055440 정확도: 98.36% 34 검증 세트 손실: 0.123406 최선의 손실: 0.055440 정확도: 98.40% 35 검증 세트 손실: 0.135341 최선의 손실: 0.055440 정확도: 98.83% 36 검증 세트 손실: 0.129451 최선의 손실: 0.055440 정확도: 98.16% 37 검증 세트 손실: 0.064226 최선의 손실: 0.055440 정확도: 99.02% 38 검증 세트 손실: 0.110223 최선의 손실: 0.055440 정확도: 98.59% 39 검증 세트 손실: 0.049849 최선의 손실: 0.049849 정확도: 98.79% 40 검증 세트 손실: 0.061738 최선의 손실: 0.049849 정확도: 98.83% 41 검증 세트 손실: 0.133781 최선의 손실: 0.049849 정확도: 97.89% 42 검증 세트 손실: 0.061410 최선의 손실: 0.049849 정확도: 99.06% 43 검증 세트 손실: 0.081304 최선의 손실: 0.049849 정확도: 98.59% 44 검증 세트 손실: 0.087359 최선의 손실: 0.049849 정확도: 98.83% 45 검증 세트 손실: 0.089902 최선의 손실: 0.049849 정확도: 98.55% 46 검증 세트 손실: 0.115109 최선의 손실: 0.049849 정확도: 98.63% 47 검증 세트 손실: 0.087850 최선의 손실: 0.049849 정확도: 98.71% 48 검증 세트 손실: 0.126105 최선의 손실: 0.049849 정확도: 98.44% 49 검증 세트 손실: 0.103665 최선의 손실: 0.049849 정확도: 98.94% 50 검증 세트 손실: 0.093409 최선의 손실: 0.049849 정확도: 98.67% 51 검증 세트 손실: 0.085302 최선의 손실: 0.049849 정확도: 98.71% 52 검증 세트 손실: 0.103550 최선의 손실: 0.049849 정확도: 98.71% 53 검증 세트 손실: 0.107594 최선의 손실: 0.049849 정확도: 98.36% 54 검증 세트 손실: 0.082458 최선의 손실: 0.049849 정확도: 98.83% 55 검증 세트 손실: 0.098009 최선의 손실: 0.049849 정확도: 98.63% 56 검증 세트 손실: 0.086893 최선의 손실: 0.049849 정확도: 98.79% 57 검증 세트 손실: 0.112890 최선의 손실: 0.049849 정확도: 98.48% 58 검증 세트 손실: 0.083880 최선의 손실: 0.049849 정확도: 98.75% 59 검증 세트 손실: 0.300027 최선의 손실: 0.049849 정확도: 97.58% 60 검증 세트 손실: 1.252326 최선의 손실: 0.049849 정확도: 94.02% 조기 종료! [CV] n_neurons=100, learning_rate=0.1, batch_size=100, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 41.6s [CV] n_neurons=100, learning_rate=0.1, batch_size=100, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 0 검증 세트 손실: 0.229177 최선의 손실: 0.229177 정확도: 95.97% 1 검증 세트 손실: 0.161583 최선의 손실: 0.161583 정확도: 97.54% 2 검증 세트 손실: 0.072549 최선의 손실: 0.072549 정확도: 97.85% 3 검증 세트 손실: 0.079806 최선의 손실: 0.072549 정확도: 97.89% 4 검증 세트 손실: 0.068005 최선의 손실: 0.068005 정확도: 98.67% 5 검증 세트 손실: 0.075999 최선의 손실: 0.068005 정확도: 97.93% 6 검증 세트 손실: 0.067954 최선의 손실: 0.067954 정확도: 97.58% 7 검증 세트 손실: 0.086368 최선의 손실: 0.067954 정확도: 98.28% 8 검증 세트 손실: 0.049567 최선의 손실: 0.049567 정확도: 98.75% 9 검증 세트 손실: 0.087549 최선의 손실: 0.049567 정확도: 98.28% 10 검증 세트 손실: 0.126301 최선의 손실: 0.049567 정확도: 98.36% 11 검증 세트 손실: 0.056242 최선의 손실: 0.049567 정확도: 98.55% 12 검증 세트 손실: 0.039624 최선의 손실: 0.039624 정확도: 98.91% 13 검증 세트 손실: 0.053852 최선의 손실: 0.039624 정확도: 98.59% 14 검증 세트 손실: 0.070444 최선의 손실: 0.039624 정확도: 98.59% 15 검증 세트 손실: 0.083562 최선의 손실: 0.039624 정확도: 98.05% 16 검증 세트 손실: 0.079270 최선의 손실: 0.039624 정확도: 98.48% 17 검증 세트 손실: 0.088832 최선의 손실: 0.039624 정확도: 98.55% 18 검증 세트 손실: 0.406926 최선의 손실: 0.039624 정확도: 96.91% 19 검증 세트 손실: 0.090565 최선의 손실: 0.039624 정확도: 98.32% 20 검증 세트 손실: 0.133928 최선의 손실: 0.039624 정확도: 98.05% 21 검증 세트 손실: 0.056788 최선의 손실: 0.039624 정확도: 98.71% 22 검증 세트 손실: 0.058502 최선의 손실: 0.039624 정확도: 98.98% 23 검증 세트 손실: 0.050061 최선의 손실: 0.039624 정확도: 98.91% 24 검증 세트 손실: 0.056469 최선의 손실: 0.039624 정확도: 99.14% 25 검증 세트 손실: 0.042910 최선의 손실: 0.039624 정확도: 98.91% 26 검증 세트 손실: 0.095021 최선의 손실: 0.039624 정확도: 97.97% 27 검증 세트 손실: 0.060380 최선의 손실: 0.039624 정확도: 98.94% 28 검증 세트 손실: 0.078580 최선의 손실: 0.039624 정확도: 98.59% 29 검증 세트 손실: 0.067309 최선의 손실: 0.039624 정확도: 98.55% 30 검증 세트 손실: 0.054109 최선의 손실: 0.039624 정확도: 98.87% 31 검증 세트 손실: 0.053414 최선의 손실: 0.039624 정확도: 98.83% 32 검증 세트 손실: 0.057155 최선의 손실: 0.039624 정확도: 99.06% 33 검증 세트 손실: 0.110648 최선의 손실: 0.039624 정확도: 98.36% 조기 종료! [CV] n_neurons=100, learning_rate=0.1, batch_size=100, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 23.9s [CV] n_neurons=140, learning_rate=0.05, batch_size=50, batch_norm_momentum=0.99, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.130656 최선의 손실: 0.130656 정확도: 96.48% 1 검증 세트 손실: 0.073256 최선의 손실: 0.073256 정확도: 98.20% 2 검증 세트 손실: 0.075469 최선의 손실: 0.073256 정확도: 98.12% 3 검증 세트 손실: 0.072383 최선의 손실: 0.072383 정확도: 98.16% 4 검증 세트 손실: 0.069269 최선의 손실: 0.069269 정확도: 98.05% 5 검증 세트 손실: 0.088101 최선의 손실: 0.069269 정확도: 97.97% 6 검증 세트 손실: 0.114681 최선의 손실: 0.069269 정확도: 97.85% 7 검증 세트 손실: 0.067430 최선의 손실: 0.067430 정확도: 98.67% 8 검증 세트 손실: 0.069420 최선의 손실: 0.067430 정확도: 98.12% 9 검증 세트 손실: 0.095607 최선의 손실: 0.067430 정확도: 97.85% 10 검증 세트 손실: 0.095513 최선의 손실: 0.067430 정확도: 98.08% 11 검증 세트 손실: 0.079213 최선의 손실: 0.067430 정확도: 98.55% 12 검증 세트 손실: 0.052060 최선의 손실: 0.052060 정확도: 99.06% 13 검증 세트 손실: 0.084989 최선의 손실: 0.052060 정확도: 98.40% 14 검증 세트 손실: 0.159963 최선의 손실: 0.052060 정확도: 97.54% 15 검증 세트 손실: 0.057724 최선의 손실: 0.052060 정확도: 98.63% 16 검증 세트 손실: 0.066905 최선의 손실: 0.052060 정확도: 98.83% 17 검증 세트 손실: 0.060238 최선의 손실: 0.052060 정확도: 98.51% 18 검증 세트 손실: 0.307384 최선의 손실: 0.052060 정확도: 97.69% 19 검증 세트 손실: 0.099212 최선의 손실: 0.052060 정확도: 98.71% 20 검증 세트 손실: 0.062065 최선의 손실: 0.052060 정확도: 98.87% 21 검증 세트 손실: 0.040916 최선의 손실: 0.040916 정확도: 99.14% 22 검증 세트 손실: 0.098528 최선의 손실: 0.040916 정확도: 98.91% 23 검증 세트 손실: 0.424636 최선의 손실: 0.040916 정확도: 97.62% 24 검증 세트 손실: 0.070673 최선의 손실: 0.040916 정확도: 98.83% 25 검증 세트 손실: 0.063794 최선의 손실: 0.040916 정확도: 98.71% 26 검증 세트 손실: 0.056378 최선의 손실: 0.040916 정확도: 99.06% 27 검증 세트 손실: 0.059532 최선의 손실: 0.040916 정확도: 98.94% 28 검증 세트 손실: 0.057837 최선의 손실: 0.040916 정확도: 99.10% 29 검증 세트 손실: 0.071637 최선의 손실: 0.040916 정확도: 99.02% 30 검증 세트 손실: 0.190314 최선의 손실: 0.040916 정확도: 98.05% 31 검증 세트 손실: 0.198339 최선의 손실: 0.040916 정확도: 98.44% 32 검증 세트 손실: 0.081575 최선의 손실: 0.040916 정확도: 98.79% 33 검증 세트 손실: 0.099029 최선의 손실: 0.040916 정확도: 98.71% 34 검증 세트 손실: 0.088186 최선의 손실: 0.040916 정확도: 98.75% 35 검증 세트 손실: 0.088717 최선의 손실: 0.040916 정확도: 98.94% 36 검증 세트 손실: 0.162666 최선의 손실: 0.040916 정확도: 97.85% 37 검증 세트 손실: 0.359605 최선의 손실: 0.040916 정확도: 98.16% 38 검증 세트 손실: 0.091594 최선의 손실: 0.040916 정확도: 99.18% 39 검증 세트 손실: 0.082640 최선의 손실: 0.040916 정확도: 99.10% 40 검증 세트 손실: 0.084013 최선의 손실: 0.040916 정확도: 98.94% 41 검증 세트 손실: 0.074580 최선의 손실: 0.040916 정확도: 99.10% 42 검증 세트 손실: 0.092668 최선의 손실: 0.040916 정확도: 98.98% 조기 종료! [CV] n_neurons=140, learning_rate=0.05, batch_size=50, batch_norm_momentum=0.99, activation=<function elu at 0x7f8ec4ceef28>, total= 56.1s [CV] n_neurons=140, learning_rate=0.05, batch_size=50, batch_norm_momentum=0.99, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.195730 최선의 손실: 0.195730 정확도: 95.19% 1 검증 세트 손실: 0.088693 최선의 손실: 0.088693 정확도: 97.58% 2 검증 세트 손실: 0.103137 최선의 손실: 0.088693 정확도: 97.62% 3 검증 세트 손실: 0.075150 최선의 손실: 0.075150 정확도: 97.65% 4 검증 세트 손실: 0.116009 최선의 손실: 0.075150 정확도: 97.03% 5 검증 세트 손실: 0.067035 최선의 손실: 0.067035 정확도: 98.44% 6 검증 세트 손실: 0.063049 최선의 손실: 0.063049 정확도: 98.40% 7 검증 세트 손실: 0.055004 최선의 손실: 0.055004 정확도: 98.67% 8 검증 세트 손실: 0.058563 최선의 손실: 0.055004 정확도: 98.67% 9 검증 세트 손실: 0.071380 최선의 손실: 0.055004 정확도: 98.12% 10 검증 세트 손실: 0.081094 최선의 손실: 0.055004 정확도: 98.36% 11 검증 세트 손실: 0.284284 최선의 손실: 0.055004 정확도: 97.69% 12 검증 세트 손실: 0.050038 최선의 손실: 0.050038 정확도: 98.44% 13 검증 세트 손실: 0.042385 최선의 손실: 0.042385 정확도: 98.94% 14 검증 세트 손실: 0.041446 최선의 손실: 0.041446 정확도: 99.02% 15 검증 세트 손실: 0.036898 최선의 손실: 0.036898 정확도: 99.22% 16 검증 세트 손실: 0.066667 최선의 손실: 0.036898 정확도: 98.75% 17 검증 세트 손실: 0.097190 최선의 손실: 0.036898 정확도: 98.55% 18 검증 세트 손실: 0.076154 최선의 손실: 0.036898 정확도: 98.75% 19 검증 세트 손실: 0.052106 최선의 손실: 0.036898 정확도: 98.79% 20 검증 세트 손실: 0.055894 최선의 손실: 0.036898 정확도: 98.71% 21 검증 세트 손실: 0.317348 최선의 손실: 0.036898 정확도: 96.79% 22 검증 세트 손실: 0.093389 최선의 손실: 0.036898 정확도: 98.59% 23 검증 세트 손실: 0.051417 최선의 손실: 0.036898 정확도: 98.94% 24 검증 세트 손실: 0.060830 최선의 손실: 0.036898 정확도: 98.83% 25 검증 세트 손실: 0.060924 최선의 손실: 0.036898 정확도: 98.91% 26 검증 세트 손실: 0.106065 최선의 손실: 0.036898 정확도: 98.51% 27 검증 세트 손실: 0.066508 최선의 손실: 0.036898 정확도: 98.67% 28 검증 세트 손실: 0.052698 최선의 손실: 0.036898 정확도: 99.14% 29 검증 세트 손실: 0.043786 최선의 손실: 0.036898 정확도: 99.34% 30 검증 세트 손실: 0.081090 최선의 손실: 0.036898 정확도: 98.51% 31 검증 세트 손실: 0.562595 최선의 손실: 0.036898 정확도: 97.26% 32 검증 세트 손실: 0.115433 최선의 손실: 0.036898 정확도: 98.63% 33 검증 세트 손실: 0.070710 최선의 손실: 0.036898 정확도: 98.91% 34 검증 세트 손실: 0.064967 최선의 손실: 0.036898 정확도: 99.14% 35 검증 세트 손실: 0.062783 최선의 손실: 0.036898 정확도: 99.18% 36 검증 세트 손실: 0.110999 최선의 손실: 0.036898 정확도: 98.71% 조기 종료! [CV] n_neurons=140, learning_rate=0.05, batch_size=50, batch_norm_momentum=0.99, activation=<function elu at 0x7f8ec4ceef28>, total= 48.5s [CV] n_neurons=140, learning_rate=0.05, batch_size=50, batch_norm_momentum=0.99, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.131614 최선의 손실: 0.131614 정확도: 96.60% 1 검증 세트 손실: 0.091479 최선의 손실: 0.091479 정확도: 97.22% 2 검증 세트 손실: 0.145731 최선의 손실: 0.091479 정확도: 96.40% 3 검증 세트 손실: 0.092181 최선의 손실: 0.091479 정확도: 98.05% 4 검증 세트 손실: 0.069776 최선의 손실: 0.069776 정확도: 98.55% 5 검증 세트 손실: 0.046527 최선의 손실: 0.046527 정확도: 98.55% 6 검증 세트 손실: 0.114399 최선의 손실: 0.046527 정확도: 97.30% 7 검증 세트 손실: 0.100384 최선의 손실: 0.046527 정확도: 98.51% 8 검증 세트 손실: 0.069123 최선의 손실: 0.046527 정확도: 98.44% 9 검증 세트 손실: 0.186923 최선의 손실: 0.046527 정확도: 96.01% 10 검증 세트 손실: 0.072462 최선의 손실: 0.046527 정확도: 98.44% 11 검증 세트 손실: 0.050464 최선의 손실: 0.046527 정확도: 98.91% 12 검증 세트 손실: 0.079248 최선의 손실: 0.046527 정확도: 98.12% 13 검증 세트 손실: 0.054371 최선의 손실: 0.046527 정확도: 98.83% 14 검증 세트 손실: 0.451563 최선의 손실: 0.046527 정확도: 96.60% 15 검증 세트 손실: 0.058877 최선의 손실: 0.046527 정확도: 98.63% 16 검증 세트 손실: 0.054686 최선의 손실: 0.046527 정확도: 98.67% 17 검증 세트 손실: 0.044117 최선의 손실: 0.044117 정확도: 98.94% 18 검증 세트 손실: 0.046971 최선의 손실: 0.044117 정확도: 99.02% 19 검증 세트 손실: 0.070369 최선의 손실: 0.044117 정확도: 98.55% 20 검증 세트 손실: 0.068712 최선의 손실: 0.044117 정확도: 98.83% 21 검증 세트 손실: 0.145999 최선의 손실: 0.044117 정확도: 98.05% 22 검증 세트 손실: 0.167401 최선의 손실: 0.044117 정확도: 98.08% 23 검증 세트 손실: 0.085456 최선의 손실: 0.044117 정확도: 98.75% 24 검증 세트 손실: 0.046821 최선의 손실: 0.044117 정확도: 99.06% 25 검증 세트 손실: 0.076084 최선의 손실: 0.044117 정확도: 98.55% 26 검증 세트 손실: 0.047237 최선의 손실: 0.044117 정확도: 99.18% 27 검증 세트 손실: 0.070614 최선의 손실: 0.044117 정확도: 98.75% 28 검증 세트 손실: 0.091068 최선의 손실: 0.044117 정확도: 98.79% 29 검증 세트 손실: 0.327597 최선의 손실: 0.044117 정확도: 97.97% 30 검증 세트 손실: 0.070905 최선의 손실: 0.044117 정확도: 99.02% 31 검증 세트 손실: 0.065737 최선의 손실: 0.044117 정확도: 98.98% 32 검증 세트 손실: 0.052918 최선의 손실: 0.044117 정확도: 99.06% 33 검증 세트 손실: 0.075236 최선의 손실: 0.044117 정확도: 99.06% 34 검증 세트 손실: 0.085037 최선의 손실: 0.044117 정확도: 98.79% 35 검증 세트 손실: 0.085678 최선의 손실: 0.044117 정확도: 98.91% 36 검증 세트 손실: 0.082821 최선의 손실: 0.044117 정확도: 98.79% 37 검증 세트 손실: 0.087109 최선의 손실: 0.044117 정확도: 98.91% 38 검증 세트 손실: 0.327862 최선의 손실: 0.044117 정확도: 98.67% 조기 종료! [CV] n_neurons=140, learning_rate=0.05, batch_size=50, batch_norm_momentum=0.99, activation=<function elu at 0x7f8ec4ceef28>, total= 50.9s
[Parallel(n_jobs=1)]: Done 150 out of 150 | elapsed: 136.9min finished
0 검증 세트 손실: 0.076891 최선의 손실: 0.076891 정확도: 97.73% 1 검증 세트 손실: 0.055899 최선의 손실: 0.055899 정확도: 98.32% 2 검증 세트 손실: 0.041703 최선의 손실: 0.041703 정확도: 98.71% 3 검증 세트 손실: 0.048100 최선의 손실: 0.041703 정확도: 98.67% 4 검증 세트 손실: 0.034595 최선의 손실: 0.034595 정확도: 98.87% 5 검증 세트 손실: 0.039184 최선의 손실: 0.034595 정확도: 98.98% 6 검증 세트 손실: 0.041247 최선의 손실: 0.034595 정확도: 98.59% 7 검증 세트 손실: 0.038209 최선의 손실: 0.034595 정확도: 99.10% 8 검증 세트 손실: 0.030560 최선의 손실: 0.030560 정확도: 99.02% 9 검증 세트 손실: 0.031388 최선의 손실: 0.030560 정확도: 99.10% 10 검증 세트 손실: 0.031396 최선의 손실: 0.030560 정확도: 99.22% 11 검증 세트 손실: 0.034868 최선의 손실: 0.030560 정확도: 98.98% 12 검증 세트 손실: 0.026068 최선의 손실: 0.026068 정확도: 99.45% 13 검증 세트 손실: 0.022881 최선의 손실: 0.022881 정확도: 99.26% 14 검증 세트 손실: 0.025304 최선의 손실: 0.022881 정확도: 99.14% 15 검증 세트 손실: 0.032327 최선의 손실: 0.022881 정확도: 98.87% 16 검증 세트 손실: 0.022594 최선의 손실: 0.022594 정확도: 99.34% 17 검증 세트 손실: 0.027939 최선의 손실: 0.022594 정확도: 99.10% 18 검증 세트 손실: 0.024709 최선의 손실: 0.022594 정확도: 99.34% 19 검증 세트 손실: 0.029217 최선의 손실: 0.022594 정확도: 99.37% 20 검증 세트 손실: 0.023538 최선의 손실: 0.022594 정확도: 99.49% 21 검증 세트 손실: 0.022978 최선의 손실: 0.022594 정확도: 99.37% 22 검증 세트 손실: 0.025425 최선의 손실: 0.022594 정확도: 99.34% 23 검증 세트 손실: 0.032991 최선의 손실: 0.022594 정확도: 99.10% 24 검증 세트 손실: 0.033606 최선의 손실: 0.022594 정확도: 99.26% 25 검증 세트 손실: 0.021869 최선의 손실: 0.021869 정확도: 99.45% 26 검증 세트 손실: 0.024418 최선의 손실: 0.021869 정확도: 99.41% 27 검증 세트 손실: 0.026577 최선의 손실: 0.021869 정확도: 99.14% 28 검증 세트 손실: 0.024459 최선의 손실: 0.021869 정확도: 99.30% 29 검증 세트 손실: 0.020364 최선의 손실: 0.020364 정확도: 99.37% 30 검증 세트 손실: 0.024887 최선의 손실: 0.020364 정확도: 99.41% 31 검증 세트 손실: 0.019987 최선의 손실: 0.019987 정확도: 99.45% 32 검증 세트 손실: 0.021131 최선의 손실: 0.019987 정확도: 99.49% 33 검증 세트 손실: 0.026594 최선의 손실: 0.019987 정확도: 99.41% 34 검증 세트 손실: 0.017249 최선의 손실: 0.017249 정확도: 99.53% 35 검증 세트 손실: 0.025168 최선의 손실: 0.017249 정확도: 99.30% 36 검증 세트 손실: 0.030527 최선의 손실: 0.017249 정확도: 99.18% 37 검증 세트 손실: 0.019591 최선의 손실: 0.017249 정확도: 99.45% 38 검증 세트 손실: 0.028311 최선의 손실: 0.017249 정확도: 99.30% 39 검증 세트 손실: 0.024483 최선의 손실: 0.017249 정확도: 99.37% 40 검증 세트 손실: 0.029645 최선의 손실: 0.017249 정확도: 99.41% 41 검증 세트 손실: 0.035375 최선의 손실: 0.017249 정확도: 99.10% 42 검증 세트 손실: 0.024481 최선의 손실: 0.017249 정확도: 99.41% 43 검증 세트 손실: 0.029758 최선의 손실: 0.017249 정확도: 99.41% 44 검증 세트 손실: 0.026199 최선의 손실: 0.017249 정확도: 99.45% 45 검증 세트 손실: 0.019230 최선의 손실: 0.017249 정확도: 99.45% 46 검증 세트 손실: 0.027141 최선의 손실: 0.017249 정확도: 99.26% 47 검증 세트 손실: 0.016805 최선의 손실: 0.016805 정확도: 99.37% 48 검증 세트 손실: 0.020508 최선의 손실: 0.016805 정확도: 99.49% 49 검증 세트 손실: 0.024762 최선의 손실: 0.016805 정확도: 99.34% 50 검증 세트 손실: 0.022606 최선의 손실: 0.016805 정확도: 99.41% 51 검증 세트 손실: 0.022523 최선의 손실: 0.016805 정확도: 99.34% 52 검증 세트 손실: 0.025148 최선의 손실: 0.016805 정확도: 99.34% 53 검증 세트 손실: 0.023977 최선의 손실: 0.016805 정확도: 99.37% 54 검증 세트 손실: 0.034416 최선의 손실: 0.016805 정확도: 99.41% 55 검증 세트 손실: 0.022136 최선의 손실: 0.016805 정확도: 99.41% 56 검증 세트 손실: 0.023997 최선의 손실: 0.016805 정확도: 99.49% 57 검증 세트 손실: 0.027638 최선의 손실: 0.016805 정확도: 99.26% 58 검증 세트 손실: 0.032656 최선의 손실: 0.016805 정확도: 99.26% 59 검증 세트 손실: 0.022491 최선의 손실: 0.016805 정확도: 99.49% 60 검증 세트 손실: 0.028398 최선의 손실: 0.016805 정확도: 99.30% 61 검증 세트 손실: 0.033312 최선의 손실: 0.016805 정확도: 99.22% 62 검증 세트 손실: 0.026057 최선의 손실: 0.016805 정확도: 99.41% 63 검증 세트 손실: 0.024146 최선의 손실: 0.016805 정확도: 99.34% 64 검증 세트 손실: 0.026982 최선의 손실: 0.016805 정확도: 99.22% 65 검증 세트 손실: 0.032204 최선의 손실: 0.016805 정확도: 99.30% 66 검증 세트 손실: 0.025495 최선의 손실: 0.016805 정확도: 99.49% 67 검증 세트 손실: 0.025491 최선의 손실: 0.016805 정확도: 99.30% 68 검증 세트 손실: 0.023835 최선의 손실: 0.016805 정확도: 99.37% 조기 종료!
RandomizedSearchCV(cv=3, error_score='raise-deprecating', estimator=DNNClassifier(activation=<function elu at 0x7f8ec4ceef28>, batch_norm_momentum=None, batch_size=20, dropout_rate=None, initializer=<tensorflow.python.ops.init_ops.VarianceScaling object at 0x7f8eb8842e80>, learning_rate=0.01, n_hidden_layers=5, n_neurons=100, optimizer_class=<class 'tensorflow.python.training.adam.AdamOptimizer'>, random_state=42), fit_params=None, iid='warn', n_iter=50, n_jobs=None, param_distributions={'n_neurons': [10, 30, 50, 70, 90, 100, 120, 140, 160], 'batch_size': [10, 50, 100, 500], 'learning_rate': [0.01, 0.02, 0.05, 0.1], 'activation': [<function relu at 0x7f8ec4c8c510>, <function elu at 0x7f8ec4ceef28>, <function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, <function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>], 'batch_norm_momentum': [0.9, 0.95, 0.98, 0.99, 0.999]}, pre_dispatch='2*n_jobs', random_state=42, refit=True, return_train_score='warn', scoring=None, verbose=2)
rnd_search_bn.best_params_
{'n_neurons': 160, 'learning_rate': 0.01, 'batch_size': 10, 'batch_norm_momentum': 0.98, 'activation': <function tensorflow.python.ops.gen_nn_ops.relu(features, name=None)>}
y_pred = rnd_search_bn.predict(X_test1)
accuracy_score(y_test1, y_pred)
0.9951352403191283
이전보다 조금 더 나아졌습니다: 99.4% vs 99.3%. 드롭아웃이 더 나은지 확인해 보겠습니다.
문제: 모델이 훈련 세트에 과대적합되었나요? 모든 층에 드롭아웃을 적용하고 다시 시도해 보세요. 도움이 되었나요?
앞서 훈련한 최상의 모델로 다시 돌아가서 훈련 세트의 성능이 어떤지 확인해 보겠습니다:
y_pred = dnn_clf.predict(X_train1)
accuracy_score(y_train1, y_pred)
0.9975033882587916
테스트 세트에서 보다 훈련 세트에서 모델 성능이 확실히 더 높습니다(99.91% vs 99.32%). 훈련 세트에 과대적합되었다는 뜻입니다. 규제를 조금 추가하면 도움이 될 것 같습니다. 50% 비율로 드롭아웃을 적용해 보죠:
dnn_clf_dropout = DNNClassifier(activation=leaky_relu(alpha=0.1), batch_size=500, learning_rate=0.01,
n_neurons=90, random_state=42,
dropout_rate=0.5)
dnn_clf_dropout.fit(X_train1, y_train1, n_epochs=1000, X_valid=X_valid1, y_valid=y_valid1)
WARNING:tensorflow:From <ipython-input-10-e5858d18dace>:25: dropout (from tensorflow.python.layers.core) is deprecated and will be removed in a future version. Instructions for updating: Use keras.layers.dropout instead. WARNING:tensorflow:From /home/haesun/anaconda3/envs/handson-ml/lib/python3.6/site-packages/tensorflow/python/keras/layers/core.py:143: calling dropout (from tensorflow.python.ops.nn_ops) with keep_prob is deprecated and will be removed in a future version. Instructions for updating: Please use `rate` instead of `keep_prob`. Rate should be set to `rate = 1 - keep_prob`. 0 검증 세트 손실: 0.131488 최선의 손실: 0.131488 정확도: 96.60% 1 검증 세트 손실: 0.094731 최선의 손실: 0.094731 정확도: 97.19% 2 검증 세트 손실: 0.097389 최선의 손실: 0.094731 정확도: 97.30% 3 검증 세트 손실: 0.084932 최선의 손실: 0.084932 정확도: 97.97% 4 검증 세트 손실: 0.085275 최선의 손실: 0.084932 정확도: 97.69% 5 검증 세트 손실: 0.073620 최선의 손실: 0.073620 정확도: 98.05% 6 검증 세트 손실: 0.078074 최선의 손실: 0.073620 정확도: 97.97% 7 검증 세트 손실: 0.079028 최선의 손실: 0.073620 정확도: 98.05% 8 검증 세트 손실: 0.080165 최선의 손실: 0.073620 정확도: 97.58% 9 검증 세트 손실: 0.074161 최선의 손실: 0.073620 정확도: 97.97% 10 검증 세트 손실: 0.074321 최선의 손실: 0.073620 정확도: 97.69% 11 검증 세트 손실: 0.073048 최선의 손실: 0.073048 정확도: 98.08% 12 검증 세트 손실: 0.062737 최선의 손실: 0.062737 정확도: 98.32% 13 검증 세트 손실: 0.074568 최선의 손실: 0.062737 정확도: 97.93% 14 검증 세트 손실: 0.068363 최선의 손실: 0.062737 정확도: 98.24% 15 검증 세트 손실: 0.066460 최선의 손실: 0.062737 정확도: 98.28% 16 검증 세트 손실: 0.069441 최선의 손실: 0.062737 정확도: 98.16% 17 검증 세트 손실: 0.065432 최선의 손실: 0.062737 정확도: 98.36% 18 검증 세트 손실: 0.061659 최선의 손실: 0.061659 정확도: 98.32% 19 검증 세트 손실: 0.060087 최선의 손실: 0.060087 정확도: 98.55% 20 검증 세트 손실: 0.071255 최선의 손실: 0.060087 정확도: 98.20% 21 검증 세트 손실: 0.060911 최선의 손실: 0.060087 정확도: 98.36% 22 검증 세트 손실: 0.065604 최선의 손실: 0.060087 정확도: 98.32% 23 검증 세트 손실: 0.071746 최선의 손실: 0.060087 정확도: 98.28% 24 검증 세트 손실: 0.065701 최선의 손실: 0.060087 정확도: 98.36% 25 검증 세트 손실: 0.069983 최선의 손실: 0.060087 정확도: 98.36% 26 검증 세트 손실: 0.077029 최선의 손실: 0.060087 정확도: 98.24% 27 검증 세트 손실: 0.063965 최선의 손실: 0.060087 정확도: 98.28% 28 검증 세트 손실: 0.085406 최선의 손실: 0.060087 정확도: 97.97% 29 검증 세트 손실: 0.087187 최선의 손실: 0.060087 정확도: 97.69% 30 검증 세트 손실: 0.102603 최선의 손실: 0.060087 정확도: 97.85% 31 검증 세트 손실: 0.114200 최선의 손실: 0.060087 정확도: 97.03% 32 검증 세트 손실: 0.126789 최선의 손실: 0.060087 정확도: 96.44% 33 검증 세트 손실: 0.151051 최선의 손실: 0.060087 정확도: 97.62% 34 검증 세트 손실: 0.203365 최선의 손실: 0.060087 정확도: 92.61% 35 검증 세트 손실: 0.168363 최선의 손실: 0.060087 정확도: 95.74% 36 검증 세트 손실: 0.140396 최선의 손실: 0.060087 정확도: 96.09% 37 검증 세트 손실: 0.126834 최선의 손실: 0.060087 정확도: 96.52% 38 검증 세트 손실: 0.124527 최선의 손실: 0.060087 정확도: 96.64% 39 검증 세트 손실: 0.111701 최선의 손실: 0.060087 정확도: 97.50% 40 검증 세트 손실: 0.095861 최선의 손실: 0.060087 정확도: 97.42% 조기 종료!
DNNClassifier(activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3ea0>, batch_norm_momentum=None, batch_size=500, dropout_rate=0.5, initializer=<tensorflow.python.ops.init_ops.VarianceScaling object at 0x7f8eb8842e80>, learning_rate=0.01, n_hidden_layers=5, n_neurons=90, optimizer_class=<class 'tensorflow.python.training.adam.AdamOptimizer'>, random_state=42)
에포크 23에서 최적의 파라미터에 도달했습니다. 드롭아웃이 조금 수렴을 느리게 합니다.
정확도를 확인해 보죠:
y_pred = dnn_clf_dropout.predict(X_test1)
accuracy_score(y_test1, y_pred)
0.9869624440552637
운이 없네요. 드롭아웃도 그 다지 도움이 되지 않습니다. 하이퍼파라미터를 튜닝해서 조금이라도 성능을 쥐어짤 수 있는지 확인해 보겠습니다:
from sklearn.model_selection import RandomizedSearchCV
param_distribs = {
"n_neurons": [10, 30, 50, 70, 90, 100, 120, 140, 160],
"batch_size": [10, 50, 100, 500],
"learning_rate": [0.01, 0.02, 0.05, 0.1],
"activation": [tf.nn.relu, tf.nn.elu, leaky_relu(alpha=0.01), leaky_relu(alpha=0.1)],
# you could also try exploring different numbers of hidden layers, different optimizers, etc.
#"n_hidden_layers": [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10],
#"optimizer_class": [tf.train.AdamOptimizer, partial(tf.train.MomentumOptimizer, momentum=0.95)],
"dropout_rate": [0.2, 0.3, 0.4, 0.5, 0.6],
}
rnd_search_dropout = RandomizedSearchCV(DNNClassifier(random_state=42), param_distribs, n_iter=50,
random_state=42, verbose=2, cv=3)
fit_params={"X_valid": X_valid1, "y_valid": y_valid1, "n_epochs": 1000}
rnd_search_dropout.fit(X_train1, y_train1, **fit_params)
Fitting 3 folds for each of 50 candidates, totalling 150 fits [CV] n_neurons=70, learning_rate=0.01, dropout_rate=0.5, batch_size=100, activation=<function relu at 0x7f8ec4c8c510>
[Parallel(n_jobs=1)]: Using backend SequentialBackend with 1 concurrent workers.
0 검증 세트 손실: 0.243407 최선의 손실: 0.243407 정확도: 93.75% 1 검증 세트 손실: 0.255027 최선의 손실: 0.243407 정확도: 94.92% 2 검증 세트 손실: 0.203923 최선의 손실: 0.203923 정확도: 95.90% 3 검증 세트 손실: 0.196361 최선의 손실: 0.196361 정확도: 95.70% 4 검증 세트 손실: 0.220463 최선의 손실: 0.196361 정확도: 95.31% 5 검증 세트 손실: 0.181717 최선의 손실: 0.181717 정확도: 95.90% 6 검증 세트 손실: 0.158813 최선의 손실: 0.158813 정확도: 96.13% 7 검증 세트 손실: 0.198998 최선의 손실: 0.158813 정확도: 96.09% 8 검증 세트 손실: 0.192713 최선의 손실: 0.158813 정확도: 96.09% 9 검증 세트 손실: 0.197851 최선의 손실: 0.158813 정확도: 96.21% 10 검증 세트 손실: 0.180147 최선의 손실: 0.158813 정확도: 95.82% 11 검증 세트 손실: 0.180937 최선의 손실: 0.158813 정확도: 95.54% 12 검증 세트 손실: 0.166912 최선의 손실: 0.158813 정확도: 95.93% 13 검증 세트 손실: 0.170969 최선의 손실: 0.158813 정확도: 96.25% 14 검증 세트 손실: 0.168775 최선의 손실: 0.158813 정확도: 96.76% 15 검증 세트 손실: 0.160710 최선의 손실: 0.158813 정확도: 96.44% 16 검증 세트 손실: 0.167544 최선의 손실: 0.158813 정확도: 96.64% 17 검증 세트 손실: 0.193535 최선의 손실: 0.158813 정확도: 96.72% 18 검증 세트 손실: 0.144471 최선의 손실: 0.144471 정확도: 96.95% 19 검증 세트 손실: 0.169433 최선의 손실: 0.144471 정확도: 96.44% 20 검증 세트 손실: 0.181593 최선의 손실: 0.144471 정확도: 96.68% 21 검증 세트 손실: 0.161441 최선의 손실: 0.144471 정확도: 96.29% 22 검증 세트 손실: 0.166475 최선의 손실: 0.144471 정확도: 97.03% 23 검증 세트 손실: 0.199328 최선의 손실: 0.144471 정확도: 96.68% 24 검증 세트 손실: 0.148803 최선의 손실: 0.144471 정확도: 96.60% 25 검증 세트 손실: 0.150837 최선의 손실: 0.144471 정확도: 96.79% 26 검증 세트 손실: 0.162011 최선의 손실: 0.144471 정확도: 96.44% 27 검증 세트 손실: 0.170883 최선의 손실: 0.144471 정확도: 97.07% 28 검증 세트 손실: 0.165333 최선의 손실: 0.144471 정확도: 96.79% 29 검증 세트 손실: 0.157528 최선의 손실: 0.144471 정확도: 96.76% 30 검증 세트 손실: 0.162051 최선의 손실: 0.144471 정확도: 96.72% 31 검증 세트 손실: 0.176431 최선의 손실: 0.144471 정확도: 96.52% 32 검증 세트 손실: 0.170918 최선의 손실: 0.144471 정확도: 96.44% 33 검증 세트 손실: 0.145790 최선의 손실: 0.144471 정확도: 96.83% 34 검증 세트 손실: 0.146826 최선의 손실: 0.144471 정확도: 96.56% 35 검증 세트 손실: 0.165535 최선의 손실: 0.144471 정확도: 97.11% 36 검증 세트 손실: 0.146277 최선의 손실: 0.144471 정확도: 96.64% 37 검증 세트 손실: 0.182208 최선의 손실: 0.144471 정확도: 96.52% 38 검증 세트 손실: 0.148948 최선의 손실: 0.144471 정확도: 96.76% 39 검증 세트 손실: 0.164194 최선의 손실: 0.144471 정확도: 96.33% 조기 종료! [CV] n_neurons=70, learning_rate=0.01, dropout_rate=0.5, batch_size=100, activation=<function relu at 0x7f8ec4c8c510>, total= 13.7s [CV] n_neurons=70, learning_rate=0.01, dropout_rate=0.5, batch_size=100, activation=<function relu at 0x7f8ec4c8c510>
[Parallel(n_jobs=1)]: Done 1 out of 1 | elapsed: 13.8s remaining: 0.0s
0 검증 세트 손실: 0.236119 최선의 손실: 0.236119 정확도: 93.86% 1 검증 세트 손실: 0.216633 최선의 손실: 0.216633 정확도: 95.70% 2 검증 세트 손실: 0.199934 최선의 손실: 0.199934 정확도: 95.27% 3 검증 세트 손실: 0.187168 최선의 손실: 0.187168 정확도: 95.93% 4 검증 세트 손실: 0.160661 최선의 손실: 0.160661 정확도: 95.97% 5 검증 세트 손실: 0.190921 최선의 손실: 0.160661 정확도: 96.05% 6 검증 세트 손실: 0.196839 최선의 손실: 0.160661 정확도: 96.17% 7 검증 세트 손실: 0.203062 최선의 손실: 0.160661 정확도: 95.07% 8 검증 세트 손실: 0.172344 최선의 손실: 0.160661 정확도: 95.70% 9 검증 세트 손실: 0.170635 최선의 손실: 0.160661 정확도: 96.25% 10 검증 세트 손실: 0.209704 최선의 손실: 0.160661 정확도: 95.35% 11 검증 세트 손실: 0.159075 최선의 손실: 0.159075 정확도: 96.33% 12 검증 세트 손실: 0.167230 최선의 손실: 0.159075 정확도: 96.40% 13 검증 세트 손실: 0.149076 최선의 손실: 0.149076 정확도: 96.25% 14 검증 세트 손실: 0.169417 최선의 손실: 0.149076 정확도: 96.56% 15 검증 세트 손실: 0.194175 최선의 손실: 0.149076 정확도: 96.17% 16 검증 세트 손실: 0.181656 최선의 손실: 0.149076 정확도: 96.05% 17 검증 세트 손실: 0.241441 최선의 손실: 0.149076 정확도: 96.40% 18 검증 세트 손실: 0.186222 최선의 손실: 0.149076 정확도: 95.74% 19 검증 세트 손실: 0.178634 최선의 손실: 0.149076 정확도: 96.64% 20 검증 세트 손실: 0.162948 최선의 손실: 0.149076 정확도: 96.52% 21 검증 세트 손실: 0.152949 최선의 손실: 0.149076 정확도: 96.87% 22 검증 세트 손실: 0.155784 최선의 손실: 0.149076 정확도: 96.68% 23 검증 세트 손실: 0.194695 최선의 손실: 0.149076 정확도: 96.76% 24 검증 세트 손실: 0.165924 최선의 손실: 0.149076 정확도: 96.52% 25 검증 세트 손실: 0.176858 최선의 손실: 0.149076 정확도: 96.44% 26 검증 세트 손실: 0.192883 최선의 손실: 0.149076 정확도: 96.76% 27 검증 세트 손실: 0.144777 최선의 손실: 0.144777 정확도: 96.91% 28 검증 세트 손실: 0.156936 최선의 손실: 0.144777 정확도: 95.50% 29 검증 세트 손실: 0.274329 최선의 손실: 0.144777 정확도: 96.48% 30 검증 세트 손실: 0.196141 최선의 손실: 0.144777 정확도: 93.78% 31 검증 세트 손실: 0.174732 최선의 손실: 0.144777 정확도: 95.97% 32 검증 세트 손실: 0.199152 최선의 손실: 0.144777 정확도: 96.79% 33 검증 세트 손실: 0.174000 최선의 손실: 0.144777 정확도: 95.90% 34 검증 세트 손실: 0.475849 최선의 손실: 0.144777 정확도: 80.69% 35 검증 세트 손실: 0.204003 최선의 손실: 0.144777 정확도: 95.86% 36 검증 세트 손실: 0.178957 최선의 손실: 0.144777 정확도: 96.21% 37 검증 세트 손실: 0.166186 최선의 손실: 0.144777 정확도: 96.64% 38 검증 세트 손실: 0.187767 최선의 손실: 0.144777 정확도: 96.29% 39 검증 세트 손실: 0.225975 최선의 손실: 0.144777 정확도: 96.40% 40 검증 세트 손실: 0.167379 최선의 손실: 0.144777 정확도: 96.36% 41 검증 세트 손실: 0.159230 최선의 손실: 0.144777 정확도: 95.97% 42 검증 세트 손실: 0.152478 최선의 손실: 0.144777 정확도: 96.60% 43 검증 세트 손실: 0.180703 최선의 손실: 0.144777 정확도: 95.66% 44 검증 세트 손실: 0.151640 최선의 손실: 0.144777 정확도: 96.52% 45 검증 세트 손실: 0.151611 최선의 손실: 0.144777 정확도: 96.99% 46 검증 세트 손실: 0.166850 최선의 손실: 0.144777 정확도: 96.40% 47 검증 세트 손실: 0.171854 최선의 손실: 0.144777 정확도: 96.48% 48 검증 세트 손실: 0.154141 최선의 손실: 0.144777 정확도: 96.48% 조기 종료! [CV] n_neurons=70, learning_rate=0.01, dropout_rate=0.5, batch_size=100, activation=<function relu at 0x7f8ec4c8c510>, total= 16.8s [CV] n_neurons=70, learning_rate=0.01, dropout_rate=0.5, batch_size=100, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.263334 최선의 손실: 0.263334 정확도: 93.55% 1 검증 세트 손실: 0.249008 최선의 손실: 0.249008 정확도: 94.84% 2 검증 세트 손실: 0.223837 최선의 손실: 0.223837 정확도: 95.35% 3 검증 세트 손실: 0.157686 최선의 손실: 0.157686 정확도: 96.25% 4 검증 세트 손실: 0.193386 최선의 손실: 0.157686 정확도: 95.43% 5 검증 세트 손실: 0.180903 최선의 손실: 0.157686 정확도: 95.39% 6 검증 세트 손실: 0.177885 최선의 손실: 0.157686 정확도: 96.60% 7 검증 세트 손실: 0.180943 최선의 손실: 0.157686 정확도: 96.09% 8 검증 세트 손실: 0.145029 최선의 손실: 0.145029 정확도: 96.33% 9 검증 세트 손실: 0.153955 최선의 손실: 0.145029 정확도: 96.52% 10 검증 세트 손실: 0.172228 최선의 손실: 0.145029 정확도: 96.64% 11 검증 세트 손실: 0.140038 최선의 손실: 0.140038 정확도: 96.95% 12 검증 세트 손실: 0.165238 최선의 손실: 0.140038 정확도: 96.68% 13 검증 세트 손실: 0.165781 최선의 손실: 0.140038 정확도: 96.56% 14 검증 세트 손실: 0.156077 최선의 손실: 0.140038 정확도: 96.52% 15 검증 세트 손실: 0.179476 최선의 손실: 0.140038 정확도: 95.93% 16 검증 세트 손실: 0.158972 최선의 손실: 0.140038 정확도: 96.29% 17 검증 세트 손실: 0.193451 최선의 손실: 0.140038 정확도: 96.44% 18 검증 세트 손실: 0.164307 최선의 손실: 0.140038 정확도: 96.64% 19 검증 세트 손실: 0.141265 최선의 손실: 0.140038 정확도: 96.95% 20 검증 세트 손실: 0.181629 최선의 손실: 0.140038 정확도: 95.35% 21 검증 세트 손실: 0.154105 최선의 손실: 0.140038 정확도: 96.64% 22 검증 세트 손실: 0.177513 최선의 손실: 0.140038 정확도: 96.29% 23 검증 세트 손실: 0.167306 최선의 손실: 0.140038 정확도: 96.48% 24 검증 세트 손실: 0.161603 최선의 손실: 0.140038 정확도: 96.17% 25 검증 세트 손실: 0.167069 최선의 손실: 0.140038 정확도: 96.36% 26 검증 세트 손실: 0.163648 최선의 손실: 0.140038 정확도: 96.52% 27 검증 세트 손실: 0.152784 최선의 손실: 0.140038 정확도: 96.40% 28 검증 세트 손실: 0.156804 최선의 손실: 0.140038 정확도: 97.34% 29 검증 세트 손실: 0.138564 최선의 손실: 0.138564 정확도: 97.03% 30 검증 세트 손실: 0.170130 최선의 손실: 0.138564 정확도: 96.79% 31 검증 세트 손실: 0.146134 최선의 손실: 0.138564 정확도: 96.91% 32 검증 세트 손실: 0.142338 최선의 손실: 0.138564 정확도: 97.34% 33 검증 세트 손실: 0.162989 최선의 손실: 0.138564 정확도: 96.76% 34 검증 세트 손실: 0.165824 최선의 손실: 0.138564 정확도: 96.76% 35 검증 세트 손실: 0.153859 최선의 손실: 0.138564 정확도: 96.76% 36 검증 세트 손실: 0.137862 최선의 손실: 0.137862 정확도: 96.68% 37 검증 세트 손실: 0.137178 최선의 손실: 0.137178 정확도: 96.87% 38 검증 세트 손실: 0.151677 최선의 손실: 0.137178 정확도: 96.64% 39 검증 세트 손실: 0.159910 최선의 손실: 0.137178 정확도: 96.68% 40 검증 세트 손실: 0.148071 최선의 손실: 0.137178 정확도: 96.83% 41 검증 세트 손실: 0.135511 최선의 손실: 0.135511 정확도: 96.87% 42 검증 세트 손실: 0.151895 최선의 손실: 0.135511 정확도: 96.91% 43 검증 세트 손실: 0.146965 최선의 손실: 0.135511 정확도: 96.68% 44 검증 세트 손실: 0.180522 최선의 손실: 0.135511 정확도: 96.52% 45 검증 세트 손실: 0.172610 최선의 손실: 0.135511 정확도: 96.36% 46 검증 세트 손실: 0.157155 최선의 손실: 0.135511 정확도: 96.40% 47 검증 세트 손실: 0.149610 최선의 손실: 0.135511 정확도: 96.87% 48 검증 세트 손실: 0.135955 최선의 손실: 0.135511 정확도: 96.99% 49 검증 세트 손실: 0.146418 최선의 손실: 0.135511 정확도: 96.91% 50 검증 세트 손실: 0.146134 최선의 손실: 0.135511 정확도: 96.76% 51 검증 세트 손실: 0.137357 최선의 손실: 0.135511 정확도: 96.68% 52 검증 세트 손실: 0.129451 최선의 손실: 0.129451 정확도: 97.03% 53 검증 세트 손실: 0.133175 최선의 손실: 0.129451 정확도: 97.22% 54 검증 세트 손실: 0.148331 최선의 손실: 0.129451 정확도: 97.11% 55 검증 세트 손실: 0.158449 최선의 손실: 0.129451 정확도: 96.40% 56 검증 세트 손실: 0.168455 최선의 손실: 0.129451 정확도: 96.72% 57 검증 세트 손실: 0.131678 최선의 손실: 0.129451 정확도: 96.99% 58 검증 세트 손실: 0.160106 최선의 손실: 0.129451 정확도: 96.52% 59 검증 세트 손실: 0.153292 최선의 손실: 0.129451 정확도: 96.44% 60 검증 세트 손실: 0.176675 최선의 손실: 0.129451 정확도: 96.60% 61 검증 세트 손실: 0.151004 최선의 손실: 0.129451 정확도: 96.64% 62 검증 세트 손실: 0.143016 최선의 손실: 0.129451 정확도: 96.48% 63 검증 세트 손실: 0.178128 최선의 손실: 0.129451 정확도: 96.99% 64 검증 세트 손실: 0.139133 최선의 손실: 0.129451 정확도: 97.22% 65 검증 세트 손실: 0.166608 최선의 손실: 0.129451 정확도: 97.26% 66 검증 세트 손실: 0.140046 최선의 손실: 0.129451 정확도: 97.03% 67 검증 세트 손실: 0.169108 최선의 손실: 0.129451 정확도: 97.22% 68 검증 세트 손실: 0.158628 최선의 손실: 0.129451 정확도: 97.22% 69 검증 세트 손실: 0.163780 최선의 손실: 0.129451 정확도: 96.99% 70 검증 세트 손실: 0.144399 최선의 손실: 0.129451 정확도: 97.34% 71 검증 세트 손실: 0.165777 최선의 손실: 0.129451 정확도: 97.19% 72 검증 세트 손실: 0.169067 최선의 손실: 0.129451 정확도: 96.95% 73 검증 세트 손실: 0.144544 최선의 손실: 0.129451 정확도: 96.99% 조기 종료! [CV] n_neurons=70, learning_rate=0.01, dropout_rate=0.5, batch_size=100, activation=<function relu at 0x7f8ec4c8c510>, total= 24.8s [CV] n_neurons=90, learning_rate=0.02, dropout_rate=0.2, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8> 0 검증 세트 손실: 1.582171 최선의 손실: 1.582171 정확도: 49.77% 1 검증 세트 손실: 1.151708 최선의 손실: 1.151708 정확도: 51.99% 2 검증 세트 손실: 155.315353 최선의 손실: 1.151708 정확도: 20.88% 3 검증 세트 손실: 72.578972 최선의 손실: 1.151708 정확도: 19.08% 4 검증 세트 손실: 109.377968 최선의 손실: 1.151708 정확도: 19.08% 5 검증 세트 손실: 82.581329 최선의 손실: 1.151708 정확도: 27.52% 6 검증 세트 손실: 7.902594 최선의 손실: 1.151708 정확도: 46.48% 7 검증 세트 손실: 4.051972 최선의 손실: 1.151708 정확도: 38.19% 8 검증 세트 손실: 4.041609 최선의 손실: 1.151708 정확도: 35.57% 9 검증 세트 손실: 3.804320 최선의 손실: 1.151708 정확도: 35.50% 10 검증 세트 손실: 2.253343 최선의 손실: 1.151708 정확도: 35.22% 11 검증 세트 손실: 3.031901 최선의 손실: 1.151708 정확도: 29.05% 12 검증 세트 손실: 6.052897 최선의 손실: 1.151708 정확도: 25.84% 13 검증 세트 손실: 3.611439 최선의 손실: 1.151708 정확도: 36.00% 14 검증 세트 손실: 126.169716 최선의 손실: 1.151708 정확도: 20.91% 15 검증 세트 손실: 149.748505 최선의 손실: 1.151708 정확도: 20.09% 16 검증 세트 손실: 45.176731 최선의 손실: 1.151708 정확도: 29.98% 17 검증 세트 손실: 45.355976 최선의 손실: 1.151708 정확도: 22.40% 18 검증 세트 손실: 32.884800 최선의 손실: 1.151708 정확도: 29.12% 19 검증 세트 손실: 272.762207 최선의 손실: 1.151708 정확도: 36.79% 20 검증 세트 손실: 37.233311 최선의 손실: 1.151708 정확도: 37.57% 21 검증 세트 손실: 40.652634 최선의 손실: 1.151708 정확도: 26.11% 22 검증 세트 손실: 97.122192 최선의 손실: 1.151708 정확도: 22.01% 조기 종료! [CV] n_neurons=90, learning_rate=0.02, dropout_rate=0.2, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 35.3s [CV] n_neurons=90, learning_rate=0.02, dropout_rate=0.2, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8> 0 검증 세트 손실: 0.726338 최선의 손실: 0.726338 정확도: 69.27% 1 검증 세트 손실: 2.134341 최선의 손실: 0.726338 정확도: 36.79% 2 검증 세트 손실: 4.003036 최선의 손실: 0.726338 정확도: 35.14% 3 검증 세트 손실: 2.525405 최선의 손실: 0.726338 정확도: 29.20% 4 검증 세트 손실: 2.124594 최선의 손실: 0.726338 정확도: 38.12% 5 검증 세트 손실: 2.139598 최선의 손실: 0.726338 정확도: 36.55% 6 검증 세트 손실: 2.671932 최선의 손실: 0.726338 정확도: 31.16% 7 검증 세트 손실: 23.034058 최선의 손실: 0.726338 정확도: 19.00% 8 검증 세트 손실: 11.460063 최선의 손실: 0.726338 정확도: 35.77% 9 검증 세트 손실: 33.906136 최선의 손실: 0.726338 정확도: 42.73% 10 검증 세트 손실: 29.545448 최선의 손실: 0.726338 정확도: 42.92% 11 검증 세트 손실: 17.567888 최선의 손실: 0.726338 정확도: 43.90% 12 검증 세트 손실: 10.342208 최선의 손실: 0.726338 정확도: 48.40% 13 검증 세트 손실: 19.733105 최선의 손실: 0.726338 정확도: 45.54% 14 검증 세트 손실: 848.238098 최선의 손실: 0.726338 정확도: 23.77% 15 검증 세트 손실: 40485708.000000 최선의 손실: 0.726338 정확도: 31.90% 16 검증 세트 손실: 62.481564 최선의 손실: 0.726338 정확도: 36.28% 17 검증 세트 손실: 246014.468750 최선의 손실: 0.726338 정확도: 46.36% 18 검증 세트 손실: 158.004318 최선의 손실: 0.726338 정확도: 27.56% 19 검증 세트 손실: 72.535065 최선의 손실: 0.726338 정확도: 44.14% 20 검증 세트 손실: 98.867401 최선의 손실: 0.726338 정확도: 32.02% 21 검증 세트 손실: 46.850311 최선의 손실: 0.726338 정확도: 44.18% 조기 종료! [CV] n_neurons=90, learning_rate=0.02, dropout_rate=0.2, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 33.7s [CV] n_neurons=90, learning_rate=0.02, dropout_rate=0.2, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8> 0 검증 세트 손실: 1.140878 최선의 손실: 1.140878 정확도: 46.60% 1 검증 세트 손실: 1.869088 최선의 손실: 1.140878 정확도: 19.43% 2 검증 세트 손실: 7.628696 최선의 손실: 1.140878 정확도: 30.53% 3 검증 세트 손실: 4.266023 최선의 손실: 1.140878 정확도: 32.84% 4 검증 세트 손실: 4.310674 최선의 손실: 1.140878 정확도: 22.17% 5 검증 세트 손실: 146.068024 최선의 손실: 1.140878 정확도: 20.88% 6 검증 세트 손실: 163.747635 최선의 손실: 1.140878 정확도: 19.19% 7 검증 세트 손실: 156.746262 최선의 손실: 1.140878 정확도: 18.73% 8 검증 세트 손실: 38.106918 최선의 손실: 1.140878 정확도: 20.33% 9 검증 세트 손실: 172.823700 최선의 손실: 1.140878 정확도: 19.39% 10 검증 세트 손실: 86.558952 최선의 손실: 1.140878 정확도: 22.95% 11 검증 세트 손실: 20.423763 최선의 손실: 1.140878 정확도: 28.62% 12 검증 세트 손실: 7.518995 최선의 손실: 1.140878 정확도: 34.17% 13 검증 세트 손실: 4.147361 최선의 손실: 1.140878 정확도: 30.61% 14 검증 세트 손실: 37.642620 최선의 손실: 1.140878 정확도: 19.62% 15 검증 세트 손실: 3.981414 최선의 손실: 1.140878 정확도: 32.68% 16 검증 세트 손실: 2.022980 최선의 손실: 1.140878 정확도: 35.57% 17 검증 세트 손실: 3.040367 최선의 손실: 1.140878 정확도: 28.85% 18 검증 세트 손실: 2.217006 최선의 손실: 1.140878 정확도: 33.93% 19 검증 세트 손실: 1989.403809 최선의 손실: 1.140878 정확도: 29.20% 20 검증 세트 손실: 1451873.625000 최선의 손실: 1.140878 정확도: 23.46% 21 검증 세트 손실: 854.924072 최선의 손실: 1.140878 정확도: 35.61% 조기 종료! [CV] n_neurons=90, learning_rate=0.02, dropout_rate=0.2, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 33.8s [CV] n_neurons=30, learning_rate=0.01, dropout_rate=0.3, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0> 0 검증 세트 손실: 0.142826 최선의 손실: 0.142826 정확도: 96.09% 1 검증 세트 손실: 0.110069 최선의 손실: 0.110069 정확도: 96.48% 2 검증 세트 손실: 0.125393 최선의 손실: 0.110069 정확도: 96.17% 3 검증 세트 손실: 0.101717 최선의 손실: 0.101717 정확도: 97.15% 4 검증 세트 손실: 0.108409 최선의 손실: 0.101717 정확도: 97.26% 5 검증 세트 손실: 0.112753 최선의 손실: 0.101717 정확도: 97.34% 6 검증 세트 손실: 0.099972 최선의 손실: 0.099972 정확도: 97.54% 7 검증 세트 손실: 0.101330 최선의 손실: 0.099972 정확도: 97.54% 8 검증 세트 손실: 0.096126 최선의 손실: 0.096126 정확도: 97.54% 9 검증 세트 손실: 0.098552 최선의 손실: 0.096126 정확도: 97.77% 10 검증 세트 손실: 0.095507 최선의 손실: 0.095507 정확도: 97.77% 11 검증 세트 손실: 0.098553 최선의 손실: 0.095507 정확도: 97.54% 12 검증 세트 손실: 0.115934 최선의 손실: 0.095507 정확도: 97.34% 13 검증 세트 손실: 0.112044 최선의 손실: 0.095507 정확도: 97.22% 14 검증 세트 손실: 0.091969 최선의 손실: 0.091969 정확도: 97.89% 15 검증 세트 손실: 0.101041 최선의 손실: 0.091969 정확도: 97.81% 16 검증 세트 손실: 0.103099 최선의 손실: 0.091969 정확도: 97.81% 17 검증 세트 손실: 0.103376 최선의 손실: 0.091969 정확도: 97.54% 18 검증 세트 손실: 0.106857 최선의 손실: 0.091969 정확도: 97.46% 19 검증 세트 손실: 0.088826 최선의 손실: 0.088826 정확도: 97.97% 20 검증 세트 손실: 0.089221 최선의 손실: 0.088826 정확도: 97.73% 21 검증 세트 손실: 0.099655 최선의 손실: 0.088826 정확도: 97.77% 22 검증 세트 손실: 0.121409 최선의 손실: 0.088826 정확도: 97.42% 23 검증 세트 손실: 0.105110 최선의 손실: 0.088826 정확도: 97.81% 24 검증 세트 손실: 0.110320 최선의 손실: 0.088826 정확도: 97.85% 25 검증 세트 손실: 0.090649 최선의 손실: 0.088826 정확도: 97.97% 26 검증 세트 손실: 0.108253 최선의 손실: 0.088826 정확도: 97.69% 27 검증 세트 손실: 0.094905 최선의 손실: 0.088826 정확도: 97.89% 28 검증 세트 손실: 0.091894 최선의 손실: 0.088826 정확도: 98.32% 29 검증 세트 손실: 0.101371 최선의 손실: 0.088826 정확도: 98.01% 30 검증 세트 손실: 0.109967 최선의 손실: 0.088826 정확도: 97.65% 31 검증 세트 손실: 0.107810 최선의 손실: 0.088826 정확도: 97.93% 32 검증 세트 손실: 0.103988 최선의 손실: 0.088826 정확도: 98.01% 33 검증 세트 손실: 0.122428 최선의 손실: 0.088826 정확도: 97.50% 34 검증 세트 손실: 0.111297 최선의 손실: 0.088826 정확도: 97.89% 35 검증 세트 손실: 0.094884 최선의 손실: 0.088826 정확도: 97.93% 36 검증 세트 손실: 0.123136 최선의 손실: 0.088826 정확도: 97.38% 37 검증 세트 손실: 0.104457 최선의 손실: 0.088826 정확도: 97.81% 38 검증 세트 손실: 0.096983 최선의 손실: 0.088826 정확도: 97.89% 39 검증 세트 손실: 0.127980 최선의 손실: 0.088826 정확도: 97.34% 40 검증 세트 손실: 0.110746 최선의 손실: 0.088826 정확도: 97.42% 조기 종료! [CV] n_neurons=30, learning_rate=0.01, dropout_rate=0.3, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 15.5s [CV] n_neurons=30, learning_rate=0.01, dropout_rate=0.3, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0> 0 검증 세트 손실: 0.138377 최선의 손실: 0.138377 정확도: 96.09% 1 검증 세트 손실: 0.112197 최선의 손실: 0.112197 정확도: 96.68% 2 검증 세트 손실: 0.096669 최선의 손실: 0.096669 정확도: 97.26% 3 검증 세트 손실: 0.111878 최선의 손실: 0.096669 정확도: 97.11% 4 검증 세트 손실: 0.105066 최선의 손실: 0.096669 정확도: 97.22% 5 검증 세트 손실: 0.095145 최선의 손실: 0.095145 정확도: 97.54% 6 검증 세트 손실: 0.097483 최선의 손실: 0.095145 정확도: 97.42% 7 검증 세트 손실: 0.086298 최선의 손실: 0.086298 정확도: 97.19% 8 검증 세트 손실: 0.096887 최선의 손실: 0.086298 정확도: 97.69% 9 검증 세트 손실: 0.097257 최선의 손실: 0.086298 정확도: 97.93% 10 검증 세트 손실: 0.103297 최선의 손실: 0.086298 정확도: 97.73% 11 검증 세트 손실: 0.111873 최선의 손실: 0.086298 정확도: 97.58% 12 검증 세트 손실: 0.095670 최선의 손실: 0.086298 정확도: 97.81% 13 검증 세트 손실: 0.089020 최선의 손실: 0.086298 정확도: 97.73% 14 검증 세트 손실: 0.095531 최선의 손실: 0.086298 정확도: 97.73% 15 검증 세트 손실: 0.103666 최선의 손실: 0.086298 정확도: 97.15% 16 검증 세트 손실: 0.085213 최선의 손실: 0.085213 정확도: 97.62% 17 검증 세트 손실: 0.092838 최선의 손실: 0.085213 정확도: 97.89% 18 검증 세트 손실: 0.114233 최선의 손실: 0.085213 정확도: 97.62% 19 검증 세트 손실: 0.096423 최선의 손실: 0.085213 정확도: 97.58% 20 검증 세트 손실: 0.096008 최선의 손실: 0.085213 정확도: 97.50% 21 검증 세트 손실: 0.111685 최선의 손실: 0.085213 정확도: 97.62% 22 검증 세트 손실: 0.095064 최선의 손실: 0.085213 정확도: 97.97% 23 검증 세트 손실: 0.098398 최선의 손실: 0.085213 정확도: 97.65% 24 검증 세트 손실: 0.110576 최선의 손실: 0.085213 정확도: 97.62% 25 검증 세트 손실: 0.101083 최선의 손실: 0.085213 정확도: 97.93% 26 검증 세트 손실: 0.098931 최선의 손실: 0.085213 정확도: 97.46% 27 검증 세트 손실: 0.125703 최선의 손실: 0.085213 정확도: 97.73% 28 검증 세트 손실: 0.096798 최선의 손실: 0.085213 정확도: 97.65% 29 검증 세트 손실: 0.086050 최선의 손실: 0.085213 정확도: 97.81% 30 검증 세트 손실: 0.078593 최선의 손실: 0.078593 정확도: 97.81% 31 검증 세트 손실: 0.086371 최선의 손실: 0.078593 정확도: 97.97% 32 검증 세트 손실: 0.147152 최선의 손실: 0.078593 정확도: 97.81% 33 검증 세트 손실: 0.107413 최선의 손실: 0.078593 정확도: 97.81% 34 검증 세트 손실: 0.100956 최선의 손실: 0.078593 정확도: 97.42% 35 검증 세트 손실: 0.090278 최선의 손실: 0.078593 정확도: 97.81% 36 검증 세트 손실: 0.086650 최선의 손실: 0.078593 정확도: 98.01% 37 검증 세트 손실: 0.101900 최선의 손실: 0.078593 정확도: 98.08% 38 검증 세트 손실: 0.097090 최선의 손실: 0.078593 정확도: 97.73% 39 검증 세트 손실: 0.093581 최선의 손실: 0.078593 정확도: 97.97% 40 검증 세트 손실: 0.105617 최선의 손실: 0.078593 정확도: 97.30% 41 검증 세트 손실: 0.138000 최선의 손실: 0.078593 정확도: 97.58% 42 검증 세트 손실: 0.090949 최선의 손실: 0.078593 정확도: 97.54% 43 검증 세트 손실: 0.085400 최선의 손실: 0.078593 정확도: 97.89% 44 검증 세트 손실: 0.084653 최선의 손실: 0.078593 정확도: 98.12% 45 검증 세트 손실: 0.095247 최선의 손실: 0.078593 정확도: 97.93% 46 검증 세트 손실: 0.095189 최선의 손실: 0.078593 정확도: 97.58% 47 검증 세트 손실: 0.095354 최선의 손실: 0.078593 정확도: 97.65% 48 검증 세트 손실: 0.074692 최선의 손실: 0.074692 정확도: 98.40% 49 검증 세트 손실: 0.093420 최선의 손실: 0.074692 정확도: 97.81% 50 검증 세트 손실: 0.104623 최선의 손실: 0.074692 정확도: 97.93% 51 검증 세트 손실: 0.126653 최선의 손실: 0.074692 정확도: 97.58% 52 검증 세트 손실: 0.112866 최선의 손실: 0.074692 정확도: 97.89% 53 검증 세트 손실: 0.086006 최선의 손실: 0.074692 정확도: 97.89% 54 검증 세트 손실: 0.110493 최선의 손실: 0.074692 정확도: 97.73% 55 검증 세트 손실: 0.088127 최선의 손실: 0.074692 정확도: 98.08% 56 검증 세트 손실: 0.082930 최선의 손실: 0.074692 정확도: 98.08% 57 검증 세트 손실: 0.119933 최선의 손실: 0.074692 정확도: 98.05% 58 검증 세트 손실: 0.117539 최선의 손실: 0.074692 정확도: 97.85% 59 검증 세트 손실: 0.118173 최선의 손실: 0.074692 정확도: 97.77% 60 검증 세트 손실: 0.118790 최선의 손실: 0.074692 정확도: 97.15% 61 검증 세트 손실: 0.099093 최선의 손실: 0.074692 정확도: 97.77% 62 검증 세트 손실: 0.122232 최선의 손실: 0.074692 정확도: 97.69% 63 검증 세트 손실: 0.117030 최선의 손실: 0.074692 정확도: 97.97% 64 검증 세트 손실: 0.102323 최선의 손실: 0.074692 정확도: 97.69% 65 검증 세트 손실: 0.099137 최선의 손실: 0.074692 정확도: 97.97% 66 검증 세트 손실: 0.098242 최선의 손실: 0.074692 정확도: 97.77% 67 검증 세트 손실: 0.102002 최선의 손실: 0.074692 정확도: 98.05% 68 검증 세트 손실: 0.172630 최선의 손실: 0.074692 정확도: 96.83% 69 검증 세트 손실: 0.107051 최선의 손실: 0.074692 정확도: 97.54% 조기 종료! [CV] n_neurons=30, learning_rate=0.01, dropout_rate=0.3, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 25.9s [CV] n_neurons=30, learning_rate=0.01, dropout_rate=0.3, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0> 0 검증 세트 손실: 0.120433 최선의 손실: 0.120433 정확도: 96.72% 1 검증 세트 손실: 0.106432 최선의 손실: 0.106432 정확도: 96.79% 2 검증 세트 손실: 0.096031 최선의 손실: 0.096031 정확도: 97.50% 3 검증 세트 손실: 0.083559 최선의 손실: 0.083559 정확도: 97.85% 4 검증 세트 손실: 0.091560 최선의 손실: 0.083559 정확도: 97.73% 5 검증 세트 손실: 0.102056 최선의 손실: 0.083559 정확도: 97.34% 6 검증 세트 손실: 0.088507 최선의 손실: 0.083559 정확도: 97.73% 7 검증 세트 손실: 0.095846 최선의 손실: 0.083559 정확도: 97.73% 8 검증 세트 손실: 0.089872 최선의 손실: 0.083559 정확도: 97.65% 9 검증 세트 손실: 0.081075 최선의 손실: 0.081075 정확도: 97.89% 10 검증 세트 손실: 0.103843 최선의 손실: 0.081075 정확도: 97.85% 11 검증 세트 손실: 0.102655 최선의 손실: 0.081075 정확도: 97.93% 12 검증 세트 손실: 0.088839 최선의 손실: 0.081075 정확도: 98.01% 13 검증 세트 손실: 0.097328 최선의 손실: 0.081075 정확도: 97.73% 14 검증 세트 손실: 0.122675 최선의 손실: 0.081075 정확도: 97.62% 15 검증 세트 손실: 0.097767 최선의 손실: 0.081075 정확도: 97.58% 16 검증 세트 손실: 0.100721 최선의 손실: 0.081075 정확도: 97.85% 17 검증 세트 손실: 0.087700 최선의 손실: 0.081075 정확도: 98.05% 18 검증 세트 손실: 0.081884 최선의 손실: 0.081075 정확도: 98.05% 19 검증 세트 손실: 0.083509 최선의 손실: 0.081075 정확도: 97.97% 20 검증 세트 손실: 0.092576 최선의 손실: 0.081075 정확도: 97.81% 21 검증 세트 손실: 0.086037 최선의 손실: 0.081075 정확도: 98.28% 22 검증 세트 손실: 0.091740 최선의 손실: 0.081075 정확도: 98.08% 23 검증 세트 손실: 0.096869 최선의 손실: 0.081075 정확도: 98.01% 24 검증 세트 손실: 0.137502 최선의 손실: 0.081075 정확도: 97.11% 25 검증 세트 손실: 0.101138 최선의 손실: 0.081075 정확도: 98.12% 26 검증 세트 손실: 0.098529 최선의 손실: 0.081075 정확도: 98.24% 27 검증 세트 손실: 0.080971 최선의 손실: 0.080971 정확도: 98.32% 28 검증 세트 손실: 0.141041 최선의 손실: 0.080971 정확도: 97.89% 29 검증 세트 손실: 0.094648 최선의 손실: 0.080971 정확도: 97.93% 30 검증 세트 손실: 0.105079 최선의 손실: 0.080971 정확도: 97.89% 31 검증 세트 손실: 0.111014 최선의 손실: 0.080971 정확도: 97.89% 32 검증 세트 손실: 0.093638 최선의 손실: 0.080971 정확도: 98.05% 33 검증 세트 손실: 0.094502 최선의 손실: 0.080971 정확도: 98.12% 34 검증 세트 손실: 0.092405 최선의 손실: 0.080971 정확도: 97.89% 35 검증 세트 손실: 0.125714 최선의 손실: 0.080971 정확도: 97.85% 36 검증 세트 손실: 0.097753 최선의 손실: 0.080971 정확도: 97.89% 37 검증 세트 손실: 0.085523 최선의 손실: 0.080971 정확도: 98.01% 38 검증 세트 손실: 0.112209 최선의 손실: 0.080971 정확도: 97.77% 39 검증 세트 손실: 0.118353 최선의 손실: 0.080971 정확도: 97.65% 40 검증 세트 손실: 0.091459 최선의 손실: 0.080971 정확도: 97.93% 41 검증 세트 손실: 0.086964 최선의 손실: 0.080971 정확도: 98.05% 42 검증 세트 손실: 0.087786 최선의 손실: 0.080971 정확도: 98.05% 43 검증 세트 손실: 0.087973 최선의 손실: 0.080971 정확도: 97.89% 44 검증 세트 손실: 0.109529 최선의 손실: 0.080971 정확도: 97.69% 45 검증 세트 손실: 0.107771 최선의 손실: 0.080971 정확도: 97.65% 46 검증 세트 손실: 0.092784 최선의 손실: 0.080971 정확도: 97.93% 47 검증 세트 손실: 0.095767 최선의 손실: 0.080971 정확도: 97.77% 48 검증 세트 손실: 0.103374 최선의 손실: 0.080971 정확도: 98.08% 조기 종료! [CV] n_neurons=30, learning_rate=0.01, dropout_rate=0.3, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 18.5s [CV] n_neurons=160, learning_rate=0.02, dropout_rate=0.6, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8> 0 검증 세트 손실: 2.173371 최선의 손실: 2.173371 정확도: 19.19% 1 검증 세트 손실: 5.935885 최선의 손실: 2.173371 정확도: 26.74% 2 검증 세트 손실: 13.280955 최선의 손실: 2.173371 정확도: 19.19% 3 검증 세트 손실: 119.245346 최선의 손실: 2.173371 정확도: 33.23% 4 검증 세트 손실: 369.138092 최선의 손실: 2.173371 정확도: 22.01% 5 검증 세트 손실: 186.514374 최선의 손실: 2.173371 정확도: 19.08% 6 검증 세트 손실: 2119.540283 최선의 손실: 2.173371 정확도: 22.01% 7 검증 세트 손실: 1400.322144 최선의 손실: 2.173371 정확도: 20.91% 8 검증 세트 손실: 2341.029053 최선의 손실: 2.173371 정확도: 19.27% 9 검증 세트 손실: 296.818817 최선의 손실: 2.173371 정확도: 20.45% 10 검증 세트 손실: 471.802734 최선의 손실: 2.173371 정확도: 19.27% 11 검증 세트 손실: 1317.346313 최선의 손실: 2.173371 정확도: 18.73% 12 검증 세트 손실: 631.466064 최선의 손실: 2.173371 정확도: 20.91% 13 검증 세트 손실: 747.865723 최선의 손실: 2.173371 정확도: 19.27% 14 검증 세트 손실: 1045.155151 최선의 손실: 2.173371 정확도: 18.73% 15 검증 세트 손실: 1558.876953 최선의 손실: 2.173371 정확도: 18.73% 16 검증 세트 손실: 3793.668945 최선의 손실: 2.173371 정확도: 19.08% 17 검증 세트 손실: 1578.548584 최선의 손실: 2.173371 정확도: 19.27% 18 검증 세트 손실: 10435.750000 최선의 손실: 2.173371 정확도: 22.01% 19 검증 세트 손실: 6177.995117 최선의 손실: 2.173371 정확도: 20.91% 20 검증 세트 손실: 2116.525879 최선의 손실: 2.173371 정확도: 22.01% 21 검증 세트 손실: 2644.907715 최선의 손실: 2.173371 정확도: 18.73% 조기 종료! [CV] n_neurons=160, learning_rate=0.02, dropout_rate=0.6, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 47.4s [CV] n_neurons=160, learning_rate=0.02, dropout_rate=0.6, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8> 0 검증 세트 손실: 1.497750 최선의 손실: 1.497750 정확도: 26.78% 1 검증 세트 손실: 36.597828 최선의 손실: 1.497750 정확도: 20.91% 2 검증 세트 손실: 8.265285 최선의 손실: 1.497750 정확도: 31.74% 3 검증 세트 손실: 156.557175 최선의 손실: 1.497750 정확도: 21.70% 4 검증 세트 손실: 96.661263 최선의 손실: 1.497750 정확도: 18.73% 5 검증 세트 손실: 410.983185 최선의 손실: 1.497750 정확도: 22.01% 6 검증 세트 손실: 434.165558 최선의 손실: 1.497750 정확도: 20.21% 7 검증 세트 손실: 997.760071 최선의 손실: 1.497750 정확도: 18.73% 8 검증 세트 손실: 473.623932 최선의 손실: 1.497750 정확도: 18.73% 9 검증 세트 손실: 449.200073 최선의 손실: 1.497750 정확도: 20.91% 10 검증 세트 손실: 1324.540161 최선의 손실: 1.497750 정확도: 19.08% 11 검증 세트 손실: 740.141052 최선의 손실: 1.497750 정확도: 33.03% 12 검증 세트 손실: 366.545776 최선의 손실: 1.497750 정확도: 20.91% 13 검증 세트 손실: 729.833374 최선의 손실: 1.497750 정확도: 20.91% 14 검증 세트 손실: 365.127594 최선의 손실: 1.497750 정확도: 19.27% 15 검증 세트 손실: 1925.278198 최선의 손실: 1.497750 정확도: 22.01% 16 검증 세트 손실: 504.790985 최선의 손실: 1.497750 정확도: 25.76% 17 검증 세트 손실: 608.443237 최선의 손실: 1.497750 정확도: 21.46% 18 검증 세트 손실: 610.694397 최선의 손실: 1.497750 정확도: 22.01% 19 검증 세트 손실: 701.057617 최선의 손실: 1.497750 정확도: 19.27% 20 검증 세트 손실: 1379.886475 최선의 손실: 1.497750 정확도: 18.73% 21 검증 세트 손실: 3606.700439 최선의 손실: 1.497750 정확도: 22.01% 조기 종료! [CV] n_neurons=160, learning_rate=0.02, dropout_rate=0.6, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 47.7s [CV] n_neurons=160, learning_rate=0.02, dropout_rate=0.6, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8> 0 검증 세트 손실: 1.689465 최선의 손실: 1.689465 정확도: 26.08% 1 검증 세트 손실: 1.526288 최선의 손실: 1.526288 정확도: 27.13% 2 검증 세트 손실: 1.603400 최선의 손실: 1.526288 정확도: 26.43% 3 검증 세트 손실: 17.401201 최선의 손실: 1.526288 정확도: 21.62% 4 검증 세트 손실: 18.572851 최선의 손실: 1.526288 정확도: 19.27% 5 검증 세트 손실: 7.612484 최선의 손실: 1.526288 정확도: 28.34% 6 검증 세트 손실: 209.711960 최선의 손실: 1.526288 정확도: 19.27% 7 검증 세트 손실: 414.601654 최선의 손실: 1.526288 정확도: 19.27% 8 검증 세트 손실: 279.320892 최선의 손실: 1.526288 정확도: 19.08% 9 검증 세트 손실: 1158.043335 최선의 손실: 1.526288 정확도: 19.27% 10 검증 세트 손실: 1236.016724 최선의 손실: 1.526288 정확도: 19.62% 11 검증 세트 손실: 526.501892 최선의 손실: 1.526288 정확도: 19.27% 12 검증 세트 손실: 1936.550659 최선의 손실: 1.526288 정확도: 20.91% 13 검증 세트 손실: 613.101074 최선의 손실: 1.526288 정확도: 22.01% 14 검증 세트 손실: 8387.942383 최선의 손실: 1.526288 정확도: 19.08% 15 검증 세트 손실: 1045.954102 최선의 손실: 1.526288 정확도: 20.91% 16 검증 세트 손실: 861.547607 최선의 손실: 1.526288 정확도: 19.66% 17 검증 세트 손실: 503.101105 최선의 손실: 1.526288 정확도: 19.27% 18 검증 세트 손실: 966.030762 최선의 손실: 1.526288 정확도: 20.91% 19 검증 세트 손실: 2495.006836 최선의 손실: 1.526288 정확도: 20.91% 20 검증 세트 손실: 23884.449219 최선의 손실: 1.526288 정확도: 19.08% 21 검증 세트 손실: 2632.070557 최선의 손실: 1.526288 정확도: 22.01% 22 검증 세트 손실: 1536.640747 최선의 손실: 1.526288 정확도: 20.91% 조기 종료! [CV] n_neurons=160, learning_rate=0.02, dropout_rate=0.6, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 49.9s [CV] n_neurons=100, learning_rate=0.02, dropout_rate=0.2, batch_size=100, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.104798 최선의 손실: 0.104798 정확도: 96.95% 1 검증 세트 손실: 0.101154 최선의 손실: 0.101154 정확도: 97.30% 2 검증 세트 손실: 0.228525 최선의 손실: 0.101154 정확도: 94.72% 3 검증 세트 손실: 0.667494 최선의 손실: 0.101154 정확도: 76.04% 4 검증 세트 손실: 1.706908 최선의 손실: 0.101154 정확도: 19.27% 5 검증 세트 손실: 1.615506 최선의 손실: 0.101154 정확도: 22.01% 6 검증 세트 손실: 1.680179 최선의 손실: 0.101154 정확도: 19.27% 7 검증 세트 손실: 1.642053 최선의 손실: 0.101154 정확도: 19.27% 8 검증 세트 손실: 1.696119 최선의 손실: 0.101154 정확도: 22.01% 9 검증 세트 손실: 1.833418 최선의 손실: 0.101154 정확도: 19.08% 10 검증 세트 손실: 1.662700 최선의 손실: 0.101154 정확도: 20.91% 11 검증 세트 손실: 1.667100 최선의 손실: 0.101154 정확도: 18.73% 12 검증 세트 손실: 1.620204 최선의 손실: 0.101154 정확도: 18.73% 13 검증 세트 손실: 1.614124 최선의 손실: 0.101154 정확도: 22.01% 14 검증 세트 손실: 1.647199 최선의 손실: 0.101154 정확도: 19.08% 15 검증 세트 손실: 1.663431 최선의 손실: 0.101154 정확도: 22.01% 16 검증 세트 손실: 1.655900 최선의 손실: 0.101154 정확도: 18.73% 17 검증 세트 손실: 1.668748 최선의 손실: 0.101154 정확도: 19.08% 18 검증 세트 손실: 1.657857 최선의 손실: 0.101154 정확도: 22.01% 19 검증 세트 손실: 1.642132 최선의 손실: 0.101154 정확도: 18.73% 20 검증 세트 손실: 1.678111 최선의 손실: 0.101154 정확도: 19.27% 21 검증 세트 손실: 1.632577 최선의 손실: 0.101154 정확도: 19.08% 22 검증 세트 손실: 1.630560 최선의 손실: 0.101154 정확도: 22.01% 조기 종료! [CV] n_neurons=100, learning_rate=0.02, dropout_rate=0.2, batch_size=100, activation=<function elu at 0x7f8ec4ceef28>, total= 10.8s [CV] n_neurons=100, learning_rate=0.02, dropout_rate=0.2, batch_size=100, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.109578 최선의 손실: 0.109578 정확도: 96.95% 1 검증 세트 손실: 0.162719 최선의 손실: 0.109578 정확도: 95.62% 2 검증 세트 손실: 0.131056 최선의 손실: 0.109578 정확도: 97.38% 3 검증 세트 손실: 1.630863 최선의 손실: 0.109578 정확도: 22.01% 4 검증 세트 손실: 1.671597 최선의 손실: 0.109578 정확도: 19.08% 5 검증 세트 손실: 1.646002 최선의 손실: 0.109578 정확도: 22.01% 6 검증 세트 손실: 1.704840 최선의 손실: 0.109578 정확도: 19.08% 7 검증 세트 손실: 1.628270 최선의 손실: 0.109578 정확도: 19.27% 8 검증 세트 손실: 1.646619 최선의 손실: 0.109578 정확도: 19.27% 9 검증 세트 손실: 1.650979 최선의 손실: 0.109578 정확도: 22.01% 10 검증 세트 손실: 1.670362 최선의 손실: 0.109578 정확도: 20.91% 11 검증 세트 손실: 1.614667 최선의 손실: 0.109578 정확도: 19.27% 12 검증 세트 손실: 1.656286 최선의 손실: 0.109578 정확도: 19.27% 13 검증 세트 손실: 1.619233 최선의 손실: 0.109578 정확도: 18.73% 14 검증 세트 손실: 1.677331 최선의 손실: 0.109578 정확도: 22.01% 15 검증 세트 손실: 1.642921 최선의 손실: 0.109578 정확도: 18.73% 16 검증 세트 손실: 1.663656 최선의 손실: 0.109578 정확도: 19.27% 17 검증 세트 손실: 1.725934 최선의 손실: 0.109578 정확도: 20.91% 18 검증 세트 손실: 1.684647 최선의 손실: 0.109578 정확도: 22.01% 19 검증 세트 손실: 1.631547 최선의 손실: 0.109578 정확도: 19.08% 20 검증 세트 손실: 1.675130 최선의 손실: 0.109578 정확도: 20.91% 21 검증 세트 손실: 1.631392 최선의 손실: 0.109578 정확도: 18.73% 조기 종료! [CV] n_neurons=100, learning_rate=0.02, dropout_rate=0.2, batch_size=100, activation=<function elu at 0x7f8ec4ceef28>, total= 10.3s [CV] n_neurons=100, learning_rate=0.02, dropout_rate=0.2, batch_size=100, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.177972 최선의 손실: 0.177972 정확도: 96.99% 1 검증 세트 손실: 0.171112 최선의 손실: 0.171112 정확도: 96.60% 2 검증 세트 손실: 1.830882 최선의 손실: 0.171112 정확도: 63.10% 3 검증 세트 손실: 1.436730 최선의 손실: 0.171112 정확도: 30.84% 4 검증 세트 손실: 1.649388 최선의 손실: 0.171112 정확도: 19.27% 5 검증 세트 손실: 1.660385 최선의 손실: 0.171112 정확도: 19.27% 6 검증 세트 손실: 1.713613 최선의 손실: 0.171112 정확도: 19.27% 7 검증 세트 손실: 1.624412 최선의 손실: 0.171112 정확도: 22.01% 8 검증 세트 손실: 1.653913 최선의 손실: 0.171112 정확도: 18.73% 9 검증 세트 손실: 1.666126 최선의 손실: 0.171112 정확도: 19.27% 10 검증 세트 손실: 1.639940 최선의 손실: 0.171112 정확도: 22.01% 11 검증 세트 손실: 1.658648 최선의 손실: 0.171112 정확도: 19.27% 12 검증 세트 손실: 1.626172 최선의 손실: 0.171112 정확도: 20.91% 13 검증 세트 손실: 1.648625 최선의 손실: 0.171112 정확도: 19.08% 14 검증 세트 손실: 1.659790 최선의 손실: 0.171112 정확도: 18.73% 15 검증 세트 손실: 1.629048 최선의 손실: 0.171112 정확도: 20.91% 16 검증 세트 손실: 1.689126 최선의 손실: 0.171112 정확도: 19.27% 17 검증 세트 손실: 1.659083 최선의 손실: 0.171112 정확도: 19.08% 18 검증 세트 손실: 1.679037 최선의 손실: 0.171112 정확도: 22.01% 19 검증 세트 손실: 1.666294 최선의 손실: 0.171112 정확도: 18.73% 20 검증 세트 손실: 1.645135 최선의 손실: 0.171112 정확도: 19.08% 21 검증 세트 손실: 1.651052 최선의 손실: 0.171112 정확도: 18.73% 22 검증 세트 손실: 1.658760 최선의 손실: 0.171112 정확도: 19.08% 조기 종료! [CV] n_neurons=100, learning_rate=0.02, dropout_rate=0.2, batch_size=100, activation=<function elu at 0x7f8ec4ceef28>, total= 10.8s [CV] n_neurons=90, learning_rate=0.1, dropout_rate=0.6, batch_size=100, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 1.865099 최선의 손실: 1.865099 정확도: 19.27% 1 검증 세트 손실: 1.660313 최선의 손실: 1.660313 정확도: 19.08% 2 검증 세트 손실: 1.616919 최선의 손실: 1.616919 정확도: 19.27% 3 검증 세트 손실: 1.645893 최선의 손실: 1.616919 정확도: 20.91% 4 검증 세트 손실: 1.931572 최선의 손실: 1.616919 정확도: 19.27% 5 검증 세트 손실: 1.778994 최선의 손실: 1.616919 정확도: 22.01% 6 검증 세트 손실: 1.896741 최선의 손실: 1.616919 정확도: 18.73% 7 검증 세트 손실: 1.680382 최선의 손실: 1.616919 정확도: 18.73% 8 검증 세트 손실: 1.719547 최선의 손실: 1.616919 정확도: 20.91% 9 검증 세트 손실: 1.665380 최선의 손실: 1.616919 정확도: 19.08% 10 검증 세트 손실: 1.653249 최선의 손실: 1.616919 정확도: 19.08% 11 검증 세트 손실: 1.670080 최선의 손실: 1.616919 정확도: 19.08% 12 검증 세트 손실: 1.854004 최선의 손실: 1.616919 정확도: 18.73% 13 검증 세트 손실: 1.856432 최선의 손실: 1.616919 정확도: 19.27% 14 검증 세트 손실: 1.801293 최선의 손실: 1.616919 정확도: 19.08% 15 검증 세트 손실: 1.789495 최선의 손실: 1.616919 정확도: 22.01% 16 검증 세트 손실: 1.734476 최선의 손실: 1.616919 정확도: 22.01% 17 검증 세트 손실: 1.658652 최선의 손실: 1.616919 정확도: 22.01% 18 검증 세트 손실: 1.751367 최선의 손실: 1.616919 정확도: 22.01% 19 검증 세트 손실: 1.764642 최선의 손실: 1.616919 정확도: 20.91% 20 검증 세트 손실: 1.642606 최선의 손실: 1.616919 정확도: 22.01% 21 검증 세트 손실: 1.704285 최선의 손실: 1.616919 정확도: 19.27% 22 검증 세트 손실: 1.611895 최선의 손실: 1.611895 정확도: 20.91% 23 검증 세트 손실: 1.879470 최선의 손실: 1.611895 정확도: 22.01% 24 검증 세트 손실: 1.656120 최선의 손실: 1.611895 정확도: 20.91% 25 검증 세트 손실: 1.772173 최선의 손실: 1.611895 정확도: 19.27% 26 검증 세트 손실: 1.718619 최선의 손실: 1.611895 정확도: 19.08% 27 검증 세트 손실: 1.793210 최선의 손실: 1.611895 정확도: 19.27% 28 검증 세트 손실: 1.768647 최선의 손실: 1.611895 정확도: 19.08% 29 검증 세트 손실: 1.673147 최선의 손실: 1.611895 정확도: 18.73% 30 검증 세트 손실: 1.739072 최선의 손실: 1.611895 정확도: 18.73% 31 검증 세트 손실: 1.699776 최선의 손실: 1.611895 정확도: 22.01% 32 검증 세트 손실: 1.809762 최선의 손실: 1.611895 정확도: 18.73% 33 검증 세트 손실: 1.902088 최선의 손실: 1.611895 정확도: 22.01% 34 검증 세트 손실: 1.686188 최선의 손실: 1.611895 정확도: 22.01% 35 검증 세트 손실: 1.886989 최선의 손실: 1.611895 정확도: 19.08% 36 검증 세트 손실: 1.854727 최선의 손실: 1.611895 정확도: 18.73% 37 검증 세트 손실: 1.918147 최선의 손실: 1.611895 정확도: 18.73% 38 검증 세트 손실: 1.878027 최선의 손실: 1.611895 정확도: 18.73% 39 검증 세트 손실: 1.667329 최선의 손실: 1.611895 정확도: 19.08% 40 검증 세트 손실: 1.713687 최선의 손실: 1.611895 정확도: 19.27% 41 검증 세트 손실: 1.797632 최선의 손실: 1.611895 정확도: 20.91% 42 검증 세트 손실: 1.887038 최선의 손실: 1.611895 정확도: 18.73% 43 검증 세트 손실: 1.700333 최선의 손실: 1.611895 정확도: 20.91% 조기 종료! [CV] n_neurons=90, learning_rate=0.1, dropout_rate=0.6, batch_size=100, activation=<function elu at 0x7f8ec4ceef28>, total= 18.5s [CV] n_neurons=90, learning_rate=0.1, dropout_rate=0.6, batch_size=100, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 1.682803 최선의 손실: 1.682803 정확도: 22.01% 1 검증 세트 손실: 1.768046 최선의 손실: 1.682803 정확도: 19.08% 2 검증 세트 손실: 1.637231 최선의 손실: 1.637231 정확도: 20.91% 3 검증 세트 손실: 1.653128 최선의 손실: 1.637231 정확도: 22.01% 4 검증 세트 손실: 1.652554 최선의 손실: 1.637231 정확도: 19.27% 5 검증 세트 손실: 1.723134 최선의 손실: 1.637231 정확도: 18.73% 6 검증 세트 손실: 1.792011 최선의 손실: 1.637231 정확도: 19.27% 7 검증 세트 손실: 1.749579 최선의 손실: 1.637231 정확도: 19.08% 8 검증 세트 손실: 2.010732 최선의 손실: 1.637231 정확도: 18.73% 9 검증 세트 손실: 1.813846 최선의 손실: 1.637231 정확도: 19.08% 10 검증 세트 손실: 1.654687 최선의 손실: 1.637231 정확도: 22.01% 11 검증 세트 손실: 1.714334 최선의 손실: 1.637231 정확도: 18.73% 12 검증 세트 손실: 1.669636 최선의 손실: 1.637231 정확도: 19.08% 13 검증 세트 손실: 1.638858 최선의 손실: 1.637231 정확도: 18.73% 14 검증 세트 손실: 1.887638 최선의 손실: 1.637231 정확도: 18.73% 15 검증 세트 손실: 1.753949 최선의 손실: 1.637231 정확도: 19.08% 16 검증 세트 손실: 1.661238 최선의 손실: 1.637231 정확도: 19.08% 17 검증 세트 손실: 1.646747 최선의 손실: 1.637231 정확도: 19.08% 18 검증 세트 손실: 1.732024 최선의 손실: 1.637231 정확도: 22.01% 19 검증 세트 손실: 1.686299 최선의 손실: 1.637231 정확도: 22.01% 20 검증 세트 손실: 1.701739 최선의 손실: 1.637231 정확도: 20.91% 21 검증 세트 손실: 1.644206 최선의 손실: 1.637231 정확도: 22.01% 22 검증 세트 손실: 2.086400 최선의 손실: 1.637231 정확도: 18.73% 23 검증 세트 손실: 1.699455 최선의 손실: 1.637231 정확도: 22.01% 조기 종료! [CV] n_neurons=90, learning_rate=0.1, dropout_rate=0.6, batch_size=100, activation=<function elu at 0x7f8ec4ceef28>, total= 10.4s [CV] n_neurons=90, learning_rate=0.1, dropout_rate=0.6, batch_size=100, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 1.744854 최선의 손실: 1.744854 정확도: 19.27% 1 검증 세트 손실: 1.657864 최선의 손실: 1.657864 정확도: 19.08% 2 검증 세트 손실: 1.641618 최선의 손실: 1.641618 정확도: 20.91% 3 검증 세트 손실: 1.755400 최선의 손실: 1.641618 정확도: 19.27% 4 검증 세트 손실: 1.817480 최선의 손실: 1.641618 정확도: 20.91% 5 검증 세트 손실: 1.792703 최선의 손실: 1.641618 정확도: 20.91% 6 검증 세트 손실: 1.891527 최선의 손실: 1.641618 정확도: 19.27% 7 검증 세트 손실: 1.762612 최선의 손실: 1.641618 정확도: 18.73% 8 검증 세트 손실: 1.669894 최선의 손실: 1.641618 정확도: 19.27% 9 검증 세트 손실: 1.675891 최선의 손실: 1.641618 정확도: 20.91% 10 검증 세트 손실: 1.645706 최선의 손실: 1.641618 정확도: 19.08% 11 검증 세트 손실: 1.657387 최선의 손실: 1.641618 정확도: 19.27% 12 검증 세트 손실: 1.763025 최선의 손실: 1.641618 정확도: 19.08% 13 검증 세트 손실: 1.684360 최선의 손실: 1.641618 정확도: 22.01% 14 검증 세트 손실: 1.719132 최선의 손실: 1.641618 정확도: 18.73% 15 검증 세트 손실: 1.721597 최선의 손실: 1.641618 정확도: 22.01% 16 검증 세트 손실: 1.903619 최선의 손실: 1.641618 정확도: 22.01% 17 검증 세트 손실: 1.647764 최선의 손실: 1.641618 정확도: 18.73% 18 검증 세트 손실: 1.645608 최선의 손실: 1.641618 정확도: 22.01% 19 검증 세트 손실: 1.780857 최선의 손실: 1.641618 정확도: 22.01% 20 검증 세트 손실: 1.776921 최선의 손실: 1.641618 정확도: 19.27% 21 검증 세트 손실: 1.948766 최선의 손실: 1.641618 정확도: 19.27% 22 검증 세트 손실: 1.793597 최선의 손실: 1.641618 정확도: 20.91% 23 검증 세트 손실: 1.661946 최선의 손실: 1.641618 정확도: 20.91% 조기 종료! [CV] n_neurons=90, learning_rate=0.1, dropout_rate=0.6, batch_size=100, activation=<function elu at 0x7f8ec4ceef28>, total= 10.3s [CV] n_neurons=70, learning_rate=0.02, dropout_rate=0.3, batch_size=100, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.141949 최선의 손실: 0.141949 정확도: 96.56% 1 검증 세트 손실: 0.126684 최선의 손실: 0.126684 정확도: 96.52% 2 검증 세트 손실: 0.130976 최선의 손실: 0.126684 정확도: 96.60% 3 검증 세트 손실: 0.558533 최선의 손실: 0.126684 정확도: 79.44% 4 검증 세트 손실: 1.728862 최선의 손실: 0.126684 정확도: 22.01% 5 검증 세트 손실: 1.617120 최선의 손실: 0.126684 정확도: 18.73% 6 검증 세트 손실: 1.662627 최선의 손실: 0.126684 정확도: 19.27% 7 검증 세트 손실: 1.643536 최선의 손실: 0.126684 정확도: 22.01% 8 검증 세트 손실: 1.712054 최선의 손실: 0.126684 정확도: 19.27% 9 검증 세트 손실: 1.681369 최선의 손실: 0.126684 정확도: 22.01% 10 검증 세트 손실: 1.632987 최선의 손실: 0.126684 정확도: 20.91% 11 검증 세트 손실: 1.628688 최선의 손실: 0.126684 정확도: 22.01% 12 검증 세트 손실: 1.616813 최선의 손실: 0.126684 정확도: 22.01% 13 검증 세트 손실: 1.608775 최선의 손실: 0.126684 정확도: 20.91% 14 검증 세트 손실: 1.646052 최선의 손실: 0.126684 정확도: 19.08% 15 검증 세트 손실: 1.625076 최선의 손실: 0.126684 정확도: 22.01% 16 검증 세트 손실: 1.633790 최선의 손실: 0.126684 정확도: 22.01% 17 검증 세트 손실: 1.628804 최선의 손실: 0.126684 정확도: 19.27% 18 검증 세트 손실: 1.687539 최선의 손실: 0.126684 정확도: 22.01% 19 검증 세트 손실: 1.624918 최선의 손실: 0.126684 정확도: 22.01% 20 검증 세트 손실: 1.651340 최선의 손실: 0.126684 정확도: 19.27% 21 검증 세트 손실: 1.650467 최선의 손실: 0.126684 정확도: 19.08% 22 검증 세트 손실: 1.635323 최선의 손실: 0.126684 정확도: 22.01% 조기 종료! [CV] n_neurons=70, learning_rate=0.02, dropout_rate=0.3, batch_size=100, activation=<function elu at 0x7f8ec4ceef28>, total= 8.3s [CV] n_neurons=70, learning_rate=0.02, dropout_rate=0.3, batch_size=100, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.171370 최선의 손실: 0.171370 정확도: 94.21% 1 검증 세트 손실: 0.131455 최선의 손실: 0.131455 정확도: 96.40% 2 검증 세트 손실: 0.173689 최선의 손실: 0.131455 정확도: 96.36% 3 검증 세트 손실: 0.226345 최선의 손실: 0.131455 정확도: 94.21% 4 검증 세트 손실: 1.649104 최선의 손실: 0.131455 정확도: 26.78% 5 검증 세트 손실: 1.554979 최선의 손실: 0.131455 정확도: 25.06% 6 검증 세트 손실: 1.632400 최선의 손실: 0.131455 정확도: 19.27% 7 검증 세트 손실: 1.621897 최선의 손실: 0.131455 정확도: 19.27% 8 검증 세트 손실: 1.638175 최선의 손실: 0.131455 정확도: 19.27% 9 검증 세트 손실: 1.694768 최선의 손실: 0.131455 정확도: 19.27% 10 검증 세트 손실: 1.610337 최선의 손실: 0.131455 정확도: 22.01% 11 검증 세트 손실: 1.639666 최선의 손실: 0.131455 정확도: 22.01% 12 검증 세트 손실: 1.628599 최선의 손실: 0.131455 정확도: 22.01% 13 검증 세트 손실: 1.652869 최선의 손실: 0.131455 정확도: 18.73% 14 검증 세트 손실: 1.636169 최선의 손실: 0.131455 정확도: 22.01% 15 검증 세트 손실: 1.630626 최선의 손실: 0.131455 정확도: 19.08% 16 검증 세트 손실: 1.617635 최선의 손실: 0.131455 정확도: 19.27% 17 검증 세트 손실: 1.649866 최선의 손실: 0.131455 정확도: 20.91% 18 검증 세트 손실: 1.686366 최선의 손실: 0.131455 정확도: 22.01% 19 검증 세트 손실: 1.631828 최선의 손실: 0.131455 정확도: 19.27% 20 검증 세트 손실: 1.641173 최선의 손실: 0.131455 정확도: 18.73% 21 검증 세트 손실: 1.695496 최선의 손실: 0.131455 정확도: 18.73% 22 검증 세트 손실: 1.622477 최선의 손실: 0.131455 정확도: 22.01% 조기 종료! [CV] n_neurons=70, learning_rate=0.02, dropout_rate=0.3, batch_size=100, activation=<function elu at 0x7f8ec4ceef28>, total= 8.5s [CV] n_neurons=70, learning_rate=0.02, dropout_rate=0.3, batch_size=100, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.166116 최선의 손실: 0.166116 정확도: 96.05% 1 검증 세트 손실: 0.117534 최선의 손실: 0.117534 정확도: 97.50% 2 검증 세트 손실: 1.145071 최선의 손실: 0.117534 정확도: 56.25% 3 검증 세트 손실: 0.565803 최선의 손실: 0.117534 정확도: 90.77% 4 검증 세트 손실: 0.576492 최선의 손실: 0.117534 정확도: 85.07% 5 검증 세트 손실: 0.428664 최선의 손실: 0.117534 정확도: 84.87% 6 검증 세트 손실: 0.521473 최선의 손실: 0.117534 정확도: 91.79% 7 검증 세트 손실: 0.412709 최선의 손실: 0.117534 정확도: 83.42% 8 검증 세트 손실: 1.646892 최선의 손실: 0.117534 정확도: 30.41% 9 검증 세트 손실: 1.125405 최선의 손실: 0.117534 정확도: 53.95% 10 검증 세트 손실: 1.398233 최선의 손실: 0.117534 정확도: 35.22% 11 검증 세트 손실: 1.375721 최선의 손실: 0.117534 정확도: 32.88% 12 검증 세트 손실: 1.419793 최선의 손실: 0.117534 정확도: 33.89% 13 검증 세트 손실: 1.373900 최선의 손실: 0.117534 정확도: 33.50% 14 검증 세트 손실: 1.374898 최선의 손실: 0.117534 정확도: 32.60% 15 검증 세트 손실: 1.411434 최선의 손실: 0.117534 정확도: 35.65% 16 검증 세트 손실: 1.452308 최선의 손실: 0.117534 정확도: 34.60% 17 검증 세트 손실: 1.329412 최선의 손실: 0.117534 정확도: 36.28% 18 검증 세트 손실: 1.235046 최선의 손실: 0.117534 정확도: 43.55% 19 검증 세트 손실: 0.992405 최선의 손실: 0.117534 정확도: 54.69% 20 검증 세트 손실: 1.002814 최선의 손실: 0.117534 정확도: 50.59% 21 검증 세트 손실: 1.620565 최선의 손실: 0.117534 정확도: 19.27% 22 검증 세트 손실: 1.625199 최선의 손실: 0.117534 정확도: 19.08% 조기 종료! [CV] n_neurons=70, learning_rate=0.02, dropout_rate=0.3, batch_size=100, activation=<function elu at 0x7f8ec4ceef28>, total= 8.3s [CV] n_neurons=50, learning_rate=0.05, dropout_rate=0.4, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0> 0 검증 세트 손실: 2244.366943 최선의 손실: 2244.366943 정확도: 22.01% 1 검증 세트 손실: 1166.410889 최선의 손실: 1166.410889 정확도: 18.73% 2 검증 세트 손실: 2054.206055 최선의 손실: 1166.410889 정확도: 18.73% 3 검증 세트 손실: 9255.349609 최선의 손실: 1166.410889 정확도: 19.39% 4 검증 세트 손실: 565.155457 최선의 손실: 565.155457 정확도: 19.27% 5 검증 세트 손실: 4568.393066 최선의 손실: 565.155457 정확도: 22.01% 6 검증 세트 손실: 17177.595703 최선의 손실: 565.155457 정확도: 20.91% 7 검증 세트 손실: 3098.054199 최선의 손실: 565.155457 정확도: 20.21% 8 검증 세트 손실: 3184.219238 최선의 손실: 565.155457 정확도: 19.27% 9 검증 세트 손실: 3489.875244 최선의 손실: 565.155457 정확도: 19.08% 10 검증 세트 손실: 1113.309082 최선의 손실: 565.155457 정확도: 19.12% 11 검증 세트 손실: 22417.595703 최선의 손실: 565.155457 정확도: 18.73% 12 검증 세트 손실: 3505.947510 최선의 손실: 565.155457 정확도: 18.73% 13 검증 세트 손실: 1388.206299 최선의 손실: 565.155457 정확도: 22.01% 14 검증 세트 손실: 649.634216 최선의 손실: 565.155457 정확도: 25.14% 15 검증 세트 손실: 21035.757812 최선의 손실: 565.155457 정확도: 22.01% 16 검증 세트 손실: 21804.646484 최선의 손실: 565.155457 정확도: 19.08% 17 검증 세트 손실: 1229.158569 최선의 손실: 565.155457 정확도: 19.27% 18 검증 세트 손실: 545.768921 최선의 손실: 545.768921 정확도: 34.48% 19 검증 세트 손실: 1285.673218 최선의 손실: 545.768921 정확도: 20.91% 20 검증 세트 손실: 20325.154297 최선의 손실: 545.768921 정확도: 18.73% 21 검증 세트 손실: 34865.136719 최선의 손실: 545.768921 정확도: 18.73% 22 검증 세트 손실: 6547.852051 최선의 손실: 545.768921 정확도: 18.73% 23 검증 세트 손실: 87904.875000 최선의 손실: 545.768921 정확도: 19.08% 24 검증 세트 손실: 10977.407227 최선의 손실: 545.768921 정확도: 18.73% 25 검증 세트 손실: 8387.966797 최선의 손실: 545.768921 정확도: 19.74% 26 검증 세트 손실: 6322.511230 최선의 손실: 545.768921 정확도: 19.08% 27 검증 세트 손실: 4162.924316 최선의 손실: 545.768921 정확도: 18.73% 28 검증 세트 손실: 2749.933350 최선의 손실: 545.768921 정확도: 19.08% 29 검증 세트 손실: 64814.011719 최선의 손실: 545.768921 정확도: 19.08% 30 검증 세트 손실: 7561.943848 최선의 손실: 545.768921 정확도: 22.01% 31 검증 세트 손실: 24473.794922 최선의 손실: 545.768921 정확도: 19.08% 32 검증 세트 손실: 1312.929077 최선의 손실: 545.768921 정확도: 19.23% 33 검증 세트 손실: 3162.003418 최선의 손실: 545.768921 정확도: 18.73% 34 검증 세트 손실: 7639.241699 최선의 손실: 545.768921 정확도: 19.35% 35 검증 세트 손실: 5994.944336 최선의 손실: 545.768921 정확도: 19.43% 36 검증 세트 손실: 5554.598145 최선의 손실: 545.768921 정확도: 26.66% 37 검증 세트 손실: 1063.483032 최선의 손실: 545.768921 정확도: 37.69% 38 검증 세트 손실: 552.741760 최선의 손실: 545.768921 정확도: 20.99% 39 검증 세트 손실: 262.229950 최선의 손실: 262.229950 정확도: 21.89% 40 검증 세트 손실: 8254.829102 최선의 손실: 262.229950 정확도: 22.01% 41 검증 세트 손실: 65882.398438 최선의 손실: 262.229950 정확도: 20.91% 42 검증 세트 손실: 2077.446533 최선의 손실: 262.229950 정확도: 35.26% 43 검증 세트 손실: 1612.593994 최선의 손실: 262.229950 정확도: 19.08% 44 검증 세트 손실: 14055.774414 최선의 손실: 262.229950 정확도: 20.91% 45 검증 세트 손실: 6291.634277 최선의 손실: 262.229950 정확도: 18.73% 46 검증 세트 손실: 2089.875977 최선의 손실: 262.229950 정확도: 37.26% 47 검증 세트 손실: 704.166687 최선의 손실: 262.229950 정확도: 38.70% 48 검증 세트 손실: 164.550095 최선의 손실: 164.550095 정확도: 40.77% 49 검증 세트 손실: 82606.757812 최선의 손실: 164.550095 정확도: 22.01% 50 검증 세트 손실: 131882.781250 최선의 손실: 164.550095 정확도: 18.73% 51 검증 세트 손실: 16279.516602 최선의 손실: 164.550095 정확도: 18.73% 52 검증 세트 손실: 4790.073730 최선의 손실: 164.550095 정확도: 30.49% 53 검증 세트 손실: 4526.384766 최선의 손실: 164.550095 정확도: 19.27% 54 검증 세트 손실: 5449.810059 최선의 손실: 164.550095 정확도: 22.01% 55 검증 세트 손실: 8246.930664 최선의 손실: 164.550095 정확도: 19.12% 56 검증 세트 손실: 2233.813477 최선의 손실: 164.550095 정확도: 20.48% 57 검증 세트 손실: 623.569153 최선의 손실: 164.550095 정확도: 33.23% 58 검증 세트 손실: 464.717468 최선의 손실: 164.550095 정확도: 32.02% 59 검증 세트 손실: 11798.859375 최선의 손실: 164.550095 정확도: 20.95% 60 검증 세트 손실: 13815.285156 최선의 손실: 164.550095 정확도: 18.73% 61 검증 세트 손실: 6550.103027 최선의 손실: 164.550095 정확도: 22.01% 62 검증 세트 손실: 582.241882 최선의 손실: 164.550095 정확도: 29.48% 63 검증 세트 손실: 2768.331543 최선의 손실: 164.550095 정확도: 20.91% 64 검증 세트 손실: 3529.916260 최선의 손실: 164.550095 정확도: 20.91% 65 검증 세트 손실: 3487.936768 최선의 손실: 164.550095 정확도: 30.73% 66 검증 세트 손실: 2687.539307 최선의 손실: 164.550095 정확도: 34.56% 67 검증 세트 손실: 55092.414062 최선의 손실: 164.550095 정확도: 22.01% 68 검증 세트 손실: 27680.390625 최선의 손실: 164.550095 정확도: 20.91% 69 검증 세트 손실: 4641.223633 최선의 손실: 164.550095 정확도: 19.27% 조기 종료! [CV] n_neurons=50, learning_rate=0.05, dropout_rate=0.4, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 1.5min [CV] n_neurons=50, learning_rate=0.05, dropout_rate=0.4, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0> 0 검증 세트 손실: 497.498230 최선의 손실: 497.498230 정확도: 20.91% 1 검증 세트 손실: 176.522339 최선의 손실: 176.522339 정확도: 19.31% 2 검증 세트 손실: 25345.107422 최선의 손실: 176.522339 정확도: 20.91% 3 검증 세트 손실: 20897.871094 최선의 손실: 176.522339 정확도: 20.95% 4 검증 세트 손실: 4062.438232 최선의 손실: 176.522339 정확도: 20.91% 5 검증 세트 손실: 6652.385254 최선의 손실: 176.522339 정확도: 21.38% 6 검증 세트 손실: 15457.022461 최선의 손실: 176.522339 정확도: 21.81% 7 검증 세트 손실: 3074.515137 최선의 손실: 176.522339 정확도: 19.23% 8 검증 세트 손실: 363.516907 최선의 손실: 176.522339 정확도: 18.76% 9 검증 세트 손실: 5798.158203 최선의 손실: 176.522339 정확도: 22.01% 10 검증 세트 손실: 13790.171875 최선의 손실: 176.522339 정확도: 19.08% 11 검증 세트 손실: 2380.692871 최선의 손실: 176.522339 정확도: 20.68% 12 검증 세트 손실: 18937.101562 최선의 손실: 176.522339 정확도: 20.91% 13 검증 세트 손실: 5968.674805 최선의 손실: 176.522339 정확도: 20.91% 14 검증 세트 손실: 24916.808594 최선의 손실: 176.522339 정확도: 19.27% 15 검증 세트 손실: 11106.250977 최선의 손실: 176.522339 정확도: 19.12% 16 검증 세트 손실: 14251.086914 최선의 손실: 176.522339 정확도: 22.05% 17 검증 세트 손실: 27427.599609 최선의 손실: 176.522339 정확도: 20.91% 18 검증 세트 손실: 7653.763672 최선의 손실: 176.522339 정확도: 22.01% 19 검증 세트 손실: 32323.162109 최선의 손실: 176.522339 정확도: 20.91% 20 검증 세트 손실: 91933.156250 최선의 손실: 176.522339 정확도: 18.73% 21 검증 세트 손실: 6970.839844 최선의 손실: 176.522339 정확도: 22.05% 22 검증 세트 손실: 43651.890625 최선의 손실: 176.522339 정확도: 22.01% 조기 종료! [CV] n_neurons=50, learning_rate=0.05, dropout_rate=0.4, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 29.4s [CV] n_neurons=50, learning_rate=0.05, dropout_rate=0.4, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0> 0 검증 세트 손실: 6701.937500 최선의 손실: 6701.937500 정확도: 18.73% 1 검증 세트 손실: 1433.635864 최선의 손실: 1433.635864 정확도: 19.19% 2 검증 세트 손실: 76.057518 최선의 손실: 76.057518 정확도: 19.86% 3 검증 세트 손실: 38.445351 최선의 손실: 38.445351 정확도: 31.82% 4 검증 세트 손실: 11400.890625 최선의 손실: 38.445351 정확도: 19.08% 5 검증 세트 손실: 12358.267578 최선의 손실: 38.445351 정확도: 19.27% 6 검증 세트 손실: 5403.491211 최선의 손실: 38.445351 정확도: 19.27% 7 검증 세트 손실: 9940.262695 최선의 손실: 38.445351 정확도: 19.08% 8 검증 세트 손실: 2610.953125 최선의 손실: 38.445351 정확도: 19.27% 9 검증 세트 손실: 400374.312500 최선의 손실: 38.445351 정확도: 18.73% 10 검증 세트 손실: 21818.662109 최선의 손실: 38.445351 정확도: 18.73% 11 검증 세트 손실: 1312.091187 최선의 손실: 38.445351 정확도: 22.99% 12 검증 세트 손실: 1608.504639 최선의 손실: 38.445351 정확도: 19.43% 13 검증 세트 손실: 2046.536011 최선의 손실: 38.445351 정확도: 19.08% 14 검증 세트 손실: 1461.278809 최선의 손실: 38.445351 정확도: 18.73% 15 검증 세트 손실: 2537.042725 최선의 손실: 38.445351 정확도: 18.73% 16 검증 세트 손실: 23562.437500 최선의 손실: 38.445351 정확도: 18.73% 17 검증 세트 손실: 24169.664062 최선의 손실: 38.445351 정확도: 20.91% 18 검증 세트 손실: 1344.659790 최선의 손실: 38.445351 정확도: 18.73% 19 검증 세트 손실: 1203.428833 최선의 손실: 38.445351 정확도: 18.73% 20 검증 세트 손실: 1639.103638 최선의 손실: 38.445351 정확도: 23.77% 21 검증 세트 손실: 22627.021484 최선의 손실: 38.445351 정확도: 18.73% 22 검증 세트 손실: 14227.097656 최선의 손실: 38.445351 정확도: 20.91% 23 검증 세트 손실: 813.329529 최선의 손실: 38.445351 정확도: 20.76% 24 검증 세트 손실: 25147.031250 최선의 손실: 38.445351 정확도: 22.05% 조기 종료! [CV] n_neurons=50, learning_rate=0.05, dropout_rate=0.4, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 32.1s [CV] n_neurons=10, learning_rate=0.02, dropout_rate=0.3, batch_size=50, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.378505 최선의 손실: 0.378505 정확도: 79.01% 1 검증 세트 손실: 0.397977 최선의 손실: 0.378505 정확도: 79.36% 2 검증 세트 손실: 0.359068 최선의 손실: 0.359068 정확도: 85.50% 3 검증 세트 손실: 0.234362 최선의 손실: 0.234362 정확도: 94.25% 4 검증 세트 손실: 0.276820 최선의 손실: 0.234362 정확도: 94.88% 5 검증 세트 손실: 0.274045 최선의 손실: 0.234362 정확도: 94.72% 6 검증 세트 손실: 0.260528 최선의 손실: 0.234362 정확도: 95.19% 7 검증 세트 손실: 0.266070 최선의 손실: 0.234362 정확도: 95.74% 8 검증 세트 손실: 0.244648 최선의 손실: 0.234362 정확도: 94.64% 9 검증 세트 손실: 0.218990 최선의 손실: 0.218990 정확도: 95.74% 10 검증 세트 손실: 0.215926 최선의 손실: 0.215926 정확도: 96.09% 11 검증 세트 손실: 0.204943 최선의 손실: 0.204943 정확도: 95.62% 12 검증 세트 손실: 0.196352 최선의 손실: 0.196352 정확도: 96.17% 13 검증 세트 손실: 0.176620 최선의 손실: 0.176620 정확도: 95.93% 14 검증 세트 손실: 0.206286 최선의 손실: 0.176620 정확도: 94.49% 15 검증 세트 손실: 0.190147 최선의 손실: 0.176620 정확도: 96.01% 16 검증 세트 손실: 0.171768 최선의 손실: 0.171768 정확도: 95.93% 17 검증 세트 손실: 0.167704 최선의 손실: 0.167704 정확도: 96.13% 18 검증 세트 손실: 0.165286 최선의 손실: 0.165286 정확도: 96.29% 19 검증 세트 손실: 0.164057 최선의 손실: 0.164057 정확도: 95.15% 20 검증 세트 손실: 0.182673 최선의 손실: 0.164057 정확도: 96.05% 21 검증 세트 손실: 0.188386 최선의 손실: 0.164057 정확도: 96.29% 22 검증 세트 손실: 0.171687 최선의 손실: 0.164057 정확도: 95.86% 23 검증 세트 손실: 0.180352 최선의 손실: 0.164057 정확도: 95.82% 24 검증 세트 손실: 0.197026 최선의 손실: 0.164057 정확도: 96.13% 25 검증 세트 손실: 0.199370 최선의 손실: 0.164057 정확도: 95.90% 26 검증 세트 손실: 0.169776 최선의 손실: 0.164057 정확도: 96.29% 27 검증 세트 손실: 0.165599 최선의 손실: 0.164057 정확도: 96.09% 28 검증 세트 손실: 0.171008 최선의 손실: 0.164057 정확도: 95.47% 29 검증 세트 손실: 0.176957 최선의 손실: 0.164057 정확도: 95.54% 30 검증 세트 손실: 0.192464 최선의 손실: 0.164057 정확도: 95.82% 31 검증 세트 손실: 0.200069 최선의 손실: 0.164057 정확도: 95.27% 32 검증 세트 손실: 0.165137 최선의 손실: 0.164057 정확도: 94.96% 33 검증 세트 손실: 0.179739 최선의 손실: 0.164057 정확도: 95.82% 34 검증 세트 손실: 0.190253 최선의 손실: 0.164057 정확도: 96.13% 35 검증 세트 손실: 0.226093 최선의 손실: 0.164057 정확도: 95.39% 36 검증 세트 손실: 0.200396 최선의 손실: 0.164057 정확도: 95.27% 37 검증 세트 손실: 0.165076 최선의 손실: 0.164057 정확도: 96.01% 38 검증 세트 손실: 0.214629 최선의 손실: 0.164057 정확도: 95.23% 39 검증 세트 손실: 0.251773 최선의 손실: 0.164057 정확도: 95.23% 40 검증 세트 손실: 0.184222 최선의 손실: 0.164057 정확도: 95.47% 조기 종료! [CV] n_neurons=10, learning_rate=0.02, dropout_rate=0.3, batch_size=50, activation=<function elu at 0x7f8ec4ceef28>, total= 11.7s [CV] n_neurons=10, learning_rate=0.02, dropout_rate=0.3, batch_size=50, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.169709 최선의 손실: 0.169709 정확도: 95.66% 1 검증 세트 손실: 0.161642 최선의 손실: 0.161642 정확도: 95.74% 2 검증 세트 손실: 0.162375 최선의 손실: 0.161642 정확도: 95.58% 3 검증 세트 손실: 0.169963 최선의 손실: 0.161642 정확도: 95.39% 4 검증 세트 손실: 0.157588 최선의 손실: 0.157588 정확도: 95.35% 5 검증 세트 손실: 0.172106 최선의 손실: 0.157588 정확도: 95.31% 6 검증 세트 손실: 0.185939 최선의 손실: 0.157588 정확도: 95.23% 7 검증 세트 손실: 0.210236 최선의 손실: 0.157588 정확도: 94.92% 8 검증 세트 손실: 0.160056 최선의 손실: 0.157588 정확도: 96.05% 9 검증 세트 손실: 0.158486 최선의 손실: 0.157588 정확도: 96.05% 10 검증 세트 손실: 0.172258 최선의 손실: 0.157588 정확도: 95.54% 11 검증 세트 손실: 0.158581 최선의 손실: 0.157588 정확도: 95.04% 12 검증 세트 손실: 0.149956 최선의 손실: 0.149956 정확도: 96.09% 13 검증 세트 손실: 0.144909 최선의 손실: 0.144909 정확도: 96.29% 14 검증 세트 손실: 0.133541 최선의 손실: 0.133541 정확도: 96.68% 15 검증 세트 손실: 0.158912 최선의 손실: 0.133541 정확도: 95.74% 16 검증 세트 손실: 0.188781 최선의 손실: 0.133541 정확도: 95.54% 17 검증 세트 손실: 0.173417 최선의 손실: 0.133541 정확도: 95.86% 18 검증 세트 손실: 0.164307 최선의 손실: 0.133541 정확도: 95.58% 19 검증 세트 손실: 0.165615 최선의 손실: 0.133541 정확도: 95.62% 20 검증 세트 손실: 0.186611 최선의 손실: 0.133541 정확도: 95.07% 21 검증 세트 손실: 0.182687 최선의 손실: 0.133541 정확도: 95.07% 22 검증 세트 손실: 0.163097 최선의 손실: 0.133541 정확도: 95.66% 23 검증 세트 손실: 0.157391 최선의 손실: 0.133541 정확도: 95.93% 24 검증 세트 손실: 0.193066 최선의 손실: 0.133541 정확도: 95.62% 25 검증 세트 손실: 0.165805 최선의 손실: 0.133541 정확도: 96.21% 26 검증 세트 손실: 0.185268 최선의 손실: 0.133541 정확도: 95.62% 27 검증 세트 손실: 0.203362 최선의 손실: 0.133541 정확도: 96.01% 28 검증 세트 손실: 0.178342 최선의 손실: 0.133541 정확도: 95.54% 29 검증 세트 손실: 0.152247 최선의 손실: 0.133541 정확도: 96.36% 30 검증 세트 손실: 0.172631 최선의 손실: 0.133541 정확도: 95.97% 31 검증 세트 손실: 0.155928 최선의 손실: 0.133541 정확도: 95.70% 32 검증 세트 손실: 0.167591 최선의 손실: 0.133541 정확도: 96.01% 33 검증 세트 손실: 0.158421 최선의 손실: 0.133541 정확도: 95.82% 34 검증 세트 손실: 0.158772 최선의 손실: 0.133541 정확도: 95.82% 35 검증 세트 손실: 0.170053 최선의 손실: 0.133541 정확도: 95.50% 조기 종료! [CV] n_neurons=10, learning_rate=0.02, dropout_rate=0.3, batch_size=50, activation=<function elu at 0x7f8ec4ceef28>, total= 10.3s [CV] n_neurons=10, learning_rate=0.02, dropout_rate=0.3, batch_size=50, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.252271 최선의 손실: 0.252271 정확도: 94.61% 1 검증 세트 손실: 0.188164 최선의 손실: 0.188164 정확도: 95.62% 2 검증 세트 손실: 0.190711 최선의 손실: 0.188164 정확도: 96.05% 3 검증 세트 손실: 0.190668 최선의 손실: 0.188164 정확도: 95.11% 4 검증 세트 손실: 0.186524 최선의 손실: 0.186524 정확도: 95.66% 5 검증 세트 손실: 0.187148 최선의 손실: 0.186524 정확도: 95.62% 6 검증 세트 손실: 0.157382 최선의 손실: 0.157382 정확도: 96.33% 7 검증 세트 손실: 0.198029 최선의 손실: 0.157382 정확도: 95.74% 8 검증 세트 손실: 0.173710 최선의 손실: 0.157382 정확도: 96.56% 9 검증 세트 손실: 0.175780 최선의 손실: 0.157382 정확도: 96.68% 10 검증 세트 손실: 0.158069 최선의 손실: 0.157382 정확도: 96.52% 11 검증 세트 손실: 0.166437 최선의 손실: 0.157382 정확도: 96.25% 12 검증 세트 손실: 0.181593 최선의 손실: 0.157382 정확도: 96.44% 13 검증 세트 손실: 0.171344 최선의 손실: 0.157382 정확도: 96.17% 14 검증 세트 손실: 0.174306 최선의 손실: 0.157382 정확도: 96.52% 15 검증 세트 손실: 0.185109 최선의 손실: 0.157382 정확도: 96.25% 16 검증 세트 손실: 0.215537 최선의 손실: 0.157382 정확도: 96.64% 17 검증 세트 손실: 0.161476 최선의 손실: 0.157382 정확도: 96.52% 18 검증 세트 손실: 0.206435 최선의 손실: 0.157382 정확도: 96.25% 19 검증 세트 손실: 0.183388 최선의 손실: 0.157382 정확도: 95.39% 20 검증 세트 손실: 0.177885 최선의 손실: 0.157382 정확도: 96.52% 21 검증 세트 손실: 0.178806 최선의 손실: 0.157382 정확도: 96.79% 22 검증 세트 손실: 0.160159 최선의 손실: 0.157382 정확도: 96.79% 23 검증 세트 손실: 0.199237 최선의 손실: 0.157382 정확도: 96.76% 24 검증 세트 손실: 0.210128 최선의 손실: 0.157382 정확도: 96.29% 25 검증 세트 손실: 0.188449 최선의 손실: 0.157382 정확도: 96.56% 26 검증 세트 손실: 0.163255 최선의 손실: 0.157382 정확도: 97.03% 27 검증 세트 손실: 0.182511 최선의 손실: 0.157382 정확도: 95.78% 조기 종료! [CV] n_neurons=10, learning_rate=0.02, dropout_rate=0.3, batch_size=50, activation=<function elu at 0x7f8ec4ceef28>, total= 8.2s [CV] n_neurons=10, learning_rate=0.01, dropout_rate=0.2, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8> 0 검증 세트 손실: 0.598359 최선의 손실: 0.598359 정확도: 73.30% 1 검증 세트 손실: 0.462342 최선의 손실: 0.462342 정확도: 79.28% 2 검증 세트 손실: 0.408045 최선의 손실: 0.408045 정확도: 82.06% 3 검증 세트 손실: 0.375696 최선의 손실: 0.375696 정확도: 84.71% 4 검증 세트 손실: 0.350679 최선의 손실: 0.350679 정확도: 85.14% 5 검증 세트 손실: 0.330958 최선의 손실: 0.330958 정확도: 88.47% 6 검증 세트 손실: 0.338322 최선의 손실: 0.330958 정확도: 87.45% 7 검증 세트 손실: 0.351026 최선의 손실: 0.330958 정확도: 84.01% 8 검증 세트 손실: 0.338992 최선의 손실: 0.330958 정확도: 84.87% 9 검증 세트 손실: 0.275464 최선의 손실: 0.275464 정확도: 91.01% 10 검증 세트 손실: 0.250426 최선의 손실: 0.250426 정확도: 92.53% 11 검증 세트 손실: 0.210038 최선의 손실: 0.210038 정확도: 94.41% 12 검증 세트 손실: 0.205240 최선의 손실: 0.205240 정확도: 94.92% 13 검증 세트 손실: 0.201547 최선의 손실: 0.201547 정확도: 95.00% 14 검증 세트 손실: 0.216670 최선의 손실: 0.201547 정확도: 94.45% 15 검증 세트 손실: 0.215701 최선의 손실: 0.201547 정확도: 94.76% 16 검증 세트 손실: 0.181051 최선의 손실: 0.181051 정확도: 95.15% 17 검증 세트 손실: 0.201392 최선의 손실: 0.181051 정확도: 94.53% 18 검증 세트 손실: 0.207956 최선의 손실: 0.181051 정확도: 94.29% 19 검증 세트 손실: 0.193814 최선의 손실: 0.181051 정확도: 94.76% 20 검증 세트 손실: 0.193343 최선의 손실: 0.181051 정확도: 95.23% 21 검증 세트 손실: 0.189217 최선의 손실: 0.181051 정확도: 95.04% 22 검증 세트 손실: 0.182534 최선의 손실: 0.181051 정확도: 95.19% 23 검증 세트 손실: 0.183950 최선의 손실: 0.181051 정확도: 95.62% 24 검증 세트 손실: 0.206410 최선의 손실: 0.181051 정확도: 95.07% 25 검증 세트 손실: 0.175836 최선의 손실: 0.175836 정확도: 95.47% 26 검증 세트 손실: 0.198857 최선의 손실: 0.175836 정확도: 94.45% 27 검증 세트 손실: 0.189158 최선의 손실: 0.175836 정확도: 95.19% 28 검증 세트 손실: 0.172431 최선의 손실: 0.172431 정확도: 95.78% 29 검증 세트 손실: 0.170654 최선의 손실: 0.170654 정확도: 95.74% 30 검증 세트 손실: 0.172570 최선의 손실: 0.170654 정확도: 95.62% 31 검증 세트 손실: 0.177101 최선의 손실: 0.170654 정확도: 95.50% 32 검증 세트 손실: 0.180750 최선의 손실: 0.170654 정확도: 95.39% 33 검증 세트 손실: 0.173055 최선의 손실: 0.170654 정확도: 95.62% 34 검증 세트 손실: 0.193697 최선의 손실: 0.170654 정확도: 95.66% 35 검증 세트 손실: 0.190061 최선의 손실: 0.170654 정확도: 95.27% 36 검증 세트 손실: 0.181545 최선의 손실: 0.170654 정확도: 95.47% 37 검증 세트 손실: 0.177813 최선의 손실: 0.170654 정확도: 95.86% 38 검증 세트 손실: 0.182600 최선의 손실: 0.170654 정확도: 95.54% 39 검증 세트 손실: 0.179800 최선의 손실: 0.170654 정확도: 95.31% 40 검증 세트 손실: 0.170328 최선의 손실: 0.170328 정확도: 95.70% 41 검증 세트 손실: 0.169886 최선의 손실: 0.169886 정확도: 95.66% 42 검증 세트 손실: 0.165152 최선의 손실: 0.165152 정확도: 95.90% 43 검증 세트 손실: 0.169902 최선의 손실: 0.165152 정확도: 95.31% 44 검증 세트 손실: 0.154907 최선의 손실: 0.154907 정확도: 96.13% 45 검증 세트 손실: 0.168244 최선의 손실: 0.154907 정확도: 95.50% 46 검증 세트 손실: 0.160174 최선의 손실: 0.154907 정확도: 96.17% 47 검증 세트 손실: 0.150055 최선의 손실: 0.150055 정확도: 96.17% 48 검증 세트 손실: 0.168183 최선의 손실: 0.150055 정확도: 95.86% 49 검증 세트 손실: 0.159074 최선의 손실: 0.150055 정확도: 96.17% 50 검증 세트 손실: 0.154733 최선의 손실: 0.150055 정확도: 96.17% 51 검증 세트 손실: 0.164622 최선의 손실: 0.150055 정확도: 95.90% 52 검증 세트 손실: 0.165788 최선의 손실: 0.150055 정확도: 95.62% 53 검증 세트 손실: 0.163625 최선의 손실: 0.150055 정확도: 95.62% 54 검증 세트 손실: 0.150041 최선의 손실: 0.150041 정확도: 96.21% 55 검증 세트 손실: 0.144529 최선의 손실: 0.144529 정확도: 96.44% 56 검증 세트 손실: 0.143495 최선의 손실: 0.143495 정확도: 96.17% 57 검증 세트 손실: 0.149715 최선의 손실: 0.143495 정확도: 96.25% 58 검증 세트 손실: 0.152893 최선의 손실: 0.143495 정확도: 95.90% 59 검증 세트 손실: 0.159531 최선의 손실: 0.143495 정확도: 95.86% 60 검증 세트 손실: 0.151336 최선의 손실: 0.143495 정확도: 95.74% 61 검증 세트 손실: 0.140370 최선의 손실: 0.140370 정확도: 96.05% 62 검증 세트 손실: 0.147529 최선의 손실: 0.140370 정확도: 96.13% 63 검증 세트 손실: 0.143524 최선의 손실: 0.140370 정확도: 96.13% 64 검증 세트 손실: 0.153145 최선의 손실: 0.140370 정확도: 95.82% 65 검증 세트 손실: 0.149419 최선의 손실: 0.140370 정확도: 96.29% 66 검증 세트 손실: 0.143906 최선의 손실: 0.140370 정확도: 96.13% 67 검증 세트 손실: 0.142495 최선의 손실: 0.140370 정확도: 96.09% 68 검증 세트 손실: 0.140865 최선의 손실: 0.140370 정확도: 96.56% 69 검증 세트 손실: 0.150796 최선의 손실: 0.140370 정확도: 96.09% 70 검증 세트 손실: 0.128976 최선의 손실: 0.128976 정확도: 96.44% 71 검증 세트 손실: 0.140488 최선의 손실: 0.128976 정확도: 96.17% 72 검증 세트 손실: 0.151766 최선의 손실: 0.128976 정확도: 96.13% 73 검증 세트 손실: 0.137099 최선의 손실: 0.128976 정확도: 96.17% 74 검증 세트 손실: 0.136685 최선의 손실: 0.128976 정확도: 96.21% 75 검증 세트 손실: 0.149291 최선의 손실: 0.128976 정확도: 96.17% 76 검증 세트 손실: 0.148768 최선의 손실: 0.128976 정확도: 96.56% 77 검증 세트 손실: 0.138696 최선의 손실: 0.128976 정확도: 96.29% 78 검증 세트 손실: 0.142268 최선의 손실: 0.128976 정확도: 96.33% 79 검증 세트 손실: 0.146624 최선의 손실: 0.128976 정확도: 96.48% 80 검증 세트 손실: 0.147795 최선의 손실: 0.128976 정확도: 96.17% 81 검증 세트 손실: 0.153905 최선의 손실: 0.128976 정확도: 96.09% 82 검증 세트 손실: 0.147903 최선의 손실: 0.128976 정확도: 95.93% 83 검증 세트 손실: 0.146931 최선의 손실: 0.128976 정확도: 96.25% 84 검증 세트 손실: 0.145127 최선의 손실: 0.128976 정확도: 95.93% 85 검증 세트 손실: 0.149028 최선의 손실: 0.128976 정확도: 95.93% 86 검증 세트 손실: 0.154029 최선의 손실: 0.128976 정확도: 95.54% 87 검증 세트 손실: 0.145426 최선의 손실: 0.128976 정확도: 96.17% 88 검증 세트 손실: 0.142944 최선의 손실: 0.128976 정확도: 96.36% 89 검증 세트 손실: 0.153671 최선의 손실: 0.128976 정확도: 95.90% 90 검증 세트 손실: 0.137819 최선의 손실: 0.128976 정확도: 96.29% 91 검증 세트 손실: 0.145495 최선의 손실: 0.128976 정확도: 96.09% 조기 종료! [CV] n_neurons=10, learning_rate=0.01, dropout_rate=0.2, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 18.7s [CV] n_neurons=10, learning_rate=0.01, dropout_rate=0.2, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8> 0 검증 세트 손실: 0.510445 최선의 손실: 0.510445 정확도: 85.73% 1 검증 세트 손실: 0.365506 최선의 손실: 0.365506 정확도: 90.46% 2 검증 세트 손실: 0.293570 최선의 손실: 0.293570 정확도: 91.99% 3 검증 세트 손실: 0.205106 최선의 손실: 0.205106 정확도: 93.35% 4 검증 세트 손실: 0.234869 최선의 손실: 0.205106 정확도: 91.56% 5 검증 세트 손실: 0.160045 최선의 손실: 0.160045 정확도: 95.47% 6 검증 세트 손실: 0.148276 최선의 손실: 0.148276 정확도: 95.90% 7 검증 세트 손실: 0.152674 최선의 손실: 0.148276 정확도: 95.74% 8 검증 세트 손실: 0.145286 최선의 손실: 0.145286 정확도: 95.90% 9 검증 세트 손실: 0.139049 최선의 손실: 0.139049 정확도: 95.82% 10 검증 세트 손실: 0.136509 최선의 손실: 0.136509 정확도: 95.35% 11 검증 세트 손실: 0.127749 최선의 손실: 0.127749 정확도: 96.25% 12 검증 세트 손실: 0.125797 최선의 손실: 0.125797 정확도: 96.29% 13 검증 세트 손실: 0.118525 최선의 손실: 0.118525 정확도: 96.64% 14 검증 세트 손실: 0.130955 최선의 손실: 0.118525 정확도: 95.62% 15 검증 세트 손실: 0.105813 최선의 손실: 0.105813 정확도: 96.72% 16 검증 세트 손실: 0.122095 최선의 손실: 0.105813 정확도: 96.60% 17 검증 세트 손실: 0.131818 최선의 손실: 0.105813 정확도: 96.36% 18 검증 세트 손실: 0.134482 최선의 손실: 0.105813 정확도: 95.82% 19 검증 세트 손실: 0.120906 최선의 손실: 0.105813 정확도: 96.68% 20 검증 세트 손실: 0.126169 최선의 손실: 0.105813 정확도: 96.40% 21 검증 세트 손실: 0.121368 최선의 손실: 0.105813 정확도: 96.17% 22 검증 세트 손실: 0.116456 최선의 손실: 0.105813 정확도: 96.48% 23 검증 세트 손실: 0.134643 최선의 손실: 0.105813 정확도: 96.64% 24 검증 세트 손실: 0.124387 최선의 손실: 0.105813 정확도: 96.48% 25 검증 세트 손실: 0.130338 최선의 손실: 0.105813 정확도: 96.60% 26 검증 세트 손실: 0.121358 최선의 손실: 0.105813 정확도: 96.64% 27 검증 세트 손실: 0.124554 최선의 손실: 0.105813 정확도: 96.64% 28 검증 세트 손실: 0.118494 최선의 손실: 0.105813 정확도: 96.68% 29 검증 세트 손실: 0.115327 최선의 손실: 0.105813 정확도: 96.25% 30 검증 세트 손실: 0.129324 최선의 손실: 0.105813 정확도: 96.91% 31 검증 세트 손실: 0.114175 최선의 손실: 0.105813 정확도: 96.87% 32 검증 세트 손실: 0.114836 최선의 손실: 0.105813 정확도: 96.91% 33 검증 세트 손실: 0.125323 최선의 손실: 0.105813 정확도: 96.48% 34 검증 세트 손실: 0.111895 최선의 손실: 0.105813 정확도: 96.72% 35 검증 세트 손실: 0.122374 최선의 손실: 0.105813 정확도: 96.72% 36 검증 세트 손실: 0.123281 최선의 손실: 0.105813 정확도: 96.25% 조기 종료! [CV] n_neurons=10, learning_rate=0.01, dropout_rate=0.2, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 7.8s [CV] n_neurons=10, learning_rate=0.01, dropout_rate=0.2, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8> 0 검증 세트 손실: 0.406876 최선의 손실: 0.406876 정확도: 91.20% 1 검증 세트 손실: 0.314516 최선의 손실: 0.314516 정확도: 93.71% 2 검증 세트 손실: 0.236529 최선의 손실: 0.236529 정확도: 94.49% 3 검증 세트 손실: 0.283583 최선의 손실: 0.236529 정확도: 95.00% 4 검증 세트 손실: 0.213848 최선의 손실: 0.213848 정확도: 95.04% 5 검증 세트 손실: 0.200117 최선의 손실: 0.200117 정확도: 95.58% 6 검증 세트 손실: 0.212666 최선의 손실: 0.200117 정확도: 95.58% 7 검증 세트 손실: 0.212105 최선의 손실: 0.200117 정확도: 95.11% 8 검증 세트 손실: 0.192059 최선의 손실: 0.192059 정확도: 95.93% 9 검증 세트 손실: 0.179674 최선의 손실: 0.179674 정확도: 95.93% 10 검증 세트 손실: 0.187864 최선의 손실: 0.179674 정확도: 95.50% 11 검증 세트 손실: 0.184690 최선의 손실: 0.179674 정확도: 95.66% 12 검증 세트 손실: 0.163649 최선의 손실: 0.163649 정확도: 95.66% 13 검증 세트 손실: 0.167982 최선의 손실: 0.163649 정확도: 95.74% 14 검증 세트 손실: 0.174398 최선의 손실: 0.163649 정확도: 95.58% 15 검증 세트 손실: 0.162934 최선의 손실: 0.162934 정확도: 96.05% 16 검증 세트 손실: 0.164214 최선의 손실: 0.162934 정확도: 96.36% 17 검증 세트 손실: 0.147516 최선의 손실: 0.147516 정확도: 96.44% 18 검증 세트 손실: 0.162952 최선의 손실: 0.147516 정확도: 96.17% 19 검증 세트 손실: 0.147094 최선의 손실: 0.147094 정확도: 95.97% 20 검증 세트 손실: 0.150028 최선의 손실: 0.147094 정확도: 96.21% 21 검증 세트 손실: 0.145311 최선의 손실: 0.145311 정확도: 96.25% 22 검증 세트 손실: 0.144624 최선의 손실: 0.144624 정확도: 96.56% 23 검증 세트 손실: 0.149064 최선의 손실: 0.144624 정확도: 96.60% 24 검증 세트 손실: 0.147738 최선의 손실: 0.144624 정확도: 96.13% 25 검증 세트 손실: 0.143402 최선의 손실: 0.143402 정확도: 96.36% 26 검증 세트 손실: 0.132828 최선의 손실: 0.132828 정확도: 96.91% 27 검증 세트 손실: 0.130563 최선의 손실: 0.130563 정확도: 96.83% 28 검증 세트 손실: 0.143916 최선의 손실: 0.130563 정확도: 96.33% 29 검증 세트 손실: 0.144870 최선의 손실: 0.130563 정확도: 96.72% 30 검증 세트 손실: 0.166481 최선의 손실: 0.130563 정확도: 95.93% 31 검증 세트 손실: 0.146046 최선의 손실: 0.130563 정확도: 96.13% 32 검증 세트 손실: 0.148013 최선의 손실: 0.130563 정확도: 96.64% 33 검증 세트 손실: 0.138635 최선의 손실: 0.130563 정확도: 96.99% 34 검증 세트 손실: 0.133262 최선의 손실: 0.130563 정확도: 96.68% 35 검증 세트 손실: 0.127325 최선의 손실: 0.127325 정확도: 96.68% 36 검증 세트 손실: 0.120871 최선의 손실: 0.120871 정확도: 97.26% 37 검증 세트 손실: 0.143087 최선의 손실: 0.120871 정확도: 96.21% 38 검증 세트 손실: 0.115331 최선의 손실: 0.115331 정확도: 97.26% 39 검증 세트 손실: 0.128594 최선의 손실: 0.115331 정확도: 96.91% 40 검증 세트 손실: 0.128779 최선의 손실: 0.115331 정확도: 96.79% 41 검증 세트 손실: 0.133670 최선의 손실: 0.115331 정확도: 96.56% 42 검증 세트 손실: 0.133458 최선의 손실: 0.115331 정확도: 96.87% 43 검증 세트 손실: 0.129903 최선의 손실: 0.115331 정확도: 96.91% 44 검증 세트 손실: 0.122157 최선의 손실: 0.115331 정확도: 96.95% 45 검증 세트 손실: 0.139880 최선의 손실: 0.115331 정확도: 96.99% 46 검증 세트 손실: 0.130449 최선의 손실: 0.115331 정확도: 96.56% 47 검증 세트 손실: 0.130252 최선의 손실: 0.115331 정확도: 96.64% 48 검증 세트 손실: 0.144143 최선의 손실: 0.115331 정확도: 96.48% 49 검증 세트 손실: 0.143847 최선의 손실: 0.115331 정확도: 96.36% 50 검증 세트 손실: 0.132486 최선의 손실: 0.115331 정확도: 96.91% 51 검증 세트 손실: 0.130481 최선의 손실: 0.115331 정확도: 96.76% 52 검증 세트 손실: 0.129004 최선의 손실: 0.115331 정확도: 97.03% 53 검증 세트 손실: 0.129679 최선의 손실: 0.115331 정확도: 96.99% 54 검증 세트 손실: 0.126573 최선의 손실: 0.115331 정확도: 96.68% 55 검증 세트 손실: 0.127195 최선의 손실: 0.115331 정확도: 96.68% 56 검증 세트 손실: 0.118238 최선의 손실: 0.115331 정확도: 97.03% 57 검증 세트 손실: 0.123130 최선의 손실: 0.115331 정확도: 96.60% 58 검증 세트 손실: 0.124429 최선의 손실: 0.115331 정확도: 96.60% 59 검증 세트 손실: 0.116324 최선의 손실: 0.115331 정확도: 97.03% 조기 종료! [CV] n_neurons=10, learning_rate=0.01, dropout_rate=0.2, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 12.4s [CV] n_neurons=50, learning_rate=0.01, dropout_rate=0.4, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0> 0 검증 세트 손실: 0.142217 최선의 손실: 0.142217 정확도: 95.31% 1 검증 세트 손실: 0.113657 최선의 손실: 0.113657 정확도: 96.64% 2 검증 세트 손실: 0.090222 최선의 손실: 0.090222 정확도: 97.50% 3 검증 세트 손실: 0.090379 최선의 손실: 0.090222 정확도: 97.42% 4 검증 세트 손실: 0.081616 최선의 손실: 0.081616 정확도: 97.77% 5 검증 세트 손실: 0.078352 최선의 손실: 0.078352 정확도: 97.77% 6 검증 세트 손실: 0.080142 최선의 손실: 0.078352 정확도: 98.20% 7 검증 세트 손실: 0.075304 최선의 손실: 0.075304 정확도: 97.58% 8 검증 세트 손실: 0.077158 최선의 손실: 0.075304 정확도: 98.20% 9 검증 세트 손실: 0.075649 최선의 손실: 0.075304 정확도: 97.69% 10 검증 세트 손실: 0.080423 최선의 손실: 0.075304 정확도: 97.97% 11 검증 세트 손실: 0.073890 최선의 손실: 0.073890 정확도: 98.12% 12 검증 세트 손실: 0.068166 최선의 손실: 0.068166 정확도: 98.01% 13 검증 세트 손실: 0.073996 최선의 손실: 0.068166 정확도: 98.08% 14 검증 세트 손실: 0.074140 최선의 손실: 0.068166 정확도: 98.24% 15 검증 세트 손실: 0.067414 최선의 손실: 0.067414 정확도: 98.28% 16 검증 세트 손실: 0.068797 최선의 손실: 0.067414 정확도: 98.28% 17 검증 세트 손실: 0.066379 최선의 손실: 0.066379 정확도: 98.20% 18 검증 세트 손실: 0.065176 최선의 손실: 0.065176 정확도: 98.20% 19 검증 세트 손실: 0.061905 최선의 손실: 0.061905 정확도: 98.36% 20 검증 세트 손실: 0.063197 최선의 손실: 0.061905 정확도: 98.20% 21 검증 세트 손실: 0.064045 최선의 손실: 0.061905 정확도: 98.20% 22 검증 세트 손실: 0.064170 최선의 손실: 0.061905 정확도: 98.16% 23 검증 세트 손실: 0.073653 최선의 손실: 0.061905 정확도: 98.16% 24 검증 세트 손실: 0.067172 최선의 손실: 0.061905 정확도: 98.20% 25 검증 세트 손실: 0.068148 최선의 손실: 0.061905 정확도: 98.55% 26 검증 세트 손실: 0.069736 최선의 손실: 0.061905 정확도: 98.12% 27 검증 세트 손실: 0.061564 최선의 손실: 0.061564 정확도: 98.44% 28 검증 세트 손실: 0.059724 최선의 손실: 0.059724 정확도: 98.32% 29 검증 세트 손실: 0.065138 최선의 손실: 0.059724 정확도: 98.36% 30 검증 세트 손실: 0.065829 최선의 손실: 0.059724 정확도: 98.51% 31 검증 세트 손실: 0.062785 최선의 손실: 0.059724 정확도: 98.40% 32 검증 세트 손실: 0.062678 최선의 손실: 0.059724 정확도: 98.36% 33 검증 세트 손실: 0.063125 최선의 손실: 0.059724 정확도: 98.36% 34 검증 세트 손실: 0.062311 최선의 손실: 0.059724 정확도: 98.51% 35 검증 세트 손실: 0.068136 최선의 손실: 0.059724 정확도: 98.28% 36 검증 세트 손실: 0.061501 최선의 손실: 0.059724 정확도: 98.51% 37 검증 세트 손실: 0.059774 최선의 손실: 0.059724 정확도: 98.63% 38 검증 세트 손실: 0.060070 최선의 손실: 0.059724 정확도: 98.32% 39 검증 세트 손실: 0.059229 최선의 손실: 0.059229 정확도: 98.55% 40 검증 세트 손실: 0.068299 최선의 손실: 0.059229 정확도: 98.40% 41 검증 세트 손실: 0.061428 최선의 손실: 0.059229 정확도: 98.44% 42 검증 세트 손실: 0.065187 최선의 손실: 0.059229 정확도: 98.32% 43 검증 세트 손실: 0.062928 최선의 손실: 0.059229 정확도: 98.28% 44 검증 세트 손실: 0.068051 최선의 손실: 0.059229 정확도: 98.32% 45 검증 세트 손실: 0.062875 최선의 손실: 0.059229 정확도: 98.36% 46 검증 세트 손실: 0.069131 최선의 손실: 0.059229 정확도: 98.48% 47 검증 세트 손실: 0.059803 최선의 손실: 0.059229 정확도: 98.51% 48 검증 세트 손실: 0.056545 최선의 손실: 0.056545 정확도: 98.59% 49 검증 세트 손실: 0.059578 최선의 손실: 0.056545 정확도: 98.55% 50 검증 세트 손실: 0.060451 최선의 손실: 0.056545 정확도: 98.55% 51 검증 세트 손실: 0.066508 최선의 손실: 0.056545 정확도: 98.55% 52 검증 세트 손실: 0.063715 최선의 손실: 0.056545 정확도: 98.44% 53 검증 세트 손실: 0.074736 최선의 손실: 0.056545 정확도: 98.24% 54 검증 세트 손실: 0.058131 최선의 손실: 0.056545 정확도: 98.59% 55 검증 세트 손실: 0.061953 최선의 손실: 0.056545 정확도: 98.55% 56 검증 세트 손실: 0.064195 최선의 손실: 0.056545 정확도: 98.40% 57 검증 세트 손실: 0.058570 최선의 손실: 0.056545 정확도: 98.71% 58 검증 세트 손실: 0.062603 최선의 손실: 0.056545 정확도: 98.48% 59 검증 세트 손실: 0.059592 최선의 손실: 0.056545 정확도: 98.51% 60 검증 세트 손실: 0.062988 최선의 손실: 0.056545 정확도: 98.40% 61 검증 세트 손실: 0.062816 최선의 손실: 0.056545 정확도: 98.40% 62 검증 세트 손실: 0.063559 최선의 손실: 0.056545 정확도: 98.36% 63 검증 세트 손실: 0.060814 최선의 손실: 0.056545 정확도: 98.59% 64 검증 세트 손실: 0.069339 최선의 손실: 0.056545 정확도: 98.44% 65 검증 세트 손실: 0.065884 최선의 손실: 0.056545 정확도: 98.24% 66 검증 세트 손실: 0.062427 최선의 손실: 0.056545 정확도: 98.51% 67 검증 세트 손실: 0.060347 최선의 손실: 0.056545 정확도: 98.48% 68 검증 세트 손실: 0.062633 최선의 손실: 0.056545 정확도: 98.32% 69 검증 세트 손실: 0.066066 최선의 손실: 0.056545 정확도: 98.44% 조기 종료! [CV] n_neurons=50, learning_rate=0.01, dropout_rate=0.4, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 13.0s [CV] n_neurons=50, learning_rate=0.01, dropout_rate=0.4, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0> 0 검증 세트 손실: 0.149075 최선의 손실: 0.149075 정확도: 95.82% 1 검증 세트 손실: 0.111552 최선의 손실: 0.111552 정확도: 96.99% 2 검증 세트 손실: 0.114699 최선의 손실: 0.111552 정확도: 97.03% 3 검증 세트 손실: 0.089521 최선의 손실: 0.089521 정확도: 97.77% 4 검증 세트 손실: 0.089086 최선의 손실: 0.089086 정확도: 97.58% 5 검증 세트 손실: 0.085411 최선의 손실: 0.085411 정확도: 97.69% 6 검증 세트 손실: 0.086069 최선의 손실: 0.085411 정확도: 97.62% 7 검증 세트 손실: 0.083060 최선의 손실: 0.083060 정확도: 97.65% 8 검증 세트 손실: 0.072866 최선의 손실: 0.072866 정확도: 97.77% 9 검증 세트 손실: 0.071289 최선의 손실: 0.071289 정확도: 97.85% 10 검증 세트 손실: 0.079241 최선의 손실: 0.071289 정확도: 97.65% 11 검증 세트 손실: 0.074313 최선의 손실: 0.071289 정확도: 98.05% 12 검증 세트 손실: 0.070315 최선의 손실: 0.070315 정확도: 97.97% 13 검증 세트 손실: 0.064459 최선의 손실: 0.064459 정확도: 98.36% 14 검증 세트 손실: 0.070985 최선의 손실: 0.064459 정확도: 98.32% 15 검증 세트 손실: 0.066696 최선의 손실: 0.064459 정확도: 98.20% 16 검증 세트 손실: 0.069891 최선의 손실: 0.064459 정확도: 98.08% 17 검증 세트 손실: 0.063890 최선의 손실: 0.063890 정확도: 98.20% 18 검증 세트 손실: 0.065718 최선의 손실: 0.063890 정확도: 98.12% 19 검증 세트 손실: 0.069201 최선의 손실: 0.063890 정확도: 98.28% 20 검증 세트 손실: 0.068709 최선의 손실: 0.063890 정확도: 98.01% 21 검증 세트 손실: 0.060843 최선의 손실: 0.060843 정확도: 98.28% 22 검증 세트 손실: 0.064882 최선의 손실: 0.060843 정확도: 98.28% 23 검증 세트 손실: 0.065632 최선의 손실: 0.060843 정확도: 98.12% 24 검증 세트 손실: 0.065037 최선의 손실: 0.060843 정확도: 98.16% 25 검증 세트 손실: 0.062566 최선의 손실: 0.060843 정확도: 98.24% 26 검증 세트 손실: 0.066814 최선의 손실: 0.060843 정확도: 98.05% 27 검증 세트 손실: 0.073606 최선의 손실: 0.060843 정확도: 98.12% 28 검증 세트 손실: 0.062814 최선의 손실: 0.060843 정확도: 98.20% 29 검증 세트 손실: 0.067034 최선의 손실: 0.060843 정확도: 98.20% 30 검증 세트 손실: 0.066940 최선의 손실: 0.060843 정확도: 98.16% 31 검증 세트 손실: 0.070543 최선의 손실: 0.060843 정확도: 98.05% 32 검증 세트 손실: 0.063627 최선의 손실: 0.060843 정확도: 98.36% 33 검증 세트 손실: 0.063312 최선의 손실: 0.060843 정확도: 98.32% 34 검증 세트 손실: 0.064839 최선의 손실: 0.060843 정확도: 98.51% 35 검증 세트 손실: 0.063430 최선의 손실: 0.060843 정확도: 98.16% 36 검증 세트 손실: 0.064128 최선의 손실: 0.060843 정확도: 98.32% 37 검증 세트 손실: 0.060842 최선의 손실: 0.060842 정확도: 98.28% 38 검증 세트 손실: 0.065530 최선의 손실: 0.060842 정확도: 98.36% 39 검증 세트 손실: 0.063593 최선의 손실: 0.060842 정확도: 98.40% 40 검증 세트 손실: 0.067466 최선의 손실: 0.060842 정확도: 98.16% 41 검증 세트 손실: 0.065196 최선의 손실: 0.060842 정확도: 98.16% 42 검증 세트 손실: 0.058316 최선의 손실: 0.058316 정확도: 98.51% 43 검증 세트 손실: 0.059677 최선의 손실: 0.058316 정확도: 98.44% 44 검증 세트 손실: 0.056917 최선의 손실: 0.056917 정확도: 98.36% 45 검증 세트 손실: 0.058325 최선의 손실: 0.056917 정확도: 98.40% 46 검증 세트 손실: 0.061686 최선의 손실: 0.056917 정확도: 98.36% 47 검증 세트 손실: 0.056063 최선의 손실: 0.056063 정확도: 98.40% 48 검증 세트 손실: 0.056516 최선의 손실: 0.056063 정확도: 98.32% 49 검증 세트 손실: 0.062692 최선의 손실: 0.056063 정확도: 98.28% 50 검증 세트 손실: 0.054586 최선의 손실: 0.054586 정확도: 98.40% 51 검증 세트 손실: 0.053390 최선의 손실: 0.053390 정확도: 98.55% 52 검증 세트 손실: 0.057169 최선의 손실: 0.053390 정확도: 98.44% 53 검증 세트 손실: 0.054794 최선의 손실: 0.053390 정확도: 98.32% 54 검증 세트 손실: 0.053756 최선의 손실: 0.053390 정확도: 98.55% 55 검증 세트 손실: 0.062362 최선의 손실: 0.053390 정확도: 98.36% 56 검증 세트 손실: 0.060249 최선의 손실: 0.053390 정확도: 98.48% 57 검증 세트 손실: 0.052268 최선의 손실: 0.052268 정확도: 98.51% 58 검증 세트 손실: 0.061462 최선의 손실: 0.052268 정확도: 98.59% 59 검증 세트 손실: 0.052732 최선의 손실: 0.052268 정확도: 98.63% 60 검증 세트 손실: 0.063689 최선의 손실: 0.052268 정확도: 98.44% 61 검증 세트 손실: 0.064297 최선의 손실: 0.052268 정확도: 98.36% 62 검증 세트 손실: 0.067426 최선의 손실: 0.052268 정확도: 98.28% 63 검증 세트 손실: 0.061228 최선의 손실: 0.052268 정확도: 98.28% 64 검증 세트 손실: 0.063373 최선의 손실: 0.052268 정확도: 98.44% 65 검증 세트 손실: 0.061235 최선의 손실: 0.052268 정확도: 98.55% 66 검증 세트 손실: 0.062470 최선의 손실: 0.052268 정확도: 98.51% 67 검증 세트 손실: 0.063428 최선의 손실: 0.052268 정확도: 98.51% 68 검증 세트 손실: 0.064388 최선의 손실: 0.052268 정확도: 98.44% 69 검증 세트 손실: 0.060647 최선의 손실: 0.052268 정확도: 98.40% 70 검증 세트 손실: 0.059350 최선의 손실: 0.052268 정확도: 98.40% 71 검증 세트 손실: 0.065929 최선의 손실: 0.052268 정확도: 98.36% 72 검증 세트 손실: 0.069900 최선의 손실: 0.052268 정확도: 98.36% 73 검증 세트 손실: 0.062133 최선의 손실: 0.052268 정확도: 98.40% 74 검증 세트 손실: 0.075194 최선의 손실: 0.052268 정확도: 97.89% 75 검증 세트 손실: 0.057322 최선의 손실: 0.052268 정확도: 98.44% 76 검증 세트 손실: 0.065429 최선의 손실: 0.052268 정확도: 98.40% 77 검증 세트 손실: 0.061751 최선의 손실: 0.052268 정확도: 98.40% 78 검증 세트 손실: 0.062043 최선의 손실: 0.052268 정확도: 98.28% 조기 종료! [CV] n_neurons=50, learning_rate=0.01, dropout_rate=0.4, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 14.6s [CV] n_neurons=50, learning_rate=0.01, dropout_rate=0.4, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0> 0 검증 세트 손실: 0.137636 최선의 손실: 0.137636 정확도: 96.01% 1 검증 세트 손실: 0.114974 최선의 손실: 0.114974 정확도: 96.83% 2 검증 세트 손실: 0.099105 최선의 손실: 0.099105 정확도: 97.19% 3 검증 세트 손실: 0.090627 최선의 손실: 0.090627 정확도: 97.62% 4 검증 세트 손실: 0.091347 최선의 손실: 0.090627 정확도: 97.69% 5 검증 세트 손실: 0.083335 최선의 손실: 0.083335 정확도: 97.89% 6 검증 세트 손실: 0.077572 최선의 손실: 0.077572 정확도: 98.16% 7 검증 세트 손실: 0.080820 최선의 손실: 0.077572 정확도: 97.85% 8 검증 세트 손실: 0.074780 최선의 손실: 0.074780 정확도: 98.01% 9 검증 세트 손실: 0.070886 최선의 손실: 0.070886 정확도: 98.08% 10 검증 세트 손실: 0.070880 최선의 손실: 0.070880 정확도: 97.97% 11 검증 세트 손실: 0.073093 최선의 손실: 0.070880 정확도: 98.05% 12 검증 세트 손실: 0.074750 최선의 손실: 0.070880 정확도: 97.81% 13 검증 세트 손실: 0.066300 최선의 손실: 0.066300 정확도: 98.24% 14 검증 세트 손실: 0.068915 최선의 손실: 0.066300 정확도: 98.01% 15 검증 세트 손실: 0.067533 최선의 손실: 0.066300 정확도: 98.08% 16 검증 세트 손실: 0.067286 최선의 손실: 0.066300 정확도: 98.24% 17 검증 세트 손실: 0.063595 최선의 손실: 0.063595 정확도: 98.36% 18 검증 세트 손실: 0.062044 최선의 손실: 0.062044 정확도: 98.28% 19 검증 세트 손실: 0.070157 최선의 손실: 0.062044 정확도: 98.36% 20 검증 세트 손실: 0.069008 최선의 손실: 0.062044 정확도: 98.40% 21 검증 세트 손실: 0.069179 최선의 손실: 0.062044 정확도: 98.40% 22 검증 세트 손실: 0.063055 최선의 손실: 0.062044 정확도: 98.24% 23 검증 세트 손실: 0.064684 최선의 손실: 0.062044 정확도: 98.59% 24 검증 세트 손실: 0.072645 최선의 손실: 0.062044 정확도: 98.20% 25 검증 세트 손실: 0.066539 최선의 손실: 0.062044 정확도: 98.32% 26 검증 세트 손실: 0.069047 최선의 손실: 0.062044 정확도: 98.40% 27 검증 세트 손실: 0.066939 최선의 손실: 0.062044 정확도: 98.40% 28 검증 세트 손실: 0.061899 최선의 손실: 0.061899 정확도: 98.40% 29 검증 세트 손실: 0.065258 최선의 손실: 0.061899 정확도: 98.55% 30 검증 세트 손실: 0.062287 최선의 손실: 0.061899 정확도: 98.44% 31 검증 세트 손실: 0.058559 최선의 손실: 0.058559 정확도: 98.44% 32 검증 세트 손실: 0.058812 최선의 손실: 0.058559 정확도: 98.55% 33 검증 세트 손실: 0.061717 최선의 손실: 0.058559 정확도: 98.48% 34 검증 세트 손실: 0.063136 최선의 손실: 0.058559 정확도: 98.36% 35 검증 세트 손실: 0.060914 최선의 손실: 0.058559 정확도: 98.44% 36 검증 세트 손실: 0.062406 최선의 손실: 0.058559 정확도: 98.44% 37 검증 세트 손실: 0.055786 최선의 손실: 0.055786 정확도: 98.55% 38 검증 세트 손실: 0.059501 최선의 손실: 0.055786 정확도: 98.32% 39 검증 세트 손실: 0.059399 최선의 손실: 0.055786 정확도: 98.40% 40 검증 세트 손실: 0.071760 최선의 손실: 0.055786 정확도: 98.32% 41 검증 세트 손실: 0.059040 최선의 손실: 0.055786 정확도: 98.24% 42 검증 세트 손실: 0.060175 최선의 손실: 0.055786 정확도: 98.40% 43 검증 세트 손실: 0.061024 최선의 손실: 0.055786 정확도: 98.40% 44 검증 세트 손실: 0.064714 최선의 손실: 0.055786 정확도: 98.51% 45 검증 세트 손실: 0.059726 최선의 손실: 0.055786 정확도: 98.59% 46 검증 세트 손실: 0.056772 최선의 손실: 0.055786 정확도: 98.32% 47 검증 세트 손실: 0.060617 최선의 손실: 0.055786 정확도: 98.32% 48 검증 세트 손실: 0.056420 최선의 손실: 0.055786 정확도: 98.55% 49 검증 세트 손실: 0.060016 최선의 손실: 0.055786 정확도: 98.44% 50 검증 세트 손실: 0.060034 최선의 손실: 0.055786 정확도: 98.51% 51 검증 세트 손실: 0.064099 최선의 손실: 0.055786 정확도: 98.40% 52 검증 세트 손실: 0.060130 최선의 손실: 0.055786 정확도: 98.40% 53 검증 세트 손실: 0.054751 최선의 손실: 0.054751 정확도: 98.59% 54 검증 세트 손실: 0.063352 최선의 손실: 0.054751 정확도: 98.36% 55 검증 세트 손실: 0.054811 최선의 손실: 0.054751 정확도: 98.63% 56 검증 세트 손실: 0.060144 최선의 손실: 0.054751 정확도: 98.59% 57 검증 세트 손실: 0.060580 최선의 손실: 0.054751 정확도: 98.48% 58 검증 세트 손실: 0.059976 최선의 손실: 0.054751 정확도: 98.51% 59 검증 세트 손실: 0.057658 최선의 손실: 0.054751 정확도: 98.55% 60 검증 세트 손실: 0.062643 최선의 손실: 0.054751 정확도: 98.32% 61 검증 세트 손실: 0.061535 최선의 손실: 0.054751 정확도: 98.51% 62 검증 세트 손실: 0.057562 최선의 손실: 0.054751 정확도: 98.59% 63 검증 세트 손실: 0.056772 최선의 손실: 0.054751 정확도: 98.44% 64 검증 세트 손실: 0.055549 최선의 손실: 0.054751 정확도: 98.55% 65 검증 세트 손실: 0.066756 최선의 손실: 0.054751 정확도: 98.48% 66 검증 세트 손실: 0.059483 최선의 손실: 0.054751 정확도: 98.44% 67 검증 세트 손실: 0.059961 최선의 손실: 0.054751 정확도: 98.59% 68 검증 세트 손실: 0.055412 최선의 손실: 0.054751 정확도: 98.44% 69 검증 세트 손실: 0.054928 최선의 손실: 0.054751 정확도: 98.59% 70 검증 세트 손실: 0.059427 최선의 손실: 0.054751 정확도: 98.59% 71 검증 세트 손실: 0.058266 최선의 손실: 0.054751 정확도: 98.59% 72 검증 세트 손실: 0.060038 최선의 손실: 0.054751 정확도: 98.44% 73 검증 세트 손실: 0.064041 최선의 손실: 0.054751 정확도: 98.51% 74 검증 세트 손실: 0.066428 최선의 손실: 0.054751 정확도: 98.32% 조기 종료! [CV] n_neurons=50, learning_rate=0.01, dropout_rate=0.4, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 13.9s [CV] n_neurons=10, learning_rate=0.1, dropout_rate=0.2, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0> 0 검증 세트 손실: 0.749726 최선의 손실: 0.749726 정확도: 69.43% 1 검증 세트 손실: 0.358203 최선의 손실: 0.358203 정확도: 91.01% 2 검증 세트 손실: 0.295701 최선의 손실: 0.295701 정확도: 92.73% 3 검증 세트 손실: 0.244571 최선의 손실: 0.244571 정확도: 94.57% 4 검증 세트 손실: 0.181874 최선의 손실: 0.181874 정확도: 95.86% 5 검증 세트 손실: 0.186642 최선의 손실: 0.181874 정확도: 95.11% 6 검증 세트 손실: 0.169903 최선의 손실: 0.169903 정확도: 95.54% 7 검증 세트 손실: 0.183135 최선의 손실: 0.169903 정확도: 95.66% 8 검증 세트 손실: 0.182944 최선의 손실: 0.169903 정확도: 94.80% 9 검증 세트 손실: 0.256468 최선의 손실: 0.169903 정확도: 94.25% 10 검증 세트 손실: 0.247312 최선의 손실: 0.169903 정확도: 93.32% 11 검증 세트 손실: 0.308530 최선의 손실: 0.169903 정확도: 92.77% 12 검증 세트 손실: 0.238473 최선의 손실: 0.169903 정확도: 93.90% 13 검증 세트 손실: 0.220907 최선의 손실: 0.169903 정확도: 93.94% 14 검증 세트 손실: 0.203868 최선의 손실: 0.169903 정확도: 94.64% 15 검증 세트 손실: 0.210521 최선의 손실: 0.169903 정확도: 94.37% 16 검증 세트 손실: 0.229533 최선의 손실: 0.169903 정확도: 95.23% 17 검증 세트 손실: 0.221676 최선의 손실: 0.169903 정확도: 95.27% 18 검증 세트 손실: 0.198135 최선의 손실: 0.169903 정확도: 95.66% 19 검증 세트 손실: 0.215873 최선의 손실: 0.169903 정확도: 95.74% 20 검증 세트 손실: 0.180391 최선의 손실: 0.169903 정확도: 95.82% 21 검증 세트 손실: 0.152929 최선의 손실: 0.152929 정확도: 96.91% 22 검증 세트 손실: 0.153499 최선의 손실: 0.152929 정확도: 96.09% 23 검증 세트 손실: 0.158077 최선의 손실: 0.152929 정확도: 96.64% 24 검증 세트 손실: 0.149619 최선의 손실: 0.149619 정확도: 96.44% 25 검증 세트 손실: 0.153533 최선의 손실: 0.149619 정확도: 96.40% 26 검증 세트 손실: 0.157958 최선의 손실: 0.149619 정확도: 96.29% 27 검증 세트 손실: 0.177144 최선의 손실: 0.149619 정확도: 95.35% 28 검증 세트 손실: 0.179996 최선의 손실: 0.149619 정확도: 95.70% 29 검증 세트 손실: 0.185883 최선의 손실: 0.149619 정확도: 96.09% 30 검증 세트 손실: 0.170410 최선의 손실: 0.149619 정확도: 96.21% 31 검증 세트 손실: 0.149101 최선의 손실: 0.149101 정확도: 96.52% 32 검증 세트 손실: 0.172374 최선의 손실: 0.149101 정확도: 96.36% 33 검증 세트 손실: 0.179768 최선의 손실: 0.149101 정확도: 95.66% 34 검증 세트 손실: 0.178922 최선의 손실: 0.149101 정확도: 95.82% 35 검증 세트 손실: 0.145246 최선의 손실: 0.145246 정확도: 96.05% 36 검증 세트 손실: 0.224508 최선의 손실: 0.145246 정확도: 93.82% 37 검증 세트 손실: 4.417290 최선의 손실: 0.145246 정확도: 34.44% 38 검증 세트 손실: 1.939254 최선의 손실: 0.145246 정확도: 31.24% 39 검증 세트 손실: 1.513403 최선의 손실: 0.145246 정확도: 36.86% 40 검증 세트 손실: 1.473368 최선의 손실: 0.145246 정확도: 39.91% 41 검증 세트 손실: 1.461420 최선의 손실: 0.145246 정확도: 42.42% 42 검증 세트 손실: 1.440702 최선의 손실: 0.145246 정확도: 36.83% 43 검증 세트 손실: 1.351757 최선의 손실: 0.145246 정확도: 45.19% 44 검증 세트 손실: 1.331799 최선의 손실: 0.145246 정확도: 43.55% 45 검증 세트 손실: 1.291802 최선의 손실: 0.145246 정확도: 44.96% 46 검증 세트 손실: 1.342374 최선의 손실: 0.145246 정확도: 35.73% 47 검증 세트 손실: 1.254125 최선의 손실: 0.145246 정확도: 43.16% 48 검증 세트 손실: 1.181135 최선의 손실: 0.145246 정확도: 44.29% 49 검증 세트 손실: 1.321147 최선의 손실: 0.145246 정확도: 36.28% 50 검증 세트 손실: 1.214922 최선의 손실: 0.145246 정확도: 46.29% 51 검증 세트 손실: 1.211221 최선의 손실: 0.145246 정확도: 43.63% 52 검증 세트 손실: 1.199755 최선의 손실: 0.145246 정확도: 40.46% 53 검증 세트 손실: 1.128935 최선의 손실: 0.145246 정확도: 50.00% 54 검증 세트 손실: 1.338743 최선의 손실: 0.145246 정확도: 36.83% 55 검증 세트 손실: 1.172383 최선의 손실: 0.145246 정확도: 44.96% 56 검증 세트 손실: 2.733768 최선의 손실: 0.145246 정확도: 41.09% 조기 종료! [CV] n_neurons=10, learning_rate=0.1, dropout_rate=0.2, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 6.7s [CV] n_neurons=10, learning_rate=0.1, dropout_rate=0.2, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0> 0 검증 세트 손실: 0.757813 최선의 손실: 0.757813 정확도: 60.05% 1 검증 세트 손실: 0.480835 최선의 손실: 0.480835 정확도: 77.76% 2 검증 세트 손실: 0.389910 최선의 손실: 0.389910 정확도: 83.03% 3 검증 세트 손실: 0.299619 최선의 손실: 0.299619 정확도: 91.63% 4 검증 세트 손실: 0.351507 최선의 손실: 0.299619 정확도: 89.13% 5 검증 세트 손실: 0.233501 최선의 손실: 0.233501 정확도: 93.90% 6 검증 세트 손실: 0.360513 최선의 손실: 0.233501 정확도: 93.59% 7 검증 세트 손실: 0.577828 최선의 손실: 0.233501 정확도: 90.85% 8 검증 세트 손실: 0.710351 최선의 손실: 0.233501 정확도: 72.56% 9 검증 세트 손실: 0.520319 최선의 손실: 0.233501 정확도: 87.14% 10 검증 세트 손실: 0.814547 최선의 손실: 0.233501 정확도: 56.88% 11 검증 세트 손실: 1.002186 최선의 손실: 0.233501 정확도: 52.89% 12 검증 세트 손실: 0.818664 최선의 손실: 0.233501 정확도: 67.75% 13 검증 세트 손실: 0.704646 최선의 손실: 0.233501 정확도: 79.59% 14 검증 세트 손실: 0.593516 최선의 손실: 0.233501 정확도: 77.44% 15 검증 세트 손실: 0.460144 최선의 손실: 0.233501 정확도: 87.14% 16 검증 세트 손실: 0.408166 최선의 손실: 0.233501 정확도: 87.65% 17 검증 세트 손실: 0.400885 최선의 손실: 0.233501 정확도: 88.66% 18 검증 세트 손실: 0.374646 최선의 손실: 0.233501 정확도: 89.05% 19 검증 세트 손실: 0.344789 최선의 손실: 0.233501 정확도: 89.68% 20 검증 세트 손실: 0.314172 최선의 손실: 0.233501 정확도: 89.41% 21 검증 세트 손실: 0.264477 최선의 손실: 0.233501 정확도: 92.18% 22 검증 세트 손실: 0.339237 최선의 손실: 0.233501 정확도: 90.07% 23 검증 세트 손실: 0.295081 최선의 손실: 0.233501 정확도: 93.43% 24 검증 세트 손실: 0.284453 최선의 손실: 0.233501 정확도: 92.81% 25 검증 세트 손실: 0.271944 최선의 손실: 0.233501 정확도: 93.98% 26 검증 세트 손실: 0.236837 최선의 손실: 0.233501 정확도: 94.18% 조기 종료! [CV] n_neurons=10, learning_rate=0.1, dropout_rate=0.2, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 3.6s [CV] n_neurons=10, learning_rate=0.1, dropout_rate=0.2, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0> 0 검증 세트 손실: 0.620855 최선의 손실: 0.620855 정확도: 73.46% 1 검증 세트 손실: 0.436875 최선의 손실: 0.436875 정확도: 80.49% 2 검증 세트 손실: 0.255673 최선의 손실: 0.255673 정확도: 93.43% 3 검증 세트 손실: 0.237228 최선의 손실: 0.237228 정확도: 94.02% 4 검증 세트 손실: 0.209467 최선의 손실: 0.209467 정확도: 95.23% 5 검증 세트 손실: 0.180900 최선의 손실: 0.180900 정확도: 94.84% 6 검증 세트 손실: 0.208096 최선의 손실: 0.180900 정확도: 95.04% 7 검증 세트 손실: 0.182589 최선의 손실: 0.180900 정확도: 95.90% 8 검증 세트 손실: 0.186746 최선의 손실: 0.180900 정확도: 95.74% 9 검증 세트 손실: 0.232322 최선의 손실: 0.180900 정확도: 95.23% 10 검증 세트 손실: 0.596152 최선의 손실: 0.180900 정확도: 73.61% 11 검증 세트 손실: 0.708661 최선의 손실: 0.180900 정확도: 70.60% 12 검증 세트 손실: 1.070853 최선의 손실: 0.180900 정확도: 45.00% 13 검증 세트 손실: 0.848795 최선의 손실: 0.180900 정확도: 65.17% 14 검증 세트 손실: 0.814659 최선의 손실: 0.180900 정확도: 62.47% 15 검증 세트 손실: 0.627879 최선의 손실: 0.180900 정확도: 73.38% 16 검증 세트 손실: 0.588430 최선의 손실: 0.180900 정확도: 71.46% 17 검증 세트 손실: 0.524010 최선의 손실: 0.180900 정확도: 76.19% 18 검증 세트 손실: 0.517364 최선의 손실: 0.180900 정확도: 79.48% 19 검증 세트 손실: 0.479080 최선의 손실: 0.180900 정확도: 88.58% 20 검증 세트 손실: 0.452262 최선의 손실: 0.180900 정확도: 90.07% 21 검증 세트 손실: 0.464341 최선의 손실: 0.180900 정확도: 91.63% 22 검증 세트 손실: 0.520010 최선의 손실: 0.180900 정확도: 90.27% 23 검증 세트 손실: 0.399251 최선의 손실: 0.180900 정확도: 91.67% 24 검증 세트 손실: 0.494559 최선의 손실: 0.180900 정확도: 85.85% 25 검증 세트 손실: 0.607569 최선의 손실: 0.180900 정확도: 87.53% 26 검증 세트 손실: 0.590977 최선의 손실: 0.180900 정확도: 74.28% 조기 종료! [CV] n_neurons=10, learning_rate=0.1, dropout_rate=0.2, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 3.5s [CV] n_neurons=160, learning_rate=0.01, dropout_rate=0.2, batch_size=100, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.120675 최선의 손실: 0.120675 정확도: 96.79% 1 검증 세트 손실: 0.091420 최선의 손실: 0.091420 정확도: 97.81% 2 검증 세트 손실: 0.065458 최선의 손실: 0.065458 정확도: 98.16% 3 검증 세트 손실: 0.094804 최선의 손실: 0.065458 정확도: 97.81% 4 검증 세트 손실: 0.091897 최선의 손실: 0.065458 정확도: 97.89% 5 검증 세트 손실: 0.088422 최선의 손실: 0.065458 정확도: 98.12% 6 검증 세트 손실: 0.090189 최선의 손실: 0.065458 정확도: 98.51% 7 검증 세트 손실: 0.117023 최선의 손실: 0.065458 정확도: 98.12% 8 검증 세트 손실: 0.072096 최선의 손실: 0.065458 정확도: 98.24% 9 검증 세트 손실: 0.085889 최선의 손실: 0.065458 정확도: 98.12% 10 검증 세트 손실: 0.066740 최선의 손실: 0.065458 정확도: 98.36% 11 검증 세트 손실: 0.075358 최선의 손실: 0.065458 정확도: 98.36% 12 검증 세트 손실: 0.132494 최선의 손실: 0.065458 정확도: 98.20% 13 검증 세트 손실: 0.135368 최선의 손실: 0.065458 정확도: 98.20% 14 검증 세트 손실: 0.073405 최선의 손실: 0.065458 정확도: 98.44% 15 검증 세트 손실: 0.095199 최선의 손실: 0.065458 정확도: 98.36% 16 검증 세트 손실: 0.113919 최선의 손실: 0.065458 정확도: 98.12% 17 검증 세트 손실: 0.105554 최선의 손실: 0.065458 정확도: 98.20% 18 검증 세트 손실: 0.067744 최선의 손실: 0.065458 정확도: 98.63% 19 검증 세트 손실: 0.113195 최선의 손실: 0.065458 정확도: 98.87% 20 검증 세트 손실: 0.108850 최선의 손실: 0.065458 정확도: 98.28% 21 검증 세트 손실: 0.125480 최선의 손실: 0.065458 정확도: 98.08% 22 검증 세트 손실: 0.068950 최선의 손실: 0.065458 정확도: 98.05% 23 검증 세트 손실: 0.068619 최선의 손실: 0.065458 정확도: 98.55% 조기 종료! [CV] n_neurons=160, learning_rate=0.01, dropout_rate=0.2, batch_size=100, activation=<function relu at 0x7f8ec4c8c510>, total= 14.6s [CV] n_neurons=160, learning_rate=0.01, dropout_rate=0.2, batch_size=100, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.127859 최선의 손실: 0.127859 정확도: 96.36% 1 검증 세트 손실: 0.095977 최선의 손실: 0.095977 정확도: 98.01% 2 검증 세트 손실: 0.083111 최선의 손실: 0.083111 정확도: 97.97% 3 검증 세트 손실: 0.075066 최선의 손실: 0.075066 정확도: 98.01% 4 검증 세트 손실: 0.091380 최선의 손실: 0.075066 정확도: 97.65% 5 검증 세트 손실: 0.079104 최선의 손실: 0.075066 정확도: 97.85% 6 검증 세트 손실: 0.080471 최선의 손실: 0.075066 정확도: 98.01% 7 검증 세트 손실: 0.071798 최선의 손실: 0.071798 정확도: 98.16% 8 검증 세트 손실: 0.079265 최선의 손실: 0.071798 정확도: 97.77% 9 검증 세트 손실: 0.079497 최선의 손실: 0.071798 정확도: 98.28% 10 검증 세트 손실: 0.073658 최선의 손실: 0.071798 정확도: 98.12% 11 검증 세트 손실: 0.097794 최선의 손실: 0.071798 정확도: 98.16% 12 검증 세트 손실: 0.100064 최선의 손실: 0.071798 정확도: 98.28% 13 검증 세트 손실: 0.079360 최선의 손실: 0.071798 정확도: 98.48% 14 검증 세트 손실: 0.080816 최선의 손실: 0.071798 정확도: 98.55% 15 검증 세트 손실: 0.139586 최선의 손실: 0.071798 정확도: 98.08% 16 검증 세트 손실: 0.137970 최선의 손실: 0.071798 정확도: 97.15% 17 검증 세트 손실: 0.093381 최선의 손실: 0.071798 정확도: 97.65% 18 검증 세트 손실: 0.093273 최선의 손실: 0.071798 정확도: 97.93% 19 검증 세트 손실: 0.068222 최선의 손실: 0.068222 정확도: 98.55% 20 검증 세트 손실: 0.070033 최선의 손실: 0.068222 정확도: 98.36% 21 검증 세트 손실: 0.067508 최선의 손실: 0.067508 정확도: 98.63% 22 검증 세트 손실: 0.064802 최선의 손실: 0.064802 정확도: 98.36% 23 검증 세트 손실: 0.092111 최선의 손실: 0.064802 정확도: 98.44% 24 검증 세트 손실: 0.068026 최선의 손실: 0.064802 정확도: 98.51% 25 검증 세트 손실: 0.074090 최선의 손실: 0.064802 정확도: 98.55% 26 검증 세트 손실: 0.057701 최선의 손실: 0.057701 정확도: 98.59% 27 검증 세트 손실: 0.068941 최선의 손실: 0.057701 정확도: 98.36% 28 검증 세트 손실: 0.100099 최선의 손실: 0.057701 정확도: 98.16% 29 검증 세트 손실: 0.107793 최선의 손실: 0.057701 정확도: 97.93% 30 검증 세트 손실: 0.080995 최선의 손실: 0.057701 정확도: 98.20% 31 검증 세트 손실: 0.067061 최선의 손실: 0.057701 정확도: 98.36% 32 검증 세트 손실: 0.077141 최선의 손실: 0.057701 정확도: 98.40% 33 검증 세트 손실: 0.081540 최선의 손실: 0.057701 정확도: 98.40% 34 검증 세트 손실: 0.120458 최선의 손실: 0.057701 정확도: 97.73% 35 검증 세트 손실: 0.101967 최선의 손실: 0.057701 정확도: 97.93% 36 검증 세트 손실: 0.090226 최선의 손실: 0.057701 정확도: 97.77% 37 검증 세트 손실: 0.102128 최선의 손실: 0.057701 정확도: 97.50% 38 검증 세트 손실: 0.092581 최선의 손실: 0.057701 정확도: 98.05% 39 검증 세트 손실: 0.092048 최선의 손실: 0.057701 정확도: 98.24% 40 검증 세트 손실: 0.125446 최선의 손실: 0.057701 정확도: 98.28% 41 검증 세트 손실: 0.248352 최선의 손실: 0.057701 정확도: 98.36% 42 검증 세트 손실: 0.111737 최선의 손실: 0.057701 정확도: 98.28% 43 검증 세트 손실: 0.080427 최선의 손실: 0.057701 정확도: 98.36% 44 검증 세트 손실: 0.075314 최선의 손실: 0.057701 정확도: 98.36% 45 검증 세트 손실: 0.069857 최선의 손실: 0.057701 정확도: 98.48% 46 검증 세트 손실: 0.070454 최선의 손실: 0.057701 정확도: 98.63% 47 검증 세트 손실: 0.071394 최선의 손실: 0.057701 정확도: 98.48% 조기 종료! [CV] n_neurons=160, learning_rate=0.01, dropout_rate=0.2, batch_size=100, activation=<function relu at 0x7f8ec4c8c510>, total= 28.3s [CV] n_neurons=160, learning_rate=0.01, dropout_rate=0.2, batch_size=100, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.101320 최선의 손실: 0.101320 정확도: 97.89% 1 검증 세트 손실: 0.091872 최선의 손실: 0.091872 정확도: 97.73% 2 검증 세트 손실: 0.100644 최선의 손실: 0.091872 정확도: 98.24% 3 검증 세트 손실: 0.093952 최선의 손실: 0.091872 정확도: 98.05% 4 검증 세트 손실: 0.129594 최선의 손실: 0.091872 정확도: 97.97% 5 검증 세트 손실: 0.070477 최선의 손실: 0.070477 정확도: 98.12% 6 검증 세트 손실: 0.081000 최선의 손실: 0.070477 정확도: 98.32% 7 검증 세트 손실: 0.072700 최선의 손실: 0.070477 정확도: 98.12% 8 검증 세트 손실: 0.137383 최선의 손실: 0.070477 정확도: 98.01% 9 검증 세트 손실: 0.057141 최선의 손실: 0.057141 정확도: 98.51% 10 검증 세트 손실: 0.104322 최선의 손실: 0.057141 정확도: 98.12% 11 검증 세트 손실: 0.115196 최선의 손실: 0.057141 정확도: 98.40% 12 검증 세트 손실: 0.064545 최선의 손실: 0.057141 정확도: 98.63% 13 검증 세트 손실: 0.073080 최선의 손실: 0.057141 정확도: 98.48% 14 검증 세트 손실: 0.083638 최선의 손실: 0.057141 정확도: 98.36% 15 검증 세트 손실: 0.102985 최선의 손실: 0.057141 정확도: 98.36% 16 검증 세트 손실: 0.106273 최선의 손실: 0.057141 정확도: 98.32% 17 검증 세트 손실: 0.078276 최선의 손실: 0.057141 정확도: 98.28% 18 검증 세트 손실: 0.072741 최선의 손실: 0.057141 정확도: 98.16% 19 검증 세트 손실: 0.065209 최선의 손실: 0.057141 정확도: 98.79% 20 검증 세트 손실: 0.119827 최선의 손실: 0.057141 정확도: 98.55% 21 검증 세트 손실: 0.056968 최선의 손실: 0.056968 정확도: 98.79% 22 검증 세트 손실: 0.067139 최선의 손실: 0.056968 정확도: 98.75% 23 검증 세트 손실: 0.075892 최선의 손실: 0.056968 정확도: 98.63% 24 검증 세트 손실: 0.060503 최선의 손실: 0.056968 정확도: 98.40% 25 검증 세트 손실: 0.051705 최선의 손실: 0.051705 정확도: 98.75% 26 검증 세트 손실: 0.058427 최선의 손실: 0.051705 정확도: 98.67% 27 검증 세트 손실: 0.077512 최선의 손실: 0.051705 정확도: 98.44% 28 검증 세트 손실: 0.085976 최선의 손실: 0.051705 정확도: 98.75% 29 검증 세트 손실: 0.057358 최선의 손실: 0.051705 정확도: 98.67% 30 검증 세트 손실: 0.100206 최선의 손실: 0.051705 정확도: 98.71% 31 검증 세트 손실: 0.113903 최선의 손실: 0.051705 정확도: 98.63% 32 검증 세트 손실: 0.091537 최선의 손실: 0.051705 정확도: 98.55% 33 검증 세트 손실: 0.066599 최선의 손실: 0.051705 정확도: 98.83% 34 검증 세트 손실: 0.096334 최선의 손실: 0.051705 정확도: 98.55% 35 검증 세트 손실: 0.063356 최선의 손실: 0.051705 정확도: 98.79% 36 검증 세트 손실: 0.104425 최선의 손실: 0.051705 정확도: 98.48% 37 검증 세트 손실: 0.139770 최선의 손실: 0.051705 정확도: 98.40% 38 검증 세트 손실: 0.179405 최선의 손실: 0.051705 정확도: 98.24% 39 검증 세트 손실: 0.159329 최선의 손실: 0.051705 정확도: 97.73% 40 검증 세트 손실: 0.114508 최선의 손실: 0.051705 정확도: 98.12% 41 검증 세트 손실: 0.125748 최선의 손실: 0.051705 정확도: 98.51% 42 검증 세트 손실: 0.081522 최선의 손실: 0.051705 정확도: 98.51% 43 검증 세트 손실: 0.094158 최선의 손실: 0.051705 정확도: 97.97% 44 검증 세트 손실: 0.150453 최선의 손실: 0.051705 정확도: 98.12% 45 검증 세트 손실: 0.079795 최선의 손실: 0.051705 정확도: 98.16% 46 검증 세트 손실: 0.089305 최선의 손실: 0.051705 정확도: 98.20% 조기 종료! [CV] n_neurons=160, learning_rate=0.01, dropout_rate=0.2, batch_size=100, activation=<function relu at 0x7f8ec4c8c510>, total= 27.3s [CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.5, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8> 0 검증 세트 손실: 8175.326660 최선의 손실: 8175.326660 정확도: 22.01% 1 검증 세트 손실: 23855.142578 최선의 손실: 8175.326660 정확도: 18.73% 2 검증 세트 손실: 4235.122559 최선의 손실: 4235.122559 정확도: 19.08% 3 검증 세트 손실: 9223.282227 최선의 손실: 4235.122559 정확도: 19.27% 4 검증 세트 손실: 17614.396484 최선의 손실: 4235.122559 정확도: 22.01% 5 검증 세트 손실: 15203.260742 최선의 손실: 4235.122559 정확도: 19.27% 6 검증 세트 손실: 145968.953125 최선의 손실: 4235.122559 정확도: 19.27% 7 검증 세트 손실: 9908.681641 최선의 손실: 4235.122559 정확도: 19.23% 8 검증 세트 손실: 26328.916016 최선의 손실: 4235.122559 정확도: 22.01% 9 검증 세트 손실: 32379.417969 최선의 손실: 4235.122559 정확도: 18.73% 10 검증 세트 손실: 12647.226562 최선의 손실: 4235.122559 정확도: 19.27% 11 검증 세트 손실: 468510.531250 최선의 손실: 4235.122559 정확도: 19.39% 12 검증 세트 손실: 62172.109375 최선의 손실: 4235.122559 정확도: 18.73% 13 검증 세트 손실: 77196.015625 최선의 손실: 4235.122559 정확도: 19.27% 14 검증 세트 손실: 70428.648438 최선의 손실: 4235.122559 정확도: 19.08% 15 검증 세트 손실: 155891.953125 최선의 손실: 4235.122559 정확도: 19.27% 16 검증 세트 손실: 240353.031250 최선의 손실: 4235.122559 정확도: 22.01% 17 검증 세트 손실: 6847522.500000 최선의 손실: 4235.122559 정확도: 18.73% 18 검증 세트 손실: 2118947.750000 최선의 손실: 4235.122559 정확도: 20.91% 19 검증 세트 손실: 1217744.625000 최선의 손실: 4235.122559 정확도: 20.56% 20 검증 세트 손실: 661681.187500 최선의 손실: 4235.122559 정확도: 14.82% 21 검증 세트 손실: 234976.406250 최선의 손실: 4235.122559 정확도: 18.73% 22 검증 세트 손실: 355739.000000 최선의 손실: 4235.122559 정확도: 19.08% 23 검증 세트 손실: 144222.718750 최선의 손실: 4235.122559 정확도: 19.27% 조기 종료! [CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.5, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 14.3s [CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.5, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8> 0 검증 세트 손실: 13162.800781 최선의 손실: 13162.800781 정확도: 18.73% 1 검증 세트 손실: 7936.202637 최선의 손실: 7936.202637 정확도: 19.27% 2 검증 세트 손실: 70836.250000 최선의 손실: 7936.202637 정확도: 20.91% 3 검증 세트 손실: 92157.125000 최선의 손실: 7936.202637 정확도: 18.73% 4 검증 세트 손실: 56576.386719 최선의 손실: 7936.202637 정확도: 20.88% 5 검증 세트 손실: 88374.820312 최선의 손실: 7936.202637 정확도: 18.73% 6 검증 세트 손실: 180006.765625 최선의 손실: 7936.202637 정확도: 20.37% 7 검증 세트 손실: 113036.968750 최선의 손실: 7936.202637 정확도: 18.73% 8 검증 세트 손실: 70801.593750 최선의 손실: 7936.202637 정확도: 19.27% 9 검증 세트 손실: 84128.265625 최선의 손실: 7936.202637 정확도: 18.73% 10 검증 세트 손실: 62741.328125 최선의 손실: 7936.202637 정확도: 18.73% 11 검증 세트 손실: 104245.531250 최선의 손실: 7936.202637 정확도: 22.01% 12 검증 세트 손실: 44961.953125 최선의 손실: 7936.202637 정확도: 19.08% 13 검증 세트 손실: 59932.007812 최선의 손실: 7936.202637 정확도: 18.73% 14 검증 세트 손실: 108977.687500 최선의 손실: 7936.202637 정확도: 18.73% 15 검증 세트 손실: 21005.718750 최선의 손실: 7936.202637 정확도: 18.73% 16 검증 세트 손실: 22811.568359 최선의 손실: 7936.202637 정확도: 18.73% 17 검증 세트 손실: 30216.644531 최선의 손실: 7936.202637 정확도: 18.73% 18 검증 세트 손실: 19657.699219 최선의 손실: 7936.202637 정확도: 20.91% 19 검증 세트 손실: 11765.050781 최선의 손실: 7936.202637 정확도: 20.91% 20 검증 세트 손실: 23891.312500 최선의 손실: 7936.202637 정확도: 18.73% 21 검증 세트 손실: 9663.801758 최선의 손실: 7936.202637 정확도: 20.91% 22 검증 세트 손실: 357484.406250 최선의 손실: 7936.202637 정확도: 18.73% 조기 종료! [CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.5, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 13.7s [CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.5, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8> 0 검증 세트 손실: 340.736328 최선의 손실: 340.736328 정확도: 18.73% 1 검증 세트 손실: 96.528427 최선의 손실: 96.528427 정확도: 20.91% 2 검증 세트 손실: 71.825699 최선의 손실: 71.825699 정확도: 19.27% 3 검증 세트 손실: 3282.199707 최선의 손실: 71.825699 정확도: 20.91% 4 검증 세트 손실: 1915.687622 최선의 손실: 71.825699 정확도: 18.73% 5 검증 세트 손실: 4676.063965 최선의 손실: 71.825699 정확도: 22.01% 6 검증 세트 손실: 22502.056641 최선의 손실: 71.825699 정확도: 19.27% 7 검증 세트 손실: 5395.241699 최선의 손실: 71.825699 정확도: 19.27% 8 검증 세트 손실: 11339.099609 최선의 손실: 71.825699 정확도: 19.27% 9 검증 세트 손실: 12412.822266 최선의 손실: 71.825699 정확도: 19.27% 10 검증 세트 손실: 15966.200195 최선의 손실: 71.825699 정확도: 19.27% 11 검증 세트 손실: 12767.077148 최선의 손실: 71.825699 정확도: 19.08% 12 검증 세트 손실: 67616.367188 최선의 손실: 71.825699 정확도: 19.08% 13 검증 세트 손실: 278276.968750 최선의 손실: 71.825699 정확도: 19.27% 14 검증 세트 손실: 54048.457031 최선의 손실: 71.825699 정확도: 22.01% 15 검증 세트 손실: 67371.437500 최선의 손실: 71.825699 정확도: 20.91% 16 검증 세트 손실: 84392.117188 최선의 손실: 71.825699 정확도: 18.73% 17 검증 세트 손실: 99027.171875 최선의 손실: 71.825699 정확도: 18.73% 18 검증 세트 손실: 357917.250000 최선의 손실: 71.825699 정확도: 18.73% 19 검증 세트 손실: 320309.500000 최선의 손실: 71.825699 정확도: 20.91% 20 검증 세트 손실: 126660.726562 최선의 손실: 71.825699 정확도: 20.91% 21 검증 세트 손실: 242542.281250 최선의 손실: 71.825699 정확도: 18.73% 22 검증 세트 손실: 127002.210938 최선의 손실: 71.825699 정확도: 21.58% 23 검증 세트 손실: 287819.937500 최선의 손실: 71.825699 정확도: 20.91% 조기 종료! [CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.5, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 14.3s [CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.4, batch_size=10, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 2.382316 최선의 손실: 2.382316 정확도: 18.73% 1 검증 세트 손실: 2.206376 최선의 손실: 2.206376 정확도: 18.73% 2 검증 세트 손실: 2.290938 최선의 손실: 2.206376 정확도: 19.27% 3 검증 세트 손실: 2.160029 최선의 손실: 2.160029 정확도: 19.27% 4 검증 세트 손실: 2.690638 최선의 손실: 2.160029 정확도: 19.27% 5 검증 세트 손실: 2.150468 최선의 손실: 2.150468 정확도: 20.91% 6 검증 세트 손실: 2.053252 최선의 손실: 2.053252 정확도: 18.73% 7 검증 세트 손실: 1.675276 최선의 손실: 1.675276 정확도: 19.08% 8 검증 세트 손실: 2.958127 최선의 손실: 1.675276 정확도: 19.08% 9 검증 세트 손실: 2.679133 최선의 손실: 1.675276 정확도: 19.27% 10 검증 세트 손실: 1.804198 최선의 손실: 1.675276 정확도: 19.27% 11 검증 세트 손실: 2.007416 최선의 손실: 1.675276 정확도: 19.08% 12 검증 세트 손실: 2.219092 최선의 손실: 1.675276 정확도: 18.73% 13 검증 세트 손실: 2.105519 최선의 손실: 1.675276 정확도: 18.73% 14 검증 세트 손실: 3.369555 최선의 손실: 1.675276 정확도: 18.73% 15 검증 세트 손실: 2.353272 최선의 손실: 1.675276 정확도: 22.01% 16 검증 세트 손실: 2.418502 최선의 손실: 1.675276 정확도: 18.73% 17 검증 세트 손실: 2.625759 최선의 손실: 1.675276 정확도: 20.91% 18 검증 세트 손실: 3.012022 최선의 손실: 1.675276 정확도: 22.01% 19 검증 세트 손실: 3.081193 최선의 손실: 1.675276 정확도: 22.01% 20 검증 세트 손실: 3.493829 최선의 손실: 1.675276 정확도: 22.01% 21 검증 세트 손실: 2.339483 최선의 손실: 1.675276 정확도: 20.91% 22 검증 세트 손실: 2.191741 최선의 손실: 1.675276 정확도: 18.73% 23 검증 세트 손실: 1.939168 최선의 손실: 1.675276 정확도: 19.08% 24 검증 세트 손실: 2.480340 최선의 손실: 1.675276 정확도: 20.91% 25 검증 세트 손실: 2.083501 최선의 손실: 1.675276 정확도: 19.27% 26 검증 세트 손실: 2.784225 최선의 손실: 1.675276 정확도: 20.91% 27 검증 세트 손실: 2.101436 최선의 손실: 1.675276 정확도: 22.01% 28 검증 세트 손실: 2.401658 최선의 손실: 1.675276 정확도: 19.08% 조기 종료! [CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.4, batch_size=10, activation=<function elu at 0x7f8ec4ceef28>, total= 54.3s [CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.4, batch_size=10, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 1.829494 최선의 손실: 1.829494 정확도: 18.73% 1 검증 세트 손실: 2.283845 최선의 손실: 1.829494 정확도: 19.27% 2 검증 세트 손실: 1.837418 최선의 손실: 1.829494 정확도: 22.01% 3 검증 세트 손실: 2.173388 최선의 손실: 1.829494 정확도: 22.01% 4 검증 세트 손실: 2.075506 최선의 손실: 1.829494 정확도: 19.08% 5 검증 세트 손실: 1.822881 최선의 손실: 1.822881 정확도: 18.73% 6 검증 세트 손실: 1.924386 최선의 손실: 1.822881 정확도: 18.73% 7 검증 세트 손실: 2.260890 최선의 손실: 1.822881 정확도: 19.08% 8 검증 세트 손실: 3.207452 최선의 손실: 1.822881 정확도: 18.73% 9 검증 세트 손실: 1.959716 최선의 손실: 1.822881 정확도: 22.01% 10 검증 세트 손실: 2.185045 최선의 손실: 1.822881 정확도: 19.08% 11 검증 세트 손실: 3.043437 최선의 손실: 1.822881 정확도: 19.08% 12 검증 세트 손실: 2.284033 최선의 손실: 1.822881 정확도: 20.91% 13 검증 세트 손실: 3.182060 최선의 손실: 1.822881 정확도: 19.08% 14 검증 세트 손실: 2.969241 최선의 손실: 1.822881 정확도: 19.27% 15 검증 세트 손실: 2.363989 최선의 손실: 1.822881 정확도: 20.91% 16 검증 세트 손실: 1.674398 최선의 손실: 1.674398 정확도: 20.91% 17 검증 세트 손실: 2.423646 최선의 손실: 1.674398 정확도: 20.91% 18 검증 세트 손실: 2.406821 최선의 손실: 1.674398 정확도: 19.08% 19 검증 세트 손실: 2.397741 최선의 손실: 1.674398 정확도: 18.73% 20 검증 세트 손실: 1.820991 최선의 손실: 1.674398 정확도: 18.73% 21 검증 세트 손실: 1.946406 최선의 손실: 1.674398 정확도: 22.01% 22 검증 세트 손실: 1.695467 최선의 손실: 1.674398 정확도: 18.73% 23 검증 세트 손실: 2.793676 최선의 손실: 1.674398 정확도: 22.01% 24 검증 세트 손실: 1.864224 최선의 손실: 1.674398 정확도: 18.73% 25 검증 세트 손실: 1.714681 최선의 손실: 1.674398 정확도: 22.01% 26 검증 세트 손실: 4.145279 최선의 손실: 1.674398 정확도: 19.08% 27 검증 세트 손실: 2.568909 최선의 손실: 1.674398 정확도: 20.91% 28 검증 세트 손실: 2.251517 최선의 손실: 1.674398 정확도: 18.73% 29 검증 세트 손실: 1.793252 최선의 손실: 1.674398 정확도: 19.08% 30 검증 세트 손실: 2.311564 최선의 손실: 1.674398 정확도: 19.08% 31 검증 세트 손실: 2.086653 최선의 손실: 1.674398 정확도: 19.08% 32 검증 세트 손실: 2.028574 최선의 손실: 1.674398 정확도: 18.73% 33 검증 세트 손실: 3.503552 최선의 손실: 1.674398 정확도: 19.08% 34 검증 세트 손실: 2.305018 최선의 손실: 1.674398 정확도: 20.91% 35 검증 세트 손실: 3.462137 최선의 손실: 1.674398 정확도: 20.91% 36 검증 세트 손실: 3.220002 최선의 손실: 1.674398 정확도: 19.27% 37 검증 세트 손실: 3.888195 최선의 손실: 1.674398 정확도: 20.91% 조기 종료! [CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.4, batch_size=10, activation=<function elu at 0x7f8ec4ceef28>, total= 1.2min [CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.4, batch_size=10, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 2.034107 최선의 손실: 2.034107 정확도: 22.01% 1 검증 세트 손실: 2.457525 최선의 손실: 2.034107 정확도: 18.73% 2 검증 세트 손실: 2.492846 최선의 손실: 2.034107 정확도: 19.08% 3 검증 세트 손실: 2.905555 최선의 손실: 2.034107 정확도: 22.01% 4 검증 세트 손실: 3.985356 최선의 손실: 2.034107 정확도: 20.91% 5 검증 세트 손실: 2.589513 최선의 손실: 2.034107 정확도: 20.91% 6 검증 세트 손실: 2.628097 최선의 손실: 2.034107 정확도: 19.27% 7 검증 세트 손실: 1.718307 최선의 손실: 1.718307 정확도: 19.08% 8 검증 세트 손실: 1.698855 최선의 손실: 1.698855 정확도: 22.01% 9 검증 세트 손실: 2.465959 최선의 손실: 1.698855 정확도: 18.73% 10 검증 세트 손실: 2.267466 최선의 손실: 1.698855 정확도: 18.73% 11 검증 세트 손실: 2.389140 최선의 손실: 1.698855 정확도: 18.73% 12 검증 세트 손실: 2.520547 최선의 손실: 1.698855 정확도: 18.73% 13 검증 세트 손실: 4.316359 최선의 손실: 1.698855 정확도: 19.08% 14 검증 세트 손실: 1.996739 최선의 손실: 1.698855 정확도: 22.01% 15 검증 세트 손실: 1.951640 최선의 손실: 1.698855 정확도: 18.73% 16 검증 세트 손실: 1.797261 최선의 손실: 1.698855 정확도: 18.73% 17 검증 세트 손실: 2.206064 최선의 손실: 1.698855 정확도: 18.73% 18 검증 세트 손실: 2.597128 최선의 손실: 1.698855 정확도: 19.27% 19 검증 세트 손실: 3.312786 최선의 손실: 1.698855 정확도: 18.73% 20 검증 세트 손실: 1.931499 최선의 손실: 1.698855 정확도: 20.91% 21 검증 세트 손실: 2.933721 최선의 손실: 1.698855 정확도: 22.01% 22 검증 세트 손실: 1.866981 최선의 손실: 1.698855 정확도: 20.91% 23 검증 세트 손실: 3.612240 최선의 손실: 1.698855 정확도: 19.08% 24 검증 세트 손실: 2.169147 최선의 손실: 1.698855 정확도: 18.73% 25 검증 세트 손실: 2.241538 최선의 손실: 1.698855 정확도: 22.01% 26 검증 세트 손실: 2.113670 최선의 손실: 1.698855 정확도: 18.73% 27 검증 세트 손실: 2.399706 최선의 손실: 1.698855 정확도: 18.73% 28 검증 세트 손실: 2.328018 최선의 손실: 1.698855 정확도: 20.91% 29 검증 세트 손실: 3.573405 최선의 손실: 1.698855 정확도: 20.91% 조기 종료! [CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.4, batch_size=10, activation=<function elu at 0x7f8ec4ceef28>, total= 55.7s [CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.3, batch_size=10, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 2.204894 최선의 손실: 2.204894 정확도: 18.73% 1 검증 세트 손실: 1.974034 최선의 손실: 1.974034 정확도: 19.08% 2 검증 세트 손실: 2.302344 최선의 손실: 1.974034 정확도: 19.27% 3 검증 세트 손실: 2.265583 최선의 손실: 1.974034 정확도: 19.27% 4 검증 세트 손실: 2.489624 최선의 손실: 1.974034 정확도: 22.01% 5 검증 세트 손실: 1.615684 최선의 손실: 1.615684 정확도: 19.08% 6 검증 세트 손실: 1.987898 최선의 손실: 1.615684 정확도: 18.73% 7 검증 세트 손실: 1.847114 최선의 손실: 1.615684 정확도: 22.01% 8 검증 세트 손실: 2.600062 최선의 손실: 1.615684 정확도: 19.08% 9 검증 세트 손실: 2.705414 최선의 손실: 1.615684 정확도: 19.27% 10 검증 세트 손실: 1.951580 최선의 손실: 1.615684 정확도: 19.27% 11 검증 세트 손실: 1.705972 최선의 손실: 1.615684 정확도: 22.01% 12 검증 세트 손실: 2.202368 최선의 손실: 1.615684 정확도: 19.08% 13 검증 세트 손실: 2.110447 최선의 손실: 1.615684 정확도: 22.01% 14 검증 세트 손실: 3.033683 최선의 손실: 1.615684 정확도: 18.73% 15 검증 세트 손실: 1.870614 최선의 손실: 1.615684 정확도: 22.01% 16 검증 세트 손실: 2.174086 최선의 손실: 1.615684 정확도: 20.91% 17 검증 세트 손실: 2.771400 최선의 손실: 1.615684 정확도: 20.91% 18 검증 세트 손실: 3.362809 최선의 손실: 1.615684 정확도: 22.01% 19 검증 세트 손실: 3.045185 최선의 손실: 1.615684 정확도: 22.01% 20 검증 세트 손실: 3.502127 최선의 손실: 1.615684 정확도: 22.01% 21 검증 세트 손실: 2.183255 최선의 손실: 1.615684 정확도: 20.91% 22 검증 세트 손실: 2.146849 최선의 손실: 1.615684 정확도: 18.73% 23 검증 세트 손실: 2.085919 최선의 손실: 1.615684 정확도: 19.08% 24 검증 세트 손실: 2.488377 최선의 손실: 1.615684 정확도: 20.91% 25 검증 세트 손실: 1.901607 최선의 손실: 1.615684 정확도: 20.91% 26 검증 세트 손실: 2.498298 최선의 손실: 1.615684 정확도: 20.91% 조기 종료! [CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.3, batch_size=10, activation=<function elu at 0x7f8ec4ceef28>, total= 50.4s [CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.3, batch_size=10, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 2.124374 최선의 손실: 2.124374 정확도: 20.91% 1 검증 세트 손실: 2.179529 최선의 손실: 2.124374 정확도: 19.27% 2 검증 세트 손실: 1.699477 최선의 손실: 1.699477 정확도: 22.01% 3 검증 세트 손실: 2.182966 최선의 손실: 1.699477 정확도: 22.01% 4 검증 세트 손실: 2.060374 최선의 손실: 1.699477 정확도: 19.08% 5 검증 세트 손실: 2.517671 최선의 손실: 1.699477 정확도: 19.27% 6 검증 세트 손실: 2.052652 최선의 손실: 1.699477 정확도: 19.27% 7 검증 세트 손실: 2.581685 최선의 손실: 1.699477 정확도: 18.73% 8 검증 세트 손실: 3.034673 최선의 손실: 1.699477 정확도: 18.73% 9 검증 세트 손실: 1.964831 최선의 손실: 1.699477 정확도: 22.01% 10 검증 세트 손실: 2.221820 최선의 손실: 1.699477 정확도: 18.73% 11 검증 세트 손실: 2.671669 최선의 손실: 1.699477 정확도: 19.27% 12 검증 세트 손실: 2.574807 최선의 손실: 1.699477 정확도: 18.73% 13 검증 세트 손실: 2.953854 최선의 손실: 1.699477 정확도: 19.08% 14 검증 세트 손실: 2.810771 최선의 손실: 1.699477 정확도: 19.27% 15 검증 세트 손실: 2.183523 최선의 손실: 1.699477 정확도: 20.91% 16 검증 세트 손실: 1.655432 최선의 손실: 1.655432 정확도: 22.01% 17 검증 세트 손실: 3.192878 최선의 손실: 1.655432 정확도: 19.08% 18 검증 세트 손실: 2.121941 최선의 손실: 1.655432 정확도: 19.08% 19 검증 세트 손실: 2.089645 최선의 손실: 1.655432 정확도: 22.01% 20 검증 세트 손실: 1.708139 최선의 손실: 1.655432 정확도: 18.73% 21 검증 세트 손실: 2.090309 최선의 손실: 1.655432 정확도: 19.27% 22 검증 세트 손실: 1.716250 최선의 손실: 1.655432 정확도: 18.73% 23 검증 세트 손실: 2.932617 최선의 손실: 1.655432 정확도: 22.01% 24 검증 세트 손실: 1.832123 최선의 손실: 1.655432 정확도: 18.73% 25 검증 세트 손실: 1.866726 최선의 손실: 1.655432 정확도: 22.01% 26 검증 세트 손실: 3.641668 최선의 손실: 1.655432 정확도: 19.08% 27 검증 세트 손실: 2.788854 최선의 손실: 1.655432 정확도: 20.91% 28 검증 세트 손실: 2.275145 최선의 손실: 1.655432 정확도: 20.91% 29 검증 세트 손실: 2.017048 최선의 손실: 1.655432 정확도: 19.08% 30 검증 세트 손실: 2.496007 최선의 손실: 1.655432 정확도: 22.01% 31 검증 세트 손실: 2.415754 최선의 손실: 1.655432 정확도: 22.01% 32 검증 세트 손실: 2.203551 최선의 손실: 1.655432 정확도: 18.73% 33 검증 세트 손실: 3.109013 최선의 손실: 1.655432 정확도: 19.08% 34 검증 세트 손실: 2.021201 최선의 손실: 1.655432 정확도: 20.91% 35 검증 세트 손실: 2.467942 최선의 손실: 1.655432 정확도: 20.91% 36 검증 세트 손실: 3.532998 최선의 손실: 1.655432 정확도: 19.27% 37 검증 세트 손실: 3.778607 최선의 손실: 1.655432 정확도: 20.91% 조기 종료! [CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.3, batch_size=10, activation=<function elu at 0x7f8ec4ceef28>, total= 1.2min [CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.3, batch_size=10, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 1.864752 최선의 손실: 1.864752 정확도: 22.01% 1 검증 세트 손실: 2.402757 최선의 손실: 1.864752 정확도: 18.73% 2 검증 세트 손실: 2.474303 최선의 손실: 1.864752 정확도: 19.08% 3 검증 세트 손실: 2.538339 최선의 손실: 1.864752 정확도: 22.01% 4 검증 세트 손실: 3.829299 최선의 손실: 1.864752 정확도: 20.91% 5 검증 세트 손실: 3.080746 최선의 손실: 1.864752 정확도: 20.91% 6 검증 세트 손실: 1.962053 최선의 손실: 1.864752 정확도: 19.08% 7 검증 세트 손실: 1.927153 최선의 손실: 1.864752 정확도: 19.08% 8 검증 세트 손실: 1.788340 최선의 손실: 1.788340 정확도: 22.01% 9 검증 세트 손실: 2.479845 최선의 손실: 1.788340 정확도: 18.73% 10 검증 세트 손실: 2.462451 최선의 손실: 1.788340 정확도: 19.27% 11 검증 세트 손실: 2.422694 최선의 손실: 1.788340 정확도: 19.27% 12 검증 세트 손실: 2.262888 최선의 손실: 1.788340 정확도: 18.73% 13 검증 세트 손실: 4.364314 최선의 손실: 1.788340 정확도: 19.08% 14 검증 세트 손실: 1.854821 최선의 손실: 1.788340 정확도: 22.01% 15 검증 세트 손실: 2.199028 최선의 손실: 1.788340 정확도: 19.27% 16 검증 세트 손실: 1.857170 최선의 손실: 1.788340 정확도: 18.73% 17 검증 세트 손실: 2.332803 최선의 손실: 1.788340 정확도: 18.73% 18 검증 세트 손실: 1.879194 최선의 손실: 1.788340 정확도: 18.73% 19 검증 세트 손실: 3.455175 최선의 손실: 1.788340 정확도: 22.01% 20 검증 세트 손실: 1.873585 최선의 손실: 1.788340 정확도: 20.91% 21 검증 세트 손실: 2.497010 최선의 손실: 1.788340 정확도: 22.01% 22 검증 세트 손실: 1.891488 최선의 손실: 1.788340 정확도: 19.27% 23 검증 세트 손실: 3.037920 최선의 손실: 1.788340 정확도: 19.08% 24 검증 세트 손실: 2.421356 최선의 손실: 1.788340 정확도: 19.27% 25 검증 세트 손실: 2.206481 최선의 손실: 1.788340 정확도: 20.91% 26 검증 세트 손실: 2.522092 최선의 손실: 1.788340 정확도: 18.73% 27 검증 세트 손실: 2.281762 최선의 손실: 1.788340 정확도: 18.73% 28 검증 세트 손실: 2.880796 최선의 손실: 1.788340 정확도: 20.91% 29 검증 세트 손실: 3.945024 최선의 손실: 1.788340 정확도: 19.08% 조기 종료! [CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.3, batch_size=10, activation=<function elu at 0x7f8ec4ceef28>, total= 56.0s [CV] n_neurons=70, learning_rate=0.1, dropout_rate=0.5, batch_size=100, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 1.610488 최선의 손실: 1.610488 정확도: 22.01% 1 검증 세트 손실: 1.612953 최선의 손실: 1.610488 정확도: 19.27% 2 검증 세트 손실: 1.609340 최선의 손실: 1.609340 정확도: 22.01% 3 검증 세트 손실: 1.609768 최선의 손실: 1.609340 정확도: 22.01% 4 검증 세트 손실: 1.618599 최선의 손실: 1.609340 정확도: 22.01% 5 검증 세트 손실: 1.612642 최선의 손실: 1.609340 정확도: 19.27% 6 검증 세트 손실: 1.609927 최선의 손실: 1.609340 정확도: 22.01% 7 검증 세트 손실: 1.615141 최선의 손실: 1.609340 정확도: 22.01% 8 검증 세트 손실: 1.622436 최선의 손실: 1.609340 정확도: 22.01% 9 검증 세트 손실: 1.610774 최선의 손실: 1.609340 정확도: 22.01% 10 검증 세트 손실: 1.608214 최선의 손실: 1.608214 정확도: 20.91% 11 검증 세트 손실: 1.619405 최선의 손실: 1.608214 정확도: 19.27% 12 검증 세트 손실: 1.608363 최선의 손실: 1.608214 정확도: 20.91% 13 검증 세트 손실: 1.618592 최선의 손실: 1.608214 정확도: 19.08% 14 검증 세트 손실: 1.613605 최선의 손실: 1.608214 정확도: 18.73% 15 검증 세트 손실: 1.611306 최선의 손실: 1.608214 정확도: 22.01% 16 검증 세트 손실: 1.611332 최선의 손실: 1.608214 정확도: 19.08% 17 검증 세트 손실: 1.610983 최선의 손실: 1.608214 정확도: 19.27% 18 검증 세트 손실: 1.614782 최선의 손실: 1.608214 정확도: 18.73% 19 검증 세트 손실: 1.610592 최선의 손실: 1.608214 정확도: 19.27% 20 검증 세트 손실: 1.611321 최선의 손실: 1.608214 정확도: 20.91% 21 검증 세트 손실: 1.614838 최선의 손실: 1.608214 정확도: 19.27% 22 검증 세트 손실: 1.616512 최선의 손실: 1.608214 정확도: 19.27% 23 검증 세트 손실: 1.618046 최선의 손실: 1.608214 정확도: 19.27% 24 검증 세트 손실: 1.614492 최선의 손실: 1.608214 정확도: 22.01% 25 검증 세트 손실: 1.609587 최선의 손실: 1.608214 정확도: 22.01% 26 검증 세트 손실: 1.610506 최선의 손실: 1.608214 정확도: 22.01% 27 검증 세트 손실: 1.612529 최선의 손실: 1.608214 정확도: 19.08% 28 검증 세트 손실: 1.610707 최선의 손실: 1.608214 정확도: 19.08% 29 검증 세트 손실: 1.614497 최선의 손실: 1.608214 정확도: 18.73% 30 검증 세트 손실: 1.622664 최선의 손실: 1.608214 정확도: 19.27% 31 검증 세트 손실: 1.608788 최선의 손실: 1.608214 정확도: 22.01% 조기 종료! [CV] n_neurons=70, learning_rate=0.1, dropout_rate=0.5, batch_size=100, activation=<function relu at 0x7f8ec4c8c510>, total= 11.0s [CV] n_neurons=70, learning_rate=0.1, dropout_rate=0.5, batch_size=100, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 1.609589 최선의 손실: 1.609589 정확도: 22.01% 1 검증 세트 손실: 1.610194 최선의 손실: 1.609589 정확도: 19.08% 2 검증 세트 손실: 1.615184 최선의 손실: 1.609589 정확도: 19.27% 3 검증 세트 손실: 1.624065 최선의 손실: 1.609589 정확도: 18.73% 4 검증 세트 손실: 1.614288 최선의 손실: 1.609589 정확도: 22.01% 5 검증 세트 손실: 1.614001 최선의 손실: 1.609589 정확도: 19.27% 6 검증 세트 손실: 1.614709 최선의 손실: 1.609589 정확도: 19.27% 7 검증 세트 손실: 1.611892 최선의 손실: 1.609589 정확도: 22.01% 8 검증 세트 손실: 1.609710 최선의 손실: 1.609589 정확도: 20.91% 9 검증 세트 손실: 1.609552 최선의 손실: 1.609552 정확도: 20.91% 10 검증 세트 손실: 1.618977 최선의 손실: 1.609552 정확도: 22.01% 11 검증 세트 손실: 1.612216 최선의 손실: 1.609552 정확도: 22.01% 12 검증 세트 손실: 1.609188 최선의 손실: 1.609188 정확도: 22.01% 13 검증 세트 손실: 1.613469 최선의 손실: 1.609188 정확도: 19.27% 14 검증 세트 손실: 1.613035 최선의 손실: 1.609188 정확도: 19.27% 15 검증 세트 손실: 1.612353 최선의 손실: 1.609188 정확도: 22.01% 16 검증 세트 손실: 1.612086 최선의 손실: 1.609188 정확도: 22.01% 17 검증 세트 손실: 1.618460 최선의 손실: 1.609188 정확도: 19.08% 18 검증 세트 손실: 1.612811 최선의 손실: 1.609188 정확도: 22.01% 19 검증 세트 손실: 1.610633 최선의 손실: 1.609188 정확도: 22.01% 20 검증 세트 손실: 1.612247 최선의 손실: 1.609188 정확도: 19.08% 21 검증 세트 손실: 1.610886 최선의 손실: 1.609188 정확도: 22.01% 22 검증 세트 손실: 1.617966 최선의 손실: 1.609188 정확도: 22.01% 23 검증 세트 손실: 1.616909 최선의 손실: 1.609188 정확도: 22.01% 24 검증 세트 손실: 1.612185 최선의 손실: 1.609188 정확도: 22.01% 25 검증 세트 손실: 1.615078 최선의 손실: 1.609188 정확도: 22.01% 26 검증 세트 손실: 1.607682 최선의 손실: 1.607682 정확도: 22.01% 27 검증 세트 손실: 1.611629 최선의 손실: 1.607682 정확도: 22.01% 28 검증 세트 손실: 1.626030 최선의 손실: 1.607682 정확도: 18.73% 29 검증 세트 손실: 1.609974 최선의 손실: 1.607682 정확도: 18.73% 30 검증 세트 손실: 1.611094 최선의 손실: 1.607682 정확도: 19.08% 31 검증 세트 손실: 1.611652 최선의 손실: 1.607682 정확도: 19.27% 32 검증 세트 손실: 1.612802 최선의 손실: 1.607682 정확도: 18.73% 33 검증 세트 손실: 1.608832 최선의 손실: 1.607682 정확도: 20.91% 34 검증 세트 손실: 1.613910 최선의 손실: 1.607682 정확도: 22.01% 35 검증 세트 손실: 1.610118 최선의 손실: 1.607682 정확도: 22.01% 36 검증 세트 손실: 1.613161 최선의 손실: 1.607682 정확도: 20.91% 37 검증 세트 손실: 1.610388 최선의 손실: 1.607682 정확도: 19.08% 38 검증 세트 손실: 1.620768 최선의 손실: 1.607682 정확도: 22.01% 39 검증 세트 손실: 1.623742 최선의 손실: 1.607682 정확도: 19.27% 40 검증 세트 손실: 1.609530 최선의 손실: 1.607682 정확도: 22.01% 41 검증 세트 손실: 1.609139 최선의 손실: 1.607682 정확도: 22.01% 42 검증 세트 손실: 1.622822 최선의 손실: 1.607682 정확도: 19.27% 43 검증 세트 손실: 1.617258 최선의 손실: 1.607682 정확도: 22.01% 44 검증 세트 손실: 1.616074 최선의 손실: 1.607682 정확도: 19.08% 45 검증 세트 손실: 1.611641 최선의 손실: 1.607682 정확도: 19.08% 46 검증 세트 손실: 1.623921 최선의 손실: 1.607682 정확도: 18.73% 47 검증 세트 손실: 1.611057 최선의 손실: 1.607682 정확도: 19.08% 조기 종료! [CV] n_neurons=70, learning_rate=0.1, dropout_rate=0.5, batch_size=100, activation=<function relu at 0x7f8ec4c8c510>, total= 16.2s [CV] n_neurons=70, learning_rate=0.1, dropout_rate=0.5, batch_size=100, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 1.614352 최선의 손실: 1.614352 정확도: 19.27% 1 검증 세트 손실: 1.609411 최선의 손실: 1.609411 정확도: 22.01% 2 검증 세트 손실: 1.618282 최선의 손실: 1.609411 정확도: 22.01% 3 검증 세트 손실: 1.620852 최선의 손실: 1.609411 정확도: 19.27% 4 검증 세트 손실: 1.609193 최선의 손실: 1.609193 정확도: 22.01% 5 검증 세트 손실: 1.609910 최선의 손실: 1.609193 정확도: 22.01% 6 검증 세트 손실: 1.615230 최선의 손실: 1.609193 정확도: 22.01% 7 검증 세트 손실: 1.617016 최선의 손실: 1.609193 정확도: 18.73% 8 검증 세트 손실: 1.611728 최선의 손실: 1.609193 정확도: 19.27% 9 검증 세트 손실: 1.614968 최선의 손실: 1.609193 정확도: 18.73% 10 검증 세트 손실: 1.612519 최선의 손실: 1.609193 정확도: 18.73% 11 검증 세트 손실: 1.623437 최선의 손실: 1.609193 정확도: 22.01% 12 검증 세트 손실: 1.608311 최선의 손실: 1.608311 정확도: 22.01% 13 검증 세트 손실: 1.611813 최선의 손실: 1.608311 정확도: 19.27% 14 검증 세트 손실: 1.608482 최선의 손실: 1.608311 정확도: 20.91% 15 검증 세트 손실: 1.617305 최선의 손실: 1.608311 정확도: 19.08% 16 검증 세트 손실: 1.618903 최선의 손실: 1.608311 정확도: 18.73% 17 검증 세트 손실: 1.615218 최선의 손실: 1.608311 정확도: 19.08% 18 검증 세트 손실: 1.608079 최선의 손실: 1.608079 정확도: 20.91% 19 검증 세트 손실: 1.608635 최선의 손실: 1.608079 정확도: 22.01% 20 검증 세트 손실: 1.620164 최선의 손실: 1.608079 정확도: 19.27% 21 검증 세트 손실: 1.611845 최선의 손실: 1.608079 정확도: 22.01% 22 검증 세트 손실: 1.613170 최선의 손실: 1.608079 정확도: 22.01% 23 검증 세트 손실: 1.613917 최선의 손실: 1.608079 정확도: 22.01% 24 검증 세트 손실: 1.613874 최선의 손실: 1.608079 정확도: 20.91% 25 검증 세트 손실: 1.617804 최선의 손실: 1.608079 정확도: 22.01% 26 검증 세트 손실: 1.613065 최선의 손실: 1.608079 정확도: 22.01% 27 검증 세트 손실: 1.614672 최선의 손실: 1.608079 정확도: 19.27% 28 검증 세트 손실: 1.630548 최선의 손실: 1.608079 정확도: 18.73% 29 검증 세트 손실: 1.611472 최선의 손실: 1.608079 정확도: 22.01% 30 검증 세트 손실: 1.611858 최선의 손실: 1.608079 정확도: 19.08% 31 검증 세트 손실: 1.611836 최선의 손실: 1.608079 정확도: 22.01% 32 검증 세트 손실: 1.615410 최선의 손실: 1.608079 정확도: 18.73% 33 검증 세트 손실: 1.608510 최선의 손실: 1.608079 정확도: 22.01% 34 검증 세트 손실: 1.613685 최선의 손실: 1.608079 정확도: 22.01% 35 검증 세트 손실: 1.609654 최선의 손실: 1.608079 정확도: 19.27% 36 검증 세트 손실: 1.609916 최선의 손실: 1.608079 정확도: 18.73% 37 검증 세트 손실: 1.608670 최선의 손실: 1.608079 정확도: 22.01% 38 검증 세트 손실: 1.617389 최선의 손실: 1.608079 정확도: 19.27% 39 검증 세트 손실: 1.625788 최선의 손실: 1.608079 정확도: 19.27% 조기 종료! [CV] n_neurons=70, learning_rate=0.1, dropout_rate=0.5, batch_size=100, activation=<function relu at 0x7f8ec4c8c510>, total= 13.6s [CV] n_neurons=100, learning_rate=0.05, dropout_rate=0.3, batch_size=50, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 1.452695 최선의 손실: 1.452695 정확도: 37.53% 1 검증 세트 손실: 1.586215 최선의 손실: 1.452695 정확도: 20.91% 2 검증 세트 손실: 1.590764 최선의 손실: 1.452695 정확도: 23.69% 3 검증 세트 손실: 1.608674 최선의 손실: 1.452695 정확도: 22.01% 4 검증 세트 손실: 1.616227 최선의 손실: 1.452695 정확도: 22.01% 5 검증 세트 손실: 1.614068 최선의 손실: 1.452695 정확도: 22.01% 6 검증 세트 손실: 1.609137 최선의 손실: 1.452695 정확도: 22.01% 7 검증 세트 손실: 1.614290 최선의 손실: 1.452695 정확도: 22.01% 8 검증 세트 손실: 1.617229 최선의 손실: 1.452695 정확도: 22.01% 9 검증 세트 손실: 1.608650 최선의 손실: 1.452695 정확도: 22.01% 10 검증 세트 손실: 1.608021 최선의 손실: 1.452695 정확도: 22.01% 11 검증 세트 손실: 1.613579 최선의 손실: 1.452695 정확도: 19.27% 12 검증 세트 손실: 1.609031 최선의 손실: 1.452695 정확도: 22.01% 13 검증 세트 손실: 1.615936 최선의 손실: 1.452695 정확도: 19.08% 14 검증 세트 손실: 1.613141 최선의 손실: 1.452695 정확도: 18.73% 15 검증 세트 손실: 1.611247 최선의 손실: 1.452695 정확도: 22.01% 16 검증 세트 손실: 1.609468 최선의 손실: 1.452695 정확도: 19.08% 17 검증 세트 손실: 1.610102 최선의 손실: 1.452695 정확도: 19.27% 18 검증 세트 손실: 1.615317 최선의 손실: 1.452695 정확도: 18.73% 19 검증 세트 손실: 1.608987 최선의 손실: 1.452695 정확도: 22.01% 20 검증 세트 손실: 1.609123 최선의 손실: 1.452695 정확도: 20.91% 21 검증 세트 손실: 1.615654 최선의 손실: 1.452695 정확도: 22.01% 조기 종료! [CV] n_neurons=100, learning_rate=0.05, dropout_rate=0.3, batch_size=50, activation=<function relu at 0x7f8ec4c8c510>, total= 12.3s [CV] n_neurons=100, learning_rate=0.05, dropout_rate=0.3, batch_size=50, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 1.368392 최선의 손실: 1.368392 정확도: 36.24% 1 검증 세트 손실: 1.610618 최선의 손실: 1.368392 정확도: 19.35% 2 검증 세트 손실: 1.610241 최선의 손실: 1.368392 정확도: 22.09% 3 검증 세트 손실: 1.618327 최선의 손실: 1.368392 정확도: 18.73% 4 검증 세트 손실: 1.612841 최선의 손실: 1.368392 정확도: 22.01% 5 검증 세트 손실: 1.610861 최선의 손실: 1.368392 정확도: 22.01% 6 검증 세트 손실: 1.616819 최선의 손실: 1.368392 정확도: 19.27% 7 검증 세트 손실: 1.613216 최선의 손실: 1.368392 정확도: 22.01% 8 검증 세트 손실: 1.609146 최선의 손실: 1.368392 정확도: 22.01% 9 검증 세트 손실: 1.608314 최선의 손실: 1.368392 정확도: 22.01% 10 검증 세트 손실: 1.614517 최선의 손실: 1.368392 정확도: 22.01% 11 검증 세트 손실: 1.610574 최선의 손실: 1.368392 정확도: 22.01% 12 검증 세트 손실: 1.609134 최선의 손실: 1.368392 정확도: 22.01% 13 검증 세트 손실: 1.612337 최선의 손실: 1.368392 정확도: 19.27% 14 검증 세트 손실: 1.609192 최선의 손실: 1.368392 정확도: 22.01% 15 검증 세트 손실: 1.610180 최선의 손실: 1.368392 정확도: 22.01% 16 검증 세트 손실: 1.613045 최선의 손실: 1.368392 정확도: 22.01% 17 검증 세트 손실: 1.615457 최선의 손실: 1.368392 정확도: 19.08% 18 검증 세트 손실: 1.610246 최선의 손실: 1.368392 정확도: 22.01% 19 검증 세트 손실: 1.609071 최선의 손실: 1.368392 정확도: 22.01% 20 검증 세트 손실: 1.610652 최선의 손실: 1.368392 정확도: 22.01% 21 검증 세트 손실: 1.612862 최선의 손실: 1.368392 정확도: 22.01% 조기 종료! [CV] n_neurons=100, learning_rate=0.05, dropout_rate=0.3, batch_size=50, activation=<function relu at 0x7f8ec4c8c510>, total= 12.2s [CV] n_neurons=100, learning_rate=0.05, dropout_rate=0.3, batch_size=50, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 1.622489 최선의 손실: 1.622489 정확도: 22.01% 1 검증 세트 손실: 1.364841 최선의 손실: 1.364841 정확도: 39.21% 2 검증 세트 손실: 1.323991 최선의 손실: 1.323991 정확도: 39.87% 3 검증 세트 손실: 1.302426 최선의 손실: 1.302426 정확도: 37.29% 4 검증 세트 손실: 1.413461 최선의 손실: 1.302426 정확도: 37.72% 5 검증 세트 손실: 1.511344 최선의 손실: 1.302426 정확도: 38.90% 6 검증 세트 손실: 1.475166 최선의 손실: 1.302426 정확도: 38.62% 7 검증 세트 손실: 1.441830 최선의 손실: 1.302426 정확도: 37.84% 8 검증 세트 손실: 1.609142 최선의 손실: 1.302426 정확도: 22.01% 9 검증 세트 손실: 1.611424 최선의 손실: 1.302426 정확도: 22.01% 10 검증 세트 손실: 1.612134 최선의 손실: 1.302426 정확도: 18.73% 11 검증 세트 손실: 1.617385 최선의 손실: 1.302426 정확도: 22.01% 12 검증 세트 손실: 1.608013 최선의 손실: 1.302426 정확도: 22.01% 13 검증 세트 손실: 1.614052 최선의 손실: 1.302426 정확도: 19.27% 14 검증 세트 손실: 1.609029 최선의 손실: 1.302426 정확도: 20.91% 15 검증 세트 손실: 1.613221 최선의 손실: 1.302426 정확도: 22.01% 16 검증 세트 손실: 1.620470 최선의 손실: 1.302426 정확도: 18.73% 17 검증 세트 손실: 1.614958 최선의 손실: 1.302426 정확도: 19.08% 18 검증 세트 손실: 1.608519 최선의 손실: 1.302426 정확도: 20.91% 19 검증 세트 손실: 1.609451 최선의 손실: 1.302426 정확도: 22.01% 20 검증 세트 손실: 1.617042 최선의 손실: 1.302426 정확도: 19.27% 21 검증 세트 손실: 1.612378 최선의 손실: 1.302426 정확도: 22.01% 22 검증 세트 손실: 1.613459 최선의 손실: 1.302426 정확도: 22.01% 23 검증 세트 손실: 1.611028 최선의 손실: 1.302426 정확도: 22.01% 24 검증 세트 손실: 1.610686 최선의 손실: 1.302426 정확도: 20.91% 조기 종료! [CV] n_neurons=100, learning_rate=0.05, dropout_rate=0.3, batch_size=50, activation=<function relu at 0x7f8ec4c8c510>, total= 13.8s [CV] n_neurons=140, learning_rate=0.01, dropout_rate=0.6, batch_size=50, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.593167 최선의 손실: 0.593167 정확도: 77.91% 1 검증 세트 손실: 0.633260 최선의 손실: 0.593167 정확도: 78.07% 2 검증 세트 손실: 0.583050 최선의 손실: 0.583050 정확도: 77.99% 3 검증 세트 손실: 0.628100 최선의 손실: 0.583050 정확도: 75.22% 4 검증 세트 손실: 0.661577 최선의 손실: 0.583050 정확도: 73.73% 5 검증 세트 손실: 0.618642 최선의 손실: 0.583050 정확도: 73.65% 6 검증 세트 손실: 0.577634 최선의 손실: 0.577634 정확도: 75.37% 7 검증 세트 손실: 0.735690 최선의 손실: 0.577634 정확도: 71.85% 8 검증 세트 손실: 0.681724 최선의 손실: 0.577634 정확도: 73.06% 9 검증 세트 손실: 1.004290 최선의 손실: 0.577634 정확도: 62.63% 10 검증 세트 손실: 0.986171 최선의 손실: 0.577634 정확도: 59.54% 11 검증 세트 손실: 1.038328 최선의 손실: 0.577634 정확도: 56.06% 12 검증 세트 손실: 1.105307 최선의 손실: 0.577634 정확도: 50.00% 13 검증 세트 손실: 1.071741 최선의 손실: 0.577634 정확도: 45.27% 14 검증 세트 손실: 1.029289 최선의 손실: 0.577634 정확도: 53.05% 15 검증 세트 손실: 1.162508 최선의 손실: 0.577634 정확도: 41.71% 16 검증 세트 손실: 1.220924 최선의 손실: 0.577634 정확도: 40.50% 17 검증 세트 손실: 1.198313 최선의 손실: 0.577634 정확도: 40.62% 18 검증 세트 손실: 1.221796 최선의 손실: 0.577634 정확도: 40.81% 19 검증 세트 손실: 1.180576 최선의 손실: 0.577634 정확도: 40.73% 20 검증 세트 손실: 1.156605 최선의 손실: 0.577634 정확도: 41.05% 21 검증 세트 손실: 1.239410 최선의 손실: 0.577634 정확도: 40.42% 22 검증 세트 손실: 1.156967 최선의 손실: 0.577634 정확도: 41.28% 23 검증 세트 손실: 1.187595 최선의 손실: 0.577634 정확도: 40.07% 24 검증 세트 손실: 1.192377 최선의 손실: 0.577634 정확도: 40.85% 25 검증 세트 손실: 1.181360 최선의 손실: 0.577634 정확도: 40.54% 26 검증 세트 손실: 1.181695 최선의 손실: 0.577634 정확도: 36.86% 27 검증 세트 손실: 1.170447 최선의 손실: 0.577634 정확도: 36.83% 조기 종료! [CV] n_neurons=140, learning_rate=0.01, dropout_rate=0.6, batch_size=50, activation=<function relu at 0x7f8ec4c8c510>, total= 19.4s [CV] n_neurons=140, learning_rate=0.01, dropout_rate=0.6, batch_size=50, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.649274 최선의 손실: 0.649274 정확도: 71.27% 1 검증 세트 손실: 0.545170 최선의 손실: 0.545170 정확도: 77.64% 2 검증 세트 손실: 0.649842 최선의 손실: 0.545170 정확도: 71.34% 3 검증 세트 손실: 0.960801 최선의 손실: 0.545170 정확도: 55.28% 4 검증 세트 손실: 0.959141 최선의 손실: 0.545170 정확도: 54.57% 5 검증 세트 손실: 0.925533 최선의 손실: 0.545170 정확도: 56.68% 6 검증 세트 손실: 1.231266 최선의 손실: 0.545170 정확도: 40.97% 7 검증 세트 손실: 1.241333 최선의 손실: 0.545170 정확도: 39.72% 8 검증 세트 손실: 1.170860 최선의 손실: 0.545170 정확도: 42.10% 9 검증 세트 손실: 1.392396 최선의 손실: 0.545170 정확도: 33.15% 10 검증 세트 손실: 1.381053 최선의 손실: 0.545170 정확도: 34.25% 11 검증 세트 손실: 1.295144 최선의 손실: 0.545170 정확도: 36.75% 12 검증 세트 손실: 1.236845 최선의 손실: 0.545170 정확도: 38.82% 13 검증 세트 손실: 1.349126 최선의 손실: 0.545170 정확도: 34.28% 14 검증 세트 손실: 1.225733 최선의 손실: 0.545170 정확도: 38.86% 15 검증 세트 손실: 1.216655 최선의 손실: 0.545170 정확도: 39.29% 16 검증 세트 손실: 1.196916 최선의 손실: 0.545170 정확도: 39.56% 17 검증 세트 손실: 1.204515 최선의 손실: 0.545170 정확도: 40.03% 18 검증 세트 손실: 1.232491 최선의 손실: 0.545170 정확도: 39.33% 19 검증 세트 손실: 1.195094 최선의 손실: 0.545170 정확도: 40.27% 20 검증 세트 손실: 1.186228 최선의 손실: 0.545170 정확도: 40.23% 21 검증 세트 손실: 1.188845 최선의 손실: 0.545170 정확도: 40.19% 22 검증 세트 손실: 1.188299 최선의 손실: 0.545170 정확도: 40.34% 조기 종료! [CV] n_neurons=140, learning_rate=0.01, dropout_rate=0.6, batch_size=50, activation=<function relu at 0x7f8ec4c8c510>, total= 16.2s [CV] n_neurons=140, learning_rate=0.01, dropout_rate=0.6, batch_size=50, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.565596 최선의 손실: 0.565596 정확도: 83.85% 1 검증 세트 손실: 0.475161 최선의 손실: 0.475161 정확도: 89.60% 2 검증 세트 손실: 0.546848 최선의 손실: 0.475161 정확도: 85.93% 3 검증 세트 손실: 0.486239 최선의 손실: 0.475161 정확도: 86.51% 4 검증 세트 손실: 0.579285 최선의 손실: 0.475161 정확도: 84.56% 5 검증 세트 손실: 0.565997 최선의 손실: 0.475161 정확도: 79.71% 6 검증 세트 손실: 0.731612 최선의 손실: 0.475161 정확도: 73.81% 7 검증 세트 손실: 0.795411 최선의 손실: 0.475161 정확도: 72.01% 8 검증 세트 손실: 0.826418 최선의 손실: 0.475161 정확도: 69.82% 9 검증 세트 손실: 0.821350 최선의 손실: 0.475161 정확도: 67.16% 10 검증 세트 손실: 0.784944 최선의 손실: 0.475161 정확도: 68.37% 11 검증 세트 손실: 0.730263 최선의 손실: 0.475161 정확도: 72.40% 12 검증 세트 손실: 0.917043 최선의 손실: 0.475161 정확도: 57.78% 13 검증 세트 손실: 0.944254 최선의 손실: 0.475161 정확도: 55.55% 14 검증 세트 손실: 0.869353 최선의 손실: 0.475161 정확도: 67.01% 15 검증 세트 손실: 1.155893 최선의 손실: 0.475161 정확도: 40.66% 16 검증 세트 손실: 1.207222 최선의 손실: 0.475161 정확도: 40.23% 17 검증 세트 손실: 1.172581 최선의 손실: 0.475161 정확도: 36.47% 18 검증 세트 손실: 1.231909 최선의 손실: 0.475161 정확도: 41.20% 19 검증 세트 손실: 1.195241 최선의 손실: 0.475161 정확도: 36.86% 20 검증 세트 손실: 1.269289 최선의 손실: 0.475161 정확도: 40.58% 21 검증 세트 손실: 1.223462 최선의 손실: 0.475161 정확도: 40.50% 22 검증 세트 손실: 1.235681 최선의 손실: 0.475161 정확도: 40.30% 조기 종료! [CV] n_neurons=140, learning_rate=0.01, dropout_rate=0.6, batch_size=50, activation=<function relu at 0x7f8ec4c8c510>, total= 16.1s [CV] n_neurons=30, learning_rate=0.02, dropout_rate=0.5, batch_size=10, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 1.662464 최선의 손실: 1.662464 정확도: 20.91% 1 검증 세트 손실: 2.339012 최선의 손실: 1.662464 정확도: 22.01% 2 검증 세트 손실: 1.648069 최선의 손실: 1.648069 정확도: 19.27% 3 검증 세트 손실: 1.804156 최선의 손실: 1.648069 정확도: 19.27% 4 검증 세트 손실: 1.651565 최선의 손실: 1.648069 정확도: 22.01% 5 검증 세트 손실: 1.609831 최선의 손실: 1.609831 정확도: 19.27% 6 검증 세트 손실: 1.660921 최선의 손실: 1.609831 정확도: 18.73% 7 검증 세트 손실: 1.696527 최선의 손실: 1.609831 정확도: 20.91% 8 검증 세트 손실: 1.755143 최선의 손실: 1.609831 정확도: 19.27% 9 검증 세트 손실: 1.654944 최선의 손실: 1.609831 정확도: 18.73% 10 검증 세트 손실: 1.647097 최선의 손실: 1.609831 정확도: 22.01% 11 검증 세트 손실: 1.672187 최선의 손실: 1.609831 정확도: 18.73% 12 검증 세트 손실: 2.372150 최선의 손실: 1.609831 정확도: 19.08% 13 검증 세트 손실: 1.686239 최선의 손실: 1.609831 정확도: 22.01% 14 검증 세트 손실: 1.621791 최선의 손실: 1.609831 정확도: 19.08% 15 검증 세트 손실: 1.627670 최선의 손실: 1.609831 정확도: 18.73% 16 검증 세트 손실: 1.687387 최선의 손실: 1.609831 정확도: 19.08% 17 검증 세트 손실: 1.634876 최선의 손실: 1.609831 정확도: 20.91% 18 검증 세트 손실: 1.701378 최선의 손실: 1.609831 정확도: 20.91% 19 검증 세트 손실: 1.731642 최선의 손실: 1.609831 정확도: 22.01% 20 검증 세트 손실: 1.619222 최선의 손실: 1.609831 정확도: 20.91% 21 검증 세트 손실: 1.675883 최선의 손실: 1.609831 정확도: 19.27% 22 검증 세트 손실: 1.726357 최선의 손실: 1.609831 정확도: 22.01% 23 검증 세트 손실: 1.751924 최선의 손실: 1.609831 정확도: 19.08% 24 검증 세트 손실: 1.657833 최선의 손실: 1.609831 정확도: 22.01% 25 검증 세트 손실: 1.765498 최선의 손실: 1.609831 정확도: 22.01% 26 검증 세트 손실: 1.666600 최선의 손실: 1.609831 정확도: 19.08% 조기 종료! [CV] n_neurons=30, learning_rate=0.02, dropout_rate=0.5, batch_size=10, activation=<function elu at 0x7f8ec4ceef28>, total= 28.3s [CV] n_neurons=30, learning_rate=0.02, dropout_rate=0.5, batch_size=10, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 1.682377 최선의 손실: 1.682377 정확도: 18.73% 1 검증 세트 손실: 1.697050 최선의 손실: 1.682377 정확도: 19.08% 2 검증 세트 손실: 1.660046 최선의 손실: 1.660046 정확도: 19.27% 3 검증 세트 손실: 1.658201 최선의 손실: 1.658201 정확도: 19.08% 4 검증 세트 손실: 1.624794 최선의 손실: 1.624794 정확도: 22.01% 5 검증 세트 손실: 1.663086 최선의 손실: 1.624794 정확도: 20.91% 6 검증 세트 손실: 1.666860 최선의 손실: 1.624794 정확도: 19.27% 7 검증 세트 손실: 1.760271 최선의 손실: 1.624794 정확도: 19.27% 8 검증 세트 손실: 1.694466 최선의 손실: 1.624794 정확도: 18.73% 9 검증 세트 손실: 1.608710 최선의 손실: 1.608710 정확도: 22.01% 10 검증 세트 손실: 6.956006 최선의 손실: 1.608710 정확도: 18.73% 11 검증 세트 손실: 1.625708 최선의 손실: 1.608710 정확도: 18.73% 12 검증 세트 손실: 1.630891 최선의 손실: 1.608710 정확도: 20.91% 13 검증 세트 손실: 2.735638 최선의 손실: 1.608710 정확도: 19.08% 14 검증 세트 손실: 1.726730 최선의 손실: 1.608710 정확도: 19.08% 15 검증 세트 손실: 1.611302 최선의 손실: 1.608710 정확도: 22.01% 16 검증 세트 손실: 1.616855 최선의 손실: 1.608710 정확도: 22.01% 17 검증 세트 손실: 1.636407 최선의 손실: 1.608710 정확도: 19.27% 18 검증 세트 손실: 1.653915 최선의 손실: 1.608710 정확도: 22.01% 19 검증 세트 손실: 1.769197 최선의 손실: 1.608710 정확도: 19.27% 20 검증 세트 손실: 1.658535 최선의 손실: 1.608710 정확도: 20.91% 21 검증 세트 손실: 1.653327 최선의 손실: 1.608710 정확도: 22.01% 22 검증 세트 손실: 1.615526 최선의 손실: 1.608710 정확도: 19.27% 23 검증 세트 손실: 1.663918 최선의 손실: 1.608710 정확도: 18.73% 24 검증 세트 손실: 1.660225 최선의 손실: 1.608710 정확도: 22.01% 25 검증 세트 손실: 1.707447 최선의 손실: 1.608710 정확도: 18.73% 26 검증 세트 손실: 1.686171 최선의 손실: 1.608710 정확도: 19.08% 27 검증 세트 손실: 1.651977 최선의 손실: 1.608710 정확도: 22.01% 28 검증 세트 손실: 1.719406 최선의 손실: 1.608710 정확도: 19.08% 29 검증 세트 손실: 1.697209 최선의 손실: 1.608710 정확도: 20.91% 30 검증 세트 손실: 1.661407 최선의 손실: 1.608710 정확도: 18.73% 조기 종료! [CV] n_neurons=30, learning_rate=0.02, dropout_rate=0.5, batch_size=10, activation=<function elu at 0x7f8ec4ceef28>, total= 32.1s [CV] n_neurons=30, learning_rate=0.02, dropout_rate=0.5, batch_size=10, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 1.609461 최선의 손실: 1.609461 정확도: 22.01% 1 검증 세트 손실: 1.675398 최선의 손실: 1.609461 정확도: 20.91% 2 검증 세트 손실: 1.628739 최선의 손실: 1.609461 정확도: 22.01% 3 검증 세트 손실: 1.646288 최선의 손실: 1.609461 정확도: 20.91% 4 검증 세트 손실: 1.648157 최선의 손실: 1.609461 정확도: 19.27% 5 검증 세트 손실: 1.668931 최선의 손실: 1.609461 정확도: 20.91% 6 검증 세트 손실: 1.663821 최선의 손실: 1.609461 정확도: 19.27% 7 검증 세트 손실: 1.619214 최선의 손실: 1.609461 정확도: 22.01% 8 검증 세트 손실: 1.768316 최선의 손실: 1.609461 정확도: 18.73% 9 검증 세트 손실: 1.716326 최선의 손실: 1.609461 정확도: 22.01% 10 검증 세트 손실: 1.635089 최선의 손실: 1.609461 정확도: 18.73% 11 검증 세트 손실: 1.621903 최선의 손실: 1.609461 정확도: 20.91% 12 검증 세트 손실: 3.812675 최선의 손실: 1.609461 정확도: 22.01% 13 검증 세트 손실: 1.655969 최선의 손실: 1.609461 정확도: 19.08% 14 검증 세트 손실: 1.670996 최선의 손실: 1.609461 정확도: 20.91% 15 검증 세트 손실: 1.622743 최선의 손실: 1.609461 정확도: 22.01% 16 검증 세트 손실: 1.728662 최선의 손실: 1.609461 정확도: 22.01% 17 검증 세트 손실: 1.650111 최선의 손실: 1.609461 정확도: 20.91% 18 검증 세트 손실: 1.745150 최선의 손실: 1.609461 정확도: 20.91% 19 검증 세트 손실: 1.650314 최선의 손실: 1.609461 정확도: 19.27% 20 검증 세트 손실: 1.652750 최선의 손실: 1.609461 정확도: 20.91% 21 검증 세트 손실: 1.653791 최선의 손실: 1.609461 정확도: 18.73% 조기 종료! [CV] n_neurons=30, learning_rate=0.02, dropout_rate=0.5, batch_size=10, activation=<function elu at 0x7f8ec4ceef28>, total= 23.1s [CV] n_neurons=140, learning_rate=0.02, dropout_rate=0.3, batch_size=50, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.152317 최선의 손실: 0.152317 정확도: 95.62% 1 검증 세트 손실: 1.692887 최선의 손실: 0.152317 정확도: 19.27% 2 검증 세트 손실: 1.879548 최선의 손실: 0.152317 정확도: 19.27% 3 검증 세트 손실: 1.752523 최선의 손실: 0.152317 정확도: 19.27% 4 검증 세트 손실: 1.951967 최선의 손실: 0.152317 정확도: 18.73% 5 검증 세트 손실: 1.641680 최선의 손실: 0.152317 정확도: 22.01% 6 검증 세트 손실: 1.730762 최선의 손실: 0.152317 정확도: 18.73% 7 검증 세트 손실: 1.752371 최선의 손실: 0.152317 정확도: 19.08% 8 검증 세트 손실: 1.785793 최선의 손실: 0.152317 정확도: 19.27% 9 검증 세트 손실: 1.881144 최선의 손실: 0.152317 정확도: 20.91% 10 검증 세트 손실: 1.715513 최선의 손실: 0.152317 정확도: 22.01% 11 검증 세트 손실: 1.899553 최선의 손실: 0.152317 정확도: 22.01% 12 검증 세트 손실: 1.646358 최선의 손실: 0.152317 정확도: 19.08% 13 검증 세트 손실: 1.890007 최선의 손실: 0.152317 정확도: 20.91% 14 검증 세트 손실: 1.783345 최선의 손실: 0.152317 정확도: 22.01% 15 검증 세트 손실: 1.675588 최선의 손실: 0.152317 정확도: 22.01% 16 검증 세트 손실: 1.777839 최선의 손실: 0.152317 정확도: 18.73% 17 검증 세트 손실: 1.643860 최선의 손실: 0.152317 정확도: 20.91% 18 검증 세트 손실: 1.683668 최선의 손실: 0.152317 정확도: 19.27% 19 검증 세트 손실: 1.690930 최선의 손실: 0.152317 정확도: 22.01% 20 검증 세트 손실: 1.678302 최선의 손실: 0.152317 정확도: 19.27% 21 검증 세트 손실: 1.826702 최선의 손실: 0.152317 정확도: 19.27% 조기 종료! [CV] n_neurons=140, learning_rate=0.02, dropout_rate=0.3, batch_size=50, activation=<function elu at 0x7f8ec4ceef28>, total= 16.2s [CV] n_neurons=140, learning_rate=0.02, dropout_rate=0.3, batch_size=50, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 1.818245 최선의 손실: 1.818245 정확도: 22.01% 1 검증 세트 손실: 1.660070 최선의 손실: 1.660070 정확도: 20.91% 2 검증 세트 손실: 1.669269 최선의 손실: 1.660070 정확도: 20.91% 3 검증 세트 손실: 1.671528 최선의 손실: 1.660070 정확도: 18.73% 4 검증 세트 손실: 1.686492 최선의 손실: 1.660070 정확도: 20.91% 5 검증 세트 손실: 1.760343 최선의 손실: 1.660070 정확도: 20.91% 6 검증 세트 손실: 1.663701 최선의 손실: 1.660070 정확도: 22.01% 7 검증 세트 손실: 1.791132 최선의 손실: 1.660070 정확도: 18.73% 8 검증 세트 손실: 1.840831 최선의 손실: 1.660070 정확도: 18.73% 9 검증 세트 손실: 1.691346 최선의 손실: 1.660070 정확도: 18.73% 10 검증 세트 손실: 1.673620 최선의 손실: 1.660070 정확도: 19.08% 11 검증 세트 손실: 1.685681 최선의 손실: 1.660070 정확도: 22.01% 12 검증 세트 손실: 1.875441 최선의 손실: 1.660070 정확도: 20.91% 13 검증 세트 손실: 1.672138 최선의 손실: 1.660070 정확도: 19.08% 14 검증 세트 손실: 1.637048 최선의 손실: 1.637048 정확도: 18.73% 15 검증 세트 손실: 1.836878 최선의 손실: 1.637048 정확도: 19.08% 16 검증 세트 손실: 1.667000 최선의 손실: 1.637048 정확도: 18.73% 17 검증 세트 손실: 1.670072 최선의 손실: 1.637048 정확도: 19.27% 18 검증 세트 손실: 1.648957 최선의 손실: 1.637048 정확도: 19.08% 19 검증 세트 손실: 1.694438 최선의 손실: 1.637048 정확도: 19.27% 20 검증 세트 손실: 1.696843 최선의 손실: 1.637048 정확도: 22.01% 21 검증 세트 손실: 1.754404 최선의 손실: 1.637048 정확도: 22.01% 22 검증 세트 손실: 1.869493 최선의 손실: 1.637048 정확도: 19.27% 23 검증 세트 손실: 1.764030 최선의 손실: 1.637048 정확도: 22.01% 24 검증 세트 손실: 1.865970 최선의 손실: 1.637048 정확도: 18.73% 25 검증 세트 손실: 1.745172 최선의 손실: 1.637048 정확도: 22.01% 26 검증 세트 손실: 1.795903 최선의 손실: 1.637048 정확도: 20.91% 27 검증 세트 손실: 1.732280 최선의 손실: 1.637048 정확도: 18.73% 28 검증 세트 손실: 1.641727 최선의 손실: 1.637048 정확도: 22.01% 29 검증 세트 손실: 1.868749 최선의 손실: 1.637048 정확도: 19.08% 30 검증 세트 손실: 1.638194 최선의 손실: 1.637048 정확도: 20.91% 31 검증 세트 손실: 1.940825 최선의 손실: 1.637048 정확도: 18.73% 32 검증 세트 손실: 1.775869 최선의 손실: 1.637048 정확도: 22.01% 33 검증 세트 손실: 1.845135 최선의 손실: 1.637048 정확도: 19.08% 34 검증 세트 손실: 1.682109 최선의 손실: 1.637048 정확도: 22.01% 35 검증 세트 손실: 1.795764 최선의 손실: 1.637048 정확도: 20.91% 조기 종료! [CV] n_neurons=140, learning_rate=0.02, dropout_rate=0.3, batch_size=50, activation=<function elu at 0x7f8ec4ceef28>, total= 26.0s [CV] n_neurons=140, learning_rate=0.02, dropout_rate=0.3, batch_size=50, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.335515 최선의 손실: 0.335515 정확도: 90.97% 1 검증 세트 손실: 1.680212 최선의 손실: 0.335515 정확도: 19.27% 2 검증 세트 손실: 1.783708 최선의 손실: 0.335515 정확도: 20.91% 3 검증 세트 손실: 1.680227 최선의 손실: 0.335515 정확도: 22.01% 4 검증 세트 손실: 1.779376 최선의 손실: 0.335515 정확도: 22.01% 5 검증 세트 손실: 1.807458 최선의 손실: 0.335515 정확도: 20.91% 6 검증 세트 손실: 1.626307 최선의 손실: 0.335515 정확도: 19.27% 7 검증 세트 손실: 1.632293 최선의 손실: 0.335515 정확도: 18.73% 8 검증 세트 손실: 1.707365 최선의 손실: 0.335515 정확도: 19.27% 9 검증 세트 손실: 1.921750 최선의 손실: 0.335515 정확도: 20.91% 10 검증 세트 손실: 1.616640 최선의 손실: 0.335515 정확도: 22.01% 11 검증 세트 손실: 1.757117 최선의 손실: 0.335515 정확도: 18.73% 12 검증 세트 손실: 1.990332 최선의 손실: 0.335515 정확도: 20.91% 13 검증 세트 손실: 1.631295 최선의 손실: 0.335515 정확도: 22.01% 14 검증 세트 손실: 1.743413 최선의 손실: 0.335515 정확도: 19.08% 15 검증 세트 손실: 1.651299 최선의 손실: 0.335515 정확도: 22.01% 16 검증 세트 손실: 1.624927 최선의 손실: 0.335515 정확도: 22.01% 17 검증 세트 손실: 1.676385 최선의 손실: 0.335515 정확도: 19.27% 18 검증 세트 손실: 1.641906 최선의 손실: 0.335515 정확도: 18.73% 19 검증 세트 손실: 1.720818 최선의 손실: 0.335515 정확도: 19.27% 20 검증 세트 손실: 1.719836 최선의 손실: 0.335515 정확도: 22.01% 21 검증 세트 손실: 1.814305 최선의 손실: 0.335515 정확도: 22.01% 조기 종료! [CV] n_neurons=140, learning_rate=0.02, dropout_rate=0.3, batch_size=50, activation=<function elu at 0x7f8ec4ceef28>, total= 16.2s [CV] n_neurons=120, learning_rate=0.1, dropout_rate=0.5, batch_size=100, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 1.647194 최선의 손실: 1.647194 정확도: 19.27% 1 검증 세트 손실: 1.628903 최선의 손실: 1.628903 정확도: 20.91% 2 검증 세트 손실: 1.769358 최선의 손실: 1.628903 정확도: 22.01% 3 검증 세트 손실: 1.653013 최선의 손실: 1.628903 정확도: 22.01% 4 검증 세트 손실: 1.693160 최선의 손실: 1.628903 정확도: 19.27% 5 검증 세트 손실: 1.629143 최선의 손실: 1.628903 정확도: 19.08% 6 검증 세트 손실: 1.674425 최선의 손실: 1.628903 정확도: 18.73% 7 검증 세트 손실: 1.809671 최선의 손실: 1.628903 정확도: 19.27% 8 검증 세트 손실: 1.790104 최선의 손실: 1.628903 정확도: 19.27% 9 검증 세트 손실: 1.925354 최선의 손실: 1.628903 정확도: 19.08% 10 검증 세트 손실: 1.748351 최선의 손실: 1.628903 정확도: 19.08% 11 검증 세트 손실: 1.772785 최선의 손실: 1.628903 정확도: 20.91% 12 검증 세트 손실: 1.940909 최선의 손실: 1.628903 정확도: 18.73% 13 검증 세트 손실: 1.704610 최선의 손실: 1.628903 정확도: 20.91% 14 검증 세트 손실: 1.848346 최선의 손실: 1.628903 정확도: 19.08% 15 검증 세트 손실: 1.714073 최선의 손실: 1.628903 정확도: 22.01% 16 검증 세트 손실: 1.757887 최선의 손실: 1.628903 정확도: 18.73% 17 검증 세트 손실: 1.782447 최선의 손실: 1.628903 정확도: 22.01% 18 검증 세트 손실: 2.044712 최선의 손실: 1.628903 정확도: 20.91% 19 검증 세트 손실: 1.698108 최선의 손실: 1.628903 정확도: 20.91% 20 검증 세트 손실: 1.761083 최선의 손실: 1.628903 정확도: 19.27% 21 검증 세트 손실: 1.688547 최선의 손실: 1.628903 정확도: 19.27% 22 검증 세트 손실: 1.768443 최선의 손실: 1.628903 정확도: 22.01% 조기 종료! [CV] n_neurons=120, learning_rate=0.1, dropout_rate=0.5, batch_size=100, activation=<function elu at 0x7f8ec4ceef28>, total= 12.4s [CV] n_neurons=120, learning_rate=0.1, dropout_rate=0.5, batch_size=100, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 1.668180 최선의 손실: 1.668180 정확도: 22.01% 1 검증 세트 손실: 1.860445 최선의 손실: 1.668180 정확도: 18.73% 2 검증 세트 손실: 1.772652 최선의 손실: 1.668180 정확도: 19.27% 3 검증 세트 손실: 1.849342 최선의 손실: 1.668180 정확도: 22.01% 4 검증 세트 손실: 1.713295 최선의 손실: 1.668180 정확도: 20.91% 5 검증 세트 손실: 1.638731 최선의 손실: 1.638731 정확도: 19.08% 6 검증 세트 손실: 1.709750 최선의 손실: 1.638731 정확도: 19.27% 7 검증 세트 손실: 1.875914 최선의 손실: 1.638731 정확도: 19.08% 8 검증 세트 손실: 1.759984 최선의 손실: 1.638731 정확도: 18.73% 9 검증 세트 손실: 2.229576 최선의 손실: 1.638731 정확도: 20.91% 10 검증 세트 손실: 1.734279 최선의 손실: 1.638731 정확도: 22.01% 11 검증 세트 손실: 1.765375 최선의 손실: 1.638731 정확도: 19.08% 12 검증 세트 손실: 2.121526 최선의 손실: 1.638731 정확도: 20.91% 13 검증 세트 손실: 1.689171 최선의 손실: 1.638731 정확도: 19.27% 14 검증 세트 손실: 2.112412 최선의 손실: 1.638731 정확도: 18.73% 15 검증 세트 손실: 1.780253 최선의 손실: 1.638731 정확도: 19.27% 16 검증 세트 손실: 1.984774 최선의 손실: 1.638731 정확도: 19.08% 17 검증 세트 손실: 1.699173 최선의 손실: 1.638731 정확도: 19.27% 18 검증 세트 손실: 1.776468 최선의 손실: 1.638731 정확도: 20.91% 19 검증 세트 손실: 1.807921 최선의 손실: 1.638731 정확도: 22.01% 20 검증 세트 손실: 1.893692 최선의 손실: 1.638731 정확도: 18.73% 21 검증 세트 손실: 1.865568 최선의 손실: 1.638731 정확도: 22.01% 22 검증 세트 손실: 2.381745 최선의 손실: 1.638731 정확도: 18.73% 23 검증 세트 손실: 1.840901 최선의 손실: 1.638731 정확도: 22.01% 24 검증 세트 손실: 2.173730 최선의 손실: 1.638731 정확도: 19.27% 25 검증 세트 손실: 2.273038 최선의 손실: 1.638731 정확도: 22.01% 26 검증 세트 손실: 1.719446 최선의 손실: 1.638731 정확도: 20.91% 조기 종료! [CV] n_neurons=120, learning_rate=0.1, dropout_rate=0.5, batch_size=100, activation=<function elu at 0x7f8ec4ceef28>, total= 14.5s [CV] n_neurons=120, learning_rate=0.1, dropout_rate=0.5, batch_size=100, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 1.709840 최선의 손실: 1.709840 정확도: 19.08% 1 검증 세트 손실: 1.831218 최선의 손실: 1.709840 정확도: 19.08% 2 검증 세트 손실: 1.610797 최선의 손실: 1.610797 정확도: 22.01% 3 검증 세트 손실: 1.771163 최선의 손실: 1.610797 정확도: 19.08% 4 검증 세트 손실: 2.133313 최선의 손실: 1.610797 정확도: 19.27% 5 검증 세트 손실: 1.815151 최선의 손실: 1.610797 정확도: 20.91% 6 검증 세트 손실: 2.242651 최선의 손실: 1.610797 정확도: 20.91% 7 검증 세트 손실: 2.094480 최선의 손실: 1.610797 정확도: 18.73% 8 검증 세트 손실: 1.906644 최선의 손실: 1.610797 정확도: 22.01% 9 검증 세트 손실: 2.197050 최선의 손실: 1.610797 정확도: 20.91% 10 검증 세트 손실: 1.942253 최선의 손실: 1.610797 정확도: 18.73% 11 검증 세트 손실: 1.846089 최선의 손실: 1.610797 정확도: 19.08% 12 검증 세트 손실: 1.834179 최선의 손실: 1.610797 정확도: 20.91% 13 검증 세트 손실: 1.746020 최선의 손실: 1.610797 정확도: 22.01% 14 검증 세트 손실: 1.930596 최선의 손실: 1.610797 정확도: 19.08% 15 검증 세트 손실: 1.622954 최선의 손실: 1.610797 정확도: 19.27% 16 검증 세트 손실: 1.869717 최선의 손실: 1.610797 정확도: 18.73% 17 검증 세트 손실: 1.877299 최선의 손실: 1.610797 정확도: 18.73% 18 검증 세트 손실: 1.873666 최선의 손실: 1.610797 정확도: 22.01% 19 검증 세트 손실: 2.299901 최선의 손실: 1.610797 정확도: 18.73% 20 검증 세트 손실: 1.659589 최선의 손실: 1.610797 정확도: 22.01% 21 검증 세트 손실: 2.108963 최선의 손실: 1.610797 정확도: 22.01% 22 검증 세트 손실: 2.001684 최선의 손실: 1.610797 정확도: 18.73% 23 검증 세트 손실: 1.788042 최선의 손실: 1.610797 정확도: 22.01% 조기 종료! [CV] n_neurons=120, learning_rate=0.1, dropout_rate=0.5, batch_size=100, activation=<function elu at 0x7f8ec4ceef28>, total= 12.8s [CV] n_neurons=10, learning_rate=0.02, dropout_rate=0.2, batch_size=500, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.375407 최선의 손실: 0.375407 정확도: 90.38% 1 검증 세트 손실: 0.176794 최선의 손실: 0.176794 정확도: 95.82% 2 검증 세트 손실: 0.142329 최선의 손실: 0.142329 정확도: 95.78% 3 검증 세트 손실: 0.130835 최선의 손실: 0.130835 정확도: 96.21% 4 검증 세트 손실: 0.107841 최선의 손실: 0.107841 정확도: 96.68% 5 검증 세트 손실: 0.100907 최선의 손실: 0.100907 정확도: 97.50% 6 검증 세트 손실: 0.105500 최선의 손실: 0.100907 정확도: 96.99% 7 검증 세트 손실: 0.100753 최선의 손실: 0.100753 정확도: 97.38% 8 검증 세트 손실: 0.094380 최선의 손실: 0.094380 정확도: 97.46% 9 검증 세트 손실: 0.105097 최선의 손실: 0.094380 정확도: 97.26% 10 검증 세트 손실: 0.109562 최선의 손실: 0.094380 정확도: 97.11% 11 검증 세트 손실: 0.104091 최선의 손실: 0.094380 정확도: 97.42% 12 검증 세트 손실: 0.095924 최선의 손실: 0.094380 정확도: 97.42% 13 검증 세트 손실: 0.095676 최선의 손실: 0.094380 정확도: 97.58% 14 검증 세트 손실: 0.101626 최선의 손실: 0.094380 정확도: 97.38% 15 검증 세트 손실: 0.110662 최선의 손실: 0.094380 정확도: 97.22% 16 검증 세트 손실: 0.108961 최선의 손실: 0.094380 정확도: 97.38% 17 검증 세트 손실: 0.127509 최선의 손실: 0.094380 정확도: 97.26% 18 검증 세트 손실: 0.102918 최선의 손실: 0.094380 정확도: 97.30% 19 검증 세트 손실: 0.107745 최선의 손실: 0.094380 정확도: 97.58% 20 검증 세트 손실: 0.106405 최선의 손실: 0.094380 정확도: 97.62% 21 검증 세트 손실: 0.101149 최선의 손실: 0.094380 정확도: 97.15% 22 검증 세트 손실: 0.094374 최선의 손실: 0.094374 정확도: 97.58% 23 검증 세트 손실: 0.110483 최선의 손실: 0.094374 정확도: 97.38% 24 검증 세트 손실: 0.109675 최선의 손실: 0.094374 정확도: 96.79% 25 검증 세트 손실: 0.109346 최선의 손실: 0.094374 정확도: 97.07% 26 검증 세트 손실: 0.120075 최선의 손실: 0.094374 정확도: 97.19% 27 검증 세트 손실: 0.113608 최선의 손실: 0.094374 정확도: 97.19% 28 검증 세트 손실: 0.105664 최선의 손실: 0.094374 정확도: 97.26% 29 검증 세트 손실: 0.097608 최선의 손실: 0.094374 정확도: 97.46% 30 검증 세트 손실: 0.106792 최선의 손실: 0.094374 정확도: 97.38% 31 검증 세트 손실: 0.112170 최선의 손실: 0.094374 정확도: 97.15% 32 검증 세트 손실: 0.105559 최선의 손실: 0.094374 정확도: 97.30% 33 검증 세트 손실: 0.102498 최선의 손실: 0.094374 정확도: 97.50% 34 검증 세트 손실: 0.114171 최선의 손실: 0.094374 정확도: 97.26% 35 검증 세트 손실: 0.107286 최선의 손실: 0.094374 정확도: 97.54% 36 검증 세트 손실: 0.103727 최선의 손실: 0.094374 정확도: 97.73% 37 검증 세트 손실: 0.121327 최선의 손실: 0.094374 정확도: 96.44% 38 검증 세트 손실: 0.116294 최선의 손실: 0.094374 정확도: 97.30% 39 검증 세트 손실: 0.113838 최선의 손실: 0.094374 정확도: 97.22% 40 검증 세트 손실: 0.123886 최선의 손실: 0.094374 정확도: 97.19% 41 검증 세트 손실: 0.108289 최선의 손실: 0.094374 정확도: 97.19% 42 검증 세트 손실: 0.114094 최선의 손실: 0.094374 정확도: 97.26% 43 검증 세트 손실: 0.100964 최선의 손실: 0.094374 정확도: 97.50% 조기 종료! [CV] n_neurons=10, learning_rate=0.02, dropout_rate=0.2, batch_size=500, activation=<function elu at 0x7f8ec4ceef28>, total= 5.2s [CV] n_neurons=10, learning_rate=0.02, dropout_rate=0.2, batch_size=500, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.320861 최선의 손실: 0.320861 정확도: 90.15% 1 검증 세트 손실: 0.198930 최선의 손실: 0.198930 정확도: 94.72% 2 검증 세트 손실: 0.163497 최선의 손실: 0.163497 정확도: 95.78% 3 검증 세트 손실: 0.145915 최선의 손실: 0.145915 정확도: 96.05% 4 검증 세트 손실: 0.138515 최선의 손실: 0.138515 정확도: 96.60% 5 검증 세트 손실: 0.138908 최선의 손실: 0.138515 정확도: 96.21% 6 검증 세트 손실: 0.139792 최선의 손실: 0.138515 정확도: 96.17% 7 검증 세트 손실: 0.139517 최선의 손실: 0.138515 정확도: 96.40% 8 검증 세트 손실: 0.143247 최선의 손실: 0.138515 정확도: 96.33% 9 검증 세트 손실: 0.132914 최선의 손실: 0.132914 정확도: 96.72% 10 검증 세트 손실: 0.121862 최선의 손실: 0.121862 정확도: 96.91% 11 검증 세트 손실: 0.121265 최선의 손실: 0.121265 정확도: 96.87% 12 검증 세트 손실: 0.108321 최선의 손실: 0.108321 정확도: 97.07% 13 검증 세트 손실: 0.112329 최선의 손실: 0.108321 정확도: 97.15% 14 검증 세트 손실: 0.114054 최선의 손실: 0.108321 정확도: 97.15% 15 검증 세트 손실: 0.122191 최선의 손실: 0.108321 정확도: 97.11% 16 검증 세트 손실: 0.125373 최선의 손실: 0.108321 정확도: 96.99% 17 검증 세트 손실: 0.126315 최선의 손실: 0.108321 정확도: 96.79% 18 검증 세트 손실: 0.096333 최선의 손실: 0.096333 정확도: 97.46% 19 검증 세트 손실: 0.106316 최선의 손실: 0.096333 정확도: 97.54% 20 검증 세트 손실: 0.104059 최선의 손실: 0.096333 정확도: 97.42% 21 검증 세트 손실: 0.115488 최선의 손실: 0.096333 정확도: 97.19% 22 검증 세트 손실: 0.105749 최선의 손실: 0.096333 정확도: 97.50% 23 검증 세트 손실: 0.118408 최선의 손실: 0.096333 정확도: 96.83% 24 검증 세트 손실: 0.105763 최선의 손실: 0.096333 정확도: 97.65% 25 검증 세트 손실: 0.103434 최선의 손실: 0.096333 정확도: 97.42% 26 검증 세트 손실: 0.113903 최선의 손실: 0.096333 정확도: 96.95% 27 검증 세트 손실: 0.108184 최선의 손실: 0.096333 정확도: 97.42% 28 검증 세트 손실: 0.107931 최선의 손실: 0.096333 정확도: 97.50% 29 검증 세트 손실: 0.116595 최선의 손실: 0.096333 정확도: 97.22% 30 검증 세트 손실: 0.107307 최선의 손실: 0.096333 정확도: 97.26% 31 검증 세트 손실: 0.116683 최선의 손실: 0.096333 정확도: 97.42% 32 검증 세트 손실: 0.113955 최선의 손실: 0.096333 정확도: 97.42% 33 검증 세트 손실: 0.110340 최선의 손실: 0.096333 정확도: 97.42% 34 검증 세트 손실: 0.114053 최선의 손실: 0.096333 정확도: 97.54% 35 검증 세트 손실: 0.116622 최선의 손실: 0.096333 정확도: 97.50% 36 검증 세트 손실: 0.112925 최선의 손실: 0.096333 정확도: 97.38% 37 검증 세트 손실: 0.106129 최선의 손실: 0.096333 정확도: 97.34% 38 검증 세트 손실: 0.115859 최선의 손실: 0.096333 정확도: 97.11% 39 검증 세트 손실: 0.104289 최선의 손실: 0.096333 정확도: 97.38% 조기 종료! [CV] n_neurons=10, learning_rate=0.02, dropout_rate=0.2, batch_size=500, activation=<function elu at 0x7f8ec4ceef28>, total= 4.7s [CV] n_neurons=10, learning_rate=0.02, dropout_rate=0.2, batch_size=500, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.160661 최선의 손실: 0.160661 정확도: 95.39% 1 검증 세트 손실: 0.130162 최선의 손실: 0.130162 정확도: 96.44% 2 검증 세트 손실: 0.117935 최선의 손실: 0.117935 정확도: 96.79% 3 검증 세트 손실: 0.136089 최선의 손실: 0.117935 정확도: 96.17% 4 검증 세트 손실: 0.127926 최선의 손실: 0.117935 정확도: 96.79% 5 검증 세트 손실: 0.120879 최선의 손실: 0.117935 정확도: 96.72% 6 검증 세트 손실: 0.111524 최선의 손실: 0.111524 정확도: 97.03% 7 검증 세트 손실: 0.108469 최선의 손실: 0.108469 정확도: 97.15% 8 검증 세트 손실: 0.115489 최선의 손실: 0.108469 정확도: 97.07% 9 검증 세트 손실: 0.120703 최선의 손실: 0.108469 정확도: 96.83% 10 검증 세트 손실: 0.120725 최선의 손실: 0.108469 정확도: 96.87% 11 검증 세트 손실: 0.120852 최선의 손실: 0.108469 정확도: 96.95% 12 검증 세트 손실: 0.112113 최선의 손실: 0.108469 정확도: 97.30% 13 검증 세트 손실: 0.102956 최선의 손실: 0.102956 정확도: 97.15% 14 검증 세트 손실: 0.115896 최선의 손실: 0.102956 정확도: 97.26% 15 검증 세트 손실: 0.117326 최선의 손실: 0.102956 정확도: 96.91% 16 검증 세트 손실: 0.110988 최선의 손실: 0.102956 정확도: 97.15% 17 검증 세트 손실: 0.105192 최선의 손실: 0.102956 정확도: 97.03% 18 검증 세트 손실: 0.105835 최선의 손실: 0.102956 정확도: 97.30% 19 검증 세트 손실: 0.110439 최선의 손실: 0.102956 정확도: 97.11% 20 검증 세트 손실: 0.109827 최선의 손실: 0.102956 정확도: 97.03% 21 검증 세트 손실: 0.107909 최선의 손실: 0.102956 정확도: 97.11% 22 검증 세트 손실: 0.104306 최선의 손실: 0.102956 정확도: 97.07% 23 검증 세트 손실: 0.108366 최선의 손실: 0.102956 정확도: 97.07% 24 검증 세트 손실: 0.114682 최선의 손실: 0.102956 정확도: 97.15% 25 검증 세트 손실: 0.107426 최선의 손실: 0.102956 정확도: 97.38% 26 검증 세트 손실: 0.108061 최선의 손실: 0.102956 정확도: 97.22% 27 검증 세트 손실: 0.110127 최선의 손실: 0.102956 정확도: 97.30% 28 검증 세트 손실: 0.101496 최선의 손실: 0.101496 정확도: 97.22% 29 검증 세트 손실: 0.127481 최선의 손실: 0.101496 정확도: 97.03% 30 검증 세트 손실: 0.119957 최선의 손실: 0.101496 정확도: 96.99% 31 검증 세트 손실: 0.104324 최선의 손실: 0.101496 정확도: 97.30% 32 검증 세트 손실: 0.109377 최선의 손실: 0.101496 정확도: 97.50% 33 검증 세트 손실: 0.119150 최선의 손실: 0.101496 정확도: 97.11% 34 검증 세트 손실: 0.107451 최선의 손실: 0.101496 정확도: 97.30% 35 검증 세트 손실: 0.102617 최선의 손실: 0.101496 정확도: 97.19% 36 검증 세트 손실: 0.113823 최선의 손실: 0.101496 정확도: 97.15% 37 검증 세트 손실: 0.111319 최선의 손실: 0.101496 정확도: 97.07% 38 검증 세트 손실: 0.115569 최선의 손실: 0.101496 정확도: 97.19% 39 검증 세트 손실: 0.111614 최선의 손실: 0.101496 정확도: 97.19% 40 검증 세트 손실: 0.123525 최선의 손실: 0.101496 정확도: 96.91% 41 검증 세트 손실: 0.113303 최선의 손실: 0.101496 정확도: 97.15% 42 검증 세트 손실: 0.102629 최선의 손실: 0.101496 정확도: 97.22% 43 검증 세트 손실: 0.104627 최선의 손실: 0.101496 정확도: 97.34% 44 검증 세트 손실: 0.103734 최선의 손실: 0.101496 정확도: 97.42% 45 검증 세트 손실: 0.108855 최선의 손실: 0.101496 정확도: 97.19% 46 검증 세트 손실: 0.109388 최선의 손실: 0.101496 정확도: 97.19% 47 검증 세트 손실: 0.100560 최선의 손실: 0.100560 정확도: 97.42% 48 검증 세트 손실: 0.105130 최선의 손실: 0.100560 정확도: 97.30% 49 검증 세트 손실: 0.112443 최선의 손실: 0.100560 정확도: 97.30% 50 검증 세트 손실: 0.108455 최선의 손실: 0.100560 정확도: 97.46% 51 검증 세트 손실: 0.114560 최선의 손실: 0.100560 정확도: 97.15% 52 검증 세트 손실: 0.108041 최선의 손실: 0.100560 정확도: 97.19% 53 검증 세트 손실: 0.120554 최선의 손실: 0.100560 정확도: 97.07% 54 검증 세트 손실: 0.113689 최선의 손실: 0.100560 정확도: 97.07% 55 검증 세트 손실: 0.115244 최선의 손실: 0.100560 정확도: 97.11% 56 검증 세트 손실: 0.112394 최선의 손실: 0.100560 정확도: 97.11% 57 검증 세트 손실: 0.117260 최선의 손실: 0.100560 정확도: 97.15% 58 검증 세트 손실: 0.118602 최선의 손실: 0.100560 정확도: 96.95% 59 검증 세트 손실: 0.119709 최선의 손실: 0.100560 정확도: 96.79% 60 검증 세트 손실: 0.105899 최선의 손실: 0.100560 정확도: 97.42% 61 검증 세트 손실: 0.123167 최선의 손실: 0.100560 정확도: 97.30% 62 검증 세트 손실: 0.097566 최선의 손실: 0.097566 정확도: 97.42% 63 검증 세트 손실: 0.115009 최선의 손실: 0.097566 정확도: 97.46% 64 검증 세트 손실: 0.111300 최선의 손실: 0.097566 정확도: 97.26% 65 검증 세트 손실: 0.108933 최선의 손실: 0.097566 정확도: 97.34% 66 검증 세트 손실: 0.110458 최선의 손실: 0.097566 정확도: 97.34% 67 검증 세트 손실: 0.116015 최선의 손실: 0.097566 정확도: 97.07% 68 검증 세트 손실: 0.107909 최선의 손실: 0.097566 정확도: 97.38% 69 검증 세트 손실: 0.105376 최선의 손실: 0.097566 정확도: 97.50% 70 검증 세트 손실: 0.102533 최선의 손실: 0.097566 정확도: 97.38% 71 검증 세트 손실: 0.116030 최선의 손실: 0.097566 정확도: 97.22% 72 검증 세트 손실: 0.107118 최선의 손실: 0.097566 정확도: 97.38% 73 검증 세트 손실: 0.110088 최선의 손실: 0.097566 정확도: 97.22% 74 검증 세트 손실: 0.120818 최선의 손실: 0.097566 정확도: 96.91% 75 검증 세트 손실: 0.109643 최선의 손실: 0.097566 정확도: 97.07% 76 검증 세트 손실: 0.118529 최선의 손실: 0.097566 정확도: 97.22% 77 검증 세트 손실: 0.116283 최선의 손실: 0.097566 정확도: 97.22% 78 검증 세트 손실: 0.130523 최선의 손실: 0.097566 정확도: 97.07% 79 검증 세트 손실: 0.119469 최선의 손실: 0.097566 정확도: 97.22% 80 검증 세트 손실: 0.114148 최선의 손실: 0.097566 정확도: 97.07% 81 검증 세트 손실: 0.103068 최선의 손실: 0.097566 정확도: 97.42% 82 검증 세트 손실: 0.109643 최선의 손실: 0.097566 정확도: 97.26% 83 검증 세트 손실: 0.111353 최선의 손실: 0.097566 정확도: 97.07% 조기 종료! [CV] n_neurons=10, learning_rate=0.02, dropout_rate=0.2, batch_size=500, activation=<function elu at 0x7f8ec4ceef28>, total= 9.2s [CV] n_neurons=160, learning_rate=0.1, dropout_rate=0.2, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0> 0 검증 세트 손실: 53669.328125 최선의 손실: 53669.328125 정확도: 78.11% 1 검증 세트 손실: 21963.400391 최선의 손실: 21963.400391 정확도: 77.95% 2 검증 세트 손실: 6321.294922 최선의 손실: 6321.294922 정확도: 86.20% 3 검증 세트 손실: 3712.019043 최선의 손실: 3712.019043 정확도: 93.90% 4 검증 세트 손실: 3042.168945 최선의 손실: 3042.168945 정확도: 93.39% 5 검증 세트 손실: 22078696.000000 최선의 손실: 3042.168945 정확도: 80.14% 6 검증 세트 손실: 1463911.500000 최선의 손실: 3042.168945 정확도: 93.35% 7 검증 세트 손실: 554450.937500 최선의 손실: 3042.168945 정확도: 94.41% 8 검증 세트 손실: 313945.125000 최선의 손실: 3042.168945 정확도: 95.15% 9 검증 세트 손실: 264973.250000 최선의 손실: 3042.168945 정확도: 95.04% 10 검증 세트 손실: 425199.375000 최선의 손실: 3042.168945 정확도: 92.77% 11 검증 세트 손실: 934622.187500 최선의 손실: 3042.168945 정확도: 96.09% 12 검증 세트 손실: 968266.062500 최선의 손실: 3042.168945 정확도: 93.39% 13 검증 세트 손실: 315908.406250 최선의 손실: 3042.168945 정확도: 95.97% 14 검증 세트 손실: 232283.296875 최선의 손실: 3042.168945 정확도: 95.86% 15 검증 세트 손실: 381929.531250 최선의 손실: 3042.168945 정확도: 94.76% 16 검증 세트 손실: 351489.531250 최선의 손실: 3042.168945 정확도: 94.06% 17 검증 세트 손실: 21956062.000000 최선의 손실: 3042.168945 정확도: 95.43% 18 검증 세트 손실: 8525880.000000 최선의 손실: 3042.168945 정확도: 95.86% 19 검증 세트 손실: 5767532.500000 최선의 손실: 3042.168945 정확도: 95.04% 20 검증 세트 손실: 2991270.750000 최선의 손실: 3042.168945 정확도: 96.05% 21 검증 세트 손실: 1662948.625000 최선의 손실: 3042.168945 정확도: 96.87% 22 검증 세트 손실: 20052870.000000 최선의 손실: 3042.168945 정확도: 96.33% 23 검증 세트 손실: 6176994.000000 최선의 손실: 3042.168945 정확도: 96.64% 24 검증 세트 손실: 6155834.000000 최선의 손실: 3042.168945 정확도: 95.82% 25 검증 세트 손실: 3180759.250000 최선의 손실: 3042.168945 정확도: 97.07% 조기 종료! [CV] n_neurons=160, learning_rate=0.1, dropout_rate=0.2, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 21.1s [CV] n_neurons=160, learning_rate=0.1, dropout_rate=0.2, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0> 0 검증 세트 손실: 28622.513672 최선의 손실: 28622.513672 정확도: 69.39% 1 검증 세트 손실: 3920.200928 최선의 손실: 3920.200928 정확도: 80.26% 2 검증 세트 손실: 3195.761475 최선의 손실: 3195.761475 정확도: 75.29% 3 검증 세트 손실: 4160.816895 최선의 손실: 3195.761475 정확도: 76.58% 4 검증 세트 손실: 4291.297852 최선의 손실: 3195.761475 정확도: 65.91% 5 검증 세트 손실: 2970.414062 최선의 손실: 2970.414062 정확도: 77.87% 6 검증 세트 손실: 1327.264160 최선의 손실: 1327.264160 정확도: 82.37% 7 검증 세트 손실: 962.010742 최선의 손실: 962.010742 정확도: 92.89% 8 검증 세트 손실: 665.557739 최선의 손실: 665.557739 정확도: 94.02% 9 검증 세트 손실: 2530.622070 최선의 손실: 665.557739 정확도: 93.08% 10 검증 세트 손실: 3004292.750000 최선의 손실: 665.557739 정확도: 72.13% 11 검증 세트 손실: 884380.500000 최선의 손실: 665.557739 정확도: 74.24% 12 검증 세트 손실: 353326.218750 최선의 손실: 665.557739 정확도: 87.49% 13 검증 세트 손실: 242284.187500 최선의 손실: 665.557739 정확도: 92.57% 14 검증 세트 손실: 344148.562500 최선의 손실: 665.557739 정확도: 86.12% 15 검증 세트 손실: 176231.890625 최선의 손실: 665.557739 정확도: 92.69% 16 검증 세트 손실: 150599.078125 최선의 손실: 665.557739 정확도: 90.11% 17 검증 세트 손실: 183748.359375 최선의 손실: 665.557739 정확도: 94.10% 18 검증 세트 손실: 136375.375000 최선의 손실: 665.557739 정확도: 91.99% 19 검증 세트 손실: 121446.765625 최선의 손실: 665.557739 정확도: 93.98% 20 검증 세트 손실: 154896.578125 최선의 손실: 665.557739 정확도: 89.91% 21 검증 세트 손실: 96038.281250 최선의 손실: 665.557739 정확도: 96.21% 22 검증 세트 손실: 92677.640625 최선의 손실: 665.557739 정확도: 93.12% 23 검증 세트 손실: 260463.859375 최선의 손실: 665.557739 정확도: 92.53% 24 검증 세트 손실: 158625.359375 최선의 손실: 665.557739 정확도: 93.71% 25 검증 세트 손실: 162379.843750 최선의 손실: 665.557739 정확도: 89.72% 26 검증 세트 손실: 78769.835938 최선의 손실: 665.557739 정확도: 95.74% 27 검증 세트 손실: 96394208.000000 최선의 손실: 665.557739 정확도: 63.88% 28 검증 세트 손실: 3067148.500000 최선의 손실: 665.557739 정확도: 91.44% 29 검증 세트 손실: 2431251.500000 최선의 손실: 665.557739 정확도: 92.65% 조기 종료! [CV] n_neurons=160, learning_rate=0.1, dropout_rate=0.2, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 24.5s [CV] n_neurons=160, learning_rate=0.1, dropout_rate=0.2, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0> 0 검증 세트 손실: 33749612.000000 최선의 손실: 33749612.000000 정확도: 37.29% 1 검증 세트 손실: 71129.414062 최선의 손실: 71129.414062 정확도: 86.08% 2 검증 세트 손실: 42355.914062 최선의 손실: 42355.914062 정확도: 89.84% 3 검증 세트 손실: 27266.304688 최선의 손실: 27266.304688 정확도: 93.90% 4 검증 세트 손실: 12466.732422 최선의 손실: 12466.732422 정확도: 94.10% 5 검증 세트 손실: 11156.530273 최선의 손실: 11156.530273 정확도: 94.68% 6 검증 세트 손실: 12760.334961 최선의 손실: 11156.530273 정확도: 94.53% 7 검증 세트 손실: 8030.697266 최선의 손실: 8030.697266 정확도: 94.02% 8 검증 세트 손실: 9744.321289 최선의 손실: 8030.697266 정확도: 95.78% 9 검증 세트 손실: 8747.013672 최선의 손실: 8030.697266 정확도: 96.52% 10 검증 세트 손실: 24499.437500 최선의 손실: 8030.697266 정확도: 93.82% 11 검증 세트 손실: 10963.889648 최선의 손실: 8030.697266 정확도: 95.70% 12 검증 세트 손실: 5927.707520 최선의 손실: 5927.707520 정확도: 94.29% 13 검증 세트 손실: 2091023232.000000 최선의 손실: 5927.707520 정확도: 92.89% 14 검증 세트 손실: 282636128.000000 최선의 손실: 5927.707520 정확도: 90.62% 15 검증 세트 손실: 79357520.000000 최선의 손실: 5927.707520 정확도: 95.43% 16 검증 세트 손실: 13630159.000000 최선의 손실: 5927.707520 정확도: 96.64% 17 검증 세트 손실: 5715321.000000 최선의 손실: 5927.707520 정확도: 97.38% 18 검증 세트 손실: 3608803.000000 최선의 손실: 5927.707520 정확도: 97.69% 19 검증 세트 손실: 3968761.500000 최선의 손실: 5927.707520 정확도: 97.22% 20 검증 세트 손실: 3312905.000000 최선의 손실: 5927.707520 정확도: 96.79% 21 검증 세트 손실: 1731607.250000 최선의 손실: 5927.707520 정확도: 97.38% 22 검증 세트 손실: 1356600.250000 최선의 손실: 5927.707520 정확도: 97.89% 23 검증 세트 손실: 1978047.125000 최선의 손실: 5927.707520 정확도: 97.73% 24 검증 세트 손실: 2027563.000000 최선의 손실: 5927.707520 정확도: 97.46% 25 검증 세트 손실: 1438392.500000 최선의 손실: 5927.707520 정확도: 97.69% 26 검증 세트 손실: 1007589.187500 최선의 손실: 5927.707520 정확도: 98.08% 27 검증 세트 손실: 1468239.000000 최선의 손실: 5927.707520 정확도: 96.99% 28 검증 세트 손실: 1040841.875000 최선의 손실: 5927.707520 정확도: 97.46% 29 검증 세트 손실: 1036560.437500 최선의 손실: 5927.707520 정확도: 97.34% 30 검증 세트 손실: 728704.812500 최선의 손실: 5927.707520 정확도: 97.93% 31 검증 세트 손실: 61419364.000000 최선의 손실: 5927.707520 정확도: 80.22% 32 검증 세트 손실: 29181880.000000 최선의 손실: 5927.707520 정확도: 93.86% 33 검증 세트 손실: 7980402.000000 최선의 손실: 5927.707520 정확도: 96.79% 조기 종료! [CV] n_neurons=160, learning_rate=0.1, dropout_rate=0.2, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 27.5s [CV] n_neurons=100, learning_rate=0.02, dropout_rate=0.6, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8> 0 검증 세트 손실: 1.308010 최선의 손실: 1.308010 정확도: 30.53% 1 검증 세트 손실: 1.179756 최선의 손실: 1.179756 정확도: 40.89% 2 검증 세트 손실: 1.091852 최선의 손실: 1.091852 정확도: 46.56% 3 검증 세트 손실: 1.551771 최선의 손실: 1.091852 정확도: 37.80% 4 검증 세트 손실: 1.420105 최선의 손실: 1.091852 정확도: 29.01% 5 검증 세트 손실: 1.577884 최선의 손실: 1.091852 정확도: 27.29% 6 검증 세트 손실: 1.935865 최선의 손실: 1.091852 정확도: 38.35% 7 검증 세트 손실: 11.954627 최선의 손실: 1.091852 정확도: 18.80% 8 검증 세트 손실: 8.881997 최선의 손실: 1.091852 정확도: 19.74% 9 검증 세트 손실: 13.330901 최선의 손실: 1.091852 정확도: 19.39% 10 검증 세트 손실: 15.114645 최선의 손실: 1.091852 정확도: 19.08% 11 검증 세트 손실: 6.495666 최선의 손실: 1.091852 정확도: 22.75% 12 검증 세트 손실: 24.670233 최선의 손실: 1.091852 정확도: 19.27% 13 검증 세트 손실: 14.914108 최선의 손실: 1.091852 정확도: 35.26% 14 검증 세트 손실: 176.820496 최선의 손실: 1.091852 정확도: 19.27% 15 검증 세트 손실: 55.398529 최선의 손실: 1.091852 정확도: 22.01% 16 검증 세트 손실: 38.954800 최선의 손실: 1.091852 정확도: 19.08% 17 검증 세트 손실: 30.709673 최선의 손실: 1.091852 정확도: 19.08% 18 검증 세트 손실: 96.912796 최선의 손실: 1.091852 정확도: 18.73% 19 검증 세트 손실: 19.134203 최선의 손실: 1.091852 정확도: 18.73% 20 검증 세트 손실: 17.888094 최선의 손실: 1.091852 정확도: 20.91% 21 검증 세트 손실: 210.537094 최선의 손실: 1.091852 정확도: 19.08% 22 검증 세트 손실: 11.637074 최선의 손실: 1.091852 정확도: 20.02% 23 검증 세트 손실: 21.281076 최선의 손실: 1.091852 정확도: 22.20% 조기 종료! [CV] n_neurons=100, learning_rate=0.02, dropout_rate=0.6, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 14.4s [CV] n_neurons=100, learning_rate=0.02, dropout_rate=0.6, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8> 0 검증 세트 손실: 1.365046 최선의 손실: 1.365046 정확도: 29.95% 1 검증 세트 손실: 1.037731 최선의 손실: 1.037731 정확도: 53.60% 2 검증 세트 손실: 1.445612 최선의 손실: 1.037731 정확도: 39.68% 3 검증 세트 손실: 1.473797 최선의 손실: 1.037731 정확도: 46.09% 4 검증 세트 손실: 1.773176 최선의 손실: 1.037731 정확도: 38.15% 5 검증 세트 손실: 1.511427 최선의 손실: 1.037731 정확도: 31.08% 6 검증 세트 손실: 1.754992 최선의 손실: 1.037731 정확도: 34.36% 7 검증 세트 손실: 1.820629 최선의 손실: 1.037731 정확도: 25.57% 8 검증 세트 손실: 1.660336 최선의 손실: 1.037731 정확도: 36.98% 9 검증 세트 손실: 1.644313 최선의 손실: 1.037731 정확도: 22.05% 10 검증 세트 손실: 1.615515 최선의 손실: 1.037731 정확도: 22.01% 11 검증 세트 손실: 1.566361 최선의 손실: 1.037731 정확도: 24.08% 12 검증 세트 손실: 1.566578 최선의 손실: 1.037731 정확도: 27.68% 13 검증 세트 손실: 1.528872 최선의 손실: 1.037731 정확도: 44.25% 14 검증 세트 손실: 1.547115 최선의 손실: 1.037731 정확도: 27.33% 15 검증 세트 손실: 1.541132 최선의 손실: 1.037731 정확도: 31.86% 16 검증 세트 손실: 1.536931 최선의 손실: 1.037731 정확도: 34.21% 17 검증 세트 손실: 1.825158 최선의 손실: 1.037731 정확도: 32.10% 18 검증 세트 손실: 1.577917 최선의 손실: 1.037731 정확도: 28.15% 19 검증 세트 손실: 1.883966 최선의 손실: 1.037731 정확도: 35.26% 20 검증 세트 손실: 2.708138 최선의 손실: 1.037731 정확도: 35.18% 21 검증 세트 손실: 3.983085 최선의 손실: 1.037731 정확도: 27.60% 22 검증 세트 손실: 1.756545 최선의 손실: 1.037731 정확도: 38.00% 조기 종료! [CV] n_neurons=100, learning_rate=0.02, dropout_rate=0.6, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 13.8s [CV] n_neurons=100, learning_rate=0.02, dropout_rate=0.6, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8> 0 검증 세트 손실: 1.317816 최선의 손실: 1.317816 정확도: 35.22% 1 검증 세트 손실: 1.319882 최선의 손실: 1.317816 정확도: 40.19% 2 검증 세트 손실: 1.624315 최선의 손실: 1.317816 정확도: 26.08% 3 검증 세트 손실: 1.468617 최선의 손실: 1.317816 정확도: 26.04% 4 검증 세트 손실: 1.624909 최선의 손실: 1.317816 정확도: 22.01% 5 검증 세트 손실: 1.486864 최선의 손실: 1.317816 정확도: 32.06% 6 검증 세트 손실: 1.634058 최선의 손실: 1.317816 정확도: 22.01% 7 검증 세트 손실: 1.622596 최선의 손실: 1.317816 정확도: 22.20% 8 검증 세트 손실: 1.565351 최선의 손실: 1.317816 정확도: 30.14% 9 검증 세트 손실: 1.701479 최선의 손실: 1.317816 정확도: 30.10% 10 검증 세트 손실: 2.485559 최선의 손실: 1.317816 정확도: 20.91% 11 검증 세트 손실: 1.760811 최선의 손실: 1.317816 정확도: 34.64% 12 검증 세트 손실: 1.882464 최선의 손실: 1.317816 정확도: 19.27% 13 검증 세트 손실: 1.519161 최선의 손실: 1.317816 정확도: 32.76% 14 검증 세트 손실: 1.784736 최선의 손실: 1.317816 정확도: 22.52% 15 검증 세트 손실: 1.471751 최선의 손실: 1.317816 정확도: 34.60% 16 검증 세트 손실: 2.269793 최선의 손실: 1.317816 정확도: 34.75% 17 검증 세트 손실: 2.739334 최선의 손실: 1.317816 정확도: 27.87% 18 검증 세트 손실: 16.210217 최선의 손실: 1.317816 정확도: 28.19% 19 검증 세트 손실: 12.152327 최선의 손실: 1.317816 정확도: 18.76% 20 검증 세트 손실: 16.727533 최선의 손실: 1.317816 정확도: 22.91% 21 검증 세트 손실: 10.187823 최선의 손실: 1.317816 정확도: 22.44% 조기 종료! [CV] n_neurons=100, learning_rate=0.02, dropout_rate=0.6, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 13.1s [CV] n_neurons=100, learning_rate=0.01, dropout_rate=0.4, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8> 0 검증 세트 손실: 0.415100 최선의 손실: 0.415100 정확도: 86.47% 1 검증 세트 손실: 0.432410 최선의 손실: 0.415100 정확도: 81.63% 2 검증 세트 손실: 1.522781 최선의 손실: 0.415100 정확도: 63.80% 3 검증 세트 손실: 0.595219 최선의 손실: 0.415100 정확도: 80.49% 4 검증 세트 손실: 0.391672 최선의 손실: 0.391672 정확도: 84.13% 5 검증 세트 손실: 0.497474 최선의 손실: 0.391672 정확도: 85.46% 6 검증 세트 손실: 0.665048 최선의 손실: 0.391672 정확도: 66.34% 7 검증 세트 손실: 0.708792 최선의 손실: 0.391672 정확도: 72.63% 8 검증 세트 손실: 1.012648 최선의 손실: 0.391672 정확도: 57.86% 9 검증 세트 손실: 3.576060 최선의 손실: 0.391672 정확도: 24.82% 10 검증 세트 손실: 3.983428 최선의 손실: 0.391672 정확도: 43.12% 11 검증 세트 손실: 11.217504 최선의 손실: 0.391672 정확도: 31.12% 12 검증 세트 손실: 2.027821 최선의 손실: 0.391672 정확도: 30.69% 13 검증 세트 손실: 1.171283 최선의 손실: 0.391672 정확도: 52.74% 14 검증 세트 손실: 3.184039 최선의 손실: 0.391672 정확도: 35.73% 15 검증 세트 손실: 1.567214 최선의 손실: 0.391672 정확도: 47.81% 16 검증 세트 손실: 1.542271 최선의 손실: 0.391672 정확도: 35.22% 17 검증 세트 손실: 2.327530 최선의 손실: 0.391672 정확도: 38.15% 18 검증 세트 손실: 2.161514 최선의 손실: 0.391672 정확도: 35.77% 19 검증 세트 손실: 6.644725 최선의 손실: 0.391672 정확도: 23.34% 20 검증 세트 손실: 8.420689 최선의 손실: 0.391672 정확도: 34.44% 21 검증 세트 손실: 2.406080 최선의 손실: 0.391672 정확도: 37.65% 22 검증 세트 손실: 3.176773 최선의 손실: 0.391672 정확도: 41.99% 23 검증 세트 손실: 19.618168 최선의 손실: 0.391672 정확도: 33.39% 24 검증 세트 손실: 2.782402 최선의 손실: 0.391672 정확도: 44.10% 25 검증 세트 손실: 3.464935 최선의 손실: 0.391672 정확도: 29.24% 조기 종료! [CV] n_neurons=100, learning_rate=0.01, dropout_rate=0.4, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 42.1s [CV] n_neurons=100, learning_rate=0.01, dropout_rate=0.4, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8> 0 검증 세트 손실: 0.402737 최선의 손실: 0.402737 정확도: 83.70% 1 검증 세트 손실: 0.512661 최선의 손실: 0.402737 정확도: 75.25% 2 검증 세트 손실: 1.002314 최선의 손실: 0.402737 정확도: 60.13% 3 검증 세트 손실: 0.595843 최선의 손실: 0.402737 정확도: 73.06% 4 검증 세트 손실: 0.957469 최선의 손실: 0.402737 정확도: 63.49% 5 검증 세트 손실: 0.815986 최선의 손실: 0.402737 정확도: 60.59% 6 검증 세트 손실: 0.933285 최선의 손실: 0.402737 정확도: 56.61% 7 검증 세트 손실: 0.784635 최선의 손실: 0.402737 정확도: 65.05% 8 검증 세트 손실: 1.069729 최선의 손실: 0.402737 정확도: 53.09% 9 검증 세트 손실: 0.992436 최선의 손실: 0.402737 정확도: 57.15% 10 검증 세트 손실: 1.102982 최선의 손실: 0.402737 정확도: 53.87% 11 검증 세트 손실: 1.127778 최선의 손실: 0.402737 정확도: 46.83% 12 검증 세트 손실: 0.979051 최선의 손실: 0.402737 정확도: 56.37% 13 검증 세트 손실: 0.855280 최선의 손실: 0.402737 정확도: 67.16% 14 검증 세트 손실: 0.966649 최선의 손실: 0.402737 정확도: 59.11% 15 검증 세트 손실: 1.600002 최선의 손실: 0.402737 정확도: 41.67% 16 검증 세트 손실: 1.190368 최선의 손실: 0.402737 정확도: 49.77% 17 검증 세트 손실: 1.096116 최선의 손실: 0.402737 정확도: 50.20% 18 검증 세트 손실: 1.087971 최선의 손실: 0.402737 정확도: 54.61% 19 검증 세트 손실: 1.108818 최선의 손실: 0.402737 정확도: 54.61% 20 검증 세트 손실: 1.296616 최선의 손실: 0.402737 정확도: 51.72% 21 검증 세트 손실: 2.067127 최선의 손실: 0.402737 정확도: 30.88% 조기 종료! [CV] n_neurons=100, learning_rate=0.01, dropout_rate=0.4, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 35.8s [CV] n_neurons=100, learning_rate=0.01, dropout_rate=0.4, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8> 0 검증 세트 손실: 0.481286 최선의 손실: 0.481286 정확도: 92.38% 1 검증 세트 손실: 0.584180 최선의 손실: 0.481286 정확도: 83.89% 2 검증 세트 손실: 0.461756 최선의 손실: 0.461756 정확도: 86.71% 3 검증 세트 손실: 0.448564 최선의 손실: 0.448564 정확도: 88.58% 4 검증 세트 손실: 0.949463 최선의 손실: 0.448564 정확도: 53.79% 5 검증 세트 손실: 0.928660 최선의 손실: 0.448564 정확도: 57.39% 6 검증 세트 손실: 1.325550 최선의 손실: 0.448564 정확도: 44.18% 7 검증 세트 손실: 0.830097 최선의 손실: 0.448564 정확도: 63.14% 8 검증 세트 손실: 0.959474 최선의 손실: 0.448564 정확도: 57.08% 9 검증 세트 손실: 0.923042 최선의 손실: 0.448564 정확도: 56.25% 10 검증 세트 손실: 0.996331 최선의 손실: 0.448564 정확도: 59.73% 11 검증 세트 손실: 1.236023 최선의 손실: 0.448564 정확도: 43.39% 12 검증 세트 손실: 1.057520 최선의 손실: 0.448564 정확도: 54.07% 13 검증 세트 손실: 1.006588 최선의 손실: 0.448564 정확도: 52.54% 14 검증 세트 손실: 1.368605 최선의 손실: 0.448564 정확도: 48.55% 15 검증 세트 손실: 1.389521 최선의 손실: 0.448564 정확도: 35.42% 16 검증 세트 손실: 1.268487 최선의 손실: 0.448564 정확도: 44.06% 17 검증 세트 손실: 1.066942 최선의 손실: 0.448564 정확도: 55.08% 18 검증 세트 손실: 0.937816 최선의 손실: 0.448564 정확도: 61.57% 19 검증 세트 손실: 1.769673 최선의 손실: 0.448564 정확도: 30.61% 20 검증 세트 손실: 1.471575 최선의 손실: 0.448564 정확도: 48.63% 21 검증 세트 손실: 1.754831 최선의 손실: 0.448564 정확도: 39.41% 22 검증 세트 손실: 1.522655 최선의 손실: 0.448564 정확도: 46.48% 23 검증 세트 손실: 2.414987 최선의 손실: 0.448564 정확도: 34.25% 24 검증 세트 손실: 2.883688 최선의 손실: 0.448564 정확도: 24.20% 조기 종료! [CV] n_neurons=100, learning_rate=0.01, dropout_rate=0.4, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 40.4s [CV] n_neurons=90, learning_rate=0.05, dropout_rate=0.2, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8> 0 검증 세트 손실: 0.425576 최선의 손실: 0.425576 정확도: 88.78% 1 검증 세트 손실: 0.255404 최선의 손실: 0.255404 정확도: 93.82% 2 검증 세트 손실: 0.263556 최선의 손실: 0.255404 정확도: 92.18% 3 검증 세트 손실: 0.181103 최선의 손실: 0.181103 정확도: 94.57% 4 검증 세트 손실: 0.175353 최선의 손실: 0.175353 정확도: 94.92% 5 검증 세트 손실: 0.422139 최선의 손실: 0.175353 정확도: 88.98% 6 검증 세트 손실: 0.530130 최선의 손실: 0.175353 정확도: 85.89% 7 검증 세트 손실: 0.364472 최선의 손실: 0.175353 정확도: 91.59% 8 검증 세트 손실: 0.260711 최선의 손실: 0.175353 정확도: 92.03% 9 검증 세트 손실: 0.446369 최선의 손실: 0.175353 정확도: 93.51% 10 검증 세트 손실: 0.261530 최선의 손실: 0.175353 정확도: 91.20% 11 검증 세트 손실: 0.206498 최선의 손실: 0.175353 정확도: 94.41% 12 검증 세트 손실: 0.246605 최선의 손실: 0.175353 정확도: 92.18% 13 검증 세트 손실: 0.222391 최선의 손실: 0.175353 정확도: 94.18% 14 검증 세트 손실: 0.430145 최선의 손실: 0.175353 정확도: 87.22% 15 검증 세트 손실: 0.646025 최선의 손실: 0.175353 정확도: 81.78% 16 검증 세트 손실: 0.434414 최선의 손실: 0.175353 정확도: 89.09% 17 검증 세트 손실: 268.727142 최선의 손실: 0.175353 정확도: 32.37% 18 검증 세트 손실: 18.386860 최선의 손실: 0.175353 정확도: 19.08% 19 검증 세트 손실: 1.893313 최선의 손실: 0.175353 정확도: 29.55% 20 검증 세트 손실: 2.640017 최선의 손실: 0.175353 정확도: 21.81% 21 검증 세트 손실: 1.280984 최선의 손실: 0.175353 정확도: 43.28% 22 검증 세트 손실: 1.230501 최선의 손실: 0.175353 정확도: 44.88% 23 검증 세트 손실: 1.224947 최선의 손실: 0.175353 정확도: 47.81% 24 검증 세트 손실: 1.725380 최선의 손실: 0.175353 정확도: 32.10% 25 검증 세트 손실: 1.246502 최선의 손실: 0.175353 정확도: 44.57% 조기 종료! [CV] n_neurons=90, learning_rate=0.05, dropout_rate=0.2, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 7.1s [CV] n_neurons=90, learning_rate=0.05, dropout_rate=0.2, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8> 0 검증 세트 손실: 0.370125 최선의 손실: 0.370125 정확도: 87.33% 1 검증 세트 손실: 0.186910 최선의 손실: 0.186910 정확도: 94.57% 2 검증 세트 손실: 0.125593 최선의 손실: 0.125593 정확도: 96.17% 3 검증 세트 손실: 0.250169 최선의 손실: 0.125593 정확도: 94.02% 4 검증 세트 손실: 0.301855 최선의 손실: 0.125593 정확도: 91.87% 5 검증 세트 손실: 0.322210 최선의 손실: 0.125593 정확도: 91.24% 6 검증 세트 손실: 0.283647 최선의 손실: 0.125593 정확도: 92.34% 7 검증 세트 손실: 0.353438 최선의 손실: 0.125593 정확도: 89.41% 8 검증 세트 손실: 0.177833 최선의 손실: 0.125593 정확도: 94.53% 9 검증 세트 손실: 0.210499 최선의 손실: 0.125593 정확도: 94.14% 10 검증 세트 손실: 70.530098 최선의 손실: 0.125593 정확도: 19.27% 11 검증 세트 손실: 17.259832 최선의 손실: 0.125593 정확도: 22.01% 12 검증 세트 손실: 3.458333 최선의 손실: 0.125593 정확도: 26.08% 13 검증 세트 손실: 1.658917 최선의 손실: 0.125593 정확도: 18.37% 14 검증 세트 손실: 1.431745 최선의 손실: 0.125593 정확도: 43.51% 15 검증 세트 손실: 2.151597 최선의 손실: 0.125593 정확도: 22.40% 16 검증 세트 손실: 1.485477 최선의 손실: 0.125593 정확도: 34.68% 17 검증 세트 손실: 2.184128 최선의 손실: 0.125593 정확도: 21.15% 18 검증 세트 손실: 1.275701 최선의 손실: 0.125593 정확도: 39.80% 19 검증 세트 손실: 1.241560 최선의 손실: 0.125593 정확도: 51.13% 20 검증 세트 손실: 1.271052 최선의 손실: 0.125593 정확도: 49.65% 21 검증 세트 손실: 1.334854 최선의 손실: 0.125593 정확도: 38.19% 22 검증 세트 손실: 1.692701 최선의 손실: 0.125593 정확도: 44.80% 23 검증 세트 손실: 1.346148 최선의 손실: 0.125593 정확도: 37.41% 조기 종료! [CV] n_neurons=90, learning_rate=0.05, dropout_rate=0.2, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 6.7s [CV] n_neurons=90, learning_rate=0.05, dropout_rate=0.2, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8> 0 검증 세트 손실: 0.639881 최선의 손실: 0.639881 정확도: 71.54% 1 검증 세트 손실: 0.244770 최선의 손실: 0.244770 정확도: 94.25% 2 검증 세트 손실: 0.171645 최선의 손실: 0.171645 정확도: 95.04% 3 검증 세트 손실: 0.143509 최선의 손실: 0.143509 정확도: 95.74% 4 검증 세트 손실: 0.137540 최선의 손실: 0.137540 정확도: 96.13% 5 검증 세트 손실: 0.117172 최선의 손실: 0.117172 정확도: 96.56% 6 검증 세트 손실: 0.206850 최선의 손실: 0.117172 정확도: 95.35% 7 검증 세트 손실: 0.164366 최선의 손실: 0.117172 정확도: 95.35% 8 검증 세트 손실: 1.305399 최선의 손실: 0.117172 정확도: 33.93% 9 검증 세트 손실: 0.851915 최선의 손실: 0.117172 정확도: 75.02% 10 검증 세트 손실: 0.537611 최선의 손실: 0.117172 정확도: 84.01% 11 검증 세트 손실: 0.431146 최선의 손실: 0.117172 정확도: 89.80% 12 검증 세트 손실: 0.493657 최선의 손실: 0.117172 정확도: 86.63% 13 검증 세트 손실: 0.367109 최선의 손실: 0.117172 정확도: 90.34% 14 검증 세트 손실: 0.332342 최선의 손실: 0.117172 정확도: 90.19% 15 검증 세트 손실: 0.415317 최선의 손실: 0.117172 정확도: 85.46% 16 검증 세트 손실: 56.028042 최선의 손실: 0.117172 정확도: 27.17% 17 검증 세트 손실: 17.899343 최선의 손실: 0.117172 정확도: 19.94% 18 검증 세트 손실: 9.953026 최선의 손실: 0.117172 정확도: 30.45% 19 검증 세트 손실: 7.109529 최선의 손실: 0.117172 정확도: 30.73% 20 검증 세트 손실: 5.573217 최선의 손실: 0.117172 정확도: 39.01% 21 검증 세트 손실: 3.802188 최선의 손실: 0.117172 정확도: 35.93% 22 검증 세트 손실: 2.191246 최선의 손실: 0.117172 정확도: 40.34% 23 검증 세트 손실: 2.122179 최선의 손실: 0.117172 정확도: 40.30% 24 검증 세트 손실: 3.621294 최선의 손실: 0.117172 정확도: 37.96% 25 검증 세트 손실: 3.362790 최선의 손실: 0.117172 정확도: 36.94% 26 검증 세트 손실: 2.287177 최선의 손실: 0.117172 정확도: 36.24% 조기 종료! [CV] n_neurons=90, learning_rate=0.05, dropout_rate=0.2, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 7.3s [CV] n_neurons=50, learning_rate=0.01, dropout_rate=0.5, batch_size=50, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.134191 최선의 손실: 0.134191 정확도: 96.36% 1 검증 세트 손실: 0.158926 최선의 손실: 0.134191 정확도: 96.09% 2 검증 세트 손실: 0.138399 최선의 손실: 0.134191 정확도: 96.21% 3 검증 세트 손실: 0.132162 최선의 손실: 0.132162 정확도: 96.52% 4 검증 세트 손실: 0.141284 최선의 손실: 0.132162 정확도: 96.29% 5 검증 세트 손실: 0.124524 최선의 손실: 0.124524 정확도: 96.56% 6 검증 세트 손실: 0.147099 최선의 손실: 0.124524 정확도: 96.68% 7 검증 세트 손실: 0.136204 최선의 손실: 0.124524 정확도: 96.56% 8 검증 세트 손실: 0.112659 최선의 손실: 0.112659 정확도: 96.79% 9 검증 세트 손실: 0.117301 최선의 손실: 0.112659 정확도: 97.19% 10 검증 세트 손실: 0.126039 최선의 손실: 0.112659 정확도: 97.07% 11 검증 세트 손실: 0.131578 최선의 손실: 0.112659 정확도: 97.03% 12 검증 세트 손실: 0.142002 최선의 손실: 0.112659 정확도: 96.95% 13 검증 세트 손실: 0.134888 최선의 손실: 0.112659 정확도: 96.91% 14 검증 세트 손실: 0.179101 최선의 손실: 0.112659 정확도: 96.64% 15 검증 세트 손실: 0.109069 최선의 손실: 0.109069 정확도: 97.11% 16 검증 세트 손실: 0.156460 최선의 손실: 0.109069 정확도: 95.35% 17 검증 세트 손실: 0.133208 최선의 손실: 0.109069 정확도: 96.33% 18 검증 세트 손실: 0.124319 최선의 손실: 0.109069 정확도: 96.64% 19 검증 세트 손실: 0.183705 최선의 손실: 0.109069 정확도: 95.97% 20 검증 세트 손실: 0.216830 최선의 손실: 0.109069 정확도: 95.39% 21 검증 세트 손실: 0.157074 최선의 손실: 0.109069 정확도: 96.83% 22 검증 세트 손실: 0.189725 최선의 손실: 0.109069 정확도: 95.66% 23 검증 세트 손실: 0.339676 최선의 손실: 0.109069 정확도: 91.56% 24 검증 세트 손실: 0.301199 최선의 손실: 0.109069 정확도: 78.38% 25 검증 세트 손실: 0.433009 최선의 손실: 0.109069 정확도: 77.76% 26 검증 세트 손실: 0.255478 최선의 손실: 0.109069 정확도: 88.04% 27 검증 세트 손실: 0.205704 최선의 손실: 0.109069 정확도: 96.33% 28 검증 세트 손실: 0.212656 최선의 손실: 0.109069 정확도: 95.82% 29 검증 세트 손실: 0.248659 최선의 손실: 0.109069 정확도: 96.33% 30 검증 세트 손실: 0.259759 최선의 손실: 0.109069 정확도: 95.50% 31 검증 세트 손실: 0.277993 최선의 손실: 0.109069 정확도: 95.54% 32 검증 세트 손실: 0.276353 최선의 손실: 0.109069 정확도: 95.93% 33 검증 세트 손실: 0.237232 최선의 손실: 0.109069 정확도: 95.11% 34 검증 세트 손실: 0.223646 최선의 손실: 0.109069 정확도: 94.84% 35 검증 세트 손실: 0.277160 최선의 손실: 0.109069 정확도: 94.45% 36 검증 세트 손실: 0.420007 최선의 손실: 0.109069 정확도: 75.25% 조기 종료! [CV] n_neurons=50, learning_rate=0.01, dropout_rate=0.5, batch_size=50, activation=<function elu at 0x7f8ec4ceef28>, total= 14.4s [CV] n_neurons=50, learning_rate=0.01, dropout_rate=0.5, batch_size=50, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.191888 최선의 손실: 0.191888 정확도: 95.58% 1 검증 세트 손실: 0.145729 최선의 손실: 0.145729 정확도: 96.29% 2 검증 세트 손실: 0.125701 최선의 손실: 0.125701 정확도: 96.68% 3 검증 세트 손실: 0.133343 최선의 손실: 0.125701 정확도: 96.29% 4 검증 세트 손실: 0.160496 최선의 손실: 0.125701 정확도: 96.91% 5 검증 세트 손실: 0.143995 최선의 손실: 0.125701 정확도: 96.40% 6 검증 세트 손실: 0.135721 최선의 손실: 0.125701 정확도: 96.99% 7 검증 세트 손실: 0.115242 최선의 손실: 0.115242 정확도: 97.38% 8 검증 세트 손실: 0.133266 최선의 손실: 0.115242 정확도: 96.91% 9 검증 세트 손실: 0.169012 최선의 손실: 0.115242 정확도: 96.91% 10 검증 세트 손실: 0.145847 최선의 손실: 0.115242 정확도: 97.22% 11 검증 세트 손실: 0.256939 최선의 손실: 0.115242 정확도: 91.59% 12 검증 세트 손실: 0.169243 최선의 손실: 0.115242 정확도: 95.47% 13 검증 세트 손실: 0.160212 최선의 손실: 0.115242 정확도: 96.56% 14 검증 세트 손실: 0.185220 최선의 손실: 0.115242 정확도: 96.72% 15 검증 세트 손실: 0.190046 최선의 손실: 0.115242 정확도: 96.52% 16 검증 세트 손실: 0.171847 최선의 손실: 0.115242 정확도: 96.83% 17 검증 세트 손실: 0.159151 최선의 손실: 0.115242 정확도: 96.29% 18 검증 세트 손실: 0.172038 최선의 손실: 0.115242 정확도: 96.52% 19 검증 세트 손실: 0.220636 최선의 손실: 0.115242 정확도: 96.60% 20 검증 세트 손실: 0.206142 최선의 손실: 0.115242 정확도: 96.44% 21 검증 세트 손실: 0.235740 최선의 손실: 0.115242 정확도: 95.50% 22 검증 세트 손실: 0.197302 최선의 손실: 0.115242 정확도: 95.19% 23 검증 세트 손실: 0.230338 최선의 손실: 0.115242 정확도: 96.09% 24 검증 세트 손실: 0.131820 최선의 손실: 0.115242 정확도: 96.99% 25 검증 세트 손실: 0.197238 최선의 손실: 0.115242 정확도: 96.01% 26 검증 세트 손실: 0.177945 최선의 손실: 0.115242 정확도: 96.52% 27 검증 세트 손실: 0.182251 최선의 손실: 0.115242 정확도: 96.76% 28 검증 세트 손실: 0.194445 최선의 손실: 0.115242 정확도: 96.29% 조기 종료! [CV] n_neurons=50, learning_rate=0.01, dropout_rate=0.5, batch_size=50, activation=<function elu at 0x7f8ec4ceef28>, total= 11.3s [CV] n_neurons=50, learning_rate=0.01, dropout_rate=0.5, batch_size=50, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.176430 최선의 손실: 0.176430 정확도: 95.86% 1 검증 세트 손실: 0.138540 최선의 손실: 0.138540 정확도: 96.48% 2 검증 세트 손실: 0.177150 최선의 손실: 0.138540 정확도: 96.05% 3 검증 세트 손실: 0.199146 최선의 손실: 0.138540 정확도: 95.82% 4 검증 세트 손실: 0.143115 최선의 손실: 0.138540 정확도: 96.68% 5 검증 세트 손실: 0.118804 최선의 손실: 0.118804 정확도: 97.03% 6 검증 세트 손실: 0.115001 최선의 손실: 0.115001 정확도: 97.07% 7 검증 세트 손실: 0.122230 최선의 손실: 0.115001 정확도: 96.60% 8 검증 세트 손실: 0.154121 최선의 손실: 0.115001 정확도: 96.01% 9 검증 세트 손실: 0.144144 최선의 손실: 0.115001 정확도: 96.17% 10 검증 세트 손실: 0.123160 최선의 손실: 0.115001 정확도: 96.99% 11 검증 세트 손실: 0.111769 최선의 손실: 0.111769 정확도: 97.19% 12 검증 세트 손실: 0.166705 최선의 손실: 0.111769 정확도: 96.52% 13 검증 세트 손실: 0.125677 최선의 손실: 0.111769 정확도: 96.87% 14 검증 세트 손실: 0.119917 최선의 손실: 0.111769 정확도: 97.19% 15 검증 세트 손실: 0.190614 최선의 손실: 0.111769 정확도: 96.72% 16 검증 세트 손실: 0.168166 최선의 손실: 0.111769 정확도: 96.56% 17 검증 세트 손실: 0.207634 최선의 손실: 0.111769 정확도: 95.35% 18 검증 세트 손실: 0.197077 최선의 손실: 0.111769 정확도: 95.82% 19 검증 세트 손실: 0.169672 최선의 손실: 0.111769 정확도: 96.76% 20 검증 세트 손실: 0.161411 최선의 손실: 0.111769 정확도: 96.76% 21 검증 세트 손실: 0.154228 최선의 손실: 0.111769 정확도: 97.15% 22 검증 세트 손실: 0.137966 최선의 손실: 0.111769 정확도: 97.30% 23 검증 세트 손실: 0.202591 최선의 손실: 0.111769 정확도: 96.44% 24 검증 세트 손실: 0.181716 최선의 손실: 0.111769 정확도: 97.30% 25 검증 세트 손실: 0.179963 최선의 손실: 0.111769 정확도: 97.03% 26 검증 세트 손실: 0.171092 최선의 손실: 0.111769 정확도: 96.48% 27 검증 세트 손실: 0.153848 최선의 손실: 0.111769 정확도: 96.25% 28 검증 세트 손실: 0.183805 최선의 손실: 0.111769 정확도: 94.84% 29 검증 세트 손실: 0.166447 최선의 손실: 0.111769 정확도: 95.66% 30 검증 세트 손실: 0.171976 최선의 손실: 0.111769 정확도: 95.93% 31 검증 세트 손실: 0.344872 최선의 손실: 0.111769 정확도: 88.43% 32 검증 세트 손실: 0.192664 최선의 손실: 0.111769 정확도: 96.13% 조기 종료! [CV] n_neurons=50, learning_rate=0.01, dropout_rate=0.5, batch_size=50, activation=<function elu at 0x7f8ec4ceef28>, total= 12.8s [CV] n_neurons=120, learning_rate=0.05, dropout_rate=0.5, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8> 0 검증 세트 손실: 74.116989 최선의 손실: 74.116989 정확도: 20.91% 1 검증 세트 손실: 928.926514 최선의 손실: 74.116989 정확도: 19.27% 2 검증 세트 손실: 607.288513 최선의 손실: 74.116989 정확도: 19.27% 3 검증 세트 손실: 537.279358 최선의 손실: 74.116989 정확도: 19.27% 4 검증 세트 손실: 771.943298 최선의 손실: 74.116989 정확도: 19.27% 5 검증 세트 손실: 1468.793457 최선의 손실: 74.116989 정확도: 18.73% 6 검증 세트 손실: 382.416046 최선의 손실: 74.116989 정확도: 19.27% 7 검증 세트 손실: 357.036896 최선의 손실: 74.116989 정확도: 19.27% 8 검증 세트 손실: 21404.996094 최선의 손실: 74.116989 정확도: 18.73% 9 검증 세트 손실: 1732.785156 최선의 손실: 74.116989 정확도: 19.08% 10 검증 세트 손실: 336.174438 최선의 손실: 74.116989 정확도: 21.38% 11 검증 세트 손실: 2022.686646 최선의 손실: 74.116989 정확도: 18.73% 12 검증 세트 손실: 207.666565 최선의 손실: 74.116989 정확도: 24.63% 13 검증 세트 손실: 946.984192 최선의 손실: 74.116989 정확도: 19.27% 14 검증 세트 손실: 376.782410 최선의 손실: 74.116989 정확도: 22.83% 15 검증 세트 손실: 580.164612 최선의 손실: 74.116989 정확도: 26.86% 16 검증 세트 손실: 202.742218 최선의 손실: 74.116989 정확도: 30.81% 17 검증 세트 손실: 31902.158203 최선의 손실: 74.116989 정확도: 18.73% 18 검증 세트 손실: 1740.212036 최선의 손실: 74.116989 정확도: 18.73% 19 검증 세트 손실: 6254.324707 최선의 손실: 74.116989 정확도: 19.08% 20 검증 세트 손실: 327.544434 최선의 손실: 74.116989 정확도: 22.01% 21 검증 세트 손실: 246.508011 최선의 손실: 74.116989 정확도: 19.39% 조기 종료! [CV] n_neurons=120, learning_rate=0.05, dropout_rate=0.5, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 14.9s [CV] n_neurons=120, learning_rate=0.05, dropout_rate=0.5, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8> 0 검증 세트 손실: 8.915527 최선의 손실: 8.915527 정확도: 22.01% 1 검증 세트 손실: 29.104839 최선의 손실: 8.915527 정확도: 19.08% 2 검증 세트 손실: 249.166153 최선의 손실: 8.915527 정확도: 19.08% 3 검증 세트 손실: 2981.145020 최선의 손실: 8.915527 정확도: 19.27% 4 검증 세트 손실: 11680.500000 최선의 손실: 8.915527 정확도: 19.08% 5 검증 세트 손실: 4143.680176 최선의 손실: 8.915527 정확도: 20.91% 6 검증 세트 손실: 1960.168457 최선의 손실: 8.915527 정확도: 19.27% 7 검증 세트 손실: 6878.092285 최선의 손실: 8.915527 정확도: 19.08% 8 검증 세트 손실: 7813.053711 최선의 손실: 8.915527 정확도: 22.01% 9 검증 세트 손실: 4877.544434 최선의 손실: 8.915527 정확도: 18.73% 10 검증 세트 손실: 13779.365234 최선의 손실: 8.915527 정확도: 18.73% 11 검증 세트 손실: 8046.458984 최선의 손실: 8.915527 정확도: 19.27% 12 검증 세트 손실: 5680.346191 최선의 손실: 8.915527 정확도: 18.73% 13 검증 세트 손실: 8095.447266 최선의 손실: 8.915527 정확도: 22.01% 14 검증 세트 손실: 5030.202637 최선의 손실: 8.915527 정확도: 19.08% 15 검증 세트 손실: 4464.393066 최선의 손실: 8.915527 정확도: 19.08% 16 검증 세트 손실: 13722.078125 최선의 손실: 8.915527 정확도: 19.08% 17 검증 세트 손실: 7767.518555 최선의 손실: 8.915527 정확도: 19.27% 18 검증 세트 손실: 7153.557617 최선의 손실: 8.915527 정확도: 20.91% 19 검증 세트 손실: 2660.439941 최선의 손실: 8.915527 정확도: 19.27% 20 검증 세트 손실: 4410.192383 최선의 손실: 8.915527 정확도: 19.27% 21 검증 세트 손실: 3027.824951 최선의 손실: 8.915527 정확도: 22.01% 조기 종료! [CV] n_neurons=120, learning_rate=0.05, dropout_rate=0.5, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 14.7s [CV] n_neurons=120, learning_rate=0.05, dropout_rate=0.5, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8> 0 검증 세트 손실: 334.250092 최선의 손실: 334.250092 정확도: 19.08% 1 검증 세트 손실: 163.730789 최선의 손실: 163.730789 정확도: 20.91% 2 검증 세트 손실: 1977.848877 최선의 손실: 163.730789 정확도: 18.73% 3 검증 세트 손실: 10687.094727 최선의 손실: 163.730789 정확도: 19.08% 4 검증 세트 손실: 7290.352051 최선의 손실: 163.730789 정확도: 19.08% 5 검증 세트 손실: 2096.482910 최선의 손실: 163.730789 정확도: 18.73% 6 검증 세트 손실: 1152.358154 최선의 손실: 163.730789 정확도: 19.27% 7 검증 세트 손실: 4289.198730 최선의 손실: 163.730789 정확도: 18.73% 8 검증 세트 손실: 4526.510742 최선의 손실: 163.730789 정확도: 19.08% 9 검증 세트 손실: 3408.061279 최선의 손실: 163.730789 정확도: 22.01% 10 검증 세트 손실: 1660.109253 최선의 손실: 163.730789 정확도: 19.08% 11 검증 세트 손실: 990.069702 최선의 손실: 163.730789 정확도: 18.73% 12 검증 세트 손실: 762.664856 최선의 손실: 163.730789 정확도: 26.19% 13 검증 세트 손실: 3654.166992 최선의 손실: 163.730789 정확도: 22.01% 14 검증 세트 손실: 7991.088379 최선의 손실: 163.730789 정확도: 19.27% 15 검증 세트 손실: 2592.787842 최선의 손실: 163.730789 정확도: 19.08% 16 검증 세트 손실: 826.353333 최선의 손실: 163.730789 정확도: 19.08% 17 검증 세트 손실: 2256.534912 최선의 손실: 163.730789 정확도: 19.27% 18 검증 세트 손실: 3769.209229 최선의 손실: 163.730789 정확도: 19.08% 19 검증 세트 손실: 857.066162 최선의 손실: 163.730789 정확도: 20.91% 20 검증 세트 손실: 1709.661255 최선의 손실: 163.730789 정확도: 20.91% 21 검증 세트 손실: 3491.406250 최선의 손실: 163.730789 정확도: 18.76% 22 검증 세트 손실: 25613.798828 최선의 손실: 163.730789 정확도: 18.73% 조기 종료! [CV] n_neurons=120, learning_rate=0.05, dropout_rate=0.5, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 15.4s [CV] n_neurons=120, learning_rate=0.01, dropout_rate=0.5, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8> 0 검증 세트 손실: 0.159917 최선의 손실: 0.159917 정확도: 96.21% 1 검증 세트 손실: 0.140694 최선의 손실: 0.140694 정확도: 96.79% 2 검증 세트 손실: 0.108854 최선의 손실: 0.108854 정확도: 97.34% 3 검증 세트 손실: 0.124195 최선의 손실: 0.108854 정확도: 97.58% 4 검증 세트 손실: 0.137887 최선의 손실: 0.108854 정확도: 97.19% 5 검증 세트 손실: 0.106886 최선의 손실: 0.106886 정확도: 96.72% 6 검증 세트 손실: 0.136049 최선의 손실: 0.106886 정확도: 96.13% 7 검증 세트 손실: 0.136822 최선의 손실: 0.106886 정확도: 97.07% 8 검증 세트 손실: 0.141918 최선의 손실: 0.106886 정확도: 96.76% 9 검증 세트 손실: 0.147263 최선의 손실: 0.106886 정확도: 96.76% 10 검증 세트 손실: 0.114195 최선의 손실: 0.106886 정확도: 97.34% 11 검증 세트 손실: 0.116813 최선의 손실: 0.106886 정확도: 96.36% 12 검증 세트 손실: 0.130928 최선의 손실: 0.106886 정확도: 96.79% 13 검증 세트 손실: 0.124681 최선의 손실: 0.106886 정확도: 96.95% 14 검증 세트 손실: 0.110362 최선의 손실: 0.106886 정확도: 97.22% 15 검증 세트 손실: 0.129792 최선의 손실: 0.106886 정확도: 96.56% 16 검증 세트 손실: 0.144357 최선의 손실: 0.106886 정확도: 95.70% 17 검증 세트 손실: 0.102317 최선의 손실: 0.102317 정확도: 97.30% 18 검증 세트 손실: 0.133110 최선의 손실: 0.102317 정확도: 97.22% 19 검증 세트 손실: 0.116905 최선의 손실: 0.102317 정확도: 96.52% 20 검증 세트 손실: 0.105862 최선의 손실: 0.102317 정확도: 96.60% 21 검증 세트 손실: 0.112404 최선의 손실: 0.102317 정확도: 96.76% 22 검증 세트 손실: 0.105866 최선의 손실: 0.102317 정확도: 96.83% 23 검증 세트 손실: 0.121966 최선의 손실: 0.102317 정확도: 96.68% 24 검증 세트 손실: 0.135247 최선의 손실: 0.102317 정확도: 96.48% 25 검증 세트 손실: 0.119760 최선의 손실: 0.102317 정확도: 95.54% 26 검증 세트 손실: 0.131029 최선의 손실: 0.102317 정확도: 96.40% 27 검증 세트 손실: 0.115507 최선의 손실: 0.102317 정확도: 96.60% 28 검증 세트 손실: 0.163028 최선의 손실: 0.102317 정확도: 95.23% 29 검증 세트 손실: 0.146273 최선의 손실: 0.102317 정확도: 96.13% 30 검증 세트 손실: 0.142522 최선의 손실: 0.102317 정확도: 96.52% 31 검증 세트 손실: 0.114932 최선의 손실: 0.102317 정확도: 96.91% 32 검증 세트 손실: 0.177934 최선의 손실: 0.102317 정확도: 94.92% 33 검증 세트 손실: 0.141859 최선의 손실: 0.102317 정확도: 95.82% 34 검증 세트 손실: 0.165214 최선의 손실: 0.102317 정확도: 94.53% 35 검증 세트 손실: 0.135312 최선의 손실: 0.102317 정확도: 95.47% 36 검증 세트 손실: 0.128328 최선의 손실: 0.102317 정확도: 97.03% 37 검증 세트 손실: 0.130452 최선의 손실: 0.102317 정확도: 96.52% 38 검증 세트 손실: 0.131767 최선의 손실: 0.102317 정확도: 96.29% 조기 종료! [CV] n_neurons=120, learning_rate=0.01, dropout_rate=0.5, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 20.4s [CV] n_neurons=120, learning_rate=0.01, dropout_rate=0.5, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8> 0 검증 세트 손실: 0.210064 최선의 손실: 0.210064 정확도: 94.33% 1 검증 세트 손실: 0.156832 최선의 손실: 0.156832 정확도: 96.05% 2 검증 세트 손실: 0.129625 최선의 손실: 0.129625 정확도: 96.48% 3 검증 세트 손실: 0.134996 최선의 손실: 0.129625 정확도: 97.30% 4 검증 세트 손실: 0.138802 최선의 손실: 0.129625 정확도: 96.60% 5 검증 세트 손실: 0.116441 최선의 손실: 0.116441 정확도: 96.79% 6 검증 세트 손실: 0.128576 최선의 손실: 0.116441 정확도: 97.26% 7 검증 세트 손실: 0.115787 최선의 손실: 0.115787 정확도: 96.40% 8 검증 세트 손실: 0.125870 최선의 손실: 0.115787 정확도: 96.76% 9 검증 세트 손실: 0.126752 최선의 손실: 0.115787 정확도: 97.34% 10 검증 세트 손실: 0.139319 최선의 손실: 0.115787 정확도: 95.93% 11 검증 세트 손실: 0.129768 최선의 손실: 0.115787 정확도: 96.64% 12 검증 세트 손실: 0.129010 최선의 손실: 0.115787 정확도: 96.25% 13 검증 세트 손실: 0.131340 최선의 손실: 0.115787 정확도: 95.90% 14 검증 세트 손실: 0.121559 최선의 손실: 0.115787 정확도: 96.68% 15 검증 세트 손실: 0.131838 최선의 손실: 0.115787 정확도: 96.17% 16 검증 세트 손실: 0.118769 최선의 손실: 0.115787 정확도: 96.29% 17 검증 세트 손실: 0.110770 최선의 손실: 0.110770 정확도: 96.68% 18 검증 세트 손실: 0.126810 최선의 손실: 0.110770 정확도: 96.44% 19 검증 세트 손실: 0.162632 최선의 손실: 0.110770 정확도: 95.19% 20 검증 세트 손실: 0.125346 최선의 손실: 0.110770 정확도: 96.64% 21 검증 세트 손실: 0.111870 최선의 손실: 0.110770 정확도: 96.87% 22 검증 세트 손실: 0.151657 최선의 손실: 0.110770 정확도: 96.13% 23 검증 세트 손실: 0.124340 최선의 손실: 0.110770 정확도: 96.48% 24 검증 세트 손실: 0.124055 최선의 손실: 0.110770 정확도: 96.64% 25 검증 세트 손실: 0.151982 최선의 손실: 0.110770 정확도: 96.91% 26 검증 세트 손실: 0.132765 최선의 손실: 0.110770 정확도: 96.33% 27 검증 세트 손실: 0.112845 최선의 손실: 0.110770 정확도: 96.99% 28 검증 세트 손실: 0.120689 최선의 손실: 0.110770 정확도: 96.48% 29 검증 세트 손실: 0.112174 최선의 손실: 0.110770 정확도: 96.44% 30 검증 세트 손실: 0.125762 최선의 손실: 0.110770 정확도: 96.13% 31 검증 세트 손실: 0.131358 최선의 손실: 0.110770 정확도: 96.33% 32 검증 세트 손실: 0.144130 최선의 손실: 0.110770 정확도: 96.95% 33 검증 세트 손실: 0.182194 최선의 손실: 0.110770 정확도: 94.61% 34 검증 세트 손실: 0.213693 최선의 손실: 0.110770 정확도: 92.81% 35 검증 세트 손실: 0.156839 최선의 손실: 0.110770 정확도: 95.78% 36 검증 세트 손실: 0.163910 최선의 손실: 0.110770 정확도: 96.17% 37 검증 세트 손실: 0.168017 최선의 손실: 0.110770 정확도: 95.58% 38 검증 세트 손실: 0.146244 최선의 손실: 0.110770 정확도: 96.17% 조기 종료! [CV] n_neurons=120, learning_rate=0.01, dropout_rate=0.5, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 20.5s [CV] n_neurons=120, learning_rate=0.01, dropout_rate=0.5, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8> 0 검증 세트 손실: 0.155489 최선의 손실: 0.155489 정확도: 95.86% 1 검증 세트 손실: 0.186846 최선의 손실: 0.155489 정확도: 95.74% 2 검증 세트 손실: 0.143665 최선의 손실: 0.143665 정확도: 96.52% 3 검증 세트 손실: 0.125229 최선의 손실: 0.125229 정확도: 96.40% 4 검증 세트 손실: 0.128000 최선의 손실: 0.125229 정확도: 96.99% 5 검증 세트 손실: 0.134395 최선의 손실: 0.125229 정확도: 96.79% 6 검증 세트 손실: 0.121801 최선의 손실: 0.121801 정확도: 96.60% 7 검증 세트 손실: 0.135816 최선의 손실: 0.121801 정확도: 96.76% 8 검증 세트 손실: 0.128345 최선의 손실: 0.121801 정확도: 96.25% 9 검증 세트 손실: 0.112118 최선의 손실: 0.112118 정확도: 96.52% 10 검증 세트 손실: 0.122509 최선의 손실: 0.112118 정확도: 97.38% 11 검증 세트 손실: 0.122488 최선의 손실: 0.112118 정확도: 96.56% 12 검증 세트 손실: 0.112751 최선의 손실: 0.112118 정확도: 96.76% 13 검증 세트 손실: 0.136922 최선의 손실: 0.112118 정확도: 96.68% 14 검증 세트 손실: 0.117605 최선의 손실: 0.112118 정확도: 96.95% 15 검증 세트 손실: 0.125880 최선의 손실: 0.112118 정확도: 96.99% 16 검증 세트 손실: 0.145840 최선의 손실: 0.112118 정확도: 96.44% 17 검증 세트 손실: 0.130880 최선의 손실: 0.112118 정확도: 96.25% 18 검증 세트 손실: 0.163275 최선의 손실: 0.112118 정확도: 95.82% 19 검증 세트 손실: 0.112554 최선의 손실: 0.112118 정확도: 96.25% 20 검증 세트 손실: 0.184212 최선의 손실: 0.112118 정확도: 95.35% 21 검증 세트 손실: 0.161433 최선의 손실: 0.112118 정확도: 95.97% 22 검증 세트 손실: 0.143900 최선의 손실: 0.112118 정확도: 95.07% 23 검증 세트 손실: 0.137720 최선의 손실: 0.112118 정확도: 95.97% 24 검증 세트 손실: 0.142300 최선의 손실: 0.112118 정확도: 96.72% 25 검증 세트 손실: 0.135932 최선의 손실: 0.112118 정확도: 96.83% 26 검증 세트 손실: 0.134475 최선의 손실: 0.112118 정확도: 95.90% 27 검증 세트 손실: 0.137682 최선의 손실: 0.112118 정확도: 96.40% 28 검증 세트 손실: 0.121326 최선의 손실: 0.112118 정확도: 96.60% 29 검증 세트 손실: 0.122162 최선의 손실: 0.112118 정확도: 96.91% 30 검증 세트 손실: 0.131576 최선의 손실: 0.112118 정확도: 96.44% 조기 종료! [CV] n_neurons=120, learning_rate=0.01, dropout_rate=0.5, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 16.4s [CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.6, batch_size=500, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 1.615878 최선의 손실: 1.615878 정확도: 20.91% 1 검증 세트 손실: 1.632833 최선의 손실: 1.615878 정확도: 19.27% 2 검증 세트 손실: 1.627567 최선의 손실: 1.615878 정확도: 20.91% 3 검증 세트 손실: 1.627117 최선의 손실: 1.615878 정확도: 19.08% 4 검증 세트 손실: 1.687067 최선의 손실: 1.615878 정확도: 22.01% 5 검증 세트 손실: 1.642645 최선의 손실: 1.615878 정확도: 22.01% 6 검증 세트 손실: 1.704677 최선의 손실: 1.615878 정확도: 19.27% 7 검증 세트 손실: 1.623888 최선의 손실: 1.615878 정확도: 19.08% 8 검증 세트 손실: 1.616508 최선의 손실: 1.615878 정확도: 19.08% 9 검증 세트 손실: 1.795829 최선의 손실: 1.615878 정확도: 22.01% 10 검증 세트 손실: 1.649240 최선의 손실: 1.615878 정확도: 19.27% 11 검증 세트 손실: 1.666036 최선의 손실: 1.615878 정확도: 22.01% 12 검증 세트 손실: 1.713245 최선의 손실: 1.615878 정확도: 22.01% 13 검증 세트 손실: 1.651699 최선의 손실: 1.615878 정확도: 18.73% 14 검증 세트 손실: 1.671992 최선의 손실: 1.615878 정확도: 22.01% 15 검증 세트 손실: 1.641881 최선의 손실: 1.615878 정확도: 22.01% 16 검증 세트 손실: 1.665507 최선의 손실: 1.615878 정확도: 19.08% 17 검증 세트 손실: 1.640146 최선의 손실: 1.615878 정확도: 19.08% 18 검증 세트 손실: 1.801615 최선의 손실: 1.615878 정확도: 18.73% 19 검증 세트 손실: 1.711989 최선의 손실: 1.615878 정확도: 22.01% 20 검증 세트 손실: 1.645933 최선의 손실: 1.615878 정확도: 19.08% 21 검증 세트 손실: 1.632843 최선의 손실: 1.615878 정확도: 19.27% 조기 종료! [CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.6, batch_size=500, activation=<function elu at 0x7f8ec4ceef28>, total= 7.5s [CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.6, batch_size=500, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 1.637076 최선의 손실: 1.637076 정확도: 18.73% 1 검증 세트 손실: 1.644296 최선의 손실: 1.637076 정확도: 19.08% 2 검증 세트 손실: 1.651915 최선의 손실: 1.637076 정확도: 20.91% 3 검증 세트 손실: 1.623742 최선의 손실: 1.623742 정확도: 22.01% 4 검증 세트 손실: 1.625105 최선의 손실: 1.623742 정확도: 19.27% 5 검증 세트 손실: 1.646055 최선의 손실: 1.623742 정확도: 20.91% 6 검증 세트 손실: 1.657392 최선의 손실: 1.623742 정확도: 22.01% 7 검증 세트 손실: 1.701019 최선의 손실: 1.623742 정확도: 19.08% 8 검증 세트 손실: 1.804644 최선의 손실: 1.623742 정확도: 22.01% 9 검증 세트 손실: 1.784762 최선의 손실: 1.623742 정확도: 22.01% 10 검증 세트 손실: 1.632325 최선의 손실: 1.623742 정확도: 18.73% 11 검증 세트 손실: 1.639301 최선의 손실: 1.623742 정확도: 22.01% 12 검증 세트 손실: 1.690687 최선의 손실: 1.623742 정확도: 19.08% 13 검증 세트 손실: 1.717754 최선의 손실: 1.623742 정확도: 19.08% 14 검증 세트 손실: 1.720344 최선의 손실: 1.623742 정확도: 22.01% 15 검증 세트 손실: 1.778218 최선의 손실: 1.623742 정확도: 18.73% 16 검증 세트 손실: 1.654193 최선의 손실: 1.623742 정확도: 19.27% 17 검증 세트 손실: 1.659322 최선의 손실: 1.623742 정확도: 18.73% 18 검증 세트 손실: 1.622970 최선의 손실: 1.622970 정확도: 22.01% 19 검증 세트 손실: 1.653939 최선의 손실: 1.622970 정확도: 22.01% 20 검증 세트 손실: 1.655941 최선의 손실: 1.622970 정확도: 20.91% 21 검증 세트 손실: 1.809740 최선의 손실: 1.622970 정확도: 22.01% 22 검증 세트 손실: 1.687189 최선의 손실: 1.622970 정확도: 22.01% 23 검증 세트 손실: 1.662299 최선의 손실: 1.622970 정확도: 19.27% 24 검증 세트 손실: 1.711746 최선의 손실: 1.622970 정확도: 22.01% 25 검증 세트 손실: 1.667062 최선의 손실: 1.622970 정확도: 18.73% 26 검증 세트 손실: 1.793517 최선의 손실: 1.622970 정확도: 22.01% 27 검증 세트 손실: 1.684893 최선의 손실: 1.622970 정확도: 18.73% 28 검증 세트 손실: 1.692768 최선의 손실: 1.622970 정확도: 18.73% 29 검증 세트 손실: 1.632809 최선의 손실: 1.622970 정확도: 22.01% 30 검증 세트 손실: 1.707781 최선의 손실: 1.622970 정확도: 18.73% 31 검증 세트 손실: 1.676919 최선의 손실: 1.622970 정확도: 19.27% 32 검증 세트 손실: 1.631448 최선의 손실: 1.622970 정확도: 18.73% 33 검증 세트 손실: 1.647403 최선의 손실: 1.622970 정확도: 19.08% 34 검증 세트 손실: 1.651200 최선의 손실: 1.622970 정확도: 20.91% 35 검증 세트 손실: 1.648608 최선의 손실: 1.622970 정확도: 22.01% 36 검증 세트 손실: 1.614530 최선의 손실: 1.614530 정확도: 19.08% 37 검증 세트 손실: 1.650271 최선의 손실: 1.614530 정확도: 22.01% 38 검증 세트 손실: 1.647923 최선의 손실: 1.614530 정확도: 20.91% 39 검증 세트 손실: 1.621948 최선의 손실: 1.614530 정확도: 22.01% 40 검증 세트 손실: 1.648743 최선의 손실: 1.614530 정확도: 19.27% 41 검증 세트 손실: 1.679184 최선의 손실: 1.614530 정확도: 19.08% 42 검증 세트 손실: 1.671494 최선의 손실: 1.614530 정확도: 18.73% 43 검증 세트 손실: 1.775234 최선의 손실: 1.614530 정확도: 19.08% 44 검증 세트 손실: 1.626756 최선의 손실: 1.614530 정확도: 22.01% 45 검증 세트 손실: 1.812948 최선의 손실: 1.614530 정확도: 22.01% 46 검증 세트 손실: 1.743366 최선의 손실: 1.614530 정확도: 22.01% 47 검증 세트 손실: 1.651321 최선의 손실: 1.614530 정확도: 20.91% 48 검증 세트 손실: 1.675970 최선의 손실: 1.614530 정확도: 20.91% 49 검증 세트 손실: 1.780809 최선의 손실: 1.614530 정확도: 19.27% 50 검증 세트 손실: 1.797544 최선의 손실: 1.614530 정확도: 19.08% 51 검증 세트 손실: 1.705992 최선의 손실: 1.614530 정확도: 19.27% 52 검증 세트 손실: 1.709852 최선의 손실: 1.614530 정확도: 19.27% 53 검증 세트 손실: 1.618105 최선의 손실: 1.614530 정확도: 22.01% 54 검증 세트 손실: 1.693599 최선의 손실: 1.614530 정확도: 18.73% 55 검증 세트 손실: 1.661767 최선의 손실: 1.614530 정확도: 18.73% 56 검증 세트 손실: 1.614608 최선의 손실: 1.614530 정확도: 22.01% 57 검증 세트 손실: 1.668162 최선의 손실: 1.614530 정확도: 18.73% 조기 종료! [CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.6, batch_size=500, activation=<function elu at 0x7f8ec4ceef28>, total= 18.8s [CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.6, batch_size=500, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 1.659825 최선의 손실: 1.659825 정확도: 22.01% 1 검증 세트 손실: 1.653689 최선의 손실: 1.653689 정확도: 19.08% 2 검증 세트 손실: 1.661774 최선의 손실: 1.653689 정확도: 19.27% 3 검증 세트 손실: 1.696853 최선의 손실: 1.653689 정확도: 18.73% 4 검증 세트 손실: 1.635786 최선의 손실: 1.635786 정확도: 20.91% 5 검증 세트 손실: 1.626195 최선의 손실: 1.626195 정확도: 20.91% 6 검증 세트 손실: 1.684925 최선의 손실: 1.626195 정확도: 22.01% 7 검증 세트 손실: 1.649322 최선의 손실: 1.626195 정확도: 18.73% 8 검증 세트 손실: 1.721135 최선의 손실: 1.626195 정확도: 22.01% 9 검증 세트 손실: 1.661213 최선의 손실: 1.626195 정확도: 19.27% 10 검증 세트 손실: 1.629883 최선의 손실: 1.626195 정확도: 18.73% 11 검증 세트 손실: 1.636276 최선의 손실: 1.626195 정확도: 22.01% 12 검증 세트 손실: 1.613701 최선의 손실: 1.613701 정확도: 22.01% 13 검증 세트 손실: 1.814884 최선의 손실: 1.613701 정확도: 19.27% 14 검증 세트 손실: 1.670439 최선의 손실: 1.613701 정확도: 22.01% 15 검증 세트 손실: 1.730761 최선의 손실: 1.613701 정확도: 22.01% 16 검증 세트 손실: 1.652551 최선의 손실: 1.613701 정확도: 18.73% 17 검증 세트 손실: 1.637708 최선의 손실: 1.613701 정확도: 19.08% 18 검증 세트 손실: 1.639870 최선의 손실: 1.613701 정확도: 20.91% 19 검증 세트 손실: 1.655863 최선의 손실: 1.613701 정확도: 22.01% 20 검증 세트 손실: 1.685730 최선의 손실: 1.613701 정확도: 19.08% 21 검증 세트 손실: 1.752361 최선의 손실: 1.613701 정확도: 22.01% 22 검증 세트 손실: 1.616115 최선의 손실: 1.613701 정확도: 22.01% 23 검증 세트 손실: 1.668919 최선의 손실: 1.613701 정확도: 22.01% 24 검증 세트 손실: 1.698569 최선의 손실: 1.613701 정확도: 20.91% 25 검증 세트 손실: 1.677695 최선의 손실: 1.613701 정확도: 20.91% 26 검증 세트 손실: 1.693692 최선의 손실: 1.613701 정확도: 18.73% 27 검증 세트 손실: 1.656024 최선의 손실: 1.613701 정확도: 20.91% 28 검증 세트 손실: 1.668682 최선의 손실: 1.613701 정확도: 18.73% 29 검증 세트 손실: 1.895707 최선의 손실: 1.613701 정확도: 19.27% 30 검증 세트 손실: 1.704747 최선의 손실: 1.613701 정확도: 19.08% 31 검증 세트 손실: 1.647337 최선의 손실: 1.613701 정확도: 19.27% 32 검증 세트 손실: 1.648772 최선의 손실: 1.613701 정확도: 20.91% 33 검증 세트 손실: 1.716183 최선의 손실: 1.613701 정확도: 18.73% 조기 종료! [CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.6, batch_size=500, activation=<function elu at 0x7f8ec4ceef28>, total= 11.4s [CV] n_neurons=140, learning_rate=0.02, dropout_rate=0.5, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8> 0 검증 세트 손실: 18.709419 최선의 손실: 18.709419 정확도: 18.96% 1 검증 세트 손실: 2.510482 최선의 손실: 2.510482 정확도: 32.41% 2 검증 세트 손실: 3.320437 최선의 손실: 2.510482 정확도: 34.87% 3 검증 세트 손실: 35.755047 최선의 손실: 2.510482 정확도: 15.17% 4 검증 세트 손실: 65.901009 최선의 손실: 2.510482 정확도: 22.01% 5 검증 세트 손실: 42.833721 최선의 손실: 2.510482 정확도: 36.12% 6 검증 세트 손실: 163.169601 최선의 손실: 2.510482 정확도: 22.01% 7 검증 세트 손실: 150.528671 최선의 손실: 2.510482 정확도: 19.08% 8 검증 세트 손실: 221.364304 최선의 손실: 2.510482 정확도: 22.01% 9 검증 세트 손실: 303.820923 최선의 손실: 2.510482 정확도: 19.08% 10 검증 세트 손실: 62.088600 최선의 손실: 2.510482 정확도: 35.22% 11 검증 세트 손실: 26.053549 최선의 손실: 2.510482 정확도: 33.11% 12 검증 세트 손실: 74.964111 최선의 손실: 2.510482 정확도: 25.06% 13 검증 세트 손실: 35.851559 최선의 손실: 2.510482 정확도: 27.37% 14 검증 세트 손실: 355.946442 최선의 손실: 2.510482 정확도: 18.73% 15 검증 세트 손실: 723.956238 최선의 손실: 2.510482 정확도: 22.01% 16 검증 세트 손실: 3005.510498 최선의 손실: 2.510482 정확도: 19.08% 17 검증 세트 손실: 296.419128 최선의 손실: 2.510482 정확도: 19.08% 18 검증 세트 손실: 428.740906 최선의 손실: 2.510482 정확도: 20.91% 19 검증 세트 손실: 155915.218750 최선의 손실: 2.510482 정확도: 21.07% 20 검증 세트 손실: 2122.296631 최선의 손실: 2.510482 정확도: 18.69% 21 검증 세트 손실: 4518.900879 최선의 손실: 2.510482 정확도: 19.27% 22 검증 세트 손실: 1253.230103 최선의 손실: 2.510482 정확도: 22.01% 조기 종료! [CV] n_neurons=140, learning_rate=0.02, dropout_rate=0.5, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 46.5s [CV] n_neurons=140, learning_rate=0.02, dropout_rate=0.5, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8> 0 검증 세트 손실: 21.734877 최선의 손실: 21.734877 정확도: 19.66% 1 검증 세트 손실: 1707.610474 최선의 손실: 21.734877 정확도: 19.27% 2 검증 세트 손실: 211.483826 최선의 손실: 21.734877 정확도: 19.08% 3 검증 세트 손실: 165.695145 최선의 손실: 21.734877 정확도: 24.86% 4 검증 세트 손실: 780.473450 최선의 손실: 21.734877 정확도: 19.35% 5 검증 세트 손실: 317.258362 최선의 손실: 21.734877 정확도: 19.59% 6 검증 세트 손실: 1292.827271 최선의 손실: 21.734877 정확도: 18.73% 7 검증 세트 손실: 405.571716 최선의 손실: 21.734877 정확도: 19.27% 8 검증 세트 손실: 419.058044 최선의 손실: 21.734877 정확도: 19.27% 9 검증 세트 손실: 270.173706 최선의 손실: 21.734877 정확도: 19.35% 10 검증 세트 손실: 2429.144043 최선의 손실: 21.734877 정확도: 19.08% 11 검증 세트 손실: 361.284485 최선의 손실: 21.734877 정확도: 24.55% 12 검증 세트 손실: 506.039246 최선의 손실: 21.734877 정확도: 20.91% 13 검증 세트 손실: 444.350769 최선의 손실: 21.734877 정확도: 19.08% 14 검증 세트 손실: 1672.800415 최선의 손실: 21.734877 정확도: 22.01% 15 검증 세트 손실: 982.853394 최선의 손실: 21.734877 정확도: 19.08% 16 검증 세트 손실: 677.167786 최선의 손실: 21.734877 정확도: 19.27% 17 검증 세트 손실: 1592.156128 최선의 손실: 21.734877 정확도: 19.08% 18 검증 세트 손실: 767.313049 최선의 손실: 21.734877 정확도: 20.91% 19 검증 세트 손실: 2806.438721 최선의 손실: 21.734877 정확도: 20.91% 20 검증 세트 손실: 1140.978882 최선의 손실: 21.734877 정확도: 19.27% 21 검증 세트 손실: 2054.690918 최선의 손실: 21.734877 정확도: 19.08% 조기 종료! [CV] n_neurons=140, learning_rate=0.02, dropout_rate=0.5, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 44.7s [CV] n_neurons=140, learning_rate=0.02, dropout_rate=0.5, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8> 0 검증 세트 손실: 7.273756 최선의 손실: 7.273756 정확도: 21.11% 1 검증 세트 손실: 60.604500 최선의 손실: 7.273756 정확도: 19.08% 2 검증 세트 손실: 82.535309 최선의 손실: 7.273756 정확도: 22.01% 3 검증 세트 손실: 1921.725342 최선의 손실: 7.273756 정확도: 19.08% 4 검증 세트 손실: 350.398132 최선의 손실: 7.273756 정확도: 20.91% 5 검증 세트 손실: 3014.024902 최선의 손실: 7.273756 정확도: 20.91% 6 검증 세트 손실: 192.068634 최선의 손실: 7.273756 정확도: 20.91% 7 검증 세트 손실: 177.408813 최선의 손실: 7.273756 정확도: 30.41% 8 검증 세트 손실: 103.710457 최선의 손실: 7.273756 정확도: 32.88% 9 검증 세트 손실: 1754.006104 최선의 손실: 7.273756 정확도: 19.27% 10 검증 세트 손실: 204.453094 최선의 손실: 7.273756 정확도: 19.27% 11 검증 세트 손실: 162.700974 최선의 손실: 7.273756 정확도: 22.67% 12 검증 세트 손실: 179.850952 최선의 손실: 7.273756 정확도: 20.91% 13 검증 세트 손실: 387.002502 최선의 손실: 7.273756 정확도: 19.19% 14 검증 세트 손실: 310.252472 최선의 손실: 7.273756 정확도: 28.89% 15 검증 세트 손실: 315.045410 최선의 손실: 7.273756 정확도: 19.27% 16 검증 세트 손실: 499.073975 최선의 손실: 7.273756 정확도: 20.76% 17 검증 세트 손실: 1210.001953 최선의 손실: 7.273756 정확도: 18.73% 18 검증 세트 손실: 188.955734 최선의 손실: 7.273756 정확도: 22.01% 19 검증 세트 손실: 350.346344 최선의 손실: 7.273756 정확도: 19.08% 20 검증 세트 손실: 2138.311035 최선의 손실: 7.273756 정확도: 19.27% 21 검증 세트 손실: 550.355042 최선의 손실: 7.273756 정확도: 22.01% 조기 종료! [CV] n_neurons=140, learning_rate=0.02, dropout_rate=0.5, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 44.9s [CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.2, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0> 0 검증 세트 손실: 613.892273 최선의 손실: 613.892273 정확도: 59.62% 1 검증 세트 손실: 4251277.500000 최선의 손실: 613.892273 정확도: 40.30% 2 검증 세트 손실: 42525.007812 최선의 손실: 613.892273 정확도: 61.42% 3 검증 세트 손실: 21738.746094 최선의 손실: 613.892273 정확도: 68.73% 4 검증 세트 손실: 8768.076172 최선의 손실: 613.892273 정확도: 62.31% 5 검증 세트 손실: 18185.880859 최선의 손실: 613.892273 정확도: 53.40% 6 검증 세트 손실: 12320.271484 최선의 손실: 613.892273 정확도: 52.07% 7 검증 세트 손실: 2798.386719 최선의 손실: 613.892273 정확도: 65.25% 8 검증 세트 손실: 9725.602539 최선의 손실: 613.892273 정확도: 54.53% 9 검증 세트 손실: 6648.012695 최선의 손실: 613.892273 정확도: 56.92% 10 검증 세트 손실: 3197.328125 최선의 손실: 613.892273 정확도: 86.08% 11 검증 세트 손실: 16673.455078 최선의 손실: 613.892273 정확도: 75.45% 12 검증 세트 손실: 2593.808105 최선의 손실: 613.892273 정확도: 73.34% 13 검증 세트 손실: 10653.910156 최선의 손실: 613.892273 정확도: 81.55% 14 검증 세트 손실: 3813.350586 최선의 손실: 613.892273 정확도: 85.34% 15 검증 세트 손실: 1859.507080 최선의 손실: 613.892273 정확도: 91.91% 16 검증 세트 손실: 2920.032959 최선의 손실: 613.892273 정확도: 83.70% 17 검증 세트 손실: 1218.163330 최선의 손실: 613.892273 정확도: 93.98% 18 검증 세트 손실: 859.359070 최선의 손실: 613.892273 정확도: 91.44% 19 검증 세트 손실: 643.205750 최선의 손실: 613.892273 정확도: 78.42% 20 검증 세트 손실: 2239.448975 최선의 손실: 613.892273 정확도: 93.08% 21 검증 세트 손실: 3141101.750000 최선의 손실: 613.892273 정확도: 63.45% 조기 종료! [CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.2, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 13.2s [CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.2, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0> 0 검증 세트 손실: 3.002900 최선의 손실: 3.002900 정확도: 71.23% 1 검증 세트 손실: 11.777847 최선의 손실: 3.002900 정확도: 77.44% 2 검증 세트 손실: 2903.676758 최선의 손실: 3.002900 정확도: 75.92% 3 검증 세트 손실: 2475.201172 최선의 손실: 3.002900 정확도: 77.44% 4 검증 세트 손실: 1051.248779 최선의 손실: 3.002900 정확도: 90.58% 5 검증 세트 손실: 2612.798340 최선의 손실: 3.002900 정확도: 76.35% 6 검증 세트 손실: 579.021606 최선의 손실: 3.002900 정확도: 89.52% 7 검증 세트 손실: 1155.305176 최선의 손실: 3.002900 정확도: 89.37% 8 검증 세트 손실: 5390.408691 최선의 손실: 3.002900 정확도: 55.39% 9 검증 세트 손실: 696.533997 최선의 손실: 3.002900 정확도: 79.09% 10 검증 세트 손실: 1375.270142 최선의 손실: 3.002900 정확도: 83.85% 11 검증 세트 손실: 484.270538 최선의 손실: 3.002900 정확도: 89.99% 12 검증 세트 손실: 8413.699219 최선의 손실: 3.002900 정확도: 74.86% 13 검증 세트 손실: 428489.500000 최선의 손실: 3.002900 정확도: 60.36% 14 검증 세트 손실: 61993.703125 최선의 손실: 3.002900 정확도: 75.92% 15 검증 세트 손실: 106343.007812 최선의 손실: 3.002900 정확도: 57.35% 16 검증 세트 손실: 22411.478516 최선의 손실: 3.002900 정확도: 78.23% 17 검증 세트 손실: 39254.218750 최선의 손실: 3.002900 정확도: 71.89% 18 검증 세트 손실: 24931.021484 최선의 손실: 3.002900 정확도: 74.59% 19 검증 세트 손실: 7055.448730 최선의 손실: 3.002900 정확도: 88.58% 20 검증 세트 손실: 14822.220703 최선의 손실: 3.002900 정확도: 77.87% 21 검증 세트 손실: 7655.899902 최선의 손실: 3.002900 정확도: 82.17% 조기 종료! [CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.2, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 13.1s [CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.2, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0> 0 검증 세트 손실: 0.676291 최선의 손실: 0.676291 정확도: 88.04% 1 검증 세트 손실: 38475.792969 최선의 손실: 0.676291 정확도: 63.72% 2 검증 세트 손실: 7359.746094 최선의 손실: 0.676291 정확도: 70.37% 3 검증 세트 손실: 11598.466797 최선의 손실: 0.676291 정확도: 73.65% 4 검증 세트 손실: 2961.063477 최선의 손실: 0.676291 정확도: 73.61% 5 검증 세트 손실: 3707.655518 최선의 손실: 0.676291 정확도: 66.61% 6 검증 세트 손실: 5944.784180 최선의 손실: 0.676291 정확도: 75.22% 7 검증 세트 손실: 497758.531250 최선의 손실: 0.676291 정확도: 55.90% 8 검증 세트 손실: 902793.625000 최선의 손실: 0.676291 정확도: 92.81% 9 검증 세트 손실: 715837.875000 최선의 손실: 0.676291 정확도: 92.42% 10 검증 세트 손실: 237169.281250 최선의 손실: 0.676291 정확도: 93.43% 11 검증 세트 손실: 131993.171875 최선의 손실: 0.676291 정확도: 90.85% 12 검증 세트 손실: 75222.570312 최선의 손실: 0.676291 정확도: 94.92% 13 검증 세트 손실: 110320.312500 최선의 손실: 0.676291 정확도: 94.88% 14 검증 세트 손실: 112729.429688 최선의 손실: 0.676291 정확도: 87.92% 15 검증 세트 손실: 60699.898438 최선의 손실: 0.676291 정확도: 94.18% 16 검증 세트 손실: 997783.625000 최선의 손실: 0.676291 정확도: 85.11% 17 검증 세트 손실: 104788.812500 최선의 손실: 0.676291 정확도: 95.27% 18 검증 세트 손실: 140362.218750 최선의 손실: 0.676291 정확도: 93.28% 19 검증 세트 손실: 50494.460938 최선의 손실: 0.676291 정확도: 94.41% 20 검증 세트 손실: 54897.578125 최선의 손실: 0.676291 정확도: 93.47% 21 검증 세트 손실: 32245.658203 최선의 손실: 0.676291 정확도: 95.90% 조기 종료! [CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.2, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 13.2s [CV] n_neurons=50, learning_rate=0.02, dropout_rate=0.3, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0> 0 검증 세트 손실: 0.136847 최선의 손실: 0.136847 정확도: 96.79% 1 검증 세트 손실: 0.178262 최선의 손실: 0.136847 정확도: 95.00% 2 검증 세트 손실: 0.222340 최선의 손실: 0.136847 정확도: 95.31% 3 검증 세트 손실: 0.457406 최선의 손실: 0.136847 정확도: 82.84% 4 검증 세트 손실: 0.727542 최선의 손실: 0.136847 정확도: 81.90% 5 검증 세트 손실: 0.349998 최선의 손실: 0.136847 정확도: 89.64% 6 검증 세트 손실: 1.137004 최선의 손실: 0.136847 정확도: 81.98% 7 검증 세트 손실: 2.670352 최선의 손실: 0.136847 정확도: 63.17% 8 검증 세트 손실: 1.917094 최선의 손실: 0.136847 정확도: 62.90% 9 검증 세트 손실: 0.708824 최선의 손실: 0.136847 정확도: 82.80% 10 검증 세트 손실: 0.556673 최선의 손실: 0.136847 정확도: 85.77% 11 검증 세트 손실: 0.394734 최선의 손실: 0.136847 정확도: 86.43% 12 검증 세트 손실: 0.435778 최선의 손실: 0.136847 정확도: 86.16% 13 검증 세트 손실: 0.367906 최선의 손실: 0.136847 정확도: 89.33% 14 검증 세트 손실: 0.305472 최선의 손실: 0.136847 정확도: 86.43% 15 검증 세트 손실: 0.289780 최선의 손실: 0.136847 정확도: 91.63% 16 검증 세트 손실: 0.249523 최선의 손실: 0.136847 정확도: 91.36% 17 검증 세트 손실: 0.344191 최선의 손실: 0.136847 정확도: 91.13% 18 검증 세트 손실: 0.242694 최선의 손실: 0.136847 정확도: 90.81% 19 검증 세트 손실: 0.968250 최선의 손실: 0.136847 정확도: 80.02% 20 검증 세트 손실: 1.195564 최선의 손실: 0.136847 정확도: 82.60% 21 검증 세트 손실: 0.259820 최선의 손실: 0.136847 정확도: 91.28% 조기 종료! [CV] n_neurons=50, learning_rate=0.02, dropout_rate=0.3, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 7.0s [CV] n_neurons=50, learning_rate=0.02, dropout_rate=0.3, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0> 0 검증 세트 손실: 0.156952 최선의 손실: 0.156952 정확도: 95.86% 1 검증 세트 손실: 0.180302 최선의 손실: 0.156952 정확도: 95.82% 2 검증 세트 손실: 0.219206 최선의 손실: 0.156952 정확도: 93.51% 3 검증 세트 손실: 0.234939 최선의 손실: 0.156952 정확도: 92.10% 4 검증 세트 손실: 0.227237 최선의 손실: 0.156952 정확도: 94.96% 5 검증 세트 손실: 0.456274 최선의 손실: 0.156952 정확도: 86.51% 6 검증 세트 손실: 0.682895 최선의 손실: 0.156952 정확도: 75.61% 7 검증 세트 손실: 1.441049 최선의 손실: 0.156952 정확도: 61.61% 8 검증 세트 손실: 0.756821 최선의 손실: 0.156952 정확도: 73.81% 9 검증 세트 손실: 0.708607 최선의 손실: 0.156952 정확도: 73.61% 10 검증 세트 손실: 0.482402 최선의 손실: 0.156952 정확도: 80.69% 11 검증 세트 손실: 1.339701 최선의 손실: 0.156952 정확도: 70.45% 12 검증 세트 손실: 3.466042 최선의 손실: 0.156952 정확도: 50.08% 13 검증 세트 손실: 0.364754 최선의 손실: 0.156952 정확도: 88.70% 14 검증 세트 손실: 0.378676 최선의 손실: 0.156952 정확도: 86.79% 15 검증 세트 손실: 0.366351 최선의 손실: 0.156952 정확도: 85.81% 16 검증 세트 손실: 0.422691 최선의 손실: 0.156952 정확도: 82.96% 17 검증 세트 손실: 0.353164 최선의 손실: 0.156952 정확도: 85.61% 18 검증 세트 손실: 0.269615 최선의 손실: 0.156952 정확도: 91.67% 19 검증 세트 손실: 0.251911 최선의 손실: 0.156952 정확도: 92.26% 20 검증 세트 손실: 0.210991 최선의 손실: 0.156952 정확도: 94.29% 21 검증 세트 손실: 0.258844 최선의 손실: 0.156952 정확도: 91.24% 조기 종료! [CV] n_neurons=50, learning_rate=0.02, dropout_rate=0.3, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 7.0s [CV] n_neurons=50, learning_rate=0.02, dropout_rate=0.3, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0> 0 검증 세트 손실: 0.159404 최선의 손실: 0.159404 정확도: 96.29% 1 검증 세트 손실: 0.183212 최선의 손실: 0.159404 정확도: 95.54% 2 검증 세트 손실: 0.201575 최선의 손실: 0.159404 정확도: 94.49% 3 검증 세트 손실: 0.167751 최선의 손실: 0.159404 정확도: 95.19% 4 검증 세트 손실: 0.159384 최선의 손실: 0.159384 정확도: 95.86% 5 검증 세트 손실: 0.151372 최선의 손실: 0.151372 정확도: 95.35% 6 검증 세트 손실: 0.208053 최선의 손실: 0.151372 정확도: 94.02% 7 검증 세트 손실: 0.195331 최선의 손실: 0.151372 정확도: 94.10% 8 검증 세트 손실: 0.567260 최선의 손실: 0.151372 정확도: 81.70% 9 검증 세트 손실: 0.657006 최선의 손실: 0.151372 정확도: 76.23% 10 검증 세트 손실: 0.344772 최선의 손실: 0.151372 정확도: 87.06% 11 검증 세트 손실: 0.349230 최선의 손실: 0.151372 정확도: 90.46% 12 검증 세트 손실: 4.564974 최선의 손실: 0.151372 정확도: 67.44% 13 검증 세트 손실: 1.626671 최선의 손실: 0.151372 정확도: 53.75% 14 검증 세트 손실: 0.927127 최선의 손실: 0.151372 정확도: 59.38% 15 검증 세트 손실: 0.891157 최선의 손실: 0.151372 정확도: 57.94% 16 검증 세트 손실: 0.807972 최선의 손실: 0.151372 정확도: 68.37% 17 검증 세트 손실: 0.861056 최선의 손실: 0.151372 정확도: 73.42% 18 검증 세트 손실: 0.820394 최선의 손실: 0.151372 정확도: 70.13% 19 검증 세트 손실: 0.578184 최선의 손실: 0.151372 정확도: 76.43% 20 검증 세트 손실: 1.183200 최선의 손실: 0.151372 정확도: 61.18% 21 검증 세트 손실: 0.502852 최선의 손실: 0.151372 정확도: 80.65% 22 검증 세트 손실: 0.539835 최선의 손실: 0.151372 정확도: 80.18% 23 검증 세트 손실: 0.333909 최선의 손실: 0.151372 정확도: 89.33% 24 검증 세트 손실: 0.303149 최선의 손실: 0.151372 정확도: 90.81% 25 검증 세트 손실: 0.290197 최선의 손실: 0.151372 정확도: 90.42% 26 검증 세트 손실: 0.291040 최선의 손실: 0.151372 정확도: 90.03% 조기 종료! [CV] n_neurons=50, learning_rate=0.02, dropout_rate=0.3, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 8.5s [CV] n_neurons=160, learning_rate=0.01, dropout_rate=0.6, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8> 0 검증 세트 손실: 0.198411 최선의 손실: 0.198411 정확도: 94.61% 1 검증 세트 손실: 0.203392 최선의 손실: 0.198411 정확도: 93.86% 2 검증 세트 손실: 0.178288 최선의 손실: 0.178288 정확도: 95.00% 3 검증 세트 손실: 0.244551 최선의 손실: 0.178288 정확도: 95.04% 4 검증 세트 손실: 0.234934 최선의 손실: 0.178288 정확도: 93.82% 5 검증 세트 손실: 0.245814 최선의 손실: 0.178288 정확도: 91.83% 6 검증 세트 손실: 0.228437 최선의 손실: 0.178288 정확도: 93.43% 7 검증 세트 손실: 0.227736 최선의 손실: 0.178288 정확도: 93.82% 8 검증 세트 손실: 0.276279 최선의 손실: 0.178288 정확도: 91.44% 9 검증 세트 손실: 0.288885 최선의 손실: 0.178288 정확도: 91.01% 10 검증 세트 손실: 0.272658 최선의 손실: 0.178288 정확도: 89.68% 11 검증 세트 손실: 0.313378 최선의 손실: 0.178288 정확도: 90.66% 12 검증 세트 손실: 0.252032 최선의 손실: 0.178288 정확도: 92.42% 13 검증 세트 손실: 0.248250 최선의 손실: 0.178288 정확도: 93.16% 14 검증 세트 손실: 0.280286 최선의 손실: 0.178288 정확도: 92.73% 15 검증 세트 손실: 0.270538 최선의 손실: 0.178288 정확도: 93.39% 16 검증 세트 손실: 0.230775 최선의 손실: 0.178288 정확도: 92.30% 17 검증 세트 손실: 0.270335 최선의 손실: 0.178288 정확도: 91.67% 18 검증 세트 손실: 0.288555 최선의 손실: 0.178288 정확도: 91.05% 19 검증 세트 손실: 0.288102 최선의 손실: 0.178288 정확도: 92.34% 20 검증 세트 손실: 0.280432 최선의 손실: 0.178288 정확도: 90.66% 21 검증 세트 손실: 0.382808 최선의 손실: 0.178288 정확도: 87.18% 22 검증 세트 손실: 0.296986 최선의 손실: 0.178288 정확도: 90.38% 23 검증 세트 손실: 0.396323 최선의 손실: 0.178288 정확도: 84.79% 조기 종료! [CV] n_neurons=160, learning_rate=0.01, dropout_rate=0.6, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 15.4s [CV] n_neurons=160, learning_rate=0.01, dropout_rate=0.6, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8> 0 검증 세트 손실: 0.217894 최선의 손실: 0.217894 정확도: 94.80% 1 검증 세트 손실: 0.256179 최선의 손실: 0.217894 정확도: 94.68% 2 검증 세트 손실: 0.205521 최선의 손실: 0.205521 정확도: 94.64% 3 검증 세트 손실: 0.200525 최선의 손실: 0.200525 정확도: 94.37% 4 검증 세트 손실: 0.202063 최선의 손실: 0.200525 정확도: 94.64% 5 검증 세트 손실: 0.177250 최선의 손실: 0.177250 정확도: 94.37% 6 검증 세트 손실: 0.203512 최선의 손실: 0.177250 정확도: 94.53% 7 검증 세트 손실: 0.247743 최선의 손실: 0.177250 정확도: 94.14% 8 검증 세트 손실: 0.205405 최선의 손실: 0.177250 정확도: 94.61% 9 검증 세트 손실: 0.206236 최선의 손실: 0.177250 정확도: 94.21% 10 검증 세트 손실: 0.241724 최선의 손실: 0.177250 정확도: 93.24% 11 검증 세트 손실: 0.245587 최선의 손실: 0.177250 정확도: 92.26% 12 검증 세트 손실: 0.191869 최선의 손실: 0.177250 정확도: 94.29% 13 검증 세트 손실: 0.210674 최선의 손실: 0.177250 정확도: 95.23% 14 검증 세트 손실: 0.249250 최선의 손실: 0.177250 정확도: 93.16% 15 검증 세트 손실: 0.217179 최선의 손실: 0.177250 정확도: 93.86% 16 검증 세트 손실: 0.284822 최선의 손실: 0.177250 정확도: 93.75% 17 검증 세트 손실: 0.336046 최선의 손실: 0.177250 정확도: 85.54% 18 검증 세트 손실: 0.335966 최선의 손실: 0.177250 정확도: 87.61% 19 검증 세트 손실: 0.425394 최선의 손실: 0.177250 정확도: 84.52% 20 검증 세트 손실: 0.385510 최선의 손실: 0.177250 정확도: 89.01% 21 검증 세트 손실: 0.375376 최선의 손실: 0.177250 정확도: 88.39% 22 검증 세트 손실: 0.370911 최선의 손실: 0.177250 정확도: 90.54% 23 검증 세트 손실: 0.412713 최선의 손실: 0.177250 정확도: 92.53% 24 검증 세트 손실: 0.412745 최선의 손실: 0.177250 정확도: 90.89% 25 검증 세트 손실: 0.591183 최선의 손실: 0.177250 정확도: 89.13% 26 검증 세트 손실: 0.505915 최선의 손실: 0.177250 정확도: 90.03% 조기 종료! [CV] n_neurons=160, learning_rate=0.01, dropout_rate=0.6, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 17.0s [CV] n_neurons=160, learning_rate=0.01, dropout_rate=0.6, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8> 0 검증 세트 손실: 0.228729 최선의 손실: 0.228729 정확도: 93.94% 1 검증 세트 손실: 0.301103 최선의 손실: 0.228729 정확도: 93.59% 2 검증 세트 손실: 0.198141 최선의 손실: 0.198141 정확도: 94.14% 3 검증 세트 손실: 0.217889 최선의 손실: 0.198141 정확도: 92.81% 4 검증 세트 손실: 0.239775 최선의 손실: 0.198141 정확도: 92.92% 5 검증 세트 손실: 0.241374 최선의 손실: 0.198141 정확도: 92.49% 6 검증 세트 손실: 0.242594 최선의 손실: 0.198141 정확도: 92.30% 7 검증 세트 손실: 0.203264 최선의 손실: 0.198141 정확도: 93.51% 8 검증 세트 손실: 0.249972 최선의 손실: 0.198141 정확도: 91.56% 9 검증 세트 손실: 0.330074 최선의 손실: 0.198141 정확도: 88.27% 10 검증 세트 손실: 0.407854 최선의 손실: 0.198141 정확도: 84.79% 11 검증 세트 손실: 0.287873 최선의 손실: 0.198141 정확도: 90.23% 12 검증 세트 손실: 0.338383 최선의 손실: 0.198141 정확도: 87.10% 13 검증 세트 손실: 0.360020 최선의 손실: 0.198141 정확도: 87.69% 14 검증 세트 손실: 0.266822 최선의 손실: 0.198141 정확도: 92.10% 15 검증 세트 손실: 0.279835 최선의 손실: 0.198141 정확도: 93.08% 16 검증 세트 손실: 0.262230 최선의 손실: 0.198141 정확도: 92.57% 17 검증 세트 손실: 0.255377 최선의 손실: 0.198141 정확도: 90.54% 18 검증 세트 손실: 0.280262 최선의 손실: 0.198141 정확도: 91.91% 19 검증 세트 손실: 0.262914 최선의 손실: 0.198141 정확도: 90.73% 20 검증 세트 손실: 0.334393 최선의 손실: 0.198141 정확도: 89.41% 21 검증 세트 손실: 0.414227 최선의 손실: 0.198141 정확도: 89.17% 22 검증 세트 손실: 0.382230 최선의 손실: 0.198141 정확도: 89.29% 23 검증 세트 손실: 0.299204 최선의 손실: 0.198141 정확도: 90.70% 조기 종료! [CV] n_neurons=160, learning_rate=0.01, dropout_rate=0.6, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 15.1s [CV] n_neurons=50, learning_rate=0.1, dropout_rate=0.5, batch_size=10, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 1.664315 최선의 손실: 1.664315 정확도: 19.08% 1 검증 세트 손실: 1.660742 최선의 손실: 1.660742 정확도: 19.27% 2 검증 세트 손실: 1.806029 최선의 손실: 1.660742 정확도: 19.27% 3 검증 세트 손실: 1.692594 최선의 손실: 1.660742 정확도: 19.27% 4 검증 세트 손실: 1.631812 최선의 손실: 1.631812 정확도: 19.27% 5 검증 세트 손실: 1.940642 최선의 손실: 1.631812 정확도: 19.08% 6 검증 세트 손실: 1.954628 최선의 손실: 1.631812 정확도: 22.01% 7 검증 세트 손실: 1.854005 최선의 손실: 1.631812 정확도: 19.08% 8 검증 세트 손실: 1.720676 최선의 손실: 1.631812 정확도: 20.91% 9 검증 세트 손실: 1.643992 최선의 손실: 1.631812 정확도: 22.01% 10 검증 세트 손실: 2.076087 최선의 손실: 1.631812 정확도: 19.08% 11 검증 세트 손실: 1.810045 최선의 손실: 1.631812 정확도: 22.01% 12 검증 세트 손실: 1.873923 최선의 손실: 1.631812 정확도: 18.73% 13 검증 세트 손실: 1.998625 최선의 손실: 1.631812 정확도: 19.27% 14 검증 세트 손실: 2.567833 최선의 손실: 1.631812 정확도: 18.73% 15 검증 세트 손실: 2.007449 최선의 손실: 1.631812 정확도: 22.01% 16 검증 세트 손실: 2.144001 최선의 손실: 1.631812 정확도: 18.73% 17 검증 세트 손실: 1.707895 최선의 손실: 1.631812 정확도: 19.08% 18 검증 세트 손실: 1.805304 최선의 손실: 1.631812 정확도: 19.08% 19 검증 세트 손실: 1.709136 최선의 손실: 1.631812 정확도: 22.01% 20 검증 세트 손실: 1.661549 최선의 손실: 1.631812 정확도: 18.73% 21 검증 세트 손실: 1.775702 최선의 손실: 1.631812 정확도: 20.91% 22 검증 세트 손실: 1.707156 최선의 손실: 1.631812 정확도: 18.73% 23 검증 세트 손실: 1.850949 최선의 손실: 1.631812 정확도: 19.08% 24 검증 세트 손실: 1.887437 최선의 손실: 1.631812 정확도: 19.08% 25 검증 세트 손실: 1.626464 최선의 손실: 1.626464 정확도: 22.01% 26 검증 세트 손실: 1.716115 최선의 손실: 1.626464 정확도: 19.08% 27 검증 세트 손실: 1.708765 최선의 손실: 1.626464 정확도: 18.73% 28 검증 세트 손실: 1.823378 최선의 손실: 1.626464 정확도: 19.08% 29 검증 세트 손실: 1.698896 최선의 손실: 1.626464 정확도: 20.91% 30 검증 세트 손실: 1.812045 최선의 손실: 1.626464 정확도: 22.01% 31 검증 세트 손실: 1.660022 최선의 손실: 1.626464 정확도: 20.91% 32 검증 세트 손실: 1.696212 최선의 손실: 1.626464 정확도: 22.01% 33 검증 세트 손실: 1.693992 최선의 손실: 1.626464 정확도: 22.01% 34 검증 세트 손실: 1.698796 최선의 손실: 1.626464 정확도: 19.08% 35 검증 세트 손실: 2.030176 최선의 손실: 1.626464 정확도: 19.27% 36 검증 세트 손실: 1.765037 최선의 손실: 1.626464 정확도: 18.73% 37 검증 세트 손실: 1.713854 최선의 손실: 1.626464 정확도: 19.08% 38 검증 세트 손실: 1.764620 최선의 손실: 1.626464 정확도: 19.08% 39 검증 세트 손실: 2.204689 최선의 손실: 1.626464 정확도: 18.73% 40 검증 세트 손실: 1.888975 최선의 손실: 1.626464 정확도: 22.01% 41 검증 세트 손실: 1.848501 최선의 손실: 1.626464 정확도: 19.08% 42 검증 세트 손실: 2.006040 최선의 손실: 1.626464 정확도: 19.27% 43 검증 세트 손실: 1.767573 최선의 손실: 1.626464 정확도: 19.08% 44 검증 세트 손실: 1.748501 최선의 손실: 1.626464 정확도: 19.08% 45 검증 세트 손실: 1.652138 최선의 손실: 1.626464 정확도: 19.27% 46 검증 세트 손실: 1.773356 최선의 손실: 1.626464 정확도: 22.01% 조기 종료! [CV] n_neurons=50, learning_rate=0.1, dropout_rate=0.5, batch_size=10, activation=<function elu at 0x7f8ec4ceef28>, total= 52.9s [CV] n_neurons=50, learning_rate=0.1, dropout_rate=0.5, batch_size=10, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 1.775287 최선의 손실: 1.775287 정확도: 18.73% 1 검증 세트 손실: 1.649342 최선의 손실: 1.649342 정확도: 19.27% 2 검증 세트 손실: 1.758523 최선의 손실: 1.649342 정확도: 18.73% 3 검증 세트 손실: 1.738402 최선의 손실: 1.649342 정확도: 19.27% 4 검증 세트 손실: 1.975238 최선의 손실: 1.649342 정확도: 19.08% 5 검증 세트 손실: 1.650192 최선의 손실: 1.649342 정확도: 19.08% 6 검증 세트 손실: 1.805537 최선의 손실: 1.649342 정확도: 20.91% 7 검증 세트 손실: 1.764849 최선의 손실: 1.649342 정확도: 19.08% 8 검증 세트 손실: 1.895023 최선의 손실: 1.649342 정확도: 20.91% 9 검증 세트 손실: 1.646983 최선의 손실: 1.646983 정확도: 20.91% 10 검증 세트 손실: 1.903186 최선의 손실: 1.646983 정확도: 19.08% 11 검증 세트 손실: 1.890604 최선의 손실: 1.646983 정확도: 19.08% 12 검증 세트 손실: 1.959038 최선의 손실: 1.646983 정확도: 20.91% 13 검증 세트 손실: 2.025031 최선의 손실: 1.646983 정확도: 22.01% 14 검증 세트 손실: 1.750845 최선의 손실: 1.646983 정확도: 19.27% 15 검증 세트 손실: 2.078740 최선의 손실: 1.646983 정확도: 19.08% 16 검증 세트 손실: 1.846105 최선의 손실: 1.646983 정확도: 18.73% 17 검증 세트 손실: 1.800942 최선의 손실: 1.646983 정확도: 19.08% 18 검증 세트 손실: 2.045797 최선의 손실: 1.646983 정확도: 19.08% 19 검증 세트 손실: 1.778603 최선의 손실: 1.646983 정확도: 22.01% 20 검증 세트 손실: 1.988417 최선의 손실: 1.646983 정확도: 19.27% 21 검증 세트 손실: 1.917126 최선의 손실: 1.646983 정확도: 22.01% 22 검증 세트 손실: 2.018214 최선의 손실: 1.646983 정확도: 19.08% 23 검증 세트 손실: 2.037745 최선의 손실: 1.646983 정확도: 22.01% 24 검증 세트 손실: 1.834110 최선의 손실: 1.646983 정확도: 20.91% 25 검증 세트 손실: 2.127110 최선의 손실: 1.646983 정확도: 20.91% 26 검증 세트 손실: 2.262456 최선의 손실: 1.646983 정확도: 18.73% 27 검증 세트 손실: 1.912975 최선의 손실: 1.646983 정확도: 19.27% 28 검증 세트 손실: 2.119708 최선의 손실: 1.646983 정확도: 18.73% 29 검증 세트 손실: 2.329928 최선의 손실: 1.646983 정확도: 20.91% 30 검증 세트 손실: 1.830719 최선의 손실: 1.646983 정확도: 22.01% 조기 종료! [CV] n_neurons=50, learning_rate=0.1, dropout_rate=0.5, batch_size=10, activation=<function elu at 0x7f8ec4ceef28>, total= 35.1s [CV] n_neurons=50, learning_rate=0.1, dropout_rate=0.5, batch_size=10, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 1.639577 최선의 손실: 1.639577 정확도: 18.73% 1 검증 세트 손실: 1.752255 최선의 손실: 1.639577 정확도: 19.27% 2 검증 세트 손실: 1.942101 최선의 손실: 1.639577 정확도: 19.08% 3 검증 세트 손실: 1.965490 최선의 손실: 1.639577 정확도: 19.27% 4 검증 세트 손실: 2.281526 최선의 손실: 1.639577 정확도: 20.91% 5 검증 세트 손실: 2.001093 최선의 손실: 1.639577 정확도: 20.91% 6 검증 세트 손실: 1.843318 최선의 손실: 1.639577 정확도: 19.27% 7 검증 세트 손실: 1.834621 최선의 손실: 1.639577 정확도: 19.08% 8 검증 세트 손실: 1.820184 최선의 손실: 1.639577 정확도: 19.27% 9 검증 세트 손실: 1.965782 최선의 손실: 1.639577 정확도: 22.01% 10 검증 세트 손실: 1.845823 최선의 손실: 1.639577 정확도: 18.73% 11 검증 세트 손실: 2.142612 최선의 손실: 1.639577 정확도: 19.27% 12 검증 세트 손실: 1.891989 최선의 손실: 1.639577 정확도: 20.91% 13 검증 세트 손실: 3.229067 최선의 손실: 1.639577 정확도: 19.08% 14 검증 세트 손실: 1.895574 최선의 손실: 1.639577 정확도: 19.08% 15 검증 세트 손실: 1.825037 최선의 손실: 1.639577 정확도: 19.27% 16 검증 세트 손실: 2.237275 최선의 손실: 1.639577 정확도: 18.73% 17 검증 세트 손실: 1.936627 최선의 손실: 1.639577 정확도: 18.73% 18 검증 세트 손실: 1.818772 최선의 손실: 1.639577 정확도: 19.27% 19 검증 세트 손실: 2.228271 최선의 손실: 1.639577 정확도: 18.73% 20 검증 세트 손실: 1.907686 최선의 손실: 1.639577 정확도: 19.27% 21 검증 세트 손실: 2.093562 최선의 손실: 1.639577 정확도: 22.01% 조기 종료! [CV] n_neurons=50, learning_rate=0.1, dropout_rate=0.5, batch_size=10, activation=<function elu at 0x7f8ec4ceef28>, total= 25.2s [CV] n_neurons=90, learning_rate=0.1, dropout_rate=0.5, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0> 0 검증 세트 손실: 229199.593750 최선의 손실: 229199.593750 정확도: 18.73% 1 검증 세트 손실: 37381.734375 최선의 손실: 37381.734375 정확도: 19.27% 2 검증 세트 손실: 15045844.000000 최선의 손실: 37381.734375 정확도: 22.01% 3 검증 세트 손실: 15830502.000000 최선의 손실: 37381.734375 정확도: 19.27% 4 검증 세트 손실: 1458647.500000 최선의 손실: 37381.734375 정확도: 19.08% 5 검증 세트 손실: 1261573.250000 최선의 손실: 37381.734375 정확도: 18.73% 6 검증 세트 손실: 57758928.000000 최선의 손실: 37381.734375 정확도: 18.73% 7 검증 세트 손실: 7926937.000000 최선의 손실: 37381.734375 정확도: 19.27% 8 검증 세트 손실: 2471295.750000 최선의 손실: 37381.734375 정확도: 18.73% 9 검증 세트 손실: 14799192.000000 최선의 손실: 37381.734375 정확도: 18.73% 10 검증 세트 손실: 15786388.000000 최선의 손실: 37381.734375 정확도: 22.01% 11 검증 세트 손실: 18096114.000000 최선의 손실: 37381.734375 정확도: 18.73% 12 검증 세트 손실: 7938405.000000 최선의 손실: 37381.734375 정확도: 19.27% 13 검증 세트 손실: 17345496.000000 최선의 손실: 37381.734375 정확도: 19.27% 14 검증 세트 손실: 13818413.000000 최선의 손실: 37381.734375 정확도: 18.73% 15 검증 세트 손실: 77489160.000000 최선의 손실: 37381.734375 정확도: 21.85% 16 검증 세트 손실: 5907903.500000 최선의 손실: 37381.734375 정확도: 18.73% 17 검증 세트 손실: 2150976.750000 최선의 손실: 37381.734375 정확도: 19.27% 18 검증 세트 손실: 29106574.000000 최선의 손실: 37381.734375 정확도: 22.01% 19 검증 세트 손실: 14748783.000000 최선의 손실: 37381.734375 정확도: 18.73% 20 검증 세트 손실: 19850416.000000 최선의 손실: 37381.734375 정확도: 18.73% 21 검증 세트 손실: 42580676.000000 최선의 손실: 37381.734375 정확도: 20.91% 22 검증 세트 손실: 61722340.000000 최선의 손실: 37381.734375 정확도: 22.01% 조기 종료! [CV] n_neurons=90, learning_rate=0.1, dropout_rate=0.5, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 35.3s [CV] n_neurons=90, learning_rate=0.1, dropout_rate=0.5, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0> 0 검증 세트 손실: 1264747.750000 최선의 손실: 1264747.750000 정확도: 18.73% 1 검증 세트 손실: 11657374.000000 최선의 손실: 1264747.750000 정확도: 19.27% 2 검증 세트 손실: 8616488.000000 최선의 손실: 1264747.750000 정확도: 19.08% 3 검증 세트 손실: 6977158.000000 최선의 손실: 1264747.750000 정확도: 19.27% 4 검증 세트 손실: 23013328.000000 최선의 손실: 1264747.750000 정확도: 22.01% 5 검증 세트 손실: 21869072.000000 최선의 손실: 1264747.750000 정확도: 18.73% 6 검증 세트 손실: 1113902.375000 최선의 손실: 1113902.375000 정확도: 18.73% 7 검증 세트 손실: 30393536.000000 최선의 손실: 1113902.375000 정확도: 18.73% 8 검증 세트 손실: 3884965.500000 최선의 손실: 1113902.375000 정확도: 18.73% 9 검증 세트 손실: 3738185.750000 최선의 손실: 1113902.375000 정확도: 19.35% 10 검증 세트 손실: 1135107.500000 최선의 손실: 1113902.375000 정확도: 19.08% 11 검증 세트 손실: 3963533.250000 최선의 손실: 1113902.375000 정확도: 19.27% 12 검증 세트 손실: 3867427.750000 최선의 손실: 1113902.375000 정확도: 19.08% 13 검증 세트 손실: 8878260.000000 최선의 손실: 1113902.375000 정확도: 19.35% 14 검증 세트 손실: 3122708.000000 최선의 손실: 1113902.375000 정확도: 22.01% 15 검증 세트 손실: 8241788.500000 최선의 손실: 1113902.375000 정확도: 19.08% 16 검증 세트 손실: 5367601.000000 최선의 손실: 1113902.375000 정확도: 18.73% 17 검증 세트 손실: 139309936.000000 최선의 손실: 1113902.375000 정확도: 19.08% 18 검증 세트 손실: 25707302.000000 최선의 손실: 1113902.375000 정확도: 18.73% 19 검증 세트 손실: 7323026.500000 최선의 손실: 1113902.375000 정확도: 19.27% 20 검증 세트 손실: 33124708.000000 최선의 손실: 1113902.375000 정확도: 20.91% 21 검증 세트 손실: 24358434.000000 최선의 손실: 1113902.375000 정확도: 18.73% 22 검증 세트 손실: 35499828.000000 최선의 손실: 1113902.375000 정확도: 19.27% 23 검증 세트 손실: 10390318.000000 최선의 손실: 1113902.375000 정확도: 19.27% 24 검증 세트 손실: 41601224.000000 최선의 손실: 1113902.375000 정확도: 20.91% 25 검증 세트 손실: 3116478.250000 최선의 손실: 1113902.375000 정확도: 18.73% 26 검증 세트 손실: 1472278.000000 최선의 손실: 1113902.375000 정확도: 19.23% 27 검증 세트 손실: 146808864.000000 최선의 손실: 1113902.375000 정확도: 20.09% 조기 종료! [CV] n_neurons=90, learning_rate=0.1, dropout_rate=0.5, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 42.6s [CV] n_neurons=90, learning_rate=0.1, dropout_rate=0.5, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0> 0 검증 세트 손실: 2074283.125000 최선의 손실: 2074283.125000 정확도: 22.01% 1 검증 세트 손실: 1249913.625000 최선의 손실: 1249913.625000 정확도: 18.73% 2 검증 세트 손실: 14640592.000000 최선의 손실: 1249913.625000 정확도: 20.91% 3 검증 세트 손실: 91404072.000000 최선의 손실: 1249913.625000 정확도: 19.08% 4 검증 세트 손실: 2994971.250000 최선의 손실: 1249913.625000 정확도: 19.08% 5 검증 세트 손실: 18042182.000000 최선의 손실: 1249913.625000 정확도: 19.27% 6 검증 세트 손실: 7486913.000000 최선의 손실: 1249913.625000 정확도: 19.08% 7 검증 세트 손실: 12077222.000000 최선의 손실: 1249913.625000 정확도: 18.73% 8 검증 세트 손실: 6348370.000000 최선의 손실: 1249913.625000 정확도: 19.27% 9 검증 세트 손실: 19677542.000000 최선의 손실: 1249913.625000 정확도: 26.15% 10 검증 세트 손실: 4477335.500000 최선의 손실: 1249913.625000 정확도: 19.27% 11 검증 세트 손실: 6624295.000000 최선의 손실: 1249913.625000 정확도: 19.08% 12 검증 세트 손실: 9193289.000000 최선의 손실: 1249913.625000 정확도: 20.91% 13 검증 세트 손실: 7373495.000000 최선의 손실: 1249913.625000 정확도: 19.27% 14 검증 세트 손실: 24394778.000000 최선의 손실: 1249913.625000 정확도: 22.01% 15 검증 세트 손실: 17882308.000000 최선의 손실: 1249913.625000 정확도: 22.01% 16 검증 세트 손실: 15219889.000000 최선의 손실: 1249913.625000 정확도: 19.08% 17 검증 세트 손실: 28630932.000000 최선의 손실: 1249913.625000 정확도: 18.73% 18 검증 세트 손실: 9500147.000000 최선의 손실: 1249913.625000 정확도: 22.01% 19 검증 세트 손실: 2984698.000000 최선의 손실: 1249913.625000 정확도: 22.01% 20 검증 세트 손실: 9826526.000000 최선의 손실: 1249913.625000 정확도: 19.27% 21 검증 세트 손실: 6460473.000000 최선의 손실: 1249913.625000 정확도: 22.01% 22 검증 세트 손실: 3509208.750000 최선의 손실: 1249913.625000 정확도: 19.08% 조기 종료! [CV] n_neurons=90, learning_rate=0.1, dropout_rate=0.5, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 35.4s [CV] n_neurons=140, learning_rate=0.02, dropout_rate=0.5, batch_size=10, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 1.610384 최선의 손실: 1.610384 정확도: 18.88% 1 검증 세트 손실: 1.613585 최선의 손실: 1.610384 정확도: 19.27% 2 검증 세트 손실: 1.609824 최선의 손실: 1.609824 정확도: 22.01% 3 검증 세트 손실: 1.607976 최선의 손실: 1.607976 정확도: 22.01% 4 검증 세트 손실: 1.619217 최선의 손실: 1.607976 정확도: 22.01% 5 검증 세트 손실: 1.616276 최선의 손실: 1.607976 정확도: 22.01% 6 검증 세트 손실: 1.613028 최선의 손실: 1.607976 정확도: 19.27% 7 검증 세트 손실: 1.615297 최선의 손실: 1.607976 정확도: 22.01% 8 검증 세트 손실: 1.621617 최선의 손실: 1.607976 정확도: 19.27% 9 검증 세트 손실: 1.611588 최선의 손실: 1.607976 정확도: 22.01% 10 검증 세트 손실: 1.608245 최선의 손실: 1.607976 정확도: 22.01% 11 검증 세트 손실: 1.609518 최선의 손실: 1.607976 정확도: 22.01% 12 검증 세트 손실: 1.608591 최선의 손실: 1.607976 정확도: 22.01% 13 검증 세트 손실: 1.612133 최선의 손실: 1.607976 정확도: 18.73% 14 검증 세트 손실: 1.610414 최선의 손실: 1.607976 정확도: 22.01% 15 검증 세트 손실: 1.609287 최선의 손실: 1.607976 정확도: 22.01% 16 검증 세트 손실: 1.608218 최선의 손실: 1.607976 정확도: 22.01% 17 검증 세트 손실: 1.611065 최선의 손실: 1.607976 정확도: 19.27% 18 검증 세트 손실: 1.614789 최선의 손실: 1.607976 정확도: 22.01% 19 검증 세트 손실: 1.610237 최선의 손실: 1.607976 정확도: 19.08% 20 검증 세트 손실: 1.610643 최선의 손실: 1.607976 정확도: 20.91% 21 검증 세트 손실: 1.617283 최선의 손실: 1.607976 정확도: 19.27% 22 검증 세트 손실: 1.612231 최선의 손실: 1.607976 정확도: 19.27% 23 검증 세트 손실: 1.611049 최선의 손실: 1.607976 정확도: 19.27% 24 검증 세트 손실: 1.614576 최선의 손실: 1.607976 정확도: 22.01% 조기 종료! [CV] n_neurons=140, learning_rate=0.02, dropout_rate=0.5, batch_size=10, activation=<function relu at 0x7f8ec4c8c510>, total= 45.9s [CV] n_neurons=140, learning_rate=0.02, dropout_rate=0.5, batch_size=10, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 1.613265 최선의 손실: 1.613265 정확도: 22.01% 1 검증 세트 손실: 1.615556 최선의 손실: 1.613265 정확도: 19.27% 2 검증 세트 손실: 1.609231 최선의 손실: 1.609231 정확도: 22.01% 3 검증 세트 손실: 1.614140 최선의 손실: 1.609231 정확도: 18.73% 4 검증 세트 손실: 1.612053 최선의 손실: 1.609231 정확도: 22.01% 5 검증 세트 손실: 1.610142 최선의 손실: 1.609231 정확도: 22.01% 6 검증 세트 손실: 1.621742 최선의 손실: 1.609231 정확도: 19.08% 7 검증 세트 손실: 1.612060 최선의 손실: 1.609231 정확도: 18.73% 8 검증 세트 손실: 1.611336 최선의 손실: 1.609231 정확도: 22.01% 9 검증 세트 손실: 1.608816 최선의 손실: 1.608816 정확도: 22.01% 10 검증 세트 손실: 1.610085 최선의 손실: 1.608816 정확도: 22.01% 11 검증 세트 손실: 1.610640 최선의 손실: 1.608816 정확도: 22.01% 12 검증 세트 손실: 1.610768 최선의 손실: 1.608816 정확도: 19.27% 13 검증 세트 손실: 1.611639 최선의 손실: 1.608816 정확도: 19.08% 14 검증 세트 손실: 1.608836 최선의 손실: 1.608816 정확도: 22.01% 15 검증 세트 손실: 1.608107 최선의 손실: 1.608107 정확도: 22.01% 16 검증 세트 손실: 1.613538 최선의 손실: 1.608107 정확도: 22.01% 17 검증 세트 손실: 1.611920 최선의 손실: 1.608107 정확도: 18.73% 18 검증 세트 손실: 1.614612 최선의 손실: 1.608107 정확도: 22.01% 19 검증 세트 손실: 1.608660 최선의 손실: 1.608107 정확도: 22.01% 20 검증 세트 손실: 1.609386 최선의 손실: 1.608107 정확도: 22.01% 21 검증 세트 손실: 1.619948 최선의 손실: 1.608107 정확도: 22.01% 22 검증 세트 손실: 1.620783 최선의 손실: 1.608107 정확도: 19.27% 23 검증 세트 손실: 1.618629 최선의 손실: 1.608107 정확도: 22.01% 24 검증 세트 손실: 1.613190 최선의 손실: 1.608107 정확도: 22.01% 25 검증 세트 손실: 1.608847 최선의 손실: 1.608107 정확도: 22.01% 26 검증 세트 손실: 1.608850 최선의 손실: 1.608107 정확도: 22.01% 27 검증 세트 손실: 1.612869 최선의 손실: 1.608107 정확도: 22.01% 28 검증 세트 손실: 1.622143 최선의 손실: 1.608107 정확도: 19.08% 29 검증 세트 손실: 1.609205 최선의 손실: 1.608107 정확도: 22.01% 30 검증 세트 손실: 1.607764 최선의 손실: 1.607764 정확도: 20.91% 31 검증 세트 손실: 1.613591 최선의 손실: 1.607764 정확도: 18.73% 32 검증 세트 손실: 1.609265 최선의 손실: 1.607764 정확도: 22.01% 33 검증 세트 손실: 1.609561 최선의 손실: 1.607764 정확도: 22.01% 34 검증 세트 손실: 1.610186 최선의 손실: 1.607764 정확도: 22.01% 35 검증 세트 손실: 1.609367 최선의 손실: 1.607764 정확도: 22.01% 36 검증 세트 손실: 1.610132 최선의 손실: 1.607764 정확도: 19.27% 37 검증 세트 손실: 1.612201 최선의 손실: 1.607764 정확도: 22.01% 38 검증 세트 손실: 1.612036 최선의 손실: 1.607764 정확도: 22.01% 39 검증 세트 손실: 1.614104 최선의 손실: 1.607764 정확도: 19.27% 40 검증 세트 손실: 1.608475 최선의 손실: 1.607764 정확도: 22.01% 41 검증 세트 손실: 1.609538 최선의 손실: 1.607764 정확도: 22.01% 42 검증 세트 손실: 1.610706 최선의 손실: 1.607764 정확도: 19.27% 43 검증 세트 손실: 1.614005 최선의 손실: 1.607764 정확도: 22.01% 44 검증 세트 손실: 1.616756 최선의 손실: 1.607764 정확도: 22.01% 45 검증 세트 손실: 1.610700 최선의 손실: 1.607764 정확도: 22.01% 46 검증 세트 손실: 1.612054 최선의 손실: 1.607764 정확도: 18.73% 47 검증 세트 손실: 1.608926 최선의 손실: 1.607764 정확도: 22.01% 48 검증 세트 손실: 1.608290 최선의 손실: 1.607764 정확도: 22.01% 49 검증 세트 손실: 1.617472 최선의 손실: 1.607764 정확도: 19.27% 50 검증 세트 손실: 1.612358 최선의 손실: 1.607764 정확도: 19.27% 51 검증 세트 손실: 1.610515 최선의 손실: 1.607764 정확도: 19.08% 조기 종료! [CV] n_neurons=140, learning_rate=0.02, dropout_rate=0.5, batch_size=10, activation=<function relu at 0x7f8ec4c8c510>, total= 1.6min [CV] n_neurons=140, learning_rate=0.02, dropout_rate=0.5, batch_size=10, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 1.615125 최선의 손실: 1.615125 정확도: 22.01% 1 검증 세트 손실: 1.613456 최선의 손실: 1.613456 정확도: 19.27% 2 검증 세트 손실: 1.613232 최선의 손실: 1.613232 정확도: 19.27% 3 검증 세트 손실: 1.618686 최선의 손실: 1.613232 정확도: 18.73% 4 검증 세트 손실: 1.608310 최선의 손실: 1.608310 정확도: 22.01% 5 검증 세트 손실: 1.612530 최선의 손실: 1.608310 정확도: 22.01% 6 검증 세트 손실: 1.613828 최선의 손실: 1.608310 정확도: 19.27% 7 검증 세트 손실: 1.612980 최선의 손실: 1.608310 정확도: 22.01% 8 검증 세트 손실: 1.611470 최선의 손실: 1.608310 정확도: 22.01% 9 검증 세트 손실: 1.610539 최선의 손실: 1.608310 정확도: 22.01% 10 검증 세트 손실: 1.610117 최선의 손실: 1.608310 정확도: 22.01% 11 검증 세트 손실: 1.615078 최선의 손실: 1.608310 정확도: 22.01% 12 검증 세트 손실: 1.609145 최선의 손실: 1.608310 정확도: 20.91% 13 검증 세트 손실: 1.612663 최선의 손실: 1.608310 정확도: 19.27% 14 검증 세트 손실: 1.610132 최선의 손실: 1.608310 정확도: 20.91% 15 검증 세트 손실: 1.611329 최선의 손실: 1.608310 정확도: 22.01% 16 검증 세트 손실: 1.620622 최선의 손실: 1.608310 정확도: 22.01% 17 검증 세트 손실: 1.614158 최선의 손실: 1.608310 정확도: 19.08% 18 검증 세트 손실: 1.607982 최선의 손실: 1.607982 정확도: 22.01% 19 검증 세트 손실: 1.610185 최선의 손실: 1.607982 정확도: 19.08% 20 검증 세트 손실: 1.612524 최선의 손실: 1.607982 정확도: 19.27% 21 검증 세트 손실: 1.620056 최선의 손실: 1.607982 정확도: 22.01% 22 검증 세트 손실: 1.611554 최선의 손실: 1.607982 정확도: 22.01% 23 검증 세트 손실: 1.614215 최선의 손실: 1.607982 정확도: 22.01% 24 검증 세트 손실: 1.612510 최선의 손실: 1.607982 정확도: 20.91% 25 검증 세트 손실: 1.609961 최선의 손실: 1.607982 정확도: 22.01% 26 검증 세트 손실: 1.607881 최선의 손실: 1.607881 정확도: 22.01% 27 검증 세트 손실: 1.610301 최선의 손실: 1.607881 정확도: 22.01% 28 검증 세트 손실: 1.617166 최선의 손실: 1.607881 정확도: 19.08% 29 검증 세트 손실: 1.610957 최선의 손실: 1.607881 정확도: 22.01% 30 검증 세트 손실: 1.609473 최선의 손실: 1.607881 정확도: 19.08% 31 검증 세트 손실: 1.609235 최선의 손실: 1.607881 정확도: 22.01% 32 검증 세트 손실: 1.609477 최선의 손실: 1.607881 정확도: 22.01% 33 검증 세트 손실: 1.609797 최선의 손실: 1.607881 정확도: 22.01% 34 검증 세트 손실: 1.609310 최선의 손실: 1.607881 정확도: 22.01% 35 검증 세트 손실: 1.611004 최선의 손실: 1.607881 정확도: 22.01% 36 검증 세트 손실: 1.610505 최선의 손실: 1.607881 정확도: 19.27% 37 검증 세트 손실: 1.608507 최선의 손실: 1.607881 정확도: 22.01% 38 검증 세트 손실: 1.612430 최선의 손실: 1.607881 정확도: 22.01% 39 검증 세트 손실: 1.616540 최선의 손실: 1.607881 정확도: 19.27% 40 검증 세트 손실: 1.610357 최선의 손실: 1.607881 정확도: 19.08% 41 검증 세트 손실: 1.613422 최선의 손실: 1.607881 정확도: 19.08% 42 검증 세트 손실: 1.610968 최선의 손실: 1.607881 정확도: 22.01% 43 검증 세트 손실: 1.609562 최선의 손실: 1.607881 정확도: 20.91% 44 검증 세트 손실: 1.612208 최선의 손실: 1.607881 정확도: 22.01% 45 검증 세트 손실: 1.609154 최선의 손실: 1.607881 정확도: 22.01% 46 검증 세트 손실: 1.608852 최선의 손실: 1.607881 정확도: 22.01% 47 검증 세트 손실: 1.625010 최선의 손실: 1.607881 정확도: 19.27% 조기 종료! [CV] n_neurons=140, learning_rate=0.02, dropout_rate=0.5, batch_size=10, activation=<function relu at 0x7f8ec4c8c510>, total= 1.5min [CV] n_neurons=140, learning_rate=0.01, dropout_rate=0.5, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0> 0 검증 세트 손실: 78.960007 최선의 손실: 78.960007 정확도: 23.42% 1 검증 세트 손실: 21.598507 최선의 손실: 21.598507 정확도: 20.68% 2 검증 세트 손실: 124.781883 최선의 손실: 21.598507 정확도: 22.83% 3 검증 세트 손실: 24.455202 최선의 손실: 21.598507 정확도: 24.78% 4 검증 세트 손실: 13.114280 최선의 손실: 13.114280 정확도: 36.67% 5 검증 세트 손실: 4.867156 최선의 손실: 4.867156 정확도: 53.28% 6 검증 세트 손실: 102.778969 최선의 손실: 4.867156 정확도: 34.56% 7 검증 세트 손실: 19.788538 최선의 손실: 4.867156 정확도: 36.24% 8 검증 세트 손실: 24.454552 최선의 손실: 4.867156 정확도: 36.79% 9 검증 세트 손실: 56.023628 최선의 손실: 4.867156 정확도: 42.18% 10 검증 세트 손실: 392.701416 최선의 손실: 4.867156 정확도: 28.42% 11 검증 세트 손실: 168.429276 최선의 손실: 4.867156 정확도: 32.21% 12 검증 세트 손실: 139.171600 최선의 손실: 4.867156 정확도: 32.68% 13 검증 세트 손실: 70.341095 최선의 손실: 4.867156 정확도: 51.72% 14 검증 세트 손실: 50.543041 최선의 손실: 4.867156 정확도: 52.50% 15 검증 세트 손실: 130.736481 최선의 손실: 4.867156 정확도: 38.39% 16 검증 세트 손실: 384.234497 최선의 손실: 4.867156 정확도: 32.37% 17 검증 세트 손실: 59.932430 최선의 손실: 4.867156 정확도: 42.14% 18 검증 세트 손실: 1129.558960 최선의 손실: 4.867156 정확도: 53.21% 19 검증 세트 손실: 413.285248 최선의 손실: 4.867156 정확도: 46.29% 20 검증 세트 손실: 536.869141 최선의 손실: 4.867156 정확도: 53.71% 21 검증 세트 손실: 312.391479 최선의 손실: 4.867156 정확도: 51.76% 22 검증 세트 손실: 1404.895752 최선의 손실: 4.867156 정확도: 54.50% 23 검증 세트 손실: 217.390900 최선의 손실: 4.867156 정확도: 46.44% 24 검증 세트 손실: 384.545837 최선의 손실: 4.867156 정확도: 53.75% 25 검증 세트 손실: 895.439514 최선의 손실: 4.867156 정확도: 54.69% 26 검증 세트 손실: 490.541718 최선의 손실: 4.867156 정확도: 52.54% 조기 종료! [CV] n_neurons=140, learning_rate=0.01, dropout_rate=0.5, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 54.9s [CV] n_neurons=140, learning_rate=0.01, dropout_rate=0.5, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0> 0 검증 세트 손실: 5.040626 최선의 손실: 5.040626 정확도: 43.75% 1 검증 세트 손실: 4.141007 최선의 손실: 4.141007 정확도: 43.00% 2 검증 세트 손실: 223.491394 최선의 손실: 4.141007 정확도: 37.53% 3 검증 세트 손실: 62.410378 최선의 손실: 4.141007 정확도: 29.75% 4 검증 세트 손실: 35.047886 최선의 손실: 4.141007 정확도: 35.89% 5 검증 세트 손실: 54.352474 최선의 손실: 4.141007 정확도: 33.31% 6 검증 세트 손실: 1043.851807 최선의 손실: 4.141007 정확도: 18.73% 7 검증 세트 손실: 55.529881 최선의 손실: 4.141007 정확도: 31.47% 8 검증 세트 손실: 336.816711 최선의 손실: 4.141007 정확도: 40.27% 9 검증 세트 손실: 172.142593 최선의 손실: 4.141007 정확도: 34.44% 10 검증 세트 손실: 328.165466 최선의 손실: 4.141007 정확도: 34.44% 11 검증 세트 손실: 133.586121 최선의 손실: 4.141007 정확도: 39.60% 12 검증 세트 손실: 39.786461 최선의 손실: 4.141007 정확도: 32.72% 13 검증 세트 손실: 22.513945 최선의 손실: 4.141007 정확도: 48.75% 14 검증 세트 손실: 61.217457 최선의 손실: 4.141007 정확도: 45.27% 15 검증 세트 손실: 1055.141479 최선의 손실: 4.141007 정확도: 26.47% 16 검증 세트 손실: 70.068779 최선의 손실: 4.141007 정확도: 47.54% 17 검증 세트 손실: 143.699280 최선의 손실: 4.141007 정확도: 36.59% 18 검증 세트 손실: 28.528818 최선의 손실: 4.141007 정확도: 45.35% 19 검증 세트 손실: 95.590668 최선의 손실: 4.141007 정확도: 32.25% 20 검증 세트 손실: 257.295654 최선의 손실: 4.141007 정확도: 35.57% 21 검증 세트 손실: 54.704304 최선의 손실: 4.141007 정확도: 49.88% 22 검증 세트 손실: 4027.338623 최선의 손실: 4.141007 정확도: 29.01% 조기 종료! [CV] n_neurons=140, learning_rate=0.01, dropout_rate=0.5, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 46.4s [CV] n_neurons=140, learning_rate=0.01, dropout_rate=0.5, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0> 0 검증 세트 손실: 12.413447 최선의 손실: 12.413447 정확도: 32.45% 1 검증 세트 손실: 24.833651 최선의 손실: 12.413447 정확도: 37.88% 2 검증 세트 손실: 2.208988 최선의 손실: 2.208988 정확도: 57.00% 3 검증 세트 손실: 172.881897 최선의 손실: 2.208988 정확도: 41.36% 4 검증 세트 손실: 587.494019 최선의 손실: 2.208988 정확도: 22.83% 5 검증 세트 손실: 35.223217 최선의 손실: 2.208988 정확도: 48.20% 6 검증 세트 손실: 290.983185 최선의 손실: 2.208988 정확도: 31.51% 7 검증 세트 손실: 111.135803 최선의 손실: 2.208988 정확도: 39.95% 8 검증 세트 손실: 483.522827 최선의 손실: 2.208988 정확도: 52.23% 9 검증 세트 손실: 299.665222 최선의 손실: 2.208988 정확도: 51.02% 10 검증 세트 손실: 512.156006 최선의 손실: 2.208988 정확도: 53.48% 11 검증 세트 손실: 91.919212 최선의 손실: 2.208988 정확도: 54.34% 12 검증 세트 손실: 81.578056 최선의 손실: 2.208988 정확도: 53.71% 13 검증 세트 손실: 1602.812378 최선의 손실: 2.208988 정확도: 45.78% 14 검증 세트 손실: 153.184555 최선의 손실: 2.208988 정확도: 62.20% 15 검증 세트 손실: 276.777710 최선의 손실: 2.208988 정확도: 57.51% 16 검증 세트 손실: 319.703217 최선의 손실: 2.208988 정확도: 54.73% 17 검증 세트 손실: 98.647057 최선의 손실: 2.208988 정확도: 58.17% 18 검증 세트 손실: 165.418472 최선의 손실: 2.208988 정확도: 63.17% 19 검증 세트 손실: 830.216858 최선의 손실: 2.208988 정확도: 56.76% 20 검증 세트 손실: 559.423218 최선의 손실: 2.208988 정확도: 56.14% 21 검증 세트 손실: 1237.011475 최선의 손실: 2.208988 정확도: 54.50% 22 검증 세트 손실: 193.015991 최선의 손실: 2.208988 정확도: 60.87% 23 검증 세트 손실: 1274.969116 최선의 손실: 2.208988 정확도: 68.61% 조기 종료! [CV] n_neurons=140, learning_rate=0.01, dropout_rate=0.5, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 48.8s [CV] n_neurons=160, learning_rate=0.1, dropout_rate=0.3, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0> 0 검증 세트 손실: 168.827332 최선의 손실: 168.827332 정확도: 61.42% 1 검증 세트 손실: 7.969217 최선의 손실: 7.969217 정확도: 79.01% 2 검증 세트 손실: 4.197665 최선의 손실: 4.197665 정확도: 67.71% 3 검증 세트 손실: 10.309675 최선의 손실: 4.197665 정확도: 76.54% 4 검증 세트 손실: 1.208538 최선의 손실: 1.208538 정확도: 93.20% 5 검증 세트 손실: 3.265026 최선의 손실: 1.208538 정확도: 81.39% 6 검증 세트 손실: 3.381829 최선의 손실: 1.208538 정확도: 81.04% 7 검증 세트 손실: 1.877873 최선의 손실: 1.208538 정확도: 89.84% 8 검증 세트 손실: 0.970512 최선의 손실: 0.970512 정확도: 95.23% 9 검증 세트 손실: 1.292903 최선의 손실: 0.970512 정확도: 90.19% 10 검증 세트 손실: 0.731051 최선의 손실: 0.731051 정확도: 93.82% 11 검증 세트 손실: 0.466651 최선의 손실: 0.466651 정확도: 95.39% 12 검증 세트 손실: 1.467848 최선의 손실: 0.466651 정확도: 93.43% 13 검증 세트 손실: 0.732738 최선의 손실: 0.466651 정확도: 95.78% 14 검증 세트 손실: 0.518489 최선의 손실: 0.466651 정확도: 94.80% 15 검증 세트 손실: 0.695994 최선의 손실: 0.466651 정확도: 95.82% 16 검증 세트 손실: 0.717163 최선의 손실: 0.466651 정확도: 95.39% 17 검증 세트 손실: 0.628717 최선의 손실: 0.466651 정확도: 93.90% 18 검증 세트 손실: 1.958207 최선의 손실: 0.466651 정확도: 95.54% 19 검증 세트 손실: 0.878771 최선의 손실: 0.466651 정확도: 94.80% 20 검증 세트 손실: 0.619974 최선의 손실: 0.466651 정확도: 96.40% 21 검증 세트 손실: 1.108284 최선의 손실: 0.466651 정확도: 95.70% 22 검증 세트 손실: 0.974401 최선의 손실: 0.466651 정확도: 91.71% 23 검증 세트 손실: 0.844248 최선의 손실: 0.466651 정확도: 94.53% 24 검증 세트 손실: 0.745664 최선의 손실: 0.466651 정확도: 96.36% 25 검증 세트 손실: 0.583982 최선의 손실: 0.466651 정확도: 95.90% 26 검증 세트 손실: 0.679882 최선의 손실: 0.466651 정확도: 93.75% 27 검증 세트 손실: 0.475247 최선의 손실: 0.466651 정확도: 95.78% 28 검증 세트 손실: 0.430635 최선의 손실: 0.430635 정확도: 94.18% 29 검증 세트 손실: 1.057023 최선의 손실: 0.430635 정확도: 91.36% 30 검증 세트 손실: 0.414541 최선의 손실: 0.414541 정확도: 96.01% 31 검증 세트 손실: 0.310103 최선의 손실: 0.310103 정확도: 95.74% 32 검증 세트 손실: 0.241195 최선의 손실: 0.241195 정확도: 96.13% 33 검증 세트 손실: 0.379859 최선의 손실: 0.241195 정확도: 95.78% 34 검증 세트 손실: 0.410523 최선의 손실: 0.241195 정확도: 94.25% 35 검증 세트 손실: 0.337930 최선의 손실: 0.241195 정확도: 95.00% 36 검증 세트 손실: 0.277200 최선의 손실: 0.241195 정확도: 95.50% 37 검증 세트 손실: 0.347576 최선의 손실: 0.241195 정확도: 95.70% 38 검증 세트 손실: 2.440866 최선의 손실: 0.241195 정확도: 95.00% 39 검증 세트 손실: 2.236583 최선의 손실: 0.241195 정확도: 95.47% 40 검증 세트 손실: 0.674097 최선의 손실: 0.241195 정확도: 95.27% 41 검증 세트 손실: 1.074480 최선의 손실: 0.241195 정확도: 94.84% 42 검증 세트 손실: 0.776741 최선의 손실: 0.241195 정확도: 94.33% 43 검증 세트 손실: 0.418393 최선의 손실: 0.241195 정확도: 95.35% 44 검증 세트 손실: 0.654349 최선의 손실: 0.241195 정확도: 95.04% 45 검증 세트 손실: 0.282071 최선의 손실: 0.241195 정확도: 95.58% 46 검증 세트 손실: 0.458909 최선의 손실: 0.241195 정확도: 94.45% 47 검증 세트 손실: 0.438597 최선의 손실: 0.241195 정확도: 95.93% 48 검증 세트 손실: 0.334876 최선의 손실: 0.241195 정확도: 96.44% 49 검증 세트 손실: 0.382962 최선의 손실: 0.241195 정확도: 95.47% 50 검증 세트 손실: 0.464610 최선의 손실: 0.241195 정확도: 96.44% 51 검증 세트 손실: 0.864524 최선의 손실: 0.241195 정확도: 93.28% 52 검증 세트 손실: 0.572644 최선의 손실: 0.241195 정확도: 96.05% 53 검증 세트 손실: 0.405693 최선의 손실: 0.241195 정확도: 96.60% 조기 종료! [CV] n_neurons=160, learning_rate=0.1, dropout_rate=0.3, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 21.0s [CV] n_neurons=160, learning_rate=0.1, dropout_rate=0.3, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0> 0 검증 세트 손실: 434.642487 최선의 손실: 434.642487 정확도: 19.08% 1 검증 세트 손실: 38.101330 최선의 손실: 38.101330 정확도: 59.81% 2 검증 세트 손실: 16.583626 최선의 손실: 16.583626 정확도: 72.40% 3 검증 세트 손실: 12.611691 최선의 손실: 12.611691 정확도: 75.14% 4 검증 세트 손실: 13.554172 최선의 손실: 12.611691 정확도: 77.09% 5 검증 세트 손실: 7.153340 최선의 손실: 7.153340 정확도: 74.78% 6 검증 세트 손실: 2.456010 최선의 손실: 2.456010 정확도: 86.12% 7 검증 세트 손실: 5.903856 최선의 손실: 2.456010 정확도: 72.91% 8 검증 세트 손실: 1.998327 최선의 손실: 1.998327 정확도: 78.89% 9 검증 세트 손실: 1.708022 최선의 손실: 1.708022 정확도: 89.41% 10 검증 세트 손실: 2.197999 최선의 손실: 1.708022 정확도: 82.41% 11 검증 세트 손실: 1.141306 최선의 손실: 1.141306 정확도: 84.21% 12 검증 세트 손실: 1.444003 최선의 손실: 1.141306 정확도: 85.85% 13 검증 세트 손실: 1.346271 최선의 손실: 1.141306 정확도: 91.71% 14 검증 세트 손실: 0.909658 최선의 손실: 0.909658 정확도: 91.91% 15 검증 세트 손실: 1.267744 최선의 손실: 0.909658 정확도: 86.90% 16 검증 세트 손실: 1.368207 최선의 손실: 0.909658 정확도: 84.21% 17 검증 세트 손실: 1.466163 최선의 손실: 0.909658 정확도: 84.60% 18 검증 세트 손실: 0.588473 최선의 손실: 0.588473 정확도: 93.16% 19 검증 세트 손실: 3.887474 최선의 손실: 0.588473 정확도: 83.50% 20 검증 세트 손실: 1.076082 최선의 손실: 0.588473 정확도: 92.57% 21 검증 세트 손실: 0.737298 최선의 손실: 0.588473 정확도: 92.26% 22 검증 세트 손실: 0.854669 최선의 손실: 0.588473 정확도: 90.23% 23 검증 세트 손실: 0.644078 최선의 손실: 0.588473 정확도: 89.64% 24 검증 세트 손실: 0.576112 최선의 손실: 0.576112 정확도: 91.32% 25 검증 세트 손실: 1.224174 최선의 손실: 0.576112 정확도: 90.89% 26 검증 세트 손실: 0.647504 최선의 손실: 0.576112 정확도: 93.20% 27 검증 세트 손실: 0.529961 최선의 손실: 0.529961 정확도: 88.94% 28 검증 세트 손실: 0.468816 최선의 손실: 0.468816 정확도: 92.73% 29 검증 세트 손실: 0.432662 최선의 손실: 0.432662 정확도: 93.04% 30 검증 세트 손실: 0.435786 최선의 손실: 0.432662 정확도: 93.39% 31 검증 세트 손실: 0.574624 최선의 손실: 0.432662 정확도: 94.57% 32 검증 세트 손실: 0.346141 최선의 손실: 0.346141 정확도: 94.61% 33 검증 세트 손실: 0.304044 최선의 손실: 0.304044 정확도: 94.53% 34 검증 세트 손실: 0.346747 최선의 손실: 0.304044 정확도: 94.84% 35 검증 세트 손실: 0.327677 최선의 손실: 0.304044 정확도: 94.76% 36 검증 세트 손실: 0.353498 최선의 손실: 0.304044 정확도: 94.92% 37 검증 세트 손실: 1.093397 최선의 손실: 0.304044 정확도: 79.52% 38 검증 세트 손실: 0.300875 최선의 손실: 0.300875 정확도: 95.04% 39 검증 세트 손실: 0.413075 최선의 손실: 0.300875 정확도: 95.15% 40 검증 세트 손실: 0.298380 최선의 손실: 0.298380 정확도: 95.35% 41 검증 세트 손실: 0.521076 최선의 손실: 0.298380 정확도: 92.69% 42 검증 세트 손실: 0.543821 최선의 손실: 0.298380 정확도: 94.72% 43 검증 세트 손실: 0.282261 최선의 손실: 0.282261 정확도: 95.74% 44 검증 세트 손실: 0.235593 최선의 손실: 0.235593 정확도: 95.54% 45 검증 세트 손실: 0.266750 최선의 손실: 0.235593 정확도: 94.21% 46 검증 세트 손실: 0.280154 최선의 손실: 0.235593 정확도: 94.88% 47 검증 세트 손실: 0.247638 최선의 손실: 0.235593 정확도: 94.57% 48 검증 세트 손실: 0.314826 최선의 손실: 0.235593 정확도: 95.23% 49 검증 세트 손실: 0.803272 최선의 손실: 0.235593 정확도: 90.42% 50 검증 세트 손실: 0.293245 최선의 손실: 0.235593 정확도: 94.72% 51 검증 세트 손실: 2.982495 최선의 손실: 0.235593 정확도: 92.06% 52 검증 세트 손실: 2.559872 최선의 손실: 0.235593 정확도: 94.88% 53 검증 세트 손실: 1.631148 최선의 손실: 0.235593 정확도: 93.78% 54 검증 세트 손실: 0.915675 최선의 손실: 0.235593 정확도: 94.61% 55 검증 세트 손실: 0.857176 최선의 손실: 0.235593 정확도: 95.47% 56 검증 세트 손실: 0.798173 최선의 손실: 0.235593 정확도: 94.21% 57 검증 세트 손실: 65173776.000000 최선의 손실: 0.235593 정확도: 22.01% 58 검증 세트 손실: 6202766.500000 최선의 손실: 0.235593 정확도: 48.48% 59 검증 세트 손실: 862911.562500 최선의 손실: 0.235593 정확도: 56.80% 60 검증 세트 손실: 961439.000000 최선의 손실: 0.235593 정확도: 56.84% 61 검증 세트 손실: 136231.531250 최선의 손실: 0.235593 정확도: 68.02% 62 검증 세트 손실: 464963.437500 최선의 손실: 0.235593 정확도: 75.57% 63 검증 세트 손실: 456198.500000 최선의 손실: 0.235593 정확도: 72.24% 64 검증 세트 손실: 80366.898438 최선의 손실: 0.235593 정확도: 73.85% 65 검증 세트 손실: 303684.343750 최선의 손실: 0.235593 정확도: 63.64% 조기 종료! [CV] n_neurons=160, learning_rate=0.1, dropout_rate=0.3, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 25.5s [CV] n_neurons=160, learning_rate=0.1, dropout_rate=0.3, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0> 0 검증 세트 손실: 571.390747 최선의 손실: 571.390747 정확도: 35.61% 1 검증 세트 손실: 33.236008 최선의 손실: 33.236008 정확도: 48.75% 2 검증 세트 손실: 9.116143 최선의 손실: 9.116143 정확도: 73.34% 3 검증 세트 손실: 14.391430 최선의 손실: 9.116143 정확도: 71.03% 4 검증 세트 손실: 6.219333 최선의 손실: 6.219333 정확도: 81.47% 5 검증 세트 손실: 4.499974 최선의 손실: 4.499974 정확도: 73.53% 6 검증 세트 손실: 4.933107 최선의 손실: 4.499974 정확도: 74.90% 7 검증 세트 손실: 4.860347 최선의 손실: 4.499974 정확도: 74.63% 8 검증 세트 손실: 5.695943 최선의 손실: 4.499974 정확도: 69.55% 9 검증 세트 손실: 3.595468 최선의 손실: 3.595468 정확도: 84.48% 10 검증 세트 손실: 2.439559 최선의 손실: 2.439559 정확도: 87.41% 11 검증 세트 손실: 3.076233 최선의 손실: 2.439559 정확도: 78.38% 12 검증 세트 손실: 2.068874 최선의 손실: 2.068874 정확도: 82.13% 13 검증 세트 손실: 4.662313 최선의 손실: 2.068874 정확도: 65.21% 14 검증 세트 손실: 8.834759 최선의 손실: 2.068874 정확도: 70.88% 15 검증 세트 손실: 2.754349 최선의 손실: 2.068874 정확도: 76.00% 16 검증 세트 손실: 2.218123 최선의 손실: 2.068874 정확도: 79.75% 17 검증 세트 손실: 2.454530 최선의 손실: 2.068874 정확도: 83.11% 18 검증 세트 손실: 1.607353 최선의 손실: 1.607353 정확도: 87.53% 19 검증 세트 손실: 2.706369 최선의 손실: 1.607353 정확도: 79.32% 20 검증 세트 손실: 1.120811 최선의 손실: 1.120811 정확도: 89.09% 21 검증 세트 손실: 1.909421 최선의 손실: 1.120811 정확도: 85.97% 22 검증 세트 손실: 3.436462 최선의 손실: 1.120811 정확도: 68.88% 23 검증 세트 손실: 1.233253 최선의 손실: 1.120811 정확도: 87.18% 24 검증 세트 손실: 1.925986 최선의 손실: 1.120811 정확도: 88.15% 25 검증 세트 손실: 3.322699 최선의 손실: 1.120811 정확도: 75.14% 26 검증 세트 손실: 0.703055 최선의 손실: 0.703055 정확도: 91.44% 27 검증 세트 손실: 0.944551 최선의 손실: 0.703055 정확도: 86.79% 28 검증 세트 손실: 1.402285 최선의 손실: 0.703055 정확도: 81.20% 29 검증 세트 손실: 1.502074 최선의 손실: 0.703055 정확도: 81.59% 30 검증 세트 손실: 0.917306 최선의 손실: 0.703055 정확도: 89.99% 31 검증 세트 손실: 2.617666 최선의 손실: 0.703055 정확도: 76.86% 32 검증 세트 손실: 2.345800 최선의 손실: 0.703055 정확도: 89.76% 33 검증 세트 손실: 0.921815 최선의 손실: 0.703055 정확도: 92.73% 34 검증 세트 손실: 0.780257 최선의 손실: 0.703055 정확도: 90.19% 35 검증 세트 손실: 0.651341 최선의 손실: 0.651341 정확도: 91.16% 36 검증 세트 손실: 0.670793 최선의 손실: 0.651341 정확도: 92.34% 37 검증 세트 손실: 1.131969 최선의 손실: 0.651341 정확도: 91.91% 38 검증 세트 손실: 28.528376 최선의 손실: 0.651341 정확도: 76.90% 39 검증 세트 손실: 24200970.000000 최선의 손실: 0.651341 정확도: 21.74% 40 검증 세트 손실: 2769529.500000 최선의 손실: 0.651341 정확도: 36.47% 41 검증 세트 손실: 91897.273438 최선의 손실: 0.651341 정확도: 87.02% 42 검증 세트 손실: 49976.386719 최선의 손실: 0.651341 정확도: 87.61% 43 검증 세트 손실: 52454.281250 최선의 손실: 0.651341 정확도: 88.51% 44 검증 세트 손실: 21045.078125 최선의 손실: 0.651341 정확도: 92.57% 45 검증 세트 손실: 41838.519531 최선의 손실: 0.651341 정확도: 84.95% 46 검증 세트 손실: 29479.974609 최선의 손실: 0.651341 정확도: 89.87% 47 검증 세트 손실: 17236.435547 최선의 손실: 0.651341 정확도: 92.42% 48 검증 세트 손실: 32847.218750 최선의 손실: 0.651341 정확도: 78.54% 49 검증 세트 손실: 34130.488281 최선의 손실: 0.651341 정확도: 85.57% 50 검증 세트 손실: 16928.179688 최선의 손실: 0.651341 정확도: 82.72% 51 검증 세트 손실: 19109.712891 최선의 손실: 0.651341 정확도: 90.66% 52 검증 세트 손실: 11107.844727 최선의 손실: 0.651341 정확도: 94.21% 53 검증 세트 손실: 10148.400391 최선의 손실: 0.651341 정확도: 93.82% 54 검증 세트 손실: 14547.638672 최선의 손실: 0.651341 정확도: 90.27% 55 검증 세트 손실: 15549.433594 최선의 손실: 0.651341 정확도: 81.39% 56 검증 세트 손실: 16327.757812 최선의 손실: 0.651341 정확도: 86.55% 조기 종료! [CV] n_neurons=160, learning_rate=0.1, dropout_rate=0.3, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 22.1s [CV] n_neurons=100, learning_rate=0.01, dropout_rate=0.6, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0> 0 검증 세트 손실: 0.178418 최선의 손실: 0.178418 정확도: 95.23% 1 검증 세트 손실: 0.231089 최선의 손실: 0.178418 정확도: 93.24% 2 검증 세트 손실: 0.169432 최선의 손실: 0.169432 정확도: 95.93% 3 검증 세트 손실: 0.221312 최선의 손실: 0.169432 정확도: 94.64% 4 검증 세트 손실: 0.255454 최선의 손실: 0.169432 정확도: 92.49% 5 검증 세트 손실: 0.275529 최선의 손실: 0.169432 정확도: 90.30% 6 검증 세트 손실: 0.409744 최선의 손실: 0.169432 정확도: 79.12% 7 검증 세트 손실: 0.786895 최선의 손실: 0.169432 정확도: 71.19% 8 검증 세트 손실: 0.691863 최선의 손실: 0.169432 정확도: 75.57% 9 검증 세트 손실: 0.337885 최선의 손실: 0.169432 정확도: 91.05% 10 검증 세트 손실: 0.394645 최선의 손실: 0.169432 정확도: 84.36% 11 검증 세트 손실: 0.440088 최선의 손실: 0.169432 정확도: 86.08% 12 검증 세트 손실: 0.321776 최선의 손실: 0.169432 정확도: 88.82% 13 검증 세트 손실: 0.408675 최선의 손실: 0.169432 정확도: 86.04% 14 검증 세트 손실: 0.484306 최선의 손실: 0.169432 정확도: 82.72% 15 검증 세트 손실: 0.859476 최선의 손실: 0.169432 정확도: 63.37% 16 검증 세트 손실: 0.575498 최선의 손실: 0.169432 정확도: 77.56% 17 검증 세트 손실: 8.660468 최선의 손실: 0.169432 정확도: 19.86% 18 검증 세트 손실: 11.335740 최선의 손실: 0.169432 정확도: 24.28% 19 검증 세트 손실: 2.943572 최선의 손실: 0.169432 정확도: 23.26% 20 검증 세트 손실: 1.480494 최선의 손실: 0.169432 정확도: 41.87% 21 검증 세트 손실: 1.831659 최선의 손실: 0.169432 정확도: 23.77% 22 검증 세트 손실: 1.515743 최선의 손실: 0.169432 정확도: 32.49% 23 검증 세트 손실: 1.470568 최선의 손실: 0.169432 정확도: 31.55% 조기 종료! [CV] n_neurons=100, learning_rate=0.01, dropout_rate=0.6, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 11.5s [CV] n_neurons=100, learning_rate=0.01, dropout_rate=0.6, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0> 0 검증 세트 손실: 0.174086 최선의 손실: 0.174086 정확도: 95.11% 1 검증 세트 손실: 0.176076 최선의 손실: 0.174086 정확도: 95.04% 2 검증 세트 손실: 0.173145 최선의 손실: 0.173145 정확도: 94.49% 3 검증 세트 손실: 0.189237 최선의 손실: 0.173145 정확도: 93.55% 4 검증 세트 손실: 0.335795 최선의 손실: 0.173145 정확도: 89.87% 5 검증 세트 손실: 0.540451 최선의 손실: 0.173145 정확도: 78.50% 6 검증 세트 손실: 0.296131 최선의 손실: 0.173145 정확도: 88.55% 7 검증 세트 손실: 0.600553 최선의 손실: 0.173145 정확도: 83.58% 8 검증 세트 손실: 0.527607 최선의 손실: 0.173145 정확도: 78.50% 9 검증 세트 손실: 0.542704 최선의 손실: 0.173145 정확도: 81.20% 10 검증 세트 손실: 0.390662 최선의 손실: 0.173145 정확도: 88.08% 11 검증 세트 손실: 0.579364 최선의 손실: 0.173145 정확도: 73.77% 12 검증 세트 손실: 1.212667 최선의 손실: 0.173145 정확도: 55.90% 13 검증 세트 손실: 0.731419 최선의 손실: 0.173145 정확도: 72.13% 14 검증 세트 손실: 0.673892 최선의 손실: 0.173145 정확도: 69.31% 15 검증 세트 손실: 0.426414 최선의 손실: 0.173145 정확도: 85.50% 16 검증 세트 손실: 0.402231 최선의 손실: 0.173145 정확도: 84.99% 17 검증 세트 손실: 0.401333 최선의 손실: 0.173145 정확도: 86.43% 18 검증 세트 손실: 0.321564 최선의 손실: 0.173145 정확도: 89.99% 19 검증 세트 손실: 0.485713 최선의 손실: 0.173145 정확도: 79.52% 20 검증 세트 손실: 0.440348 최선의 손실: 0.173145 정확도: 81.59% 21 검증 세트 손실: 0.497370 최선의 손실: 0.173145 정확도: 76.90% 22 검증 세트 손실: 0.541571 최선의 손실: 0.173145 정확도: 85.30% 23 검증 세트 손실: 0.713152 최선의 손실: 0.173145 정확도: 70.52% 조기 종료! [CV] n_neurons=100, learning_rate=0.01, dropout_rate=0.6, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 11.7s [CV] n_neurons=100, learning_rate=0.01, dropout_rate=0.6, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0> 0 검증 세트 손실: 0.236574 최선의 손실: 0.236574 정확도: 94.06% 1 검증 세트 손실: 0.180157 최선의 손실: 0.180157 정확도: 94.80% 2 검증 세트 손실: 0.203163 최선의 손실: 0.180157 정확도: 95.23% 3 검증 세트 손실: 0.203406 최선의 손실: 0.180157 정확도: 93.59% 4 검증 세트 손실: 0.328884 최선의 손실: 0.180157 정확도: 89.09% 5 검증 세트 손실: 0.490119 최선의 손실: 0.180157 정확도: 86.75% 6 검증 세트 손실: 0.683010 최선의 손실: 0.180157 정확도: 73.46% 7 검증 세트 손실: 0.517376 최선의 손실: 0.180157 정확도: 80.14% 8 검증 세트 손실: 0.702947 최선의 손실: 0.180157 정확도: 69.31% 9 검증 세트 손실: 0.600407 최선의 손실: 0.180157 정확도: 67.32% 10 검증 세트 손실: 0.787123 최선의 손실: 0.180157 정확도: 62.08% 11 검증 세트 손실: 0.638264 최선의 손실: 0.180157 정확도: 75.61% 12 검증 세트 손실: 0.992331 최선의 손실: 0.180157 정확도: 59.27% 13 검증 세트 손실: 1.589361 최선의 손실: 0.180157 정확도: 35.11% 14 검증 세트 손실: 1.184615 최선의 손실: 0.180157 정확도: 44.33% 15 검증 세트 손실: 2.036622 최선의 손실: 0.180157 정확도: 43.51% 16 검증 세트 손실: 1.328998 최선의 손실: 0.180157 정확도: 36.90% 17 검증 세트 손실: 1.183199 최선의 손실: 0.180157 정확도: 42.38% 18 검증 세트 손실: 1.058578 최선의 손실: 0.180157 정확도: 54.07% 19 검증 세트 손실: 1.509433 최선의 손실: 0.180157 정확도: 41.13% 20 검증 세트 손실: 1.228007 최선의 손실: 0.180157 정확도: 48.71% 21 검증 세트 손실: 1.252328 최선의 손실: 0.180157 정확도: 38.78% 22 검증 세트 손실: 1.166667 최선의 손실: 0.180157 정확도: 39.84% 조기 종료! [CV] n_neurons=100, learning_rate=0.01, dropout_rate=0.6, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 11.0s [CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.2, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8> 0 검증 세트 손실: 12654.071289 최선의 손실: 12654.071289 정확도: 18.73% 1 검증 세트 손실: 50342.425781 최선의 손실: 12654.071289 정확도: 19.27% 2 검증 세트 손실: 75226.093750 최선의 손실: 12654.071289 정확도: 19.27% 3 검증 세트 손실: 38820.289062 최선의 손실: 12654.071289 정확도: 18.73% 4 검증 세트 손실: 8123.330078 최선의 손실: 8123.330078 정확도: 20.91% 5 검증 세트 손실: 212135.625000 최선의 손실: 8123.330078 정확도: 19.08% 6 검증 세트 손실: 279788.218750 최선의 손실: 8123.330078 정확도: 28.62% 7 검증 세트 손실: 922905.625000 최선의 손실: 8123.330078 정확도: 29.24% 8 검증 세트 손실: 3069877.250000 최선의 손실: 8123.330078 정확도: 27.83% 9 검증 세트 손실: 1564331.625000 최선의 손실: 8123.330078 정확도: 28.03% 10 검증 세트 손실: 262232.406250 최선의 손실: 8123.330078 정확도: 36.51% 11 검증 세트 손실: 628358.000000 최선의 손실: 8123.330078 정확도: 34.25% 12 검증 세트 손실: 8183182.500000 최선의 손실: 8123.330078 정확도: 18.73% 13 검증 세트 손실: 661792.875000 최선의 손실: 8123.330078 정확도: 28.66% 14 검증 세트 손실: 1983746.375000 최선의 손실: 8123.330078 정확도: 19.08% 15 검증 세트 손실: 1028172.437500 최선의 손실: 8123.330078 정확도: 22.01% 16 검증 세트 손실: 384806.437500 최선의 손실: 8123.330078 정확도: 19.27% 17 검증 세트 손실: 165369.328125 최선의 손실: 8123.330078 정확도: 19.31% 18 검증 세트 손실: 153467.484375 최선의 손실: 8123.330078 정확도: 22.20% 19 검증 세트 손실: 898960.125000 최선의 손실: 8123.330078 정확도: 19.08% 20 검증 세트 손실: 118094.664062 최선의 손실: 8123.330078 정확도: 22.01% 21 검증 세트 손실: 17494.484375 최선의 손실: 8123.330078 정확도: 26.47% 22 검증 세트 손실: 260351.906250 최선의 손실: 8123.330078 정확도: 18.73% 23 검증 세트 손실: 75970.070312 최선의 손실: 8123.330078 정확도: 19.08% 24 검증 세트 손실: 368370.656250 최선의 손실: 8123.330078 정확도: 20.91% 25 검증 세트 손실: 29099282.000000 최선의 손실: 8123.330078 정확도: 18.69% 조기 종료! [CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.2, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 42.2s [CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.2, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8> 0 검증 세트 손실: 218703.312500 최선의 손실: 218703.312500 정확도: 23.10% 1 검증 세트 손실: 125224.453125 최선의 손실: 125224.453125 정확도: 21.66% 2 검증 세트 손실: 38587.238281 최선의 손실: 38587.238281 정확도: 19.27% 3 검증 세트 손실: 385074.625000 최선의 손실: 38587.238281 정확도: 22.75% 4 검증 세트 손실: 107868.734375 최선의 손실: 38587.238281 정확도: 29.75% 5 검증 세트 손실: 412280.031250 최선의 손실: 38587.238281 정확도: 37.18% 6 검증 세트 손실: 877083.937500 최선의 손실: 38587.238281 정확도: 19.08% 7 검증 세트 손실: 1145290.000000 최선의 손실: 38587.238281 정확도: 19.08% 8 검증 세트 손실: 1554339.375000 최선의 손실: 38587.238281 정확도: 18.76% 9 검증 세트 손실: 335545.093750 최선의 손실: 38587.238281 정확도: 19.98% 10 검증 세트 손실: 1084976.875000 최선의 손실: 38587.238281 정확도: 18.73% 11 검증 세트 손실: 325173.656250 최선의 손실: 38587.238281 정확도: 32.33% 12 검증 세트 손실: 853312.625000 최선의 손실: 38587.238281 정확도: 19.27% 13 검증 세트 손실: 430105.281250 최선의 손실: 38587.238281 정확도: 25.22% 14 검증 세트 손실: 283264.531250 최선의 손실: 38587.238281 정확도: 21.81% 15 검증 세트 손실: 447765.218750 최선의 손실: 38587.238281 정확도: 20.91% 16 검증 세트 손실: 395710.687500 최선의 손실: 38587.238281 정확도: 18.96% 17 검증 세트 손실: 39158.992188 최선의 손실: 38587.238281 정확도: 21.97% 18 검증 세트 손실: 424753.250000 최선의 손실: 38587.238281 정확도: 20.91% 19 검증 세트 손실: 272170.687500 최선의 손실: 38587.238281 정확도: 22.01% 20 검증 세트 손실: 99583.093750 최선의 손실: 38587.238281 정확도: 19.12% 21 검증 세트 손실: 359629.562500 최선의 손실: 38587.238281 정확도: 16.93% 22 검증 세트 손실: 152573.765625 최선의 손실: 38587.238281 정확도: 20.72% 23 검증 세트 손실: 408027.250000 최선의 손실: 38587.238281 정확도: 18.73% 조기 종료! [CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.2, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 38.7s [CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.2, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8> 0 검증 세트 손실: 1027.897949 최선의 손실: 1027.897949 정확도: 20.91% 1 검증 세트 손실: 11421843.000000 최선의 손실: 1027.897949 정확도: 18.73% 2 검증 세트 손실: 1013101.062500 최선의 손실: 1027.897949 정확도: 22.05% 3 검증 세트 손실: 4819892.500000 최선의 손실: 1027.897949 정확도: 19.27% 4 검증 세트 손실: 2388498.500000 최선의 손실: 1027.897949 정확도: 22.01% 5 검증 세트 손실: 1984431.500000 최선의 손실: 1027.897949 정확도: 26.62% 6 검증 세트 손실: 1182215.875000 최선의 손실: 1027.897949 정확도: 18.73% 7 검증 세트 손실: 6911641.500000 최선의 손실: 1027.897949 정확도: 18.53% 8 검증 세트 손실: 991287.312500 최선의 손실: 1027.897949 정확도: 20.95% 9 검증 세트 손실: 513290.250000 최선의 손실: 1027.897949 정확도: 39.01% 10 검증 세트 손실: 192179.515625 최선의 손실: 1027.897949 정확도: 52.35% 11 검증 세트 손실: 474136.968750 최선의 손실: 1027.897949 정확도: 40.81% 12 검증 세트 손실: 136527.359375 최선의 손실: 1027.897949 정확도: 40.38% 13 검증 세트 손실: 3291582.750000 최선의 손실: 1027.897949 정확도: 30.73% 14 검증 세트 손실: 5590374.000000 최선의 손실: 1027.897949 정확도: 28.46% 15 검증 세트 손실: 956230.125000 최선의 손실: 1027.897949 정확도: 58.29% 16 검증 세트 손실: 11698576.000000 최선의 손실: 1027.897949 정확도: 39.13% 17 검증 세트 손실: 811071.687500 최선의 손실: 1027.897949 정확도: 44.37% 18 검증 세트 손실: 392593.218750 최선의 손실: 1027.897949 정확도: 47.62% 19 검증 세트 손실: 1049739.000000 최선의 손실: 1027.897949 정확도: 46.25% 20 검증 세트 손실: 239507.437500 최선의 손실: 1027.897949 정확도: 57.39% 21 검증 세트 손실: 381186.718750 최선의 손실: 1027.897949 정확도: 56.45% 조기 종료! [CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.2, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 36.0s [CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.3, batch_size=500, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 1.377097 최선의 손실: 1.377097 정확도: 39.33% 1 검증 세트 손실: 1.252896 최선의 손실: 1.252896 정확도: 41.09% 2 검증 세트 손실: 0.990105 최선의 손실: 0.990105 정확도: 55.16% 3 검증 세트 손실: 0.816837 최선의 손실: 0.816837 정확도: 53.83% 4 검증 세트 손실: 0.743762 최선의 손실: 0.743762 정확도: 58.48% 5 검증 세트 손실: 0.658976 최선의 손실: 0.658976 정확도: 60.63% 6 검증 세트 손실: 0.667871 최선의 손실: 0.658976 정확도: 60.83% 7 검증 세트 손실: 0.639808 최선의 손실: 0.639808 정확도: 68.88% 8 검증 세트 손실: 0.601831 최선의 손실: 0.601831 정확도: 72.87% 9 검증 세트 손실: 0.572245 최선의 손실: 0.572245 정확도: 73.81% 10 검증 세트 손실: 0.668465 최선의 손실: 0.572245 정확도: 61.10% 11 검증 세트 손실: 0.658141 최선의 손실: 0.572245 정확도: 59.42% 12 검증 세트 손실: 0.654213 최선의 손실: 0.572245 정확도: 59.70% 13 검증 세트 손실: 0.576029 최선의 손실: 0.572245 정확도: 73.89% 14 검증 세트 손실: 0.635343 최선의 손실: 0.572245 정확도: 66.22% 15 검증 세트 손실: 0.610451 최선의 손실: 0.572245 정확도: 75.49% 16 검증 세트 손실: 1.339392 최선의 손실: 0.572245 정확도: 42.30% 17 검증 세트 손실: 1.383942 최선의 손실: 0.572245 정확도: 41.91% 18 검증 세트 손실: 1.608375 최선의 손실: 0.572245 정확도: 22.01% 19 검증 세트 손실: 1.620561 최선의 손실: 0.572245 정확도: 18.73% 20 검증 세트 손실: 1.627714 최선의 손실: 0.572245 정확도: 20.91% 21 검증 세트 손실: 1.626826 최선의 손실: 0.572245 정확도: 22.01% 22 검증 세트 손실: 1.692891 최선의 손실: 0.572245 정확도: 18.73% 23 검증 세트 손실: 1.651805 최선의 손실: 0.572245 정확도: 19.27% 24 검증 세트 손실: 1.629087 최선의 손실: 0.572245 정확도: 18.73% 25 검증 세트 손실: 1.632946 최선의 손실: 0.572245 정확도: 19.08% 26 검증 세트 손실: 1.622044 최선의 손실: 0.572245 정확도: 18.73% 27 검증 세트 손실: 1.680285 최선의 손실: 0.572245 정확도: 19.27% 28 검증 세트 손실: 1.617918 최선의 손실: 0.572245 정확도: 22.01% 29 검증 세트 손실: 1.681672 최선의 손실: 0.572245 정확도: 18.73% 30 검증 세트 손실: 1.638528 최선의 손실: 0.572245 정확도: 20.91% 조기 종료! [CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.3, batch_size=500, activation=<function elu at 0x7f8ec4ceef28>, total= 10.3s [CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.3, batch_size=500, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 1.043162 최선의 손실: 1.043162 정확도: 49.37% 1 검증 세트 손실: 0.842310 최선의 손실: 0.842310 정확도: 61.06% 2 검증 세트 손실: 0.801131 최선의 손실: 0.801131 정확도: 56.45% 3 검증 세트 손실: 0.746389 최선의 손실: 0.746389 정확도: 66.07% 4 검증 세트 손실: 0.704912 최선의 손실: 0.704912 정확도: 62.78% 5 검증 세트 손실: 0.517672 최선의 손실: 0.517672 정확도: 81.90% 6 검증 세트 손실: 0.436516 최선의 손실: 0.436516 정확도: 86.20% 7 검증 세트 손실: 0.407125 최선의 손실: 0.407125 정확도: 82.06% 8 검증 세트 손실: 0.391476 최선의 손실: 0.391476 정확도: 83.66% 9 검증 세트 손실: 0.364149 최선의 손실: 0.364149 정확도: 90.54% 10 검증 세트 손실: 0.325205 최선의 손실: 0.325205 정확도: 93.39% 11 검증 세트 손실: 0.221441 최선의 손실: 0.221441 정확도: 94.80% 12 검증 세트 손실: 0.210168 최선의 손실: 0.210168 정확도: 95.27% 13 검증 세트 손실: 0.196487 최선의 손실: 0.196487 정확도: 96.09% 14 검증 세트 손실: 0.156948 최선의 손실: 0.156948 정확도: 96.56% 15 검증 세트 손실: 0.171982 최선의 손실: 0.156948 정확도: 96.40% 16 검증 세트 손실: 0.153788 최선의 손실: 0.153788 정확도: 96.99% 17 검증 세트 손실: 0.158097 최선의 손실: 0.153788 정확도: 96.99% 18 검증 세트 손실: 0.115712 최선의 손실: 0.115712 정확도: 97.11% 19 검증 세트 손실: 0.115250 최선의 손실: 0.115250 정확도: 97.42% 20 검증 세트 손실: 0.112620 최선의 손실: 0.112620 정확도: 97.34% 21 검증 세트 손실: 0.104491 최선의 손실: 0.104491 정확도: 97.73% 22 검증 세트 손실: 0.113586 최선의 손실: 0.104491 정확도: 97.58% 23 검증 세트 손실: 0.109639 최선의 손실: 0.104491 정확도: 97.65% 24 검증 세트 손실: 0.105747 최선의 손실: 0.104491 정확도: 97.77% 25 검증 세트 손실: 0.107507 최선의 손실: 0.104491 정확도: 97.58% 26 검증 세트 손실: 0.104697 최선의 손실: 0.104491 정확도: 97.58% 27 검증 세트 손실: 0.099045 최선의 손실: 0.099045 정확도: 97.85% 28 검증 세트 손실: 0.084649 최선의 손실: 0.084649 정확도: 97.97% 29 검증 세트 손실: 0.091394 최선의 손실: 0.084649 정확도: 97.58% 30 검증 세트 손실: 0.093903 최선의 손실: 0.084649 정확도: 97.89% 31 검증 세트 손실: 0.173133 최선의 손실: 0.084649 정확도: 97.62% 32 검증 세트 손실: 0.154331 최선의 손실: 0.084649 정확도: 95.58% 33 검증 세트 손실: 0.142578 최선의 손실: 0.084649 정확도: 95.62% 34 검증 세트 손실: 0.129717 최선의 손실: 0.084649 정확도: 97.07% 35 검증 세트 손실: 0.129918 최선의 손실: 0.084649 정확도: 97.34% 36 검증 세트 손실: 0.123614 최선의 손실: 0.084649 정확도: 97.30% 37 검증 세트 손실: 0.484027 최선의 손실: 0.084649 정확도: 89.25% 38 검증 세트 손실: 1.664039 최선의 손실: 0.084649 정확도: 22.01% 39 검증 세트 손실: 1.701860 최선의 손실: 0.084649 정확도: 19.27% 40 검증 세트 손실: 1.624717 최선의 손실: 0.084649 정확도: 19.27% 41 검증 세트 손실: 1.627295 최선의 손실: 0.084649 정확도: 19.27% 42 검증 세트 손실: 1.658181 최선의 손실: 0.084649 정확도: 19.08% 43 검증 세트 손실: 1.633000 최선의 손실: 0.084649 정확도: 20.91% 44 검증 세트 손실: 1.638484 최선의 손실: 0.084649 정확도: 22.01% 45 검증 세트 손실: 1.611101 최선의 손실: 0.084649 정확도: 22.01% 46 검증 세트 손실: 1.668069 최선의 손실: 0.084649 정확도: 22.01% 47 검증 세트 손실: 1.649506 최선의 손실: 0.084649 정확도: 19.08% 48 검증 세트 손실: 1.675376 최선의 손실: 0.084649 정확도: 19.27% 49 검증 세트 손실: 1.664859 최선의 손실: 0.084649 정확도: 19.27% 조기 종료! [CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.3, batch_size=500, activation=<function elu at 0x7f8ec4ceef28>, total= 16.2s [CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.3, batch_size=500, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 3.448484 최선의 손실: 3.448484 정확도: 26.94% 1 검증 세트 손실: 1.566730 최선의 손실: 1.566730 정확도: 20.25% 2 검증 세트 손실: 1.437543 최선의 손실: 1.437543 정확도: 38.23% 3 검증 세트 손실: 0.982117 최선의 손실: 0.982117 정확도: 70.56% 4 검증 세트 손실: 0.698232 최선의 손실: 0.698232 정확도: 74.12% 5 검증 세트 손실: 0.586597 최선의 손실: 0.586597 정확도: 81.08% 6 검증 세트 손실: 0.505409 최선의 손실: 0.505409 정확도: 81.86% 7 검증 세트 손실: 0.418621 최선의 손실: 0.418621 정확도: 89.21% 8 검증 세트 손실: 0.369421 최선의 손실: 0.369421 정확도: 89.01% 9 검증 세트 손실: 0.337036 최선의 손실: 0.337036 정확도: 90.03% 10 검증 세트 손실: 0.326750 최선의 손실: 0.326750 정확도: 88.39% 11 검증 세트 손실: 0.327780 최선의 손실: 0.326750 정확도: 81.16% 12 검증 세트 손실: 0.256217 최선의 손실: 0.256217 정확도: 93.94% 13 검증 세트 손실: 0.211297 최선의 손실: 0.211297 정확도: 95.39% 14 검증 세트 손실: 0.204696 최선의 손실: 0.204696 정확도: 95.74% 15 검증 세트 손실: 0.188774 최선의 손실: 0.188774 정확도: 95.97% 16 검증 세트 손실: 0.205855 최선의 손실: 0.188774 정확도: 96.21% 17 검증 세트 손실: 0.169580 최선의 손실: 0.169580 정확도: 96.17% 18 검증 세트 손실: 0.179205 최선의 손실: 0.169580 정확도: 96.64% 19 검증 세트 손실: 0.165182 최선의 손실: 0.165182 정확도: 96.17% 20 검증 세트 손실: 0.182244 최선의 손실: 0.165182 정확도: 96.64% 21 검증 세트 손실: 0.163856 최선의 손실: 0.163856 정확도: 96.48% 22 검증 세트 손실: 0.155367 최선의 손실: 0.155367 정확도: 96.44% 23 검증 세트 손실: 0.170213 최선의 손실: 0.155367 정확도: 96.52% 24 검증 세트 손실: 0.173042 최선의 손실: 0.155367 정확도: 96.95% 25 검증 세트 손실: 0.167215 최선의 손실: 0.155367 정확도: 96.52% 26 검증 세트 손실: 0.149521 최선의 손실: 0.149521 정확도: 96.99% 27 검증 세트 손실: 0.153030 최선의 손실: 0.149521 정확도: 96.79% 28 검증 세트 손실: 0.150248 최선의 손실: 0.149521 정확도: 96.91% 29 검증 세트 손실: 0.145720 최선의 손실: 0.145720 정확도: 97.07% 30 검증 세트 손실: 0.150758 최선의 손실: 0.145720 정확도: 96.95% 31 검증 세트 손실: 0.147826 최선의 손실: 0.145720 정확도: 96.76% 32 검증 세트 손실: 0.156537 최선의 손실: 0.145720 정확도: 96.87% 33 검증 세트 손실: 3.985513 최선의 손실: 0.145720 정확도: 75.61% 34 검증 세트 손실: 1.071740 최선의 손실: 0.145720 정확도: 40.97% 35 검증 세트 손실: 1.023188 최선의 손실: 0.145720 정확도: 37.80% 36 검증 세트 손실: 0.770324 최선의 손실: 0.145720 정확도: 57.86% 37 검증 세트 손실: 0.495286 최선의 손실: 0.145720 정확도: 85.14% 38 검증 세트 손실: 0.577000 최선의 손실: 0.145720 정확도: 75.96% 39 검증 세트 손실: 0.949893 최선의 손실: 0.145720 정확도: 66.58% 40 검증 세트 손실: 0.949130 최선의 손실: 0.145720 정확도: 46.25% 41 검증 세트 손실: 0.968522 최선의 손실: 0.145720 정확도: 58.99% 42 검증 세트 손실: 0.841538 최선의 손실: 0.145720 정확도: 59.77% 43 검증 세트 손실: 1.340090 최선의 손실: 0.145720 정확도: 39.80% 44 검증 세트 손실: 1.512308 최선의 손실: 0.145720 정확도: 25.76% 45 검증 세트 손실: 0.911602 최선의 손실: 0.145720 정확도: 53.95% 46 검증 세트 손실: 0.951872 최선의 손실: 0.145720 정확도: 53.09% 47 검증 세트 손실: 1.572861 최선의 손실: 0.145720 정확도: 31.35% 48 검증 세트 손실: 1.655372 최선의 손실: 0.145720 정확도: 20.91% 49 검증 세트 손실: 1.614288 최선의 손실: 0.145720 정확도: 22.01% 50 검증 세트 손실: 1.387306 최선의 손실: 0.145720 정확도: 37.06% 조기 종료! [CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.3, batch_size=500, activation=<function elu at 0x7f8ec4ceef28>, total= 16.5s [CV] n_neurons=70, learning_rate=0.1, dropout_rate=0.2, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0> 0 검증 세트 손실: 8728.394531 최선의 손실: 8728.394531 정확도: 45.43% 1 검증 세트 손실: 184.029831 최선의 손실: 184.029831 정확도: 53.95% 2 검증 세트 손실: 53.423168 최선의 손실: 53.423168 정확도: 56.41% 3 검증 세트 손실: 136.472519 최선의 손실: 53.423168 정확도: 54.89% 4 검증 세트 손실: 136.899261 최선의 손실: 53.423168 정확도: 55.12% 5 검증 세트 손실: 129.307877 최선의 손실: 53.423168 정확도: 56.22% 6 검증 세트 손실: 73.581406 최선의 손실: 53.423168 정확도: 57.19% 7 검증 세트 손실: 511.059814 최선의 손실: 53.423168 정확도: 55.98% 8 검증 세트 손실: 39974.105469 최선의 손실: 53.423168 정확도: 38.27% 9 검증 세트 손실: 41564.054688 최선의 손실: 53.423168 정확도: 36.94% 10 검증 세트 손실: 38036.351562 최선의 손실: 53.423168 정확도: 41.13% 11 검증 세트 손실: 48121.042969 최선의 손실: 53.423168 정확도: 41.52% 12 검증 세트 손실: 10736.564453 최선의 손실: 53.423168 정확도: 49.10% 13 검증 세트 손실: 22650.785156 최선의 손실: 53.423168 정확도: 41.71% 14 검증 세트 손실: 213670.156250 최선의 손실: 53.423168 정확도: 40.23% 15 검증 세트 손실: 20725.101562 최선의 손실: 53.423168 정확도: 60.59% 16 검증 세트 손실: 452775.531250 최선의 손실: 53.423168 정확도: 62.04% 17 검증 세트 손실: 175445.859375 최선의 손실: 53.423168 정확도: 68.49% 18 검증 세트 손실: 62137.468750 최선의 손실: 53.423168 정확도: 76.66% 19 검증 세트 손실: 28962.824219 최선의 손실: 53.423168 정확도: 82.49% 20 검증 세트 손실: 15234.949219 최선의 손실: 53.423168 정확도: 88.74% 21 검증 세트 손실: 104121.835938 최선의 손실: 53.423168 정확도: 74.75% 22 검증 세트 손실: 19873.642578 최선의 손실: 53.423168 정확도: 80.41% 23 검증 세트 손실: 21770.929688 최선의 손실: 53.423168 정확도: 77.56% 조기 종료! [CV] n_neurons=70, learning_rate=0.1, dropout_rate=0.2, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 11.8s [CV] n_neurons=70, learning_rate=0.1, dropout_rate=0.2, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0> 0 검증 세트 손실: 6183.137695 최선의 손실: 6183.137695 정확도: 16.22% 1 검증 세트 손실: 551.565369 최선의 손실: 551.565369 정확도: 45.86% 2 검증 세트 손실: 546.830017 최선의 손실: 546.830017 정확도: 36.32% 3 검증 세트 손실: 323.269043 최선의 손실: 323.269043 정확도: 46.76% 4 검증 세트 손실: 337.142700 최선의 손실: 323.269043 정확도: 39.80% 5 검증 세트 손실: 189.236374 최선의 손실: 189.236374 정확도: 47.38% 6 검증 세트 손실: 153.003555 최선의 손실: 153.003555 정확도: 51.09% 7 검증 세트 손실: 52.011421 최선의 손실: 52.011421 정확도: 57.97% 8 검증 세트 손실: 193.705246 최선의 손실: 52.011421 정확도: 41.44% 9 검증 세트 손실: 600.690796 최선의 손실: 52.011421 정확도: 43.16% 10 검증 세트 손실: 59526.937500 최선의 손실: 52.011421 정확도: 40.66% 11 검증 세트 손실: 53744.933594 최선의 손실: 52.011421 정확도: 54.22% 12 검증 세트 손실: 13224.711914 최선의 손실: 52.011421 정확도: 56.33% 13 검증 세트 손실: 12311.538086 최선의 손실: 52.011421 정확도: 58.64% 14 검증 세트 손실: 6899.470703 최선의 손실: 52.011421 정확도: 60.13% 15 검증 세트 손실: 5210.732422 최선의 손실: 52.011421 정확도: 58.84% 16 검증 세트 손실: 4157.232910 최선의 손실: 52.011421 정확도: 59.54% 17 검증 세트 손실: 4461.207520 최선의 손실: 52.011421 정확도: 60.05% 18 검증 세트 손실: 1882.590332 최선의 손실: 52.011421 정확도: 60.16% 19 검증 세트 손실: 583.577576 최선의 손실: 52.011421 정확도: 76.70% 20 검증 세트 손실: 1613.437500 최선의 손실: 52.011421 정확도: 59.11% 21 검증 세트 손실: 2149.352539 최선의 손실: 52.011421 정확도: 61.34% 22 검증 세트 손실: 2282.892090 최선의 손실: 52.011421 정확도: 58.84% 23 검증 세트 손실: 8363.290039 최선의 손실: 52.011421 정확도: 59.66% 24 검증 세트 손실: 1770.310547 최선의 손실: 52.011421 정확도: 62.67% 25 검증 세트 손실: 1760.766968 최선의 손실: 52.011421 정확도: 75.02% 26 검증 세트 손실: 569.625732 최선의 손실: 52.011421 정확도: 61.69% 27 검증 세트 손실: 554947.437500 최선의 손실: 52.011421 정확도: 49.69% 28 검증 세트 손실: 174816.140625 최선의 손실: 52.011421 정확도: 55.39% 조기 종료! [CV] n_neurons=70, learning_rate=0.1, dropout_rate=0.2, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 14.2s [CV] n_neurons=70, learning_rate=0.1, dropout_rate=0.2, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0> 0 검증 세트 손실: 281.732178 최선의 손실: 281.732178 정확도: 58.13% 1 검증 세트 손실: 31.944778 최선의 손실: 31.944778 정확도: 67.16% 2 검증 세트 손실: 39.834328 최선의 손실: 31.944778 정확도: 71.50% 3 검증 세트 손실: 125.216957 최선의 손실: 31.944778 정확도: 69.31% 4 검증 세트 손실: 151693.640625 최선의 손실: 31.944778 정확도: 53.17% 5 검증 세트 손실: 15597.918945 최선의 손실: 31.944778 정확도: 67.98% 6 검증 세트 손실: 22338.560547 최선의 손실: 31.944778 정확도: 68.14% 7 검증 세트 손실: 2765.679443 최선의 손실: 31.944778 정확도: 69.82% 8 검증 세트 손실: 3329.133301 최선의 손실: 31.944778 정확도: 74.67% 9 검증 세트 손실: 5105.714844 최선의 손실: 31.944778 정확도: 64.23% 10 검증 세트 손실: 1909.718872 최선의 손실: 31.944778 정확도: 70.13% 11 검증 세트 손실: 979122.937500 최선의 손실: 31.944778 정확도: 68.76% 12 검증 세트 손실: 112991.140625 최선의 손실: 31.944778 정확도: 80.81% 13 검증 세트 손실: 28789.003906 최선의 손실: 31.944778 정확도: 86.59% 14 검증 세트 손실: 16072.192383 최선의 손실: 31.944778 정확도: 88.98% 15 검증 세트 손실: 11735.633789 최선의 손실: 31.944778 정확도: 90.03% 16 검증 세트 손실: 17471.048828 최선의 손실: 31.944778 정확도: 91.28% 17 검증 세트 손실: 19937.259766 최선의 손실: 31.944778 정확도: 89.05% 18 검증 세트 손실: 6196.311035 최선의 손실: 31.944778 정확도: 92.30% 19 검증 세트 손실: 34752.808594 최선의 손실: 31.944778 정확도: 75.68% 20 검증 세트 손실: 19108.234375 최선의 손실: 31.944778 정확도: 92.18% 21 검증 세트 손실: 6476.728027 최선의 손실: 31.944778 정확도: 92.61% 22 검증 세트 손실: 4960.193359 최선의 손실: 31.944778 정확도: 92.96% 조기 종료! [CV] n_neurons=70, learning_rate=0.1, dropout_rate=0.2, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 11.5s [CV] n_neurons=30, learning_rate=0.01, dropout_rate=0.6, batch_size=500, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.707822 최선의 손실: 0.707822 정확도: 69.62% 1 검증 세트 손실: 0.225011 최선의 손실: 0.225011 정확도: 94.02% 2 검증 세트 손실: 0.154352 최선의 손실: 0.154352 정확도: 95.50% 3 검증 세트 손실: 0.156150 최선의 손실: 0.154352 정확도: 95.58% 4 검증 세트 손실: 0.143919 최선의 손실: 0.143919 정확도: 96.09% 5 검증 세트 손실: 0.147129 최선의 손실: 0.143919 정확도: 95.90% 6 검증 세트 손실: 0.145192 최선의 손실: 0.143919 정확도: 95.93% 7 검증 세트 손실: 0.141036 최선의 손실: 0.141036 정확도: 96.01% 8 검증 세트 손실: 0.134568 최선의 손실: 0.134568 정확도: 96.64% 9 검증 세트 손실: 0.137759 최선의 손실: 0.134568 정확도: 96.64% 10 검증 세트 손실: 0.128549 최선의 손실: 0.128549 정확도: 96.52% 11 검증 세트 손실: 0.140335 최선의 손실: 0.128549 정확도: 96.01% 12 검증 세트 손실: 0.139165 최선의 손실: 0.128549 정확도: 96.52% 13 검증 세트 손실: 0.128214 최선의 손실: 0.128214 정확도: 96.76% 14 검증 세트 손실: 0.132995 최선의 손실: 0.128214 정확도: 96.56% 15 검증 세트 손실: 0.125238 최선의 손실: 0.125238 정확도: 96.56% 16 검증 세트 손실: 0.134313 최선의 손실: 0.125238 정확도: 96.56% 17 검증 세트 손실: 0.134113 최선의 손실: 0.125238 정확도: 96.72% 18 검증 세트 손실: 0.128451 최선의 손실: 0.125238 정확도: 96.95% 19 검증 세트 손실: 0.124392 최선의 손실: 0.124392 정확도: 97.03% 20 검증 세트 손실: 0.140733 최선의 손실: 0.124392 정확도: 96.36% 21 검증 세트 손실: 0.129252 최선의 손실: 0.124392 정확도: 96.72% 22 검증 세트 손실: 0.123502 최선의 손실: 0.123502 정확도: 96.95% 23 검증 세트 손실: 0.137403 최선의 손실: 0.123502 정확도: 96.68% 24 검증 세트 손실: 0.128824 최선의 손실: 0.123502 정확도: 96.60% 25 검증 세트 손실: 0.134055 최선의 손실: 0.123502 정확도: 96.64% 26 검증 세트 손실: 0.130376 최선의 손실: 0.123502 정확도: 96.48% 27 검증 세트 손실: 0.141600 최선의 손실: 0.123502 정확도: 96.87% 28 검증 세트 손실: 0.121242 최선의 손실: 0.121242 정확도: 97.03% 29 검증 세트 손실: 0.123445 최선의 손실: 0.121242 정확도: 97.03% 30 검증 세트 손실: 0.128194 최선의 손실: 0.121242 정확도: 96.91% 31 검증 세트 손실: 0.136329 최선의 손실: 0.121242 정확도: 96.91% 32 검증 세트 손실: 0.121575 최선의 손실: 0.121242 정확도: 96.99% 33 검증 세트 손실: 0.119355 최선의 손실: 0.119355 정확도: 97.07% 34 검증 세트 손실: 0.124905 최선의 손실: 0.119355 정확도: 96.68% 35 검증 세트 손실: 0.137048 최선의 손실: 0.119355 정확도: 96.68% 36 검증 세트 손실: 0.128747 최선의 손실: 0.119355 정확도: 96.76% 37 검증 세트 손실: 0.130586 최선의 손실: 0.119355 정확도: 96.44% 38 검증 세트 손실: 0.134392 최선의 손실: 0.119355 정확도: 96.83% 39 검증 세트 손실: 0.131755 최선의 손실: 0.119355 정확도: 96.72% 40 검증 세트 손실: 0.134385 최선의 손실: 0.119355 정확도: 96.72% 41 검증 세트 손실: 0.133998 최선의 손실: 0.119355 정확도: 96.68% 42 검증 세트 손실: 0.131564 최선의 손실: 0.119355 정확도: 96.87% 43 검증 세트 손실: 0.135267 최선의 손실: 0.119355 정확도: 96.48% 44 검증 세트 손실: 0.123320 최선의 손실: 0.119355 정확도: 96.76% 45 검증 세트 손실: 0.122131 최선의 손실: 0.119355 정확도: 97.19% 46 검증 세트 손실: 0.140427 최선의 손실: 0.119355 정확도: 96.60% 47 검증 세트 손실: 0.128714 최선의 손실: 0.119355 정확도: 96.60% 48 검증 세트 손실: 0.131914 최선의 손실: 0.119355 정확도: 96.56% 49 검증 세트 손실: 0.121127 최선의 손실: 0.119355 정확도: 96.72% 50 검증 세트 손실: 0.121472 최선의 손실: 0.119355 정확도: 96.91% 51 검증 세트 손실: 0.123742 최선의 손실: 0.119355 정확도: 96.83% 52 검증 세트 손실: 0.131106 최선의 손실: 0.119355 정확도: 96.68% 53 검증 세트 손실: 0.136465 최선의 손실: 0.119355 정확도: 96.44% 54 검증 세트 손실: 0.122683 최선의 손실: 0.119355 정확도: 97.03% 조기 종료! [CV] n_neurons=30, learning_rate=0.01, dropout_rate=0.6, batch_size=500, activation=<function elu at 0x7f8ec4ceef28>, total= 8.5s [CV] n_neurons=30, learning_rate=0.01, dropout_rate=0.6, batch_size=500, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.730977 최선의 손실: 0.730977 정확도: 70.21% 1 검증 세트 손실: 0.568810 최선의 손실: 0.568810 정확도: 72.91% 2 검증 세트 손실: 0.421092 최선의 손실: 0.421092 정확도: 78.30% 3 검증 세트 손실: 0.375803 최선의 손실: 0.375803 정확도: 84.40% 4 검증 세트 손실: 0.371161 최선의 손실: 0.371161 정확도: 78.54% 5 검증 세트 손실: 0.363138 최선의 손실: 0.363138 정확도: 79.59% 6 검증 세트 손실: 0.370171 최선의 손실: 0.363138 정확도: 79.32% 7 검증 세트 손실: 0.366481 최선의 손실: 0.363138 정확도: 79.44% 8 검증 세트 손실: 0.360940 최선의 손실: 0.360940 정확도: 79.59% 9 검증 세트 손실: 0.363840 최선의 손실: 0.360940 정확도: 78.58% 10 검증 세트 손실: 0.353126 최선의 손실: 0.353126 정확도: 80.49% 11 검증 세트 손실: 0.359592 최선의 손실: 0.353126 정확도: 79.55% 12 검증 세트 손실: 0.360355 최선의 손실: 0.353126 정확도: 79.79% 13 검증 세트 손실: 0.363518 최선의 손실: 0.353126 정확도: 79.48% 14 검증 세트 손실: 0.350343 최선의 손실: 0.350343 정확도: 80.18% 15 검증 세트 손실: 0.337248 최선의 손실: 0.337248 정확도: 80.77% 16 검증 세트 손실: 0.322666 최선의 손실: 0.322666 정확도: 89.44% 17 검증 세트 손실: 0.342645 최선의 손실: 0.322666 정확도: 82.17% 18 검증 세트 손실: 0.302683 최선의 손실: 0.302683 정확도: 88.15% 19 검증 세트 손실: 0.290421 최선의 손실: 0.290421 정확도: 89.52% 20 검증 세트 손실: 0.255896 최선의 손실: 0.255896 정확도: 92.26% 21 검증 세트 손실: 0.274335 최선의 손실: 0.255896 정확도: 93.55% 22 검증 세트 손실: 0.255262 최선의 손실: 0.255262 정확도: 92.30% 23 검증 세트 손실: 0.234100 최선의 손실: 0.234100 정확도: 94.02% 24 검증 세트 손실: 0.252419 최선의 손실: 0.234100 정확도: 92.22% 25 검증 세트 손실: 0.199468 최선의 손실: 0.199468 정확도: 95.19% 26 검증 세트 손실: 0.218354 최선의 손실: 0.199468 정확도: 94.80% 27 검증 세트 손실: 0.201667 최선의 손실: 0.199468 정확도: 95.04% 28 검증 세트 손실: 0.206149 최선의 손실: 0.199468 정확도: 95.39% 29 검증 세트 손실: 0.190581 최선의 손실: 0.190581 정확도: 95.54% 30 검증 세트 손실: 0.186750 최선의 손실: 0.186750 정확도: 95.39% 31 검증 세트 손실: 0.178211 최선의 손실: 0.178211 정확도: 95.39% 32 검증 세트 손실: 0.231519 최선의 손실: 0.178211 정확도: 94.76% 33 검증 세트 손실: 0.191891 최선의 손실: 0.178211 정확도: 95.35% 34 검증 세트 손실: 0.167423 최선의 손실: 0.167423 정확도: 95.74% 35 검증 세트 손실: 0.190514 최선의 손실: 0.167423 정확도: 95.58% 36 검증 세트 손실: 0.173533 최선의 손실: 0.167423 정확도: 95.93% 37 검증 세트 손실: 0.177079 최선의 손실: 0.167423 정확도: 95.82% 38 검증 세트 손실: 0.184991 최선의 손실: 0.167423 정확도: 95.78% 39 검증 세트 손실: 0.192024 최선의 손실: 0.167423 정확도: 95.90% 40 검증 세트 손실: 0.200306 최선의 손실: 0.167423 정확도: 95.62% 41 검증 세트 손실: 0.210506 최선의 손실: 0.167423 정확도: 95.58% 42 검증 세트 손실: 0.184790 최선의 손실: 0.167423 정확도: 95.47% 43 검증 세트 손실: 0.175734 최선의 손실: 0.167423 정확도: 95.66% 44 검증 세트 손실: 0.162909 최선의 손실: 0.162909 정확도: 96.13% 45 검증 세트 손실: 0.172543 최선의 손실: 0.162909 정확도: 96.21% 46 검증 세트 손실: 0.163302 최선의 손실: 0.162909 정확도: 96.17% 47 검증 세트 손실: 0.174783 최선의 손실: 0.162909 정확도: 95.90% 48 검증 세트 손실: 0.169007 최선의 손실: 0.162909 정확도: 95.82% 49 검증 세트 손실: 0.182004 최선의 손실: 0.162909 정확도: 96.01% 50 검증 세트 손실: 0.159246 최선의 손실: 0.159246 정확도: 96.01% 51 검증 세트 손실: 0.165982 최선의 손실: 0.159246 정확도: 95.93% 52 검증 세트 손실: 0.145431 최선의 손실: 0.145431 정확도: 96.05% 53 검증 세트 손실: 0.157755 최선의 손실: 0.145431 정확도: 95.97% 54 검증 세트 손실: 0.161486 최선의 손실: 0.145431 정확도: 95.93% 55 검증 세트 손실: 0.182435 최선의 손실: 0.145431 정확도: 95.62% 56 검증 세트 손실: 0.169711 최선의 손실: 0.145431 정확도: 95.90% 57 검증 세트 손실: 0.174599 최선의 손실: 0.145431 정확도: 96.09% 58 검증 세트 손실: 0.170873 최선의 손실: 0.145431 정확도: 96.01% 59 검증 세트 손실: 0.170819 최선의 손실: 0.145431 정확도: 95.82% 60 검증 세트 손실: 0.165728 최선의 손실: 0.145431 정확도: 95.93% 61 검증 세트 손실: 0.164970 최선의 손실: 0.145431 정확도: 96.09% 62 검증 세트 손실: 0.169929 최선의 손실: 0.145431 정확도: 96.17% 63 검증 세트 손실: 0.161471 최선의 손실: 0.145431 정확도: 96.01% 64 검증 세트 손실: 0.162565 최선의 손실: 0.145431 정확도: 96.09% 65 검증 세트 손실: 0.165931 최선의 손실: 0.145431 정확도: 96.05% 66 검증 세트 손실: 0.169143 최선의 손실: 0.145431 정확도: 96.25% 67 검증 세트 손실: 0.171962 최선의 손실: 0.145431 정확도: 96.13% 68 검증 세트 손실: 0.173022 최선의 손실: 0.145431 정확도: 95.90% 69 검증 세트 손실: 0.171573 최선의 손실: 0.145431 정확도: 95.86% 70 검증 세트 손실: 0.166113 최선의 손실: 0.145431 정확도: 96.09% 71 검증 세트 손실: 0.159490 최선의 손실: 0.145431 정확도: 96.44% 72 검증 세트 손실: 0.167629 최선의 손실: 0.145431 정확도: 96.01% 73 검증 세트 손실: 0.162238 최선의 손실: 0.145431 정확도: 96.33% 조기 종료! [CV] n_neurons=30, learning_rate=0.01, dropout_rate=0.6, batch_size=500, activation=<function elu at 0x7f8ec4ceef28>, total= 11.3s [CV] n_neurons=30, learning_rate=0.01, dropout_rate=0.6, batch_size=500, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 0.669317 최선의 손실: 0.669317 정확도: 75.57% 1 검증 세트 손실: 0.431681 최선의 손실: 0.431681 정확도: 79.24% 2 검증 세트 손실: 0.384220 최선의 손실: 0.384220 정확도: 79.24% 3 검증 세트 손실: 0.381841 최선의 손실: 0.381841 정확도: 79.59% 4 검증 세트 손실: 0.376140 최선의 손실: 0.376140 정확도: 78.54% 5 검증 세트 손실: 0.366436 최선의 손실: 0.366436 정확도: 79.71% 6 검증 세트 손실: 0.363819 최선의 손실: 0.363819 정확도: 78.30% 7 검증 세트 손실: 0.356222 최선의 손실: 0.356222 정확도: 79.71% 8 검증 세트 손실: 0.379739 최선의 손실: 0.356222 정확도: 79.59% 9 검증 세트 손실: 0.354180 최선의 손실: 0.354180 정확도: 78.81% 10 검증 세트 손실: 0.358930 최선의 손실: 0.354180 정확도: 79.67% 11 검증 세트 손실: 0.365103 최선의 손실: 0.354180 정확도: 79.75% 12 검증 세트 손실: 0.366336 최선의 손실: 0.354180 정확도: 79.87% 13 검증 세트 손실: 0.362160 최선의 손실: 0.354180 정확도: 79.71% 14 검증 세트 손실: 0.360736 최선의 손실: 0.354180 정확도: 78.62% 15 검증 세트 손실: 0.365011 최선의 손실: 0.354180 정확도: 79.79% 16 검증 세트 손실: 0.364666 최선의 손실: 0.354180 정확도: 79.91% 17 검증 세트 손실: 0.353274 최선의 손실: 0.353274 정확도: 80.06% 18 검증 세트 손실: 0.359812 최선의 손실: 0.353274 정확도: 80.06% 19 검증 세트 손실: 0.370195 최선의 손실: 0.353274 정확도: 79.44% 20 검증 세트 손실: 0.357341 최선의 손실: 0.353274 정확도: 78.66% 21 검증 세트 손실: 0.356608 최선의 손실: 0.353274 정확도: 78.62% 22 검증 세트 손실: 0.353998 최선의 손실: 0.353274 정확도: 79.98% 23 검증 세트 손실: 0.355960 최선의 손실: 0.353274 정확도: 78.73% 24 검증 세트 손실: 0.357175 최선의 손실: 0.353274 정확도: 77.64% 25 검증 세트 손실: 0.355861 최선의 손실: 0.353274 정확도: 79.71% 26 검증 세트 손실: 0.355380 최선의 손실: 0.353274 정확도: 78.81% 27 검증 세트 손실: 0.356374 최선의 손실: 0.353274 정확도: 78.93% 28 검증 세트 손실: 0.352907 최선의 손실: 0.352907 정확도: 79.98% 29 검증 세트 손실: 0.359581 최선의 손실: 0.352907 정확도: 79.79% 30 검증 세트 손실: 0.347053 최선의 손실: 0.347053 정확도: 79.98% 31 검증 세트 손실: 0.357916 최선의 손실: 0.347053 정확도: 78.73% 32 검증 세트 손실: 0.352730 최선의 손실: 0.347053 정확도: 79.87% 33 검증 세트 손실: 0.346774 최선의 손실: 0.346774 정확도: 80.06% 34 검증 세트 손실: 0.354774 최선의 손실: 0.346774 정확도: 79.09% 35 검증 세트 손실: 0.350065 최선의 손실: 0.346774 정확도: 79.05% 36 검증 세트 손실: 0.346416 최선의 손실: 0.346416 정확도: 79.75% 37 검증 세트 손실: 0.353870 최선의 손실: 0.346416 정확도: 78.97% 38 검증 세트 손실: 0.359865 최선의 손실: 0.346416 정확도: 79.98% 39 검증 세트 손실: 0.356780 최선의 손실: 0.346416 정확도: 79.95% 40 검증 세트 손실: 0.344450 최선의 손실: 0.344450 정확도: 79.09% 41 검증 세트 손실: 0.352250 최선의 손실: 0.344450 정확도: 78.93% 42 검증 세트 손실: 0.348689 최선의 손실: 0.344450 정확도: 79.05% 43 검증 세트 손실: 0.345105 최선의 손실: 0.344450 정확도: 82.25% 44 검증 세트 손실: 0.360644 최선의 손실: 0.344450 정확도: 79.83% 45 검증 세트 손실: 0.348491 최선의 손실: 0.344450 정확도: 81.86% 46 검증 세트 손실: 0.347191 최선의 손실: 0.344450 정확도: 78.89% 47 검증 세트 손실: 0.346310 최선의 손실: 0.344450 정확도: 79.87% 48 검증 세트 손실: 0.353666 최선의 손실: 0.344450 정확도: 78.77% 49 검증 세트 손실: 0.348429 최선의 손실: 0.344450 정확도: 80.06% 50 검증 세트 손실: 0.344841 최선의 손실: 0.344450 정확도: 79.05% 51 검증 세트 손실: 0.345465 최선의 손실: 0.344450 정확도: 79.87% 52 검증 세트 손실: 0.337181 최선의 손실: 0.337181 정확도: 80.02% 53 검증 세트 손실: 0.340668 최선의 손실: 0.337181 정확도: 79.71% 54 검증 세트 손실: 0.346811 최선의 손실: 0.337181 정확도: 79.09% 55 검증 세트 손실: 0.338672 최선의 손실: 0.337181 정확도: 79.12% 56 검증 세트 손실: 0.348988 최선의 손실: 0.337181 정확도: 79.05% 57 검증 세트 손실: 0.356916 최선의 손실: 0.337181 정확도: 79.20% 58 검증 세트 손실: 0.337334 최선의 손실: 0.337181 정확도: 80.06% 59 검증 세트 손실: 0.339265 최선의 손실: 0.337181 정확도: 80.06% 60 검증 세트 손실: 0.338588 최선의 손실: 0.337181 정확도: 80.18% 61 검증 세트 손실: 0.347769 최선의 손실: 0.337181 정확도: 80.10% 62 검증 세트 손실: 0.357171 최선의 손실: 0.337181 정확도: 79.83% 63 검증 세트 손실: 0.351318 최선의 손실: 0.337181 정확도: 79.79% 64 검증 세트 손실: 0.348386 최선의 손실: 0.337181 정확도: 78.69% 65 검증 세트 손실: 0.345092 최선의 손실: 0.337181 정확도: 78.85% 66 검증 세트 손실: 0.349479 최선의 손실: 0.337181 정확도: 79.75% 67 검증 세트 손실: 0.344314 최선의 손실: 0.337181 정확도: 79.09% 68 검증 세트 손실: 0.351042 최선의 손실: 0.337181 정확도: 79.79% 69 검증 세트 손실: 0.350461 최선의 손실: 0.337181 정확도: 79.12% 70 검증 세트 손실: 0.344703 최선의 손실: 0.337181 정확도: 79.87% 71 검증 세트 손실: 0.341310 최선의 손실: 0.337181 정확도: 79.28% 72 검증 세트 손실: 0.347210 최선의 손실: 0.337181 정확도: 79.91% 73 검증 세트 손실: 0.350678 최선의 손실: 0.337181 정확도: 79.95% 조기 종료! [CV] n_neurons=30, learning_rate=0.01, dropout_rate=0.6, batch_size=500, activation=<function elu at 0x7f8ec4ceef28>, total= 11.4s [CV] n_neurons=90, learning_rate=0.02, dropout_rate=0.3, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8> 0 검증 세트 손실: 0.148215 최선의 손실: 0.148215 정확도: 95.78% 1 검증 세트 손실: 0.128056 최선의 손실: 0.128056 정확도: 96.91% 2 검증 세트 손실: 0.111893 최선의 손실: 0.111893 정확도: 96.99% 3 검증 세트 손실: 0.117305 최선의 손실: 0.111893 정확도: 97.34% 4 검증 세트 손실: 0.086251 최선의 손실: 0.086251 정확도: 97.93% 5 검증 세트 손실: 0.083823 최선의 손실: 0.083823 정확도: 98.08% 6 검증 세트 손실: 0.086900 최선의 손실: 0.083823 정확도: 97.50% 7 검증 세트 손실: 0.097267 최선의 손실: 0.083823 정확도: 98.01% 8 검증 세트 손실: 0.085572 최선의 손실: 0.083823 정확도: 98.12% 9 검증 세트 손실: 0.074145 최선의 손실: 0.074145 정확도: 98.12% 10 검증 세트 손실: 0.079903 최선의 손실: 0.074145 정확도: 98.16% 11 검증 세트 손실: 0.076328 최선의 손실: 0.074145 정확도: 98.08% 12 검증 세트 손실: 0.072680 최선의 손실: 0.072680 정확도: 98.24% 13 검증 세트 손실: 0.071747 최선의 손실: 0.071747 정확도: 98.40% 14 검증 세트 손실: 0.076690 최선의 손실: 0.071747 정확도: 98.20% 15 검증 세트 손실: 0.072434 최선의 손실: 0.071747 정확도: 98.24% 16 검증 세트 손실: 0.093815 최선의 손실: 0.071747 정확도: 97.77% 17 검증 세트 손실: 0.080831 최선의 손실: 0.071747 정확도: 98.12% 18 검증 세트 손실: 0.122571 최선의 손실: 0.071747 정확도: 97.38% 19 검증 세트 손실: 0.084765 최선의 손실: 0.071747 정확도: 98.05% 20 검증 세트 손실: 0.084669 최선의 손실: 0.071747 정확도: 98.44% 21 검증 세트 손실: 0.076279 최선의 손실: 0.071747 정확도: 97.93% 22 검증 세트 손실: 0.074877 최선의 손실: 0.071747 정확도: 98.08% 23 검증 세트 손실: 0.088077 최선의 손실: 0.071747 정확도: 97.77% 24 검증 세트 손실: 0.076319 최선의 손실: 0.071747 정확도: 98.36% 25 검증 세트 손실: 0.079699 최선의 손실: 0.071747 정확도: 98.01% 26 검증 세트 손실: 0.101306 최선의 손실: 0.071747 정확도: 97.65% 27 검증 세트 손실: 0.121353 최선의 손실: 0.071747 정확도: 97.85% 28 검증 세트 손실: 0.166306 최선의 손실: 0.071747 정확도: 97.15% 29 검증 세트 손실: 0.126848 최선의 손실: 0.071747 정확도: 97.73% 30 검증 세트 손실: 0.097507 최선의 손실: 0.071747 정확도: 97.42% 31 검증 세트 손실: 0.093404 최선의 손실: 0.071747 정확도: 98.05% 32 검증 세트 손실: 0.102126 최선의 손실: 0.071747 정확도: 97.38% 33 검증 세트 손실: 0.112822 최선의 손실: 0.071747 정확도: 97.22% 34 검증 세트 손실: 0.122280 최선의 손실: 0.071747 정확도: 97.22% 조기 종료! [CV] n_neurons=90, learning_rate=0.02, dropout_rate=0.3, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 9.3s [CV] n_neurons=90, learning_rate=0.02, dropout_rate=0.3, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8> 0 검증 세트 손실: 0.152651 최선의 손실: 0.152651 정확도: 96.01% 1 검증 세트 손실: 0.119504 최선의 손실: 0.119504 정확도: 96.79% 2 검증 세트 손실: 0.093812 최선의 손실: 0.093812 정확도: 97.62% 3 검증 세트 손실: 0.099749 최선의 손실: 0.093812 정확도: 97.62% 4 검증 세트 손실: 0.109278 최선의 손실: 0.093812 정확도: 97.22% 5 검증 세트 손실: 0.088082 최선의 손실: 0.088082 정확도: 97.85% 6 검증 세트 손실: 0.090052 최선의 손실: 0.088082 정확도: 97.65% 7 검증 세트 손실: 0.083313 최선의 손실: 0.083313 정확도: 97.77% 8 검증 세트 손실: 0.081645 최선의 손실: 0.081645 정확도: 97.58% 9 검증 세트 손실: 0.074220 최선의 손실: 0.074220 정확도: 97.93% 10 검증 세트 손실: 0.085726 최선의 손실: 0.074220 정확도: 97.97% 11 검증 세트 손실: 0.079684 최선의 손실: 0.074220 정확도: 98.28% 12 검증 세트 손실: 0.073687 최선의 손실: 0.073687 정확도: 98.01% 13 검증 세트 손실: 0.117345 최선의 손실: 0.073687 정확도: 97.38% 14 검증 세트 손실: 0.107104 최선의 손실: 0.073687 정확도: 97.93% 15 검증 세트 손실: 0.089019 최선의 손실: 0.073687 정확도: 97.77% 16 검증 세트 손실: 0.115728 최선의 손실: 0.073687 정확도: 97.30% 17 검증 세트 손실: 0.106902 최선의 손실: 0.073687 정확도: 97.46% 18 검증 세트 손실: 0.088986 최선의 손실: 0.073687 정확도: 97.73% 19 검증 세트 손실: 0.165287 최선의 손실: 0.073687 정확도: 95.54% 20 검증 세트 손실: 0.119965 최선의 손실: 0.073687 정확도: 96.52% 21 검증 세트 손실: 0.254764 최선의 손실: 0.073687 정확도: 90.19% 22 검증 세트 손실: 0.249217 최선의 손실: 0.073687 정확도: 92.89% 23 검증 세트 손실: 0.165857 최선의 손실: 0.073687 정확도: 96.05% 24 검증 세트 손실: 0.182425 최선의 손실: 0.073687 정확도: 95.31% 25 검증 세트 손실: 0.186657 최선의 손실: 0.073687 정확도: 95.43% 26 검증 세트 손실: 0.187733 최선의 손실: 0.073687 정확도: 95.82% 27 검증 세트 손실: 0.183112 최선의 손실: 0.073687 정확도: 94.80% 28 검증 세트 손실: 0.161452 최선의 손실: 0.073687 정확도: 95.58% 29 검증 세트 손실: 0.148176 최선의 손실: 0.073687 정확도: 95.66% 30 검증 세트 손실: 0.142657 최선의 손실: 0.073687 정확도: 96.36% 31 검증 세트 손실: 0.150911 최선의 손실: 0.073687 정확도: 94.88% 32 검증 세트 손실: 0.214169 최선의 손실: 0.073687 정확도: 94.14% 33 검증 세트 손실: 0.165087 최선의 손실: 0.073687 정확도: 94.18% 조기 종료! [CV] n_neurons=90, learning_rate=0.02, dropout_rate=0.3, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 9.1s [CV] n_neurons=90, learning_rate=0.02, dropout_rate=0.3, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8> 0 검증 세트 손실: 0.126526 최선의 손실: 0.126526 정확도: 96.44% 1 검증 세트 손실: 0.117187 최선의 손실: 0.117187 정확도: 97.03% 2 검증 세트 손실: 0.087989 최선의 손실: 0.087989 정확도: 97.69% 3 검증 세트 손실: 0.088555 최선의 손실: 0.087989 정확도: 97.54% 4 검증 세트 손실: 0.080882 최선의 손실: 0.080882 정확도: 97.81% 5 검증 세트 손실: 0.085643 최선의 손실: 0.080882 정확도: 97.46% 6 검증 세트 손실: 0.077383 최선의 손실: 0.077383 정확도: 98.01% 7 검증 세트 손실: 0.089044 최선의 손실: 0.077383 정확도: 97.93% 8 검증 세트 손실: 0.084079 최선의 손실: 0.077383 정확도: 98.16% 9 검증 세트 손실: 0.097144 최선의 손실: 0.077383 정확도: 97.89% 10 검증 세트 손실: 0.106681 최선의 손실: 0.077383 정확도: 97.89% 11 검증 세트 손실: 0.078828 최선의 손실: 0.077383 정확도: 98.20% 12 검증 세트 손실: 0.098254 최선의 손실: 0.077383 정확도: 98.08% 13 검증 세트 손실: 0.078912 최선의 손실: 0.077383 정확도: 97.97% 14 검증 세트 손실: 0.070450 최선의 손실: 0.070450 정확도: 98.48% 15 검증 세트 손실: 0.092068 최선의 손실: 0.070450 정확도: 97.97% 16 검증 세트 손실: 0.113740 최선의 손실: 0.070450 정확도: 97.81% 17 검증 세트 손실: 0.110273 최선의 손실: 0.070450 정확도: 97.50% 18 검증 세트 손실: 0.150974 최선의 손실: 0.070450 정확도: 97.50% 19 검증 세트 손실: 0.140674 최선의 손실: 0.070450 정확도: 97.69% 20 검증 세트 손실: 0.132409 최선의 손실: 0.070450 정확도: 97.58% 21 검증 세트 손실: 0.195970 최선의 손실: 0.070450 정확도: 97.73% 22 검증 세트 손실: 0.179845 최선의 손실: 0.070450 정확도: 97.07% 23 검증 세트 손실: 0.109350 최선의 손실: 0.070450 정확도: 97.54% 24 검증 세트 손실: 0.107011 최선의 손실: 0.070450 정확도: 97.46% 25 검증 세트 손실: 0.168155 최선의 손실: 0.070450 정확도: 95.93% 26 검증 세트 손실: 0.129466 최선의 손실: 0.070450 정확도: 96.87% 27 검증 세트 손실: 0.106540 최선의 손실: 0.070450 정확도: 97.54% 28 검증 세트 손실: 0.106077 최선의 손실: 0.070450 정확도: 97.03% 29 검증 세트 손실: 0.339686 최선의 손실: 0.070450 정확도: 94.14% 30 검증 세트 손실: 0.242235 최선의 손실: 0.070450 정확도: 92.92% 31 검증 세트 손실: 0.225933 최선의 손실: 0.070450 정확도: 94.21% 32 검증 세트 손실: 0.317518 최선의 손실: 0.070450 정확도: 95.82% 33 검증 세트 손실: 0.197781 최선의 손실: 0.070450 정확도: 94.61% 34 검증 세트 손실: 0.197854 최선의 손실: 0.070450 정확도: 96.01% 35 검증 세트 손실: 0.158253 최선의 손실: 0.070450 정확도: 96.95% 조기 종료! [CV] n_neurons=90, learning_rate=0.02, dropout_rate=0.3, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 9.5s [CV] n_neurons=70, learning_rate=0.01, dropout_rate=0.2, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8> 0 검증 세트 손실: 0.097567 최선의 손실: 0.097567 정확도: 97.42% 1 검증 세트 손실: 0.083665 최선의 손실: 0.083665 정확도: 97.58% 2 검증 세트 손실: 0.076499 최선의 손실: 0.076499 정확도: 97.97% 3 검증 세트 손실: 0.059789 최선의 손실: 0.059789 정확도: 98.67% 4 검증 세트 손실: 0.068968 최선의 손실: 0.059789 정확도: 98.12% 5 검증 세트 손실: 0.115135 최선의 손실: 0.059789 정확도: 97.77% 6 검증 세트 손실: 0.086134 최선의 손실: 0.059789 정확도: 98.24% 7 검증 세트 손실: 0.070107 최선의 손실: 0.059789 정확도: 98.36% 8 검증 세트 손실: 0.068993 최선의 손실: 0.059789 정확도: 98.36% 9 검증 세트 손실: 0.076811 최선의 손실: 0.059789 정확도: 97.97% 10 검증 세트 손실: 0.071646 최선의 손실: 0.059789 정확도: 98.44% 11 검증 세트 손실: 0.063924 최선의 손실: 0.059789 정확도: 98.44% 12 검증 세트 손실: 0.069174 최선의 손실: 0.059789 정확도: 98.12% 13 검증 세트 손실: 0.057746 최선의 손실: 0.057746 정확도: 98.51% 14 검증 세트 손실: 0.078100 최선의 손실: 0.057746 정확도: 98.20% 15 검증 세트 손실: 0.058465 최선의 손실: 0.057746 정확도: 98.16% 16 검증 세트 손실: 0.096372 최선의 손실: 0.057746 정확도: 98.36% 17 검증 세트 손실: 0.067281 최선의 손실: 0.057746 정확도: 98.36% 18 검증 세트 손실: 0.095468 최선의 손실: 0.057746 정확도: 97.46% 19 검증 세트 손실: 0.112692 최선의 손실: 0.057746 정확도: 98.24% 20 검증 세트 손실: 0.090470 최선의 손실: 0.057746 정확도: 97.93% 21 검증 세트 손실: 0.071979 최선의 손실: 0.057746 정확도: 98.28% 22 검증 세트 손실: 0.059466 최선의 손실: 0.057746 정확도: 98.59% 23 검증 세트 손실: 0.058353 최선의 손실: 0.057746 정확도: 98.59% 24 검증 세트 손실: 0.069288 최선의 손실: 0.057746 정확도: 98.48% 25 검증 세트 손실: 0.056584 최선의 손실: 0.056584 정확도: 98.48% 26 검증 세트 손실: 0.053215 최선의 손실: 0.053215 정확도: 98.63% 27 검증 세트 손실: 0.083792 최선의 손실: 0.053215 정확도: 98.40% 28 검증 세트 손실: 0.103232 최선의 손실: 0.053215 정확도: 98.44% 29 검증 세트 손실: 0.075203 최선의 손실: 0.053215 정확도: 98.16% 30 검증 세트 손실: 0.100808 최선의 손실: 0.053215 정확도: 97.97% 31 검증 세트 손실: 0.072533 최선의 손실: 0.053215 정확도: 98.28% 32 검증 세트 손실: 0.076866 최선의 손실: 0.053215 정확도: 98.59% 33 검증 세트 손실: 0.091245 최선의 손실: 0.053215 정확도: 98.51% 34 검증 세트 손실: 0.109959 최선의 손실: 0.053215 정확도: 98.44% 35 검증 세트 손실: 0.093728 최선의 손실: 0.053215 정확도: 98.44% 36 검증 세트 손실: 0.107257 최선의 손실: 0.053215 정확도: 98.48% 37 검증 세트 손실: 0.083795 최선의 손실: 0.053215 정확도: 98.55% 38 검증 세트 손실: 0.073659 최선의 손실: 0.053215 정확도: 98.63% 39 검증 세트 손실: 0.104720 최선의 손실: 0.053215 정확도: 98.40% 40 검증 세트 손실: 0.080669 최선의 손실: 0.053215 정확도: 98.91% 41 검증 세트 손실: 0.099474 최선의 손실: 0.053215 정확도: 98.59% 42 검증 세트 손실: 0.076251 최선의 손실: 0.053215 정확도: 98.51% 43 검증 세트 손실: 0.157728 최선의 손실: 0.053215 정확도: 98.44% 44 검증 세트 손실: 0.071636 최선의 손실: 0.053215 정확도: 98.63% 45 검증 세트 손실: 0.086378 최선의 손실: 0.053215 정확도: 98.71% 46 검증 세트 손실: 0.075006 최선의 손실: 0.053215 정확도: 98.59% 47 검증 세트 손실: 0.069429 최선의 손실: 0.053215 정확도: 98.55% 조기 종료! [CV] n_neurons=70, learning_rate=0.01, dropout_rate=0.2, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 17.1s [CV] n_neurons=70, learning_rate=0.01, dropout_rate=0.2, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8> 0 검증 세트 손실: 0.092474 최선의 손실: 0.092474 정확도: 97.34% 1 검증 세트 손실: 0.090500 최선의 손실: 0.090500 정확도: 97.54% 2 검증 세트 손실: 0.079864 최선의 손실: 0.079864 정확도: 98.12% 3 검증 세트 손실: 0.061683 최선의 손실: 0.061683 정확도: 98.20% 4 검증 세트 손실: 0.069553 최선의 손실: 0.061683 정확도: 98.32% 5 검증 세트 손실: 0.070756 최선의 손실: 0.061683 정확도: 97.93% 6 검증 세트 손실: 0.073924 최선의 손실: 0.061683 정확도: 98.20% 7 검증 세트 손실: 0.070878 최선의 손실: 0.061683 정확도: 98.12% 8 검증 세트 손실: 0.102100 최선의 손실: 0.061683 정확도: 98.32% 9 검증 세트 손실: 0.064179 최선의 손실: 0.061683 정확도: 98.79% 10 검증 세트 손실: 0.086993 최선의 손실: 0.061683 정확도: 98.01% 11 검증 세트 손실: 0.097581 최선의 손실: 0.061683 정확도: 97.62% 12 검증 세트 손실: 0.074603 최선의 손실: 0.061683 정확도: 98.05% 13 검증 세트 손실: 0.070069 최선의 손실: 0.061683 정확도: 98.28% 14 검증 세트 손실: 0.074277 최선의 손실: 0.061683 정확도: 98.16% 15 검증 세트 손실: 0.067083 최선의 손실: 0.061683 정확도: 98.40% 16 검증 세트 손실: 0.090014 최선의 손실: 0.061683 정확도: 98.48% 17 검증 세트 손실: 0.079569 최선의 손실: 0.061683 정확도: 98.16% 18 검증 세트 손실: 0.076806 최선의 손실: 0.061683 정확도: 98.24% 19 검증 세트 손실: 0.068528 최선의 손실: 0.061683 정확도: 98.01% 20 검증 세트 손실: 0.069049 최선의 손실: 0.061683 정확도: 98.05% 21 검증 세트 손실: 0.111941 최선의 손실: 0.061683 정확도: 97.93% 22 검증 세트 손실: 0.079736 최선의 손실: 0.061683 정확도: 98.32% 23 검증 세트 손실: 0.067509 최선의 손실: 0.061683 정확도: 98.48% 24 검증 세트 손실: 0.074588 최선의 손실: 0.061683 정확도: 98.28% 조기 종료! [CV] n_neurons=70, learning_rate=0.01, dropout_rate=0.2, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 9.3s [CV] n_neurons=70, learning_rate=0.01, dropout_rate=0.2, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8> 0 검증 세트 손실: 0.091386 최선의 손실: 0.091386 정확도: 97.69% 1 검증 세트 손실: 0.092817 최선의 손실: 0.091386 정확도: 97.77% 2 검증 세트 손실: 0.089641 최선의 손실: 0.089641 정확도: 97.77% 3 검증 세트 손실: 0.060595 최선의 손실: 0.060595 정확도: 98.48% 4 검증 세트 손실: 0.069433 최선의 손실: 0.060595 정확도: 98.63% 5 검증 세트 손실: 0.071262 최선의 손실: 0.060595 정확도: 98.48% 6 검증 세트 손실: 0.071292 최선의 손실: 0.060595 정확도: 98.32% 7 검증 세트 손실: 0.064910 최선의 손실: 0.060595 정확도: 98.28% 8 검증 세트 손실: 0.066381 최선의 손실: 0.060595 정확도: 98.75% 9 검증 세트 손실: 0.064322 최선의 손실: 0.060595 정확도: 98.20% 10 검증 세트 손실: 0.069584 최선의 손실: 0.060595 정확도: 98.36% 11 검증 세트 손실: 0.078042 최선의 손실: 0.060595 정확도: 98.48% 12 검증 세트 손실: 0.081452 최선의 손실: 0.060595 정확도: 98.28% 13 검증 세트 손실: 0.065726 최선의 손실: 0.060595 정확도: 98.40% 14 검증 세트 손실: 0.067917 최선의 손실: 0.060595 정확도: 98.40% 15 검증 세트 손실: 0.065413 최선의 손실: 0.060595 정확도: 98.48% 16 검증 세트 손실: 0.071876 최선의 손실: 0.060595 정확도: 98.08% 17 검증 세트 손실: 0.066022 최선의 손실: 0.060595 정확도: 98.24% 18 검증 세트 손실: 0.087951 최선의 손실: 0.060595 정확도: 98.20% 19 검증 세트 손실: 0.075076 최선의 손실: 0.060595 정확도: 98.40% 20 검증 세트 손실: 0.106118 최선의 손실: 0.060595 정확도: 97.97% 21 검증 세트 손실: 0.076745 최선의 손실: 0.060595 정확도: 98.16% 22 검증 세트 손실: 0.090893 최선의 손실: 0.060595 정확도: 98.28% 23 검증 세트 손실: 0.081706 최선의 손실: 0.060595 정확도: 98.16% 24 검증 세트 손실: 0.104826 최선의 손실: 0.060595 정확도: 98.08% 조기 종료! [CV] n_neurons=70, learning_rate=0.01, dropout_rate=0.2, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 9.3s [CV] n_neurons=160, learning_rate=0.01, dropout_rate=0.5, batch_size=50, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.225262 최선의 손실: 0.225262 정확도: 94.92% 1 검증 세트 손실: 0.200857 최선의 손실: 0.200857 정확도: 95.11% 2 검증 세트 손실: 0.228207 최선의 손실: 0.200857 정확도: 95.11% 3 검증 세트 손실: 0.180059 최선의 손실: 0.180059 정확도: 94.72% 4 검증 세트 손실: 0.214953 최선의 손실: 0.180059 정확도: 94.29% 5 검증 세트 손실: 0.175284 최선의 손실: 0.175284 정확도: 94.96% 6 검증 세트 손실: 0.208777 최선의 손실: 0.175284 정확도: 94.33% 7 검증 세트 손실: 0.301230 최선의 손실: 0.175284 정확도: 91.99% 8 검증 세트 손실: 0.435575 최선의 손실: 0.175284 정확도: 92.18% 9 검증 세트 손실: 0.257656 최선의 손실: 0.175284 정확도: 92.96% 10 검증 세트 손실: 0.253792 최선의 손실: 0.175284 정확도: 92.77% 11 검증 세트 손실: 0.353973 최선의 손실: 0.175284 정확도: 91.13% 12 검증 세트 손실: 0.322172 최선의 손실: 0.175284 정확도: 92.03% 13 검증 세트 손실: 0.295252 최선의 손실: 0.175284 정확도: 91.44% 14 검증 세트 손실: 0.272172 최선의 손실: 0.175284 정확도: 93.20% 15 검증 세트 손실: 0.294796 최선의 손실: 0.175284 정확도: 92.92% 16 검증 세트 손실: 0.279213 최선의 손실: 0.175284 정확도: 92.65% 17 검증 세트 손실: 0.408396 최선의 손실: 0.175284 정확도: 88.35% 18 검증 세트 손실: 0.372767 최선의 손실: 0.175284 정확도: 91.56% 19 검증 세트 손실: 0.292114 최선의 손실: 0.175284 정확도: 94.37% 20 검증 세트 손실: 0.296955 최선의 손실: 0.175284 정확도: 92.89% 21 검증 세트 손실: 0.397245 최선의 손실: 0.175284 정확도: 88.86% 22 검증 세트 손실: 0.419079 최선의 손실: 0.175284 정확도: 88.39% 23 검증 세트 손실: 0.409681 최선의 손실: 0.175284 정확도: 87.57% 24 검증 세트 손실: 0.380631 최선의 손실: 0.175284 정확도: 89.80% 25 검증 세트 손실: 0.395619 최선의 손실: 0.175284 정확도: 87.88% 26 검증 세트 손실: 0.399087 최선의 손실: 0.175284 정확도: 87.02% 조기 종료! [CV] n_neurons=160, learning_rate=0.01, dropout_rate=0.5, batch_size=50, activation=<function relu at 0x7f8ec4c8c510>, total= 20.2s [CV] n_neurons=160, learning_rate=0.01, dropout_rate=0.5, batch_size=50, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.194135 최선의 손실: 0.194135 정확도: 95.07% 1 검증 세트 손실: 0.189781 최선의 손실: 0.189781 정확도: 95.43% 2 검증 세트 손실: 0.170270 최선의 손실: 0.170270 정확도: 95.39% 3 검증 세트 손실: 0.153995 최선의 손실: 0.153995 정확도: 96.05% 4 검증 세트 손실: 0.196015 최선의 손실: 0.153995 정확도: 94.68% 5 검증 세트 손실: 0.209975 최선의 손실: 0.153995 정확도: 93.90% 6 검증 세트 손실: 0.308548 최선의 손실: 0.153995 정확도: 92.89% 7 검증 세트 손실: 0.246837 최선의 손실: 0.153995 정확도: 92.89% 8 검증 세트 손실: 0.253123 최선의 손실: 0.153995 정확도: 92.89% 9 검증 세트 손실: 0.369646 최선의 손실: 0.153995 정확도: 89.05% 10 검증 세트 손실: 0.250795 최선의 손실: 0.153995 정확도: 93.04% 11 검증 세트 손실: 0.260301 최선의 손실: 0.153995 정확도: 92.38% 12 검증 세트 손실: 0.250002 최선의 손실: 0.153995 정확도: 92.42% 13 검증 세트 손실: 0.235920 최선의 손실: 0.153995 정확도: 93.35% 14 검증 세트 손실: 0.226952 최선의 손실: 0.153995 정확도: 93.55% 15 검증 세트 손실: 0.248416 최선의 손실: 0.153995 정확도: 92.73% 16 검증 세트 손실: 0.274826 최선의 손실: 0.153995 정확도: 93.35% 17 검증 세트 손실: 0.261735 최선의 손실: 0.153995 정확도: 93.39% 18 검증 세트 손실: 0.308440 최선의 손실: 0.153995 정확도: 91.91% 19 검증 세트 손실: 0.296059 최선의 손실: 0.153995 정확도: 92.57% 20 검증 세트 손실: 0.282029 최선의 손실: 0.153995 정확도: 90.34% 21 검증 세트 손실: 0.537455 최선의 손실: 0.153995 정확도: 79.91% 22 검증 세트 손실: 0.363679 최선의 손실: 0.153995 정확도: 87.26% 23 검증 세트 손실: 0.404868 최선의 손실: 0.153995 정확도: 87.37% 24 검증 세트 손실: 0.304646 최선의 손실: 0.153995 정확도: 89.05% 조기 종료! [CV] n_neurons=160, learning_rate=0.01, dropout_rate=0.5, batch_size=50, activation=<function relu at 0x7f8ec4c8c510>, total= 18.7s [CV] n_neurons=160, learning_rate=0.01, dropout_rate=0.5, batch_size=50, activation=<function relu at 0x7f8ec4c8c510> 0 검증 세트 손실: 0.157961 최선의 손실: 0.157961 정확도: 95.62% 1 검증 세트 손실: 0.167223 최선의 손실: 0.157961 정확도: 95.50% 2 검증 세트 손실: 0.180878 최선의 손실: 0.157961 정확도: 95.35% 3 검증 세트 손실: 0.199077 최선의 손실: 0.157961 정확도: 94.68% 4 검증 세트 손실: 0.446995 최선의 손실: 0.157961 정확도: 80.96% 5 검증 세트 손실: 0.218650 최선의 손실: 0.157961 정확도: 92.42% 6 검증 세트 손실: 0.288402 최선의 손실: 0.157961 정확도: 94.29% 7 검증 세트 손실: 0.158666 최선의 손실: 0.157961 정확도: 95.31% 8 검증 세트 손실: 0.234228 최선의 손실: 0.157961 정확도: 93.90% 9 검증 세트 손실: 0.195306 최선의 손실: 0.157961 정확도: 93.63% 10 검증 세트 손실: 0.224047 최선의 손실: 0.157961 정확도: 92.53% 11 검증 세트 손실: 0.198505 최선의 손실: 0.157961 정확도: 93.55% 12 검증 세트 손실: 0.234251 최선의 손실: 0.157961 정확도: 93.51% 13 검증 세트 손실: 0.479641 최선의 손실: 0.157961 정확도: 73.96% 14 검증 세트 손실: 0.301707 최선의 손실: 0.157961 정확도: 86.32% 15 검증 세트 손실: 0.277261 최선의 손실: 0.157961 정확도: 88.12% 16 검증 세트 손실: 0.344725 최선의 손실: 0.157961 정확도: 88.51% 17 검증 세트 손실: 0.394270 최선의 손실: 0.157961 정확도: 87.80% 18 검증 세트 손실: 0.356516 최선의 손실: 0.157961 정확도: 88.31% 19 검증 세트 손실: 0.336860 최선의 손실: 0.157961 정확도: 93.20% 20 검증 세트 손실: 0.331334 최선의 손실: 0.157961 정확도: 90.77% 21 검증 세트 손실: 0.337532 최선의 손실: 0.157961 정확도: 90.85% 조기 종료! [CV] n_neurons=160, learning_rate=0.01, dropout_rate=0.5, batch_size=50, activation=<function relu at 0x7f8ec4c8c510>, total= 16.6s [CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.6, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0> 0 검증 세트 손실: 16347.124023 최선의 손실: 16347.124023 정확도: 18.73% 1 검증 세트 손실: 78517.640625 최선의 손실: 16347.124023 정확도: 18.73% 2 검증 세트 손실: 5734.887695 최선의 손실: 5734.887695 정확도: 20.91% 3 검증 세트 손실: 10613.033203 최선의 손실: 5734.887695 정확도: 19.08% 4 검증 세트 손실: 21548.316406 최선의 손실: 5734.887695 정확도: 19.27% 5 검증 세트 손실: 2197.545410 최선의 손실: 2197.545410 정확도: 16.03% 6 검증 세트 손실: 4714.891602 최선의 손실: 2197.545410 정확도: 18.73% 7 검증 세트 손실: 4536.506836 최선의 손실: 2197.545410 정확도: 18.73% 8 검증 세트 손실: 644.755066 최선의 손실: 644.755066 정확도: 20.91% 9 검증 세트 손실: 13211.711914 최선의 손실: 644.755066 정확도: 22.01% 10 검증 세트 손실: 916.285400 최선의 손실: 644.755066 정확도: 18.73% 11 검증 세트 손실: 15442607.000000 최선의 손실: 644.755066 정확도: 18.73% 12 검증 세트 손실: 2028755.750000 최선의 손실: 644.755066 정확도: 18.73% 13 검증 세트 손실: 646174.187500 최선의 손실: 644.755066 정확도: 19.08% 14 검증 세트 손실: 161668.203125 최선의 손실: 644.755066 정확도: 19.08% 15 검증 세트 손실: 483330.750000 최선의 손실: 644.755066 정확도: 18.73% 16 검증 세트 손실: 495644.125000 최선의 손실: 644.755066 정확도: 19.08% 17 검증 세트 손실: 588669.937500 최선의 손실: 644.755066 정확도: 20.91% 18 검증 세트 손실: 140984.750000 최선의 손실: 644.755066 정확도: 18.73% 19 검증 세트 손실: 349979.500000 최선의 손실: 644.755066 정확도: 18.73% 20 검증 세트 손실: 29106.611328 최선의 손실: 644.755066 정확도: 18.73% 21 검증 세트 손실: 105348.390625 최선의 손실: 644.755066 정확도: 19.27% 22 검증 세트 손실: 66018.140625 최선의 손실: 644.755066 정확도: 19.27% 23 검증 세트 손실: 123503.523438 최선의 손실: 644.755066 정확도: 19.27% 24 검증 세트 손실: 109173.328125 최선의 손실: 644.755066 정확도: 20.91% 25 검증 세트 손실: 305720.250000 최선의 손실: 644.755066 정확도: 19.27% 26 검증 세트 손실: 136492.984375 최선의 손실: 644.755066 정확도: 20.91% 27 검증 세트 손실: 65761.960938 최선의 손실: 644.755066 정확도: 18.73% 28 검증 세트 손실: 272961.500000 최선의 손실: 644.755066 정확도: 20.91% 29 검증 세트 손실: 33932.882812 최선의 손실: 644.755066 정확도: 19.27% 조기 종료! [CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.6, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 14.3s [CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.6, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0> 0 검증 세트 손실: 30747.427734 최선의 손실: 30747.427734 정확도: 20.91% 1 검증 세트 손실: 53322.152344 최선의 손실: 30747.427734 정확도: 22.01% 2 검증 세트 손실: 138446.843750 최선의 손실: 30747.427734 정확도: 14.70% 3 검증 세트 손실: 910259.937500 최선의 손실: 30747.427734 정확도: 22.01% 4 검증 세트 손실: 43472.898438 최선의 손실: 30747.427734 정확도: 19.08% 5 검증 세트 손실: 490136.406250 최선의 손실: 30747.427734 정확도: 20.91% 6 검증 세트 손실: 43413.339844 최선의 손실: 30747.427734 정확도: 22.01% 7 검증 세트 손실: 19137.957031 최선의 손실: 19137.957031 정확도: 19.08% 8 검증 세트 손실: 234382.656250 최선의 손실: 19137.957031 정확도: 19.27% 9 검증 세트 손실: 305894.468750 최선의 손실: 19137.957031 정확도: 20.84% 10 검증 세트 손실: 64777.195312 최선의 손실: 19137.957031 정확도: 19.27% 11 검증 세트 손실: 25992.476562 최선의 손실: 19137.957031 정확도: 19.08% 12 검증 세트 손실: 16694.697266 최선의 손실: 16694.697266 정확도: 18.73% 13 검증 세트 손실: 114504.781250 최선의 손실: 16694.697266 정확도: 18.73% 14 검증 세트 손실: 65979.382812 최선의 손실: 16694.697266 정확도: 18.73% 15 검증 세트 손실: 6684.449707 최선의 손실: 6684.449707 정확도: 19.27% 16 검증 세트 손실: 8742.773438 최선의 손실: 6684.449707 정확도: 22.01% 17 검증 세트 손실: 15028.166992 최선의 손실: 6684.449707 정확도: 19.08% 18 검증 세트 손실: 9491.151367 최선의 손실: 6684.449707 정확도: 20.91% 19 검증 세트 손실: 7714.142090 최선의 손실: 6684.449707 정확도: 18.73% 20 검증 세트 손실: 11808.904297 최선의 손실: 6684.449707 정확도: 18.73% 21 검증 세트 손실: 5547.020508 최선의 손실: 5547.020508 정확도: 22.01% 22 검증 세트 손실: 4150.144043 최선의 손실: 4150.144043 정확도: 18.73% 23 검증 세트 손실: 347847.343750 최선의 손실: 4150.144043 정확도: 19.08% 24 검증 세트 손실: 10390920.000000 최선의 손실: 4150.144043 정확도: 18.73% 25 검증 세트 손실: 94303424.000000 최선의 손실: 4150.144043 정확도: 19.27% 26 검증 세트 손실: 11752265.000000 최선의 손실: 4150.144043 정확도: 19.08% 27 검증 세트 손실: 10756145.000000 최선의 손실: 4150.144043 정확도: 19.08% 28 검증 세트 손실: 4045107.750000 최선의 손실: 4150.144043 정확도: 18.73% 29 검증 세트 손실: 4397903.500000 최선의 손실: 4150.144043 정확도: 22.01% 30 검증 세트 손실: 3867237.000000 최선의 손실: 4150.144043 정확도: 20.91% 31 검증 세트 손실: 3692295.750000 최선의 손실: 4150.144043 정확도: 19.08% 32 검증 세트 손실: 3171406.750000 최선의 손실: 4150.144043 정확도: 18.73% 33 검증 세트 손실: 3064888.000000 최선의 손실: 4150.144043 정확도: 22.01% 34 검증 세트 손실: 1959188.250000 최선의 손실: 4150.144043 정확도: 19.27% 35 검증 세트 손실: 924829.750000 최선의 손실: 4150.144043 정확도: 19.27% 36 검증 세트 손실: 1285706.000000 최선의 손실: 4150.144043 정확도: 20.91% 37 검증 세트 손실: 2094252.375000 최선의 손실: 4150.144043 정확도: 22.01% 38 검증 세트 손실: 1529589.750000 최선의 손실: 4150.144043 정확도: 20.91% 39 검증 세트 손실: 1492652.875000 최선의 손실: 4150.144043 정확도: 19.27% 40 검증 세트 손실: 1125020.750000 최선의 손실: 4150.144043 정확도: 19.08% 41 검증 세트 손실: 474515.375000 최선의 손실: 4150.144043 정확도: 18.73% 42 검증 세트 손실: 1161111.625000 최선의 손실: 4150.144043 정확도: 19.27% 43 검증 세트 손실: 426008.125000 최선의 손실: 4150.144043 정확도: 19.27% 조기 종료! [CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.6, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 20.4s [CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.6, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0> 0 검증 세트 손실: 5854.613770 최선의 손실: 5854.613770 정확도: 18.73% 1 검증 세트 손실: 85805.273438 최선의 손실: 5854.613770 정확도: 19.27% 2 검증 세트 손실: 37586.582031 최선의 손실: 5854.613770 정확도: 19.08% 3 검증 세트 손실: 395308.093750 최선의 손실: 5854.613770 정확도: 18.73% 4 검증 세트 손실: 31268.435547 최선의 손실: 5854.613770 정확도: 22.01% 5 검증 세트 손실: 79517.062500 최선의 손실: 5854.613770 정확도: 19.27% 6 검증 세트 손실: 27540.882812 최선의 손실: 5854.613770 정확도: 19.27% 7 검증 세트 손실: 2864.102051 최선의 손실: 2864.102051 정확도: 18.73% 8 검증 세트 손실: 1746.128174 최선의 손실: 1746.128174 정확도: 20.91% 9 검증 세트 손실: 42175.789062 최선의 손실: 1746.128174 정확도: 20.91% 10 검증 세트 손실: 19276.593750 최선의 손실: 1746.128174 정확도: 20.91% 11 검증 세트 손실: 4202.840820 최선의 손실: 1746.128174 정확도: 19.08% 12 검증 세트 손실: 3629.942627 최선의 손실: 1746.128174 정확도: 19.08% 13 검증 세트 손실: 3921.395264 최선의 손실: 1746.128174 정확도: 22.01% 14 검증 세트 손실: 3304.600098 최선의 손실: 1746.128174 정확도: 22.01% 15 검증 세트 손실: 2538.738037 최선의 손실: 1746.128174 정확도: 18.73% 16 검증 세트 손실: 16185.366211 최선의 손실: 1746.128174 정확도: 22.01% 17 검증 세트 손실: 6231.825684 최선의 손실: 1746.128174 정확도: 18.73% 18 검증 세트 손실: 434688.843750 최선의 손실: 1746.128174 정확도: 18.73% 19 검증 세트 손실: 9852926.000000 최선의 손실: 1746.128174 정확도: 19.27% 20 검증 세트 손실: 4059767.750000 최선의 손실: 1746.128174 정확도: 22.01% 21 검증 세트 손실: 11237864.000000 최선의 손실: 1746.128174 정확도: 19.27% 22 검증 세트 손실: 4565330.500000 최선의 손실: 1746.128174 정확도: 19.08% 23 검증 세트 손실: 2196772.250000 최선의 손실: 1746.128174 정확도: 22.01% 24 검증 세트 손실: 1719740.000000 최선의 손실: 1746.128174 정확도: 20.91% 25 검증 세트 손실: 510705.375000 최선의 손실: 1746.128174 정확도: 20.91% 26 검증 세트 손실: 421729.937500 최선의 손실: 1746.128174 정확도: 19.27% 27 검증 세트 손실: 956223.062500 최선의 손실: 1746.128174 정확도: 22.01% 28 검증 세트 손실: 1910548.875000 최선의 손실: 1746.128174 정확도: 18.73% 29 검증 세트 손실: 365866.562500 최선의 손실: 1746.128174 정확도: 20.91% 조기 종료! [CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.6, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 14.3s [CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.5, batch_size=100, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 1.725842 최선의 손실: 1.725842 정확도: 19.27% 1 검증 세트 손실: 1.831523 최선의 손실: 1.725842 정확도: 19.08% 2 검증 세트 손실: 1.731102 최선의 손실: 1.725842 정확도: 19.08% 3 검증 세트 손실: 1.671313 최선의 손실: 1.671313 정확도: 22.01% 4 검증 세트 손실: 1.646975 최선의 손실: 1.646975 정확도: 19.27% 5 검증 세트 손실: 1.657541 최선의 손실: 1.646975 정확도: 19.08% 6 검증 세트 손실: 1.929369 최선의 손실: 1.646975 정확도: 18.73% 7 검증 세트 손실: 1.743398 최선의 손실: 1.646975 정확도: 19.27% 8 검증 세트 손실: 1.718536 최선의 손실: 1.646975 정확도: 19.27% 9 검증 세트 손실: 1.723054 최선의 손실: 1.646975 정확도: 19.08% 10 검증 세트 손실: 1.681778 최선의 손실: 1.646975 정확도: 20.91% 11 검증 세트 손실: 1.664639 최선의 손실: 1.646975 정확도: 20.91% 12 검증 세트 손실: 1.682909 최선의 손실: 1.646975 정확도: 19.08% 13 검증 세트 손실: 1.888026 최선의 손실: 1.646975 정확도: 19.27% 14 검증 세트 손실: 1.835572 최선의 손실: 1.646975 정확도: 18.73% 15 검증 세트 손실: 1.809642 최선의 손실: 1.646975 정확도: 22.01% 16 검증 세트 손실: 1.839359 최선의 손실: 1.646975 정확도: 22.01% 17 검증 세트 손실: 1.640888 최선의 손실: 1.640888 정확도: 22.01% 18 검증 세트 손실: 2.119444 최선의 손실: 1.640888 정확도: 20.91% 19 검증 세트 손실: 1.769743 최선의 손실: 1.640888 정확도: 20.91% 20 검증 세트 손실: 1.624434 최선의 손실: 1.624434 정확도: 22.01% 21 검증 세트 손실: 1.743520 최선의 손실: 1.624434 정확도: 19.27% 22 검증 세트 손실: 1.638651 최선의 손실: 1.624434 정확도: 19.08% 23 검증 세트 손실: 1.922452 최선의 손실: 1.624434 정확도: 22.01% 24 검증 세트 손실: 1.683257 최선의 손실: 1.624434 정확도: 20.91% 25 검증 세트 손실: 1.869398 최선의 손실: 1.624434 정확도: 19.27% 26 검증 세트 손실: 1.730756 최선의 손실: 1.624434 정확도: 19.08% 27 검증 세트 손실: 1.838259 최선의 손실: 1.624434 정확도: 18.73% 28 검증 세트 손실: 1.782173 최선의 손실: 1.624434 정확도: 19.08% 29 검증 세트 손실: 1.670558 최선의 손실: 1.624434 정확도: 18.73% 30 검증 세트 손실: 1.749926 최선의 손실: 1.624434 정확도: 18.73% 31 검증 세트 손실: 1.714854 최선의 손실: 1.624434 정확도: 22.01% 32 검증 세트 손실: 1.758972 최선의 손실: 1.624434 정확도: 19.08% 33 검증 세트 손실: 1.771945 최선의 손실: 1.624434 정확도: 18.73% 34 검증 세트 손실: 1.713982 최선의 손실: 1.624434 정확도: 22.01% 35 검증 세트 손실: 1.864773 최선의 손실: 1.624434 정확도: 19.08% 36 검증 세트 손실: 1.847001 최선의 손실: 1.624434 정확도: 22.01% 37 검증 세트 손실: 1.933463 최선의 손실: 1.624434 정확도: 18.73% 38 검증 세트 손실: 1.867929 최선의 손실: 1.624434 정확도: 18.73% 39 검증 세트 손실: 1.672134 최선의 손실: 1.624434 정확도: 19.08% 40 검증 세트 손실: 1.718477 최선의 손실: 1.624434 정확도: 19.27% 41 검증 세트 손실: 1.792876 최선의 손실: 1.624434 정확도: 20.91% 조기 종료! [CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.5, batch_size=100, activation=<function elu at 0x7f8ec4ceef28>, total= 23.7s [CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.5, batch_size=100, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 1.780210 최선의 손실: 1.780210 정확도: 22.01% 1 검증 세트 손실: 1.883221 최선의 손실: 1.780210 정확도: 19.08% 2 검증 세트 손실: 1.755725 최선의 손실: 1.755725 정확도: 19.27% 3 검증 세트 손실: 1.700261 최선의 손실: 1.700261 정확도: 22.01% 4 검증 세트 손실: 1.670837 최선의 손실: 1.670837 정확도: 20.91% 5 검증 세트 손실: 1.647363 최선의 손실: 1.647363 정확도: 19.08% 6 검증 세트 손실: 1.725077 최선의 손실: 1.647363 정확도: 19.27% 7 검증 세트 손실: 1.828096 최선의 손실: 1.647363 정확도: 19.08% 8 검증 세트 손실: 1.722548 최선의 손실: 1.647363 정확도: 22.01% 9 검증 세트 손실: 2.068340 최선의 손실: 1.647363 정확도: 19.08% 10 검증 세트 손실: 1.721404 최선의 손실: 1.647363 정확도: 22.01% 11 검증 세트 손실: 1.740526 최선의 손실: 1.647363 정확도: 22.01% 12 검증 세트 손실: 1.634701 최선의 손실: 1.634701 정확도: 20.91% 13 검증 세트 손실: 1.633930 최선의 손실: 1.633930 정확도: 22.01% 14 검증 세트 손실: 1.793652 최선의 손실: 1.633930 정확도: 19.27% 15 검증 세트 손실: 1.634212 최선의 손실: 1.633930 정확도: 19.08% 16 검증 세트 손실: 1.742743 최선의 손실: 1.633930 정확도: 22.01% 17 검증 세트 손실: 1.744072 최선의 손실: 1.633930 정확도: 19.08% 18 검증 세트 손실: 1.820003 최선의 손실: 1.633930 정확도: 19.27% 19 검증 세트 손실: 1.731365 최선의 손실: 1.633930 정확도: 19.08% 20 검증 세트 손실: 1.742057 최선의 손실: 1.633930 정확도: 19.27% 21 검증 세트 손실: 1.823286 최선의 손실: 1.633930 정확도: 22.01% 22 검증 세트 손실: 1.834856 최선의 손실: 1.633930 정확도: 19.08% 23 검증 세트 손실: 1.687754 최선의 손실: 1.633930 정확도: 22.01% 24 검증 세트 손실: 2.072859 최선의 손실: 1.633930 정확도: 19.27% 25 검증 세트 손실: 1.845808 최선의 손실: 1.633930 정확도: 22.01% 26 검증 세트 손실: 1.754821 최선의 손실: 1.633930 정확도: 19.08% 27 검증 세트 손실: 1.805981 최선의 손실: 1.633930 정확도: 20.91% 28 검증 세트 손실: 2.286471 최선의 손실: 1.633930 정확도: 19.08% 29 검증 세트 손실: 1.765573 최선의 손실: 1.633930 정확도: 19.08% 30 검증 세트 손실: 1.802513 최선의 손실: 1.633930 정확도: 18.73% 31 검증 세트 손실: 1.952414 최선의 손실: 1.633930 정확도: 22.01% 32 검증 세트 손실: 1.889600 최선의 손실: 1.633930 정확도: 19.08% 33 검증 세트 손실: 1.746254 최선의 손실: 1.633930 정확도: 18.73% 34 검증 세트 손실: 1.687603 최선의 손실: 1.633930 정확도: 19.27% 조기 종료! [CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.5, batch_size=100, activation=<function elu at 0x7f8ec4ceef28>, total= 20.1s [CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.5, batch_size=100, activation=<function elu at 0x7f8ec4ceef28> 0 검증 세트 손실: 1.917151 최선의 손실: 1.917151 정확도: 20.91% 1 검증 세트 손실: 1.815832 최선의 손실: 1.815832 정확도: 19.27% 2 검증 세트 손실: 1.718748 최선의 손실: 1.718748 정확도: 19.08% 3 검증 세트 손실: 1.741903 최선의 손실: 1.718748 정확도: 19.27% 4 검증 세트 손실: 1.711227 최선의 손실: 1.711227 정확도: 20.91% 5 검증 세트 손실: 1.841204 최선의 손실: 1.711227 정확도: 20.91% 6 검증 세트 손실: 1.981241 최선의 손실: 1.711227 정확도: 19.27% 7 검증 세트 손실: 1.823837 최선의 손실: 1.711227 정확도: 18.73% 8 검증 세트 손실: 1.649626 최선의 손실: 1.649626 정확도: 22.01% 9 검증 세트 손실: 1.658233 최선의 손실: 1.649626 정확도: 19.08% 10 검증 세트 손실: 1.697025 최선의 손실: 1.649626 정확도: 19.08% 11 검증 세트 손실: 1.795746 최선의 손실: 1.649626 정확도: 22.01% 12 검증 세트 손실: 1.696243 최선의 손실: 1.649626 정확도: 19.08% 13 검증 세트 손실: 1.658498 최선의 손실: 1.649626 정확도: 22.01% 14 검증 세트 손실: 2.014428 최선의 손실: 1.649626 정확도: 22.01% 15 검증 세트 손실: 1.764182 최선의 손실: 1.649626 정확도: 19.08% 16 검증 세트 손실: 2.024533 최선의 손실: 1.649626 정확도: 18.73% 17 검증 세트 손실: 1.644925 최선의 손실: 1.644925 정확도: 18.73% 18 검증 세트 손실: 1.611368 최선의 손실: 1.611368 정확도: 22.01% 19 검증 세트 손실: 1.846961 최선의 손실: 1.611368 정확도: 22.01% 20 검증 세트 손실: 1.789089 최선의 손실: 1.611368 정확도: 19.27% 21 검증 세트 손실: 1.942418 최선의 손실: 1.611368 정확도: 22.01% 22 검증 세트 손실: 1.814189 최선의 손실: 1.611368 정확도: 20.91% 23 검증 세트 손실: 1.668507 최선의 손실: 1.611368 정확도: 20.91% 24 검증 세트 손실: 1.829171 최선의 손실: 1.611368 정확도: 18.73% 25 검증 세트 손실: 1.701741 최선의 손실: 1.611368 정확도: 22.01% 26 검증 세트 손실: 1.793180 최선의 손실: 1.611368 정확도: 18.73% 27 검증 세트 손실: 1.702975 최선의 손실: 1.611368 정확도: 20.91% 28 검증 세트 손실: 1.868966 최선의 손실: 1.611368 정확도: 19.08% 29 검증 세트 손실: 1.992545 최선의 손실: 1.611368 정확도: 19.08% 30 검증 세트 손실: 1.853257 최선의 손실: 1.611368 정확도: 20.91% 31 검증 세트 손실: 1.893147 최선의 손실: 1.611368 정확도: 22.01% 32 검증 세트 손실: 1.709123 최선의 손실: 1.611368 정확도: 19.08% 33 검증 세트 손실: 1.631055 최선의 손실: 1.611368 정확도: 19.08% 34 검증 세트 손실: 1.766896 최선의 손실: 1.611368 정확도: 20.91% 35 검증 세트 손실: 1.660939 최선의 손실: 1.611368 정확도: 22.01% 36 검증 세트 손실: 1.633772 최선의 손실: 1.611368 정확도: 20.91% 37 검증 세트 손실: 1.690549 최선의 손실: 1.611368 정확도: 19.08% 38 검증 세트 손실: 1.825047 최선의 손실: 1.611368 정확도: 18.73% 39 검증 세트 손실: 1.641241 최선의 손실: 1.611368 정확도: 18.73% 조기 종료! [CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.5, batch_size=100, activation=<function elu at 0x7f8ec4ceef28>, total= 22.7s
[Parallel(n_jobs=1)]: Done 150 out of 150 | elapsed: 56.6min finished
0 검증 세트 손실: 0.122114 최선의 손실: 0.122114 정확도: 96.36% 1 검증 세트 손실: 0.090846 최선의 손실: 0.090846 정확도: 97.34% 2 검증 세트 손실: 0.076135 최선의 손실: 0.076135 정확도: 97.73% 3 검증 세트 손실: 0.076648 최선의 손실: 0.076135 정확도: 97.97% 4 검증 세트 손실: 0.077858 최선의 손실: 0.076135 정확도: 97.97% 5 검증 세트 손실: 0.085518 최선의 손실: 0.076135 정확도: 97.73% 6 검증 세트 손실: 0.073521 최선의 손실: 0.073521 정확도: 98.01% 7 검증 세트 손실: 0.065320 최선의 손실: 0.065320 정확도: 98.01% 8 검증 세트 손실: 0.069004 최선의 손실: 0.065320 정확도: 98.01% 9 검증 세트 손실: 0.075684 최선의 손실: 0.065320 정확도: 98.08% 10 검증 세트 손실: 0.076308 최선의 손실: 0.065320 정확도: 97.89% 11 검증 세트 손실: 0.075953 최선의 손실: 0.065320 정확도: 98.24% 12 검증 세트 손실: 0.069105 최선의 손실: 0.065320 정확도: 98.28% 13 검증 세트 손실: 0.060984 최선의 손실: 0.060984 정확도: 98.24% 14 검증 세트 손실: 0.061395 최선의 손실: 0.060984 정확도: 98.28% 15 검증 세트 손실: 0.062493 최선의 손실: 0.060984 정확도: 98.36% 16 검증 세트 손실: 0.061157 최선의 손실: 0.060984 정확도: 98.40% 17 검증 세트 손실: 0.061906 최선의 손실: 0.060984 정확도: 98.36% 18 검증 세트 손실: 0.058131 최선의 손실: 0.058131 정확도: 98.28% 19 검증 세트 손실: 0.064894 최선의 손실: 0.058131 정확도: 98.55% 20 검증 세트 손실: 0.061141 최선의 손실: 0.058131 정확도: 98.44% 21 검증 세트 손실: 0.057822 최선의 손실: 0.057822 정확도: 98.48% 22 검증 세트 손실: 0.060801 최선의 손실: 0.057822 정확도: 98.44% 23 검증 세트 손실: 0.063140 최선의 손실: 0.057822 정확도: 98.36% 24 검증 세트 손실: 0.058493 최선의 손실: 0.057822 정확도: 98.36% 25 검증 세트 손실: 0.061931 최선의 손실: 0.057822 정확도: 98.44% 26 검증 세트 손실: 0.059117 최선의 손실: 0.057822 정확도: 98.44% 27 검증 세트 손실: 0.054950 최선의 손실: 0.054950 정확도: 98.48% 28 검증 세트 손실: 0.065412 최선의 손실: 0.054950 정확도: 98.36% 29 검증 세트 손실: 0.059850 최선의 손실: 0.054950 정확도: 98.48% 30 검증 세트 손실: 0.055051 최선의 손실: 0.054950 정확도: 98.55% 31 검증 세트 손실: 0.056478 최선의 손실: 0.054950 정확도: 98.51% 32 검증 세트 손실: 0.061971 최선의 손실: 0.054950 정확도: 98.24% 33 검증 세트 손실: 0.054899 최선의 손실: 0.054899 정확도: 98.48% 34 검증 세트 손실: 0.060113 최선의 손실: 0.054899 정확도: 98.40% 35 검증 세트 손실: 0.062961 최선의 손실: 0.054899 정확도: 98.36% 36 검증 세트 손실: 0.057541 최선의 손실: 0.054899 정확도: 98.55% 37 검증 세트 손실: 0.064459 최선의 손실: 0.054899 정확도: 98.48% 38 검증 세트 손실: 0.056334 최선의 손실: 0.054899 정확도: 98.59% 39 검증 세트 손실: 0.052903 최선의 손실: 0.052903 정확도: 98.55% 40 검증 세트 손실: 0.060997 최선의 손실: 0.052903 정확도: 98.40% 41 검증 세트 손실: 0.059658 최선의 손실: 0.052903 정확도: 98.44% 42 검증 세트 손실: 0.056916 최선의 손실: 0.052903 정확도: 98.44% 43 검증 세트 손실: 0.056920 최선의 손실: 0.052903 정확도: 98.48% 44 검증 세트 손실: 0.055776 최선의 손실: 0.052903 정확도: 98.48% 45 검증 세트 손실: 0.054954 최선의 손실: 0.052903 정확도: 98.55% 46 검증 세트 손실: 0.058928 최선의 손실: 0.052903 정확도: 98.44% 47 검증 세트 손실: 0.055088 최선의 손실: 0.052903 정확도: 98.75% 48 검증 세트 손실: 0.055446 최선의 손실: 0.052903 정확도: 98.51% 49 검증 세트 손실: 0.055371 최선의 손실: 0.052903 정확도: 98.44% 50 검증 세트 손실: 0.058281 최선의 손실: 0.052903 정확도: 98.63% 51 검증 세트 손실: 0.056732 최선의 손실: 0.052903 정확도: 98.59% 52 검증 세트 손실: 0.055205 최선의 손실: 0.052903 정확도: 98.67% 53 검증 세트 손실: 0.059905 최선의 손실: 0.052903 정확도: 98.67% 54 검증 세트 손실: 0.057021 최선의 손실: 0.052903 정확도: 98.63% 55 검증 세트 손실: 0.054876 최선의 손실: 0.052903 정확도: 98.59% 56 검증 세트 손실: 0.054136 최선의 손실: 0.052903 정확도: 98.59% 57 검증 세트 손실: 0.057763 최선의 손실: 0.052903 정확도: 98.63% 58 검증 세트 손실: 0.061181 최선의 손실: 0.052903 정확도: 98.59% 59 검증 세트 손실: 0.056420 최선의 손실: 0.052903 정확도: 98.48% 60 검증 세트 손실: 0.059772 최선의 손실: 0.052903 정확도: 98.51% 조기 종료!
RandomizedSearchCV(cv=3, error_score='raise-deprecating', estimator=DNNClassifier(activation=<function elu at 0x7f8ec4ceef28>, batch_norm_momentum=None, batch_size=20, dropout_rate=None, initializer=<tensorflow.python.ops.init_ops.VarianceScaling object at 0x7f8eb8842e80>, learning_rate=0.01, n_hidden_layers=5, n_neurons=100, optimizer_class=<class 'tensorflow.python.training.adam.AdamOptimizer'>, random_state=42), fit_params=None, iid='warn', n_iter=50, n_jobs=None, param_distributions={'n_neurons': [10, 30, 50, 70, 90, 100, 120, 140, 160], 'batch_size': [10, 50, 100, 500], 'learning_rate': [0.01, 0.02, 0.05, 0.1], 'activation': [<function relu at 0x7f8ec4c8c510>, <function elu at 0x7f8ec4ceef28>, <function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d6ae8>, <function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e383d61e0>], 'dropout_rate': [0.2, 0.3, 0.4, 0.5, 0.6]}, pre_dispatch='2*n_jobs', random_state=42, refit=True, return_train_score='warn', scoring=None, verbose=2)
rnd_search_dropout.best_params_
{'n_neurons': 50, 'learning_rate': 0.01, 'dropout_rate': 0.4, 'batch_size': 500, 'activation': <function __main__.leaky_relu.<locals>.parametrized_leaky_relu(z, name=None)>}
y_pred = rnd_search_dropout.predict(X_test1)
accuracy_score(y_test1, y_pred)
0.9871570344424986
음, 드롭아웃으로 모델 성능이 나아지지 않았습니다. 다음 번에 다시 도전해 보겠습니다! :)
하지만 괜찮습니다. 훌륭한 DNN을 만들었습니다. 배치 정규화를 사용했을 때 테스트 세트의 정확도가 99.4%이고 배치 정규화가 없을 때는 99.32%입니다. 0~4까지 학습한 것이 5~9 숫자를 분류하는 작업에 적용될 수 있는지 보겠습니다. 거의 성능이 비슷하므로 간단하게 만들기 위해서 배치 정규화를 뺀 DNN을 사용하겠습니다.
문제: 이전 모델에서 미리 학습한 은닉층을 모두 재사용하는 새로운 DNN을 만드세요. 이 은닉층을 동결시키고 소프트맥스 출력층은 새로운 것으로 바꾸세요.
최상 모델의 그래프를 로드하고 필요한 모든 중요한 연산에 대한 핸들을 얻습니다. 새로운 소프트맥스 출력층을 만드는 대신 원본에 있는 것을 재사용하겠습니다(출력의 개수가 동일하므로). 훈련 전에 파라미터를 다시 초기화합니다.
reset_graph()
restore_saver = tf.train.import_meta_graph("./my_best_mnist_model_0_to_4.meta")
X = tf.get_default_graph().get_tensor_by_name("X:0")
y = tf.get_default_graph().get_tensor_by_name("y:0")
loss = tf.get_default_graph().get_tensor_by_name("loss:0")
Y_proba = tf.get_default_graph().get_tensor_by_name("Y_proba:0")
logits = Y_proba.op.inputs[0]
accuracy = tf.get_default_graph().get_tensor_by_name("accuracy:0")
하위층을 동결하기 위해서 옵티마이저에게 전달하는 훈련 변수 목록에서 제외하고 출력층의 변수만 전달합니다:
learning_rate = 0.01
output_layer_vars = tf.get_collection(tf.GraphKeys.TRAINABLE_VARIABLES, scope="logits")
optimizer = tf.train.AdamOptimizer(learning_rate, name="Adam2")
training_op = optimizer.minimize(loss, var_list=output_layer_vars)
correct = tf.nn.in_top_k(logits, y, 1)
accuracy = tf.reduce_mean(tf.cast(correct, tf.float32), name="accuracy")
init = tf.global_variables_initializer()
five_frozen_saver = tf.train.Saver()
문제: 이 새로운 DNN을 숫자 5~9에 대해 숫자마다 100개의 이미지만 사용해 훈련시켜보고 얼마나 시간이 걸리는지 재보세요. 작은 양의 샘플만으로도 높은 성능을 얻을 수 있나요?
훈련, 검증, 테스트 세트를 만듭니다. 텐서플로는 0에서부터 n_classes-1
까지 레이블을 기대하기 때문에 레이블에서 5를 뺍니다.
X_train2_full = X_train[y_train >= 5]
y_train2_full = y_train[y_train >= 5] - 5
X_valid2_full = X_valid[y_valid >= 5]
y_valid2_full = y_valid[y_valid >= 5] - 5
X_test2 = X_test[y_test >= 5]
y_test2 = y_test[y_test >= 5] - 5
또 연습문제 목적에 따라서 훈련 세트에서 클래스마다 100개의 샘플만 사용합니다(검증 세트에서는 클래스마다 30개의 샘플만 사용합니다). 이를 위해 작은 함수를 만들겠습니다:
def sample_n_instances_per_class(X, y, n=100):
Xs, ys = [], []
for label in np.unique(y):
idx = (y == label)
Xc = X[idx][:n]
yc = y[idx][:n]
Xs.append(Xc)
ys.append(yc)
return np.concatenate(Xs), np.concatenate(ys)
X_train2, y_train2 = sample_n_instances_per_class(X_train2_full, y_train2_full, n=100)
X_valid2, y_valid2 = sample_n_instances_per_class(X_valid2_full, y_valid2_full, n=30)
이제 모델을 훈련시키죠. 초기화를 제외하고 조기 종료를 사용한 앞의 훈련 코드와 동일합니다. 먼저 모든 변수를 초기화하고 앞서 훈련된 최상의 모델(숫자 0에서 4까지 학습한)을 복원합니다. 그리고 마지막으로 출력층의 변수를 다시 초기화합니다.
import time
n_epochs = 1000
batch_size = 20
max_checks_without_progress = 20
checks_without_progress = 0
best_loss = np.infty
with tf.Session() as sess:
init.run()
restore_saver.restore(sess, "./my_best_mnist_model_0_to_4")
t0 = time.time()
for epoch in range(n_epochs):
rnd_idx = np.random.permutation(len(X_train2))
for rnd_indices in np.array_split(rnd_idx, len(X_train2) // batch_size):
X_batch, y_batch = X_train2[rnd_indices], y_train2[rnd_indices]
sess.run(training_op, feed_dict={X: X_batch, y: y_batch})
loss_val, acc_val = sess.run([loss, accuracy], feed_dict={X: X_valid2, y: y_valid2})
if loss_val < best_loss:
save_path = five_frozen_saver.save(sess, "./my_mnist_model_5_to_9_five_frozen")
best_loss = loss_val
checks_without_progress = 0
else:
checks_without_progress += 1
if checks_without_progress > max_checks_without_progress:
print("조기 종료!")
break
print("{}\t검증 세트 손실: {:.6f}\t최선의 손실: {:.6f}\t정확도: {:.2f}%".format(
epoch, loss_val, best_loss, acc_val * 100))
t1 = time.time()
print("전체 훈련 시간: {:.1f}s".format(t1 - t0))
with tf.Session() as sess:
five_frozen_saver.restore(sess, "./my_mnist_model_5_to_9_five_frozen")
acc_test = accuracy.eval(feed_dict={X: X_test2, y: y_test2})
print("최종 테스트 정확도: {:.2f}%".format(acc_test * 100))
INFO:tensorflow:Restoring parameters from ./my_best_mnist_model_0_to_4 0 검증 세트 손실: 1.208594 최선의 손실: 1.208594 정확도: 52.67% 1 검증 세트 손실: 1.125652 최선의 손실: 1.125652 정확도: 59.33% 2 검증 세트 손실: 1.031763 최선의 손실: 1.031763 정확도: 60.67% 3 검증 세트 손실: 1.070383 최선의 손실: 1.031763 정확도: 60.00% 4 검증 세트 손실: 1.084183 최선의 손실: 1.031763 정확도: 56.67% 5 검증 세트 손실: 1.084099 최선의 손실: 1.031763 정확도: 57.33% 6 검증 세트 손실: 1.022345 최선의 손실: 1.022345 정확도: 58.67% 7 검증 세트 손실: 1.000586 최선의 손실: 1.000586 정확도: 62.67% 8 검증 세트 손실: 1.037704 최선의 손실: 1.000586 정확도: 60.67% 9 검증 세트 손실: 1.001396 최선의 손실: 1.000586 정확도: 63.33% 10 검증 세트 손실: 1.048730 최선의 손실: 1.000586 정확도: 59.33% 11 검증 세트 손실: 1.124821 최선의 손실: 1.000586 정확도: 58.00% 12 검증 세트 손실: 1.198197 최선의 손실: 1.000586 정확도: 54.00% 13 검증 세트 손실: 1.129499 최선의 손실: 1.000586 정확도: 59.33% 14 검증 세트 손실: 1.116468 최선의 손실: 1.000586 정확도: 61.33% 15 검증 세트 손실: 1.107013 최선의 손실: 1.000586 정확도: 59.33% 16 검증 세트 손실: 1.028901 최선의 손실: 1.000586 정확도: 65.33% 17 검증 세트 손실: 1.009358 최선의 손실: 1.000586 정확도: 64.67% 18 검증 세트 손실: 1.054735 최선의 손실: 1.000586 정확도: 61.33% 19 검증 세트 손실: 1.071116 최선의 손실: 1.000586 정확도: 60.00% 20 검증 세트 손실: 1.010645 최선의 손실: 1.000586 정확도: 64.00% 21 검증 세트 손실: 1.047715 최선의 손실: 1.000586 정확도: 62.67% 22 검증 세트 손실: 1.048557 최선의 손실: 1.000586 정확도: 64.67% 23 검증 세트 손실: 1.008483 최선의 손실: 1.000586 정확도: 64.00% 24 검증 세트 손실: 1.010739 최선의 손실: 1.000586 정확도: 67.33% 25 검증 세트 손실: 1.010255 최선의 손실: 1.000586 정확도: 62.67% 26 검증 세트 손실: 1.073723 최선의 손실: 1.000586 정확도: 62.67% 27 검증 세트 손실: 1.007094 최선의 손실: 1.000586 정확도: 64.67% 28 검증 세트 손실: 0.993182 최선의 손실: 0.993182 정확도: 66.00% 29 검증 세트 손실: 1.072257 최선의 손실: 0.993182 정확도: 61.33% 30 검증 세트 손실: 1.035111 최선의 손실: 0.993182 정확도: 65.33% 31 검증 세트 손실: 1.037748 최선의 손실: 0.993182 정확도: 62.67% 32 검증 세트 손실: 1.007270 최선의 손실: 0.993182 정확도: 62.00% 33 검증 세트 손실: 1.020199 최선의 손실: 0.993182 정확도: 66.67% 34 검증 세트 손실: 0.982910 최선의 손실: 0.982910 정확도: 65.33% 35 검증 세트 손실: 1.051196 최선의 손실: 0.982910 정확도: 64.00% 36 검증 세트 손실: 1.104229 최선의 손실: 0.982910 정확도: 62.00% 37 검증 세트 손실: 1.058430 최선의 손실: 0.982910 정확도: 62.00% 38 검증 세트 손실: 1.013683 최선의 손실: 0.982910 정확도: 67.33% 39 검증 세트 손실: 1.090256 최선의 손실: 0.982910 정확도: 59.33% 40 검증 세트 손실: 1.054165 최선의 손실: 0.982910 정확도: 62.67% 41 검증 세트 손실: 1.035683 최선의 손실: 0.982910 정확도: 62.67% 42 검증 세트 손실: 1.049694 최선의 손실: 0.982910 정확도: 64.00% 43 검증 세트 손실: 1.065443 최선의 손실: 0.982910 정확도: 62.67% 44 검증 세트 손실: 1.008000 최선의 손실: 0.982910 정확도: 66.00% 45 검증 세트 손실: 1.143172 최선의 손실: 0.982910 정확도: 57.33% 46 검증 세트 손실: 1.003290 최선의 손실: 0.982910 정확도: 64.00% 47 검증 세트 손실: 1.034794 최선의 손실: 0.982910 정확도: 66.00% 48 검증 세트 손실: 1.073677 최선의 손실: 0.982910 정확도: 60.67% 49 검증 세트 손실: 1.161535 최선의 손실: 0.982910 정확도: 59.33% 50 검증 세트 손실: 1.147726 최선의 손실: 0.982910 정확도: 61.33% 51 검증 세트 손실: 1.049102 최선의 손실: 0.982910 정확도: 65.33% 52 검증 세트 손실: 1.073781 최선의 손실: 0.982910 정확도: 63.33% 53 검증 세트 손실: 1.053970 최선의 손실: 0.982910 정확도: 64.00% 54 검증 세트 손실: 1.049942 최선의 손실: 0.982910 정확도: 64.67% 조기 종료! 전체 훈련 시간: 1.1s INFO:tensorflow:Restoring parameters from ./my_mnist_model_5_to_9_five_frozen 최종 테스트 정확도: 59.82%
정확도가 아주 좋진 않네요. 물론 훈련 세트가 작기 때문이고 하나의 층만 바꾸었기 때문에 큰 기대를 하긴 어렵습니다.
문제: 동결된 층을 캐싱하고 모델을 다시 훈련시켜보세요. 얼마나 빨라졌나요?
먼저 마지막 동결층의 출력에 대한 핸들을 얻어옵니다:
hidden5_out = tf.get_default_graph().get_tensor_by_name("hidden5_out:0")
이제 이전과 거의 동일한 코드로 모델을 훈련합니다. 다른 점은 시작할 때 (훈련 세트와 검증 세트 모두) 동결층의 맨 꼭대기 층의 출력을 계산해서 캐싱하는 것입니다. 이렇게 하면 거의 1.5에서 3배 정도 훈련이 빨라집니다(시스템에 따라 이 수치는 매우 달라집니다):
import time
n_epochs = 1000
batch_size = 20
max_checks_without_progress = 20
checks_without_progress = 0
best_loss = np.infty
with tf.Session() as sess:
init.run()
restore_saver.restore(sess, "./my_best_mnist_model_0_to_4")
t0 = time.time()
hidden5_train = hidden5_out.eval(feed_dict={X: X_train2, y: y_train2})
hidden5_valid = hidden5_out.eval(feed_dict={X: X_valid2, y: y_valid2})
for epoch in range(n_epochs):
rnd_idx = np.random.permutation(len(X_train2))
for rnd_indices in np.array_split(rnd_idx, len(X_train2) // batch_size):
h5_batch, y_batch = hidden5_train[rnd_indices], y_train2[rnd_indices]
sess.run(training_op, feed_dict={hidden5_out: h5_batch, y: y_batch})
loss_val, acc_val = sess.run([loss, accuracy], feed_dict={hidden5_out: hidden5_valid, y: y_valid2})
if loss_val < best_loss:
save_path = five_frozen_saver.save(sess, "./my_mnist_model_5_to_9_five_frozen")
best_loss = loss_val
checks_without_progress = 0
else:
checks_without_progress += 1
if checks_without_progress > max_checks_without_progress:
print("조기 종료!")
break
print("{}\t검증 세트 손실: {:.6f}\t최선의 손실: {:.6f}\t정확도: {:.2f}%".format(
epoch, loss_val, best_loss, acc_val * 100))
t1 = time.time()
print("전체 훈련 시간: {:.1f}s".format(t1 - t0))
with tf.Session() as sess:
five_frozen_saver.restore(sess, "./my_mnist_model_5_to_9_five_frozen")
acc_test = accuracy.eval(feed_dict={X: X_test2, y: y_test2})
print("최종 테스트 정확도: {:.2f}%".format(acc_test * 100))
INFO:tensorflow:Restoring parameters from ./my_best_mnist_model_0_to_4 0 검증 세트 손실: 1.143336 최선의 손실: 1.143336 정확도: 60.00% 1 검증 세트 손실: 1.053893 최선의 손실: 1.053893 정확도: 58.00% 2 검증 세트 손실: 1.035241 최선의 손실: 1.035241 정확도: 58.00% 3 검증 세트 손실: 1.115405 최선의 손실: 1.035241 정확도: 57.33% 4 검증 세트 손실: 1.074412 최선의 손실: 1.035241 정확도: 61.33% 5 검증 세트 손실: 1.096418 최선의 손실: 1.035241 정확도: 55.33% 6 검증 세트 손실: 0.994066 최선의 손실: 0.994066 정확도: 64.00% 7 검증 세트 손실: 1.024826 최선의 손실: 0.994066 정확도: 63.33% 8 검증 세트 손실: 1.006593 최선의 손실: 0.994066 정확도: 59.33% 9 검증 세트 손실: 0.994020 최선의 손실: 0.994020 정확도: 62.00% 10 검증 세트 손실: 1.048680 최선의 손실: 0.994020 정확도: 60.00% 11 검증 세트 손실: 1.116867 최선의 손실: 0.994020 정확도: 60.00% 12 검증 세트 손실: 1.046596 최선의 손실: 0.994020 정확도: 62.67% 13 검증 세트 손실: 1.012614 최선의 손실: 0.994020 정확도: 62.67% 14 검증 세트 손실: 1.070288 최선의 손실: 0.994020 정확도: 61.33% 15 검증 세트 손실: 1.028782 최선의 손실: 0.994020 정확도: 61.33% 16 검증 세트 손실: 1.054658 최선의 손실: 0.994020 정확도: 62.67% 17 검증 세트 손실: 0.997931 최선의 손실: 0.994020 정확도: 64.67% 18 검증 세트 손실: 0.989779 최선의 손실: 0.989779 정확도: 64.00% 19 검증 세트 손실: 1.016768 최선의 손실: 0.989779 정확도: 64.00% 20 검증 세트 손실: 1.121027 최선의 손실: 0.989779 정확도: 58.67% 21 검증 세트 손실: 1.107086 최선의 손실: 0.989779 정확도: 57.33% 22 검증 세트 손실: 1.188906 최선의 손실: 0.989779 정확도: 53.33% 23 검증 세트 손실: 1.170027 최선의 손실: 0.989779 정확도: 59.33% 24 검증 세트 손실: 1.022846 최선의 손실: 0.989779 정확도: 64.67% 25 검증 세트 손실: 1.068830 최선의 손실: 0.989779 정확도: 61.33% 26 검증 세트 손실: 1.039071 최선의 손실: 0.989779 정확도: 66.67% 27 검증 세트 손실: 1.003727 최선의 손실: 0.989779 정확도: 62.67% 28 검증 세트 손실: 1.229447 최선의 손실: 0.989779 정확도: 54.67% 29 검증 세트 손실: 1.145063 최선의 손실: 0.989779 정확도: 58.00% 30 검증 세트 손실: 1.038691 최선의 손실: 0.989779 정확도: 64.00% 31 검증 세트 손실: 1.024062 최선의 손실: 0.989779 정확도: 63.33% 32 검증 세트 손실: 1.141826 최선의 손실: 0.989779 정확도: 56.67% 33 검증 세트 손실: 1.046040 최선의 손실: 0.989779 정확도: 62.67% 34 검증 세트 손실: 1.102883 최선의 손실: 0.989779 정확도: 59.33% 35 검증 세트 손실: 1.073792 최선의 손실: 0.989779 정확도: 61.33% 36 검증 세트 손실: 1.152765 최선의 손실: 0.989779 정확도: 58.67% 37 검증 세트 손실: 1.266114 최선의 손실: 0.989779 정확도: 55.33% 38 검증 세트 손실: 1.111887 최선의 손실: 0.989779 정확도: 60.67% 조기 종료! 전체 훈련 시간: 0.5s INFO:tensorflow:Restoring parameters from ./my_mnist_model_5_to_9_five_frozen 최종 테스트 정확도: 59.54%
문제: 다섯 개 대신 네 개의 은닉층만 재사용하여 다시 시도해보세요. 높은 성능을 얻을 수 있나요?
최상의 모델을 다시 로드합니다. 이번에는 4번째 은닉층 위에 새로운 소프트맥스 출력층을 만듭니다:
reset_graph()
n_outputs = 5
restore_saver = tf.train.import_meta_graph("./my_best_mnist_model_0_to_4.meta")
X = tf.get_default_graph().get_tensor_by_name("X:0")
y = tf.get_default_graph().get_tensor_by_name("y:0")
hidden4_out = tf.get_default_graph().get_tensor_by_name("hidden4_out:0")
logits = tf.layers.dense(hidden4_out, n_outputs, kernel_initializer=he_init, name="new_logits")
Y_proba = tf.nn.softmax(logits)
xentropy = tf.nn.sparse_softmax_cross_entropy_with_logits(labels=y, logits=logits)
loss = tf.reduce_mean(xentropy)
correct = tf.nn.in_top_k(logits, y, 1)
accuracy = tf.reduce_mean(tf.cast(correct, tf.float32), name="accuracy")
이제 훈련 연산을 만듭니다. 출력층을 제외하고 모든 층을 동결시킵니다:
learning_rate = 0.01
output_layer_vars = tf.get_collection(tf.GraphKeys.TRAINABLE_VARIABLES, scope="new_logits")
optimizer = tf.train.AdamOptimizer(learning_rate, name="Adam2")
training_op = optimizer.minimize(loss, var_list=output_layer_vars)
init = tf.global_variables_initializer()
four_frozen_saver = tf.train.Saver()
여기에서도 이전과 코드는 동일합니다. 노트: 물론 같은 코드를 계속 복사해서 쓰는 대신 함수를 만들어 이를 여러번 호출할 수 있습니다. 하지만 코드를 조금씩 바꾸어야 하기 때문에 함수의 매개변수와 if
문장이 많아질 것입니다. 이렇게 하면 매우 복잡해지므로 그냥 복사해서 쓰는 게 낫습니다.
n_epochs = 1000
batch_size = 20
max_checks_without_progress = 20
checks_without_progress = 0
best_loss = np.infty
with tf.Session() as sess:
init.run()
restore_saver.restore(sess, "./my_best_mnist_model_0_to_4")
for epoch in range(n_epochs):
rnd_idx = np.random.permutation(len(X_train2))
for rnd_indices in np.array_split(rnd_idx, len(X_train2) // batch_size):
X_batch, y_batch = X_train2[rnd_indices], y_train2[rnd_indices]
sess.run(training_op, feed_dict={X: X_batch, y: y_batch})
loss_val, acc_val = sess.run([loss, accuracy], feed_dict={X: X_valid2, y: y_valid2})
if loss_val < best_loss:
save_path = four_frozen_saver.save(sess, "./my_mnist_model_5_to_9_four_frozen")
best_loss = loss_val
checks_without_progress = 0
else:
checks_without_progress += 1
if checks_without_progress > max_checks_without_progress:
print("조기 종료!")
break
print("{}\t검증 세트 손실: {:.6f}\t최선의 손실: {:.6f}\t정확도: {:.2f}%".format(
epoch, loss_val, best_loss, acc_val * 100))
with tf.Session() as sess:
four_frozen_saver.restore(sess, "./my_mnist_model_5_to_9_four_frozen")
acc_test = accuracy.eval(feed_dict={X: X_test2, y: y_test2})
print("최종 테스트 정확도: {:.2f}%".format(acc_test * 100))
INFO:tensorflow:Restoring parameters from ./my_best_mnist_model_0_to_4 0 검증 세트 손실: 1.048482 최선의 손실: 1.048482 정확도: 60.00% 1 검증 세트 손실: 1.037545 최선의 손실: 1.037545 정확도: 61.33% 2 검증 세트 손실: 0.993248 최선의 손실: 0.993248 정확도: 62.67% 3 검증 세트 손실: 0.970039 최선의 손실: 0.970039 정확도: 62.67% 4 검증 세트 손실: 1.002418 최선의 손실: 0.970039 정확도: 62.67% 5 검증 세트 손실: 0.998524 최선의 손실: 0.970039 정확도: 63.33% 6 검증 세트 손실: 0.970560 최선의 손실: 0.970039 정확도: 65.33% 7 검증 세트 손실: 0.967532 최선의 손실: 0.967532 정확도: 67.33% 8 검증 세트 손실: 0.963870 최선의 손실: 0.963870 정확도: 62.67% 9 검증 세트 손실: 0.941162 최선의 손실: 0.941162 정확도: 66.00% 10 검증 세트 손실: 0.970546 최선의 손실: 0.941162 정확도: 66.00% 11 검증 세트 손실: 1.004680 최선의 손실: 0.941162 정확도: 62.00% 12 검증 세트 손실: 1.010821 최선의 손실: 0.941162 정확도: 64.00% 13 검증 세트 손실: 0.987529 최선의 손실: 0.941162 정확도: 64.00% 14 검증 세트 손실: 0.987101 최선의 손실: 0.941162 정확도: 67.33% 15 검증 세트 손실: 0.944584 최선의 손실: 0.941162 정확도: 70.00% 16 검증 세트 손실: 0.946450 최선의 손실: 0.941162 정확도: 68.00% 17 검증 세트 손실: 0.941269 최선의 손실: 0.941162 정확도: 68.67% 18 검증 세트 손실: 0.951220 최선의 손실: 0.941162 정확도: 70.00% 19 검증 세트 손실: 0.936041 최선의 손실: 0.936041 정확도: 68.67% 20 검증 세트 손실: 0.922500 최선의 손실: 0.922500 정확도: 68.67% 21 검증 세트 손실: 0.956814 최선의 손실: 0.922500 정확도: 69.33% 22 검증 세트 손실: 0.952158 최선의 손실: 0.922500 정확도: 68.00% 23 검증 세트 손실: 0.927083 최선의 손실: 0.922500 정확도: 71.33% 24 검증 세트 손실: 0.938449 최선의 손실: 0.922500 정확도: 69.33% 25 검증 세트 손실: 0.946908 최선의 손실: 0.922500 정확도: 68.00% 26 검증 세트 손실: 0.948314 최선의 손실: 0.922500 정확도: 69.33% 27 검증 세트 손실: 0.929582 최선의 손실: 0.922500 정확도: 68.67% 28 검증 세트 손실: 0.908840 최선의 손실: 0.908840 정확도: 70.67% 29 검증 세트 손실: 0.931921 최선의 손실: 0.908840 정확도: 70.67% 30 검증 세트 손실: 0.922220 최선의 손실: 0.908840 정확도: 70.00% 31 검증 세트 손실: 0.951170 최선의 손실: 0.908840 정확도: 69.33% 32 검증 세트 손실: 0.952185 최선의 손실: 0.908840 정확도: 70.00% 33 검증 세트 손실: 0.946700 최선의 손실: 0.908840 정확도: 68.67% 34 검증 세트 손실: 0.909596 최선의 손실: 0.908840 정확도: 71.33% 35 검증 세트 손실: 0.980951 최선의 손실: 0.908840 정확도: 66.00% 36 검증 세트 손실: 0.971090 최선의 손실: 0.908840 정확도: 68.00% 37 검증 세트 손실: 0.972070 최선의 손실: 0.908840 정확도: 70.00% 38 검증 세트 손실: 0.944152 최선의 손실: 0.908840 정확도: 69.33% 39 검증 세트 손실: 0.974250 최선의 손실: 0.908840 정확도: 68.00% 40 검증 세트 손실: 0.954763 최선의 손실: 0.908840 정확도: 71.33% 41 검증 세트 손실: 0.933572 최선의 손실: 0.908840 정확도: 69.33% 42 검증 세트 손실: 0.966621 최선의 손실: 0.908840 정확도: 72.67% 43 검증 세트 손실: 0.946610 최선의 손실: 0.908840 정확도: 67.33% 44 검증 세트 손실: 0.924347 최선의 손실: 0.908840 정확도: 71.33% 45 검증 세트 손실: 1.017821 최선의 손실: 0.908840 정확도: 67.33% 46 검증 세트 손실: 0.930858 최선의 손실: 0.908840 정확도: 69.33% 47 검증 세트 손실: 0.952527 최선의 손실: 0.908840 정확도: 69.33% 48 검증 세트 손실: 0.978020 최선의 손실: 0.908840 정확도: 68.67% 조기 종료! INFO:tensorflow:Restoring parameters from ./my_mnist_model_5_to_9_four_frozen 최종 테스트 정확도: 64.95%
아주 훌륭하지는 않지만 더 나아졌습니다.
문제: 이제 최상단 두 개 층의 동결을 해제하고 훈련을 계속 해보세요. 더 나은 모델을 얻을 수 있나요?
learning_rate = 0.01
unfrozen_vars = tf.get_collection(tf.GraphKeys.TRAINABLE_VARIABLES, scope="hidden[34]|new_logits")
optimizer = tf.train.AdamOptimizer(learning_rate, name="Adam3")
training_op = optimizer.minimize(loss, var_list=unfrozen_vars)
init = tf.global_variables_initializer()
two_frozen_saver = tf.train.Saver()
n_epochs = 1000
batch_size = 20
max_checks_without_progress = 20
checks_without_progress = 0
best_loss = np.infty
with tf.Session() as sess:
init.run()
four_frozen_saver.restore(sess, "./my_mnist_model_5_to_9_four_frozen")
for epoch in range(n_epochs):
rnd_idx = np.random.permutation(len(X_train2))
for rnd_indices in np.array_split(rnd_idx, len(X_train2) // batch_size):
X_batch, y_batch = X_train2[rnd_indices], y_train2[rnd_indices]
sess.run(training_op, feed_dict={X: X_batch, y: y_batch})
loss_val, acc_val = sess.run([loss, accuracy], feed_dict={X: X_valid2, y: y_valid2})
if loss_val < best_loss:
save_path = two_frozen_saver.save(sess, "./my_mnist_model_5_to_9_two_frozen")
best_loss = loss_val
checks_without_progress = 0
else:
checks_without_progress += 1
if checks_without_progress > max_checks_without_progress:
print("조기 종료!")
break
print("{}\t검증 세트 손실: {:.6f}\t최선의 손실: {:.6f}\t정확도: {:.2f}%".format(
epoch, loss_val, best_loss, acc_val * 100))
with tf.Session() as sess:
two_frozen_saver.restore(sess, "./my_mnist_model_5_to_9_two_frozen")
acc_test = accuracy.eval(feed_dict={X: X_test2, y: y_test2})
print("최종 테스트 정확도: {:.2f}%".format(acc_test * 100))
INFO:tensorflow:Restoring parameters from ./my_mnist_model_5_to_9_four_frozen 0 검증 세트 손실: 1.229037 최선의 손실: 1.229037 정확도: 65.33% 1 검증 세트 손실: 0.823991 최선의 손실: 0.823991 정확도: 78.00% 2 검증 세트 손실: 0.944453 최선의 손실: 0.823991 정확도: 80.00% 3 검증 세트 손실: 0.795939 최선의 손실: 0.795939 정확도: 82.67% 4 검증 세트 손실: 0.967934 최선의 손실: 0.795939 정확도: 80.00% 5 검증 세트 손실: 0.965091 최선의 손실: 0.795939 정확도: 78.00% 6 검증 세트 손실: 1.074672 최선의 손실: 0.795939 정확도: 82.00% 7 검증 세트 손실: 1.255242 최선의 손실: 0.795939 정확도: 78.67% 8 검증 세트 손실: 1.160698 최선의 손실: 0.795939 정확도: 77.33% 9 검증 세트 손실: 1.532860 최선의 손실: 0.795939 정확도: 75.33% 10 검증 세트 손실: 1.173549 최선의 손실: 0.795939 정확도: 80.67% 11 검증 세트 손실: 1.371204 최선의 손실: 0.795939 정확도: 80.00% 12 검증 세트 손실: 1.045168 최선의 손실: 0.795939 정확도: 80.67% 13 검증 세트 손실: 1.145360 최선의 손실: 0.795939 정확도: 79.33% 14 검증 세트 손실: 1.220427 최선의 손실: 0.795939 정확도: 80.67% 15 검증 세트 손실: 1.248589 최선의 손실: 0.795939 정확도: 82.67% 16 검증 세트 손실: 1.446209 최선의 손실: 0.795939 정확도: 78.67% 17 검증 세트 손실: 1.304075 최선의 손실: 0.795939 정확도: 83.33% 18 검증 세트 손실: 1.313746 최선의 손실: 0.795939 정확도: 83.33% 19 검증 세트 손실: 1.356169 최선의 손실: 0.795939 정확도: 84.00% 20 검증 세트 손실: 1.394791 최선의 손실: 0.795939 정확도: 81.33% 21 검증 세트 손실: 1.637290 최선의 손실: 0.795939 정확도: 78.67% 22 검증 세트 손실: 1.964384 최선의 손실: 0.795939 정확도: 80.00% 23 검증 세트 손실: 1.949362 최선의 손실: 0.795939 정확도: 78.00% 조기 종료! INFO:tensorflow:Restoring parameters from ./my_mnist_model_5_to_9_two_frozen 최종 테스트 정확도: 79.24%
모든 층을 동결 해제하고 정확도를 계산해 보겠습니다:
learning_rate = 0.01
optimizer = tf.train.AdamOptimizer(learning_rate, name="Adam4")
training_op = optimizer.minimize(loss)
init = tf.global_variables_initializer()
no_frozen_saver = tf.train.Saver()
n_epochs = 1000
batch_size = 20
max_checks_without_progress = 20
checks_without_progress = 0
best_loss = np.infty
with tf.Session() as sess:
init.run()
two_frozen_saver.restore(sess, "./my_mnist_model_5_to_9_two_frozen")
for epoch in range(n_epochs):
rnd_idx = np.random.permutation(len(X_train2))
for rnd_indices in np.array_split(rnd_idx, len(X_train2) // batch_size):
X_batch, y_batch = X_train2[rnd_indices], y_train2[rnd_indices]
sess.run(training_op, feed_dict={X: X_batch, y: y_batch})
loss_val, acc_val = sess.run([loss, accuracy], feed_dict={X: X_valid2, y: y_valid2})
if loss_val < best_loss:
save_path = no_frozen_saver.save(sess, "./my_mnist_model_5_to_9_no_frozen")
best_loss = loss_val
checks_without_progress = 0
else:
checks_without_progress += 1
if checks_without_progress > max_checks_without_progress:
print("조기 종료!")
break
print("{}\t검증 세트 손실: {:.6f}\t최선의 손실: {:.6f}\t정확도: {:.2f}%".format(
epoch, loss_val, best_loss, acc_val * 100))
with tf.Session() as sess:
no_frozen_saver.restore(sess, "./my_mnist_model_5_to_9_no_frozen")
acc_test = accuracy.eval(feed_dict={X: X_test2, y: y_test2})
print("최종 테스트 정확도: {:.2f}%".format(acc_test * 100))
INFO:tensorflow:Restoring parameters from ./my_mnist_model_5_to_9_two_frozen 0 검증 세트 손실: 1.091922 최선의 손실: 1.091922 정확도: 86.67% 1 검증 세트 손실: 0.557775 최선의 손실: 0.557775 정확도: 86.00% 2 검증 세트 손실: 0.686081 최선의 손실: 0.557775 정확도: 84.00% 3 검증 세트 손실: 0.403672 최선의 손실: 0.403672 정확도: 90.00% 4 검증 세트 손실: 1.062363 최선의 손실: 0.403672 정확도: 90.00% 5 검증 세트 손실: 0.952279 최선의 손실: 0.403672 정확도: 89.33% 6 검증 세트 손실: 1.306841 최선의 손실: 0.403672 정확도: 90.00% 7 검증 세트 손실: 1.222309 최선의 손실: 0.403672 정확도: 86.67% 8 검증 세트 손실: 1.454498 최선의 손실: 0.403672 정확도: 88.67% 9 검증 세트 손실: 1.003452 최선의 손실: 0.403672 정확도: 90.00% 10 검증 세트 손실: 9.119738 최선의 손실: 0.403672 정확도: 80.67% 11 검증 세트 손실: 1.140239 최선의 손실: 0.403672 정확도: 87.33% 12 검증 세트 손실: 0.785963 최선의 손실: 0.403672 정확도: 91.33% 13 검증 세트 손실: 5.012322 최선의 손실: 0.403672 정확도: 87.33% 14 검증 세트 손실: 8.965153 최선의 손실: 0.403672 정확도: 74.00% 15 검증 세트 손실: 21.502031 최선의 손실: 0.403672 정확도: 85.33% 16 검증 세트 손실: 0.447020 최선의 손실: 0.403672 정확도: 86.67% 17 검증 세트 손실: 0.579159 최선의 손실: 0.403672 정확도: 92.67% 18 검증 세트 손실: 1.043476 최선의 손실: 0.403672 정확도: 93.33% 19 검증 세트 손실: 1.467320 최선의 손실: 0.403672 정확도: 89.33% 20 검증 세트 손실: 0.984084 최선의 손실: 0.403672 정확도: 92.67% 21 검증 세트 손실: 1.313049 최선의 손실: 0.403672 정확도: 94.00% 22 검증 세트 손실: 1.258907 최선의 손실: 0.403672 정확도: 91.33% 23 검증 세트 손실: 1.202586 최선의 손실: 0.403672 정확도: 92.67% 조기 종료! INFO:tensorflow:Restoring parameters from ./my_mnist_model_5_to_9_no_frozen 최종 테스트 정확도: 88.03%
그냥 처음부터 훈련시킨 DNN과 비교해 보겠습니다:
dnn_clf_5_to_9 = DNNClassifier(n_hidden_layers=4, random_state=42)
dnn_clf_5_to_9.fit(X_train2, y_train2, n_epochs=1000, X_valid=X_valid2, y_valid=y_valid2)
0 검증 세트 손실: 0.674607 최선의 손실: 0.674607 정확도: 80.67% 1 검증 세트 손실: 0.584856 최선의 손실: 0.584856 정확도: 88.67% 2 검증 세트 손실: 0.647374 최선의 손실: 0.584856 정확도: 84.00% 3 검증 세트 손실: 0.530286 최선의 손실: 0.530286 정확도: 87.33% 4 검증 세트 손실: 0.683795 최선의 손실: 0.530286 정확도: 90.00% 5 검증 세트 손실: 0.533817 최선의 손실: 0.530286 정확도: 89.33% 6 검증 세트 손실: 0.722391 최선의 손실: 0.530286 정확도: 90.00% 7 검증 세트 손실: 0.949340 최선의 손실: 0.530286 정확도: 86.00% 8 검증 세트 손실: 1.288367 최선의 손실: 0.530286 정확도: 87.33% 9 검증 세트 손실: 0.804849 최선의 손실: 0.530286 정확도: 88.67% 10 검증 세트 손실: 0.686657 최선의 손실: 0.530286 정확도: 92.67% 11 검증 세트 손실: 2.097369 최선의 손실: 0.530286 정확도: 89.33% 12 검증 세트 손실: 0.680021 최선의 손실: 0.530286 정확도: 92.00% 13 검증 세트 손실: 1.210096 최선의 손실: 0.530286 정확도: 87.33% 14 검증 세트 손실: 0.792180 최선의 손실: 0.530286 정확도: 92.00% 15 검증 세트 손실: 1.430539 최선의 손실: 0.530286 정확도: 91.33% 16 검증 세트 손실: 1.673151 최선의 손실: 0.530286 정확도: 80.67% 17 검증 세트 손실: 0.823218 최선의 손실: 0.530286 정확도: 90.67% 18 검증 세트 손실: 1.503210 최선의 손실: 0.530286 정확도: 86.67% 19 검증 세트 손실: 1.169836 최선의 손실: 0.530286 정확도: 88.00% 20 검증 세트 손실: 0.984067 최선의 손실: 0.530286 정확도: 91.33% 21 검증 세트 손실: 0.893258 최선의 손실: 0.530286 정확도: 92.00% 22 검증 세트 손실: 1.165162 최선의 손실: 0.530286 정확도: 90.00% 23 검증 세트 손실: 1.353928 최선의 손실: 0.530286 정확도: 90.00% 24 검증 세트 손실: 1.493859 최선의 손실: 0.530286 정확도: 90.00% 조기 종료!
DNNClassifier(activation=<function elu at 0x7f8ec4ceef28>, batch_norm_momentum=None, batch_size=20, dropout_rate=None, initializer=<tensorflow.python.ops.init_ops.VarianceScaling object at 0x7f8eb8842e80>, learning_rate=0.01, n_hidden_layers=4, n_neurons=100, optimizer_class=<class 'tensorflow.python.training.adam.AdamOptimizer'>, random_state=42)
y_pred = dnn_clf_5_to_9.predict(X_test2)
accuracy_score(y_test2, y_pred)
0.8481793869574161
와우 매우 안좋네요! ;) 전이 학습이 이 작업에 큰 도움이 안되었습니다. 하지만 다음 연습문제에서는 나은 결과를 얻을 수 있습니다.
이 예제에서는 두 개의 MNIST 숫자 이미지를 비교해서 두 이미지가 같은 숫자인지 아닌지 예측하는 DNN을 만들 것입니다. 그런 다음 이 네트워크의 하위층을 재사용하여 아주 적은 훈련 데이터로 MNIST 분류기를 훈련시킬 것입니다.
문제: 두 개의 DNN을 만드세요(이들을 DNN A, B라고 부르겠습니다). 이들은 출력층이 없는 것만 빼고는 앞서만든 것과 비슷합니다. 각 DNN은 다섯 개의 층을 가졌고 각 층은 He 초기화와 ELU 활성화 함수를 사용한 100개의 뉴런으로 되어 있습니다. 그다음에는 두 DNN 위에 하나의 출력층을 추가합니다. 텐서플로의 concat()
함수를 axis=1
로 지정해서 수평축을 따라 두 DNN의 출력을 연결합니다. 그리고 그 결과를 출력층에 주입합니다. 출력층에는 로지스틱 활성화 함수를 사용하는 하나의 뉴런만 있어야 합니다.
두 개의 입력 플레이스홀더 X1
과 X2
를 준비할 수 있습니다. 하나는 첫 번째 DNN에 이미지를 주입하기 위해서이고 다른 하나는 두 번째 DNN에 이미지를 주입하기 위해서입니다. 이렇게 해도 되지만 다른 방법은 두 이미지를 위해 하나의 입력 플레이스홀더를 만드는 것입니다(각 행은 이미지의 쌍을 담고 있습니다). 그리고 tf.unstack()
함수를 사용하여 다음과 같이 이 텐서를 두 개의 텐서로 나눕니다:
n_inputs = 28 * 28 # MNIST
reset_graph()
X = tf.placeholder(tf.float32, shape=(None, 2, n_inputs), name="X")
X1, X2 = tf.unstack(X, axis=1)
레이블을 위한 플레이스홀더도 필요합니다. 각 레이블은 이미지가 다른 숫자일 때는 0, 그렇지 않고 동일한 숫자일 때는 1이 됩니다:
y = tf.placeholder(tf.int32, shape=[None, 1])
이 입력을 두 개의 DNN에 주입하겠습니다:
dnn1 = dnn(X1, name="DNN_A")
dnn2 = dnn(X2, name="DNN_B")
출력을 합칩니다:
dnn_outputs = tf.concat([dnn1, dnn2], axis=1)
각 DNN은 (샘플마다) 100개의 활성화 함수 출력을 만드므로 크기는 [None, 100]
이 됩니다:
dnn1.shape
TensorShape([Dimension(None), Dimension(100)])
dnn2.shape
TensorShape([Dimension(None), Dimension(100)])
당연히 합쳐진 출력의 크기는 [None, 200]
이 됩니다:
dnn_outputs.shape
TensorShape([Dimension(None), Dimension(200)])
이제 10개의 뉴런으로 된 은닉층과 하나의 뉴런으로 된 출력층을 추가합니다:
hidden = tf.layers.dense(dnn_outputs, units=10, activation=tf.nn.elu, kernel_initializer=he_init)
logits = tf.layers.dense(hidden, units=1, kernel_initializer=he_init)
y_proba = tf.nn.sigmoid(logits)
전체 네트워크는 y_proba >= 0.5
이면 1
을 예측하고(즉, 신경망이 두 이미지가 동일한 숫자라고 예측합니다) 그렇지 않으면 0
을 출력합니다. 여기서는 이와 동일하고 불필요한 계산을 줄이기 위해 logits >= 0
을 계산합니다:
y_pred = tf.cast(tf.greater_equal(logits, 0), tf.int32)
비용 함수를 추가합니다:
y_as_float = tf.cast(y, tf.float32)
xentropy = tf.nn.sigmoid_cross_entropy_with_logits(labels=y_as_float, logits=logits)
loss = tf.reduce_mean(xentropy)
이제 옵티마이저를 사용해 훈련 연산을 만듭니다:
learning_rate = 0.01
momentum = 0.95
optimizer = tf.train.MomentumOptimizer(learning_rate, momentum, use_nesterov=True)
training_op = optimizer.minimize(loss)
분류기의 정확도를 측정합니다.
y_pred_correct = tf.equal(y_pred, y)
accuracy = tf.reduce_mean(tf.cast(y_pred_correct, tf.float32))
초기화 연산과 Saver
객체를 만듭니다:
init = tf.global_variables_initializer()
saver = tf.train.Saver()
문제: MNIST 데이터셋을 두 개로 나눕니다. 분할 #1은 55,000개의 이미지, 분할 #2는 5,000개의 이미지를 담고 있어야 합니다. 분할 #1로부터 선택한 MNIST 이미지 한 쌍을 샘플로 가지는 훈련 배치를 생성하는 함수를 만드세요. 훈련 세트의 절반은 같은 클래스에 속하는 이미지 쌍이어야 합니다. 나머지 절반은 다른 클래스로부터 추출한 이미지여야 합니다. 각 쌍에 대해 훈련 레이블은 이미지가 같은 클래스면 0, 다른 클래스면 1이어야 합니다.
텐서플로의 input_data()
함수에서 반환되는 MNIST 데이터셋은 이미 3개의 부분으로 나뉘어져 있습니다: 훈련 세트(55,000개 샘플), 검증 세트(5,000개 샘플), 테스트 세트(10,000개 샘플). 첫 번째 세트를 사용해 이미지 쌍을 구성하는 훈련 세트를 만들고 두 번째 세트로 연습문제의 2단계(일반 MNIST 분류기를 훈련시키는 것)를 수행하겠습니다. 세 번째 세트로 이 두 단계를 평가하도록 하겠습니다.
X_train1 = X_train
y_train1 = y_train
X_train2 = X_valid
y_train2 = y_valid
X_test = X_test
y_test = y_test
이미지 쌍을 생성하는 함수를 만듭니다: 50%는 같은 숫자이고 나머지 50%는 다른 숫자여야 합니다. 방법은 많이 있습니다. 여기에서는 생성할 동일한 쌍(즉 같은 숫자의 이미지)과 다른 쌍(다른 숫자의 이미지)이 얼마나 많은지 계산합니다. 간단하게 batch_size // 2
를 사용해 계산하고 홀수일 경우를 대비한 코드를 추가합니다. 그리고 무작위로 쌍을 골라서 같은 숫자에 해당하는 쌍을 선택합니다. 그다음 다른 숫자의 쌍을 채웁니다. 마지막으로 배치를 섞고 반환합니다:
def generate_batch(images, labels, batch_size):
size1 = batch_size // 2
size2 = batch_size - size1
if size1 != size2 and np.random.rand() > 0.5:
size1, size2 = size2, size1
X = []
y = []
while len(X) < size1:
rnd_idx1, rnd_idx2 = np.random.randint(0, len(images), 2)
if rnd_idx1 != rnd_idx2 and labels[rnd_idx1] == labels[rnd_idx2]:
X.append(np.array([images[rnd_idx1], images[rnd_idx2]]))
y.append([1])
while len(X) < batch_size:
rnd_idx1, rnd_idx2 = np.random.randint(0, len(images), 2)
if labels[rnd_idx1] != labels[rnd_idx2]:
X.append(np.array([images[rnd_idx1], images[rnd_idx2]]))
y.append([0])
rnd_indices = np.random.permutation(batch_size)
return np.array(X)[rnd_indices], np.array(y)[rnd_indices]
테스트로 5개의 이미지 쌍을 생성해 보겠습니다:
batch_size = 5
X_batch, y_batch = generate_batch(X_train1, y_train1, batch_size)
X_batch
의 각 행은 이미지 쌍을 가지고 있습니다:
X_batch.shape, X_batch.dtype
((5, 2, 784), dtype('float32'))
이 쌍을 확인해 보죠:
plt.figure(figsize=(3, 3 * batch_size))
plt.subplot(121)
plt.imshow(X_batch[:,0].reshape(28 * batch_size, 28), cmap="binary", interpolation="nearest")
plt.axis('off')
plt.subplot(122)
plt.imshow(X_batch[:,1].reshape(28 * batch_size, 28), cmap="binary", interpolation="nearest")
plt.axis('off')
plt.show()
레이블을 확인해 보겠습니다(0은 "다른 것", 1은 "같은 것"을 의미합니다):
y_batch
array([[1], [0], [0], [1], [0]])
완벽하네요!
문제: 이 훈련 세트로 DNN을 훈련시키세요. 각각의 이미지 쌍에서 첫 번째 이미지는 DNN A에, 두 번째 이미지는 DNN B에 동시에 주입합니다. 전체 네트워크는 두 이미지가 같은 클래스인지 아닌지 구분하도록 점차 학습될 것입니다.
MNIST 테스트 세트에서 추출한 이미지 쌍으로 테스트 세트를 만듭니다:
X_test1, y_test1 = generate_batch(X_test, y_test, batch_size=len(X_test))
이제 모델을 훈련시킵니다. batch_size
가 크다는 것외에는 이 단계에 특별한 것은 없습니다. 배치 사이즈가 크지 않으면 모델이 학습을 실패하고 50% 정확도밖에 도달하지 못할 것입니다:
n_epochs = 100
batch_size = 500
with tf.Session() as sess:
init.run()
for epoch in range(n_epochs):
for iteration in range(len(X_train1) // batch_size):
X_batch, y_batch = generate_batch(X_train1, y_train1, batch_size)
loss_val, _ = sess.run([loss, training_op], feed_dict={X: X_batch, y: y_batch})
print(epoch, "훈련 손실:", loss_val)
if epoch % 5 == 0:
acc_test = accuracy.eval(feed_dict={X: X_test1, y: y_test1})
print(epoch, "테스트 정확도:", acc_test)
save_path = saver.save(sess, "./my_digit_comparison_model.ckpt")
0 훈련 손실: 0.69103277 0 테스트 정확도: 0.542 1 훈련 손실: 0.60353535 2 훈련 손실: 0.5494604 3 훈련 손실: 0.47047246 4 훈련 손실: 0.4060757 5 훈련 손실: 0.3830816 5 테스트 정확도: 0.824 6 훈련 손실: 0.39047274 7 훈련 손실: 0.33907944 8 훈련 손실: 0.32106704 9 훈련 손실: 0.31792682 10 훈련 손실: 0.2449429 10 테스트 정확도: 0.8881 11 훈련 손실: 0.2929237 12 훈련 손실: 0.2322544 13 훈련 손실: 0.23180935 14 훈련 손실: 0.19877945 15 훈련 손실: 0.20065445 15 테스트 정확도: 0.9203 16 훈련 손실: 0.19700484 17 훈련 손실: 0.18893169 18 훈련 손실: 0.19965445 19 훈련 손실: 0.24071623 20 훈련 손실: 0.18882048 20 테스트 정확도: 0.9367 21 훈련 손실: 0.124192186 22 훈련 손실: 0.1401344 23 훈련 손실: 0.12078959 24 훈련 손실: 0.15721178 25 훈련 손실: 0.11507866 25 테스트 정확도: 0.948 26 훈련 손실: 0.13891123 27 훈련 손실: 0.15260853 28 훈련 손실: 0.12343661 29 훈련 손실: 0.11543142 30 훈련 손실: 0.114027806 30 테스트 정확도: 0.9507 31 훈련 손실: 0.11897193 32 훈련 손실: 0.09546791 33 훈련 손실: 0.08299375 34 훈련 손실: 0.13659406 35 훈련 손실: 0.06801656 35 테스트 정확도: 0.9592 36 훈련 손실: 0.110167034 37 훈련 손실: 0.049502444 38 훈련 손실: 0.0813376 39 훈련 손실: 0.09441994 40 훈련 손실: 0.08737232 40 테스트 정확도: 0.9619 41 훈련 손실: 0.07679169 42 훈련 손실: 0.06596794 43 훈련 손실: 0.083247855 44 훈련 손실: 0.07457321 45 훈련 손실: 0.14072452 45 테스트 정확도: 0.9656 46 훈련 손실: 0.06726562 47 훈련 손실: 0.09937136 48 훈련 손실: 0.049632233 49 훈련 손실: 0.05083555 50 훈련 손실: 0.044153314 50 테스트 정확도: 0.9685 51 훈련 손실: 0.052974995 52 훈련 손실: 0.044572327 53 훈련 손실: 0.09052756 54 훈련 손실: 0.094600104 55 훈련 손실: 0.036649987 55 테스트 정확도: 0.9688 56 훈련 손실: 0.046360437 57 훈련 손실: 0.059153523 58 훈련 손실: 0.049381103 59 훈련 손실: 0.060340907 60 훈련 손실: 0.041446067 60 테스트 정확도: 0.9733 61 훈련 손실: 0.040578812 62 훈련 손실: 0.057209816 63 훈련 손실: 0.058650076 64 훈련 손실: 0.042314883 65 훈련 손실: 0.029547308 65 테스트 정확도: 0.9723 66 훈련 손실: 0.05906918 67 훈련 손실: 0.05033894 68 훈련 손실: 0.04577447 69 훈련 손실: 0.04179259 70 훈련 손실: 0.047385734 70 테스트 정확도: 0.9743 71 훈련 손실: 0.019731332 72 훈련 손실: 0.03946467 73 훈련 손실: 0.041868564 74 훈련 손실: 0.053035054 75 훈련 손실: 0.052626826 75 테스트 정확도: 0.9756 76 훈련 손실: 0.038277015 77 훈련 손실: 0.026333716 78 훈련 손실: 0.07061119 79 훈련 손실: 0.032390743 80 훈련 손실: 0.031364933 80 테스트 정확도: 0.9731 81 훈련 손실: 0.043911424 82 훈련 손실: 0.015268359 83 훈련 손실: 0.048755325 84 훈련 손실: 0.02936522 85 훈련 손실: 0.041843858 85 테스트 정확도: 0.9758 86 훈련 손실: 0.01827466 87 훈련 손실: 0.038874485 88 훈련 손실: 0.02969731 89 훈련 손실: 0.020993484 90 훈련 손실: 0.045232646 90 테스트 정확도: 0.9769 91 훈련 손실: 0.039236553 92 훈련 손실: 0.03133007 93 훈련 손실: 0.033417545 94 훈련 손실: 0.02588355 95 훈련 손실: 0.019570207 95 테스트 정확도: 0.9765 96 훈련 손실: 0.020656582 97 훈련 손실: 0.03398518 98 훈련 손실: 0.04707572 99 훈련 손실: 0.031259753
좋습니다. 숫자 비교 작업에서 97.6% 정확도를 달성했습니다. 아주 나쁘지 않네요. 이 모델은 손글씨 숫자를 비교하는 능력을 갖추었습니다!
이 지식을 일반 MNIST 분류 문제에 사용할 수 있는지 확인해 보겠습니다.
문제: 이제 DNN A의 은닉층을 동결해서 재사용하고 10개의 뉴런으로 된 소프트맥스 출력 층을 추가한 새로운 DNN을 만듭니다. 이 네트워크를 분할 #2에 대해 훈련시켜보고 클래스당 500개의 이미지만으로도 높은 성능을 얻을 수 있는지 확인해보세요.
모델을 만드는 것은 매우 간단합니다. 하위층을 동결하는 방법이 많이 있습니다. 이 예제에서는 tf.stop_gradient()
함수를 사용하겠습니다. 미리 학습된 DNN A를 복원하기 위해 Saver
객체가 필요하고 최종 모델을 저장하기 위해 다른 Saver
객체가 필요합니다:
reset_graph()
n_inputs = 28 * 28 # MNIST
n_outputs = 10
X = tf.placeholder(tf.float32, shape=(None, n_inputs), name="X")
y = tf.placeholder(tf.int32, shape=(None), name="y")
dnn_outputs = dnn(X, name="DNN_A")
frozen_outputs = tf.stop_gradient(dnn_outputs)
logits = tf.layers.dense(dnn_outputs, n_outputs, kernel_initializer=he_init)
Y_proba = tf.nn.softmax(logits)
xentropy = tf.nn.sparse_softmax_cross_entropy_with_logits(labels=y, logits=logits)
loss = tf.reduce_mean(xentropy, name="loss")
optimizer = tf.train.MomentumOptimizer(learning_rate, momentum, use_nesterov=True)
training_op = optimizer.minimize(loss)
correct = tf.nn.in_top_k(logits, y, 1)
accuracy = tf.reduce_mean(tf.cast(correct, tf.float32))
init = tf.global_variables_initializer()
dnn_A_vars = tf.get_collection(tf.GraphKeys.GLOBAL_VARIABLES, scope="DNN_A")
restore_saver = tf.train.Saver(var_list={var.op.name: var for var in dnn_A_vars})
saver = tf.train.Saver()
이제 훈련입니다! 모든 변수를 초기화하고(새 출력층의 변수를 포함하여), 미리 학습된 DNN A를 복원합니다. 다음에 작은 MNIST 데이터셋(5,000개 이미지)에 이 모델을 훈련시킵니다:
n_epochs = 100
batch_size = 50
with tf.Session() as sess:
init.run()
restore_saver.restore(sess, "./my_digit_comparison_model.ckpt")
for epoch in range(n_epochs):
rnd_idx = np.random.permutation(len(X_train2))
for rnd_indices in np.array_split(rnd_idx, len(X_train2) // batch_size):
X_batch, y_batch = X_train2[rnd_indices], y_train2[rnd_indices]
sess.run(training_op, feed_dict={X: X_batch, y: y_batch})
if epoch % 10 == 0:
acc_test = accuracy.eval(feed_dict={X: X_test, y: y_test})
print(epoch, "테스트 정확도:", acc_test)
save_path = saver.save(sess, "./my_mnist_model_final.ckpt")
INFO:tensorflow:Restoring parameters from ./my_digit_comparison_model.ckpt 0 테스트 정확도: 0.9456 10 테스트 정확도: 0.9627 20 테스트 정확도: 0.9665 30 테스트 정확도: 0.9663 40 테스트 정확도: 0.9665 50 테스트 정확도: 0.9664 60 테스트 정확도: 0.9664 70 테스트 정확도: 0.9663 80 테스트 정확도: 0.9663 90 테스트 정확도: 0.9664
오 96.7% 정확도네요. 지금까지 훈련시킨 최고의 MNIST 모델은 아니지만 아주 작은 훈련 세트(숫자당 500개 이미지)를 사용한 것을 유념하세요. 전이 학습을 사용하지 않고 그냥 처음부터 학습시킨 DNN과 결과를 비교해 보겠습니다:
reset_graph()
n_inputs = 28 * 28 # MNIST
n_outputs = 10
X = tf.placeholder(tf.float32, shape=(None, n_inputs), name="X")
y = tf.placeholder(tf.int32, shape=(None), name="y")
dnn_outputs = dnn(X, name="DNN_A")
logits = tf.layers.dense(dnn_outputs, n_outputs, kernel_initializer=he_init)
Y_proba = tf.nn.softmax(logits)
xentropy = tf.nn.sparse_softmax_cross_entropy_with_logits(labels=y, logits=logits)
loss = tf.reduce_mean(xentropy, name="loss")
optimizer = tf.train.MomentumOptimizer(learning_rate, momentum, use_nesterov=True)
training_op = optimizer.minimize(loss)
correct = tf.nn.in_top_k(logits, y, 1)
accuracy = tf.reduce_mean(tf.cast(correct, tf.float32))
init = tf.global_variables_initializer()
dnn_A_vars = tf.get_collection(tf.GraphKeys.GLOBAL_VARIABLES, scope="DNN_A")
restore_saver = tf.train.Saver(var_list={var.op.name: var for var in dnn_A_vars})
saver = tf.train.Saver()
n_epochs = 150
batch_size = 50
with tf.Session() as sess:
init.run()
for epoch in range(n_epochs):
rnd_idx = np.random.permutation(len(X_train2))
for rnd_indices in np.array_split(rnd_idx, len(X_train2) // batch_size):
X_batch, y_batch = X_train2[rnd_indices], y_train2[rnd_indices]
sess.run(training_op, feed_dict={X: X_batch, y: y_batch})
if epoch % 10 == 0:
acc_test = accuracy.eval(feed_dict={X: X_test, y: y_test})
print(epoch, "테스트 정확도:", acc_test)
save_path = saver.save(sess, "./my_mnist_model_final.ckpt")
0 테스트 정확도: 0.8694 10 테스트 정확도: 0.9276 20 테스트 정확도: 0.9307 30 테스트 정확도: 0.9419 40 테스트 정확도: 0.9427 50 테스트 정확도: 0.9428 60 테스트 정확도: 0.9429 70 테스트 정확도: 0.9432 80 테스트 정확도: 0.9428 90 테스트 정확도: 0.9427 100 테스트 정확도: 0.9427 110 테스트 정확도: 0.9426 120 테스트 정확도: 0.9426 130 테스트 정확도: 0.9425 140 테스트 정확도: 0.9425
94.8% 정확도 밖에 안되네요. 전이 학습이 에러율를 5.2%에서 3.3%로 낮추어 주었습니다(36% 이상 에러가 감소했습니다). 더군다나 전이 학습을 사용한 모델은 10번의 에포크만에 96%의 정확도에 도달했습니다.
최종 결과: 전이 학습이 항상 좋은 결과를 내지는 않습니다(연습문제 9에서 보았듯이). 하지만 그렇지 않을 땐 아주 큰 차이를 만들 수 있습니다. 그러므로 꼭 시도해 보세요!