In [1]:
%load_ext watermark
%watermark -v -p numpy,sklearn,scipy,matplotlib,tensorflow
CPython 3.6.8
IPython 7.2.0

numpy 1.15.4
sklearn 0.20.2
scipy 1.1.0
matplotlib 3.0.2
tensorflow 1.13.1

11장 – 심층 신경망 훈련

이 노트북은 11장에 있는 연습문제 해답을 가지고 있습니다.

설정

파이썬 2와 3을 모두 지원합니다. 공통 모듈을 임포트하고 맷플롯립 그림이 노트북 안에 포함되도록 설정하고 생성한 그림을 저장하기 위한 함수를 준비합니다:

In [2]:
# 파이썬 2와 파이썬 3 지원
from __future__ import division, print_function, unicode_literals

# 공통
import numpy as np
import os

# 일관된 출력을 위해 유사난수 초기화
def reset_graph(seed=42):
    tf.reset_default_graph()
    tf.set_random_seed(seed)
    np.random.seed(seed)

# 맷플롯립 설정
%matplotlib inline
import matplotlib
import matplotlib.pyplot as plt
plt.rcParams['axes.labelsize'] = 14
plt.rcParams['xtick.labelsize'] = 12
plt.rcParams['ytick.labelsize'] = 12

# 한글출력
plt.rcParams['font.family'] = 'NanumBarunGothic'
plt.rcParams['axes.unicode_minus'] = False

# 그림을 저장할 폴더
PROJECT_ROOT_DIR = "."
CHAPTER_ID = "deep"

def save_fig(fig_id, tight_layout=True):
    path = os.path.join(PROJECT_ROOT_DIR, "images", CHAPTER_ID, fig_id + ".png")
    if tight_layout:
        plt.tight_layout()
    plt.savefig(path, format='png', dpi=300)
In [3]:
import tensorflow as tf

연습문제 해답

1. to 7.

부록 A 참조.

8. 딥러닝

8.1.

문제: He 초기화와 ELU 활성화 함수를 사용하여 각각 뉴런이 100개인 은닉층 다섯 개를 가진 DNN을 만드세요.

다음 연습문제도 비슷한 모델을 만들어야하므로 여기서 DNN을 구성하는 함수를 만들겠습니다:

In [4]:
he_init = tf.variance_scaling_initializer()

def dnn(inputs, n_hidden_layers=5, n_neurons=100, name=None,
        activation=tf.nn.elu, initializer=he_init):
    with tf.variable_scope(name, "dnn"):
        for layer in range(n_hidden_layers):
            inputs = tf.layers.dense(inputs, n_neurons, activation=activation,
                                     kernel_initializer=initializer,
                                     name="hidden%d" % (layer + 1))
        return inputs
In [5]:
n_inputs = 28 * 28 # MNIST
n_outputs = 5

reset_graph()

X = tf.placeholder(tf.float32, shape=(None, n_inputs), name="X")
y = tf.placeholder(tf.int32, shape=(None), name="y")

dnn_outputs = dnn(X)

logits = tf.layers.dense(dnn_outputs, n_outputs, kernel_initializer=he_init, name="logits")
Y_proba = tf.nn.softmax(logits, name="Y_proba")
WARNING:tensorflow:From <ipython-input-4-86c47305b780>:9: dense (from tensorflow.python.layers.core) is deprecated and will be removed in a future version.
Instructions for updating:
Use keras.layers.dense instead.
WARNING:tensorflow:From /home/haesun/anaconda3/envs/handson-ml/lib/python3.6/site-packages/tensorflow/python/framework/op_def_library.py:263: colocate_with (from tensorflow.python.framework.ops) is deprecated and will be removed in a future version.
Instructions for updating:
Colocations handled automatically by placer.

8.2.

문제: Adam 최적화와 조기 종료를 사용하여 MNIST 데이터셋에 훈련시키되 0에서 4까지의 숫자만 사용하세요. 다음 연습문제에서 5에서 9까지의 숫자에 대해 전이 학습을 사용할 것입니다. 출력층은 다섯 개의 뉴런에 소프트맥스 함수를 사용합니다. 나중에 재사용할 수 있도록 항상 일정한 간격으로 체크포인트와 최종 모델을 저장하세요.

비용 함수, 훈련 연산과 다른 필요한 구성 요소를 만듭니다:

In [6]:
learning_rate = 0.01

xentropy = tf.nn.sparse_softmax_cross_entropy_with_logits(labels=y, logits=logits)
loss = tf.reduce_mean(xentropy, name="loss")

optimizer = tf.train.AdamOptimizer(learning_rate)
training_op = optimizer.minimize(loss, name="training_op")

correct = tf.nn.in_top_k(logits, y, 1)
accuracy = tf.reduce_mean(tf.cast(correct, tf.float32), name="accuracy")

init = tf.global_variables_initializer()
saver = tf.train.Saver()

MNIST 데이터셋을 로드합니다:

주의: tf.examples.tutorials.mnist은 삭제될 예정이므로 대신 tf.keras.datasets.mnist를 사용하겠습니다.

In [7]:
(X_train, y_train), (X_test, y_test) = tf.keras.datasets.mnist.load_data()
X_train = X_train.astype(np.float32).reshape(-1, 28*28) / 255.0
X_test = X_test.astype(np.float32).reshape(-1, 28*28) / 255.0
y_train = y_train.astype(np.int32)
y_test = y_test.astype(np.int32)
X_valid, X_train = X_train[:5000], X_train[5000:]
y_valid, y_train = y_train[:5000], y_train[5000:]

훈련 세트, 검증 세트, 테스트 세트를 만듭니다(검증 세트는 조기 종료에 사용합니다):

In [8]:
X_train1 = X_train[y_train < 5]
y_train1 = y_train[y_train < 5]
X_valid1 = X_valid[y_valid < 5]
y_valid1 = y_valid[y_valid < 5]
X_test1 = X_test[y_test < 5]
y_test1 = y_test[y_test < 5]
In [9]:
n_epochs = 1000
batch_size = 20

max_checks_without_progress = 20
checks_without_progress = 0
best_loss = np.infty

with tf.Session() as sess:
    init.run()

    for epoch in range(n_epochs):
        rnd_idx = np.random.permutation(len(X_train1))
        for rnd_indices in np.array_split(rnd_idx, len(X_train1) // batch_size):
            X_batch, y_batch = X_train1[rnd_indices], y_train1[rnd_indices]
            sess.run(training_op, feed_dict={X: X_batch, y: y_batch})
        loss_val, acc_val = sess.run([loss, accuracy], feed_dict={X: X_valid1, y: y_valid1})
        if loss_val < best_loss:
            save_path = saver.save(sess, "./my_mnist_model_0_to_4.ckpt")
            best_loss = loss_val
            checks_without_progress = 0
        else:
            checks_without_progress += 1
            if checks_without_progress > max_checks_without_progress:
                print("조기 종료!")
                break
        print("{}\t검증 세트 손실: {:.6f}\t최선의 손실: {:.6f}\t정확도: {:.2f}%".format(
            epoch, loss_val, best_loss, acc_val * 100))

with tf.Session() as sess:
    saver.restore(sess, "./my_mnist_model_0_to_4.ckpt")
    acc_test = accuracy.eval(feed_dict={X: X_test1, y: y_test1})
    print("최종 테스트 정확도: {:.2f}%".format(acc_test * 100))
0	검증 세트 손실: 0.161705	최선의 손실: 0.161705	정확도: 96.56%
1	검증 세트 손실: 1.224550	최선의 손실: 0.161705	정확도: 37.22%
2	검증 세트 손실: 0.219565	최선의 손실: 0.161705	정확도: 96.09%
3	검증 세트 손실: 0.189125	최선의 손실: 0.161705	정확도: 97.11%
4	검증 세트 손실: 0.189588	최선의 손실: 0.161705	정확도: 96.40%
5	검증 세트 손실: 0.183252	최선의 손실: 0.161705	정확도: 97.11%
6	검증 세트 손실: 0.235175	최선의 손실: 0.161705	정확도: 95.54%
7	검증 세트 손실: 0.239276	최선의 손실: 0.161705	정확도: 96.87%
8	검증 세트 손실: 0.193213	최선의 손실: 0.161705	정확도: 97.62%
9	검증 세트 손실: 0.254931	최선의 손실: 0.161705	정확도: 97.03%
10	검증 세트 손실: 0.170333	최선의 손실: 0.161705	정확도: 97.26%
11	검증 세트 손실: 0.183142	최선의 손실: 0.161705	정확도: 97.38%
12	검증 세트 손실: 0.165072	최선의 손실: 0.161705	정확도: 97.62%
13	검증 세트 손실: 0.287263	최선의 손실: 0.161705	정확도: 95.82%
14	검증 세트 손실: 0.180744	최선의 손실: 0.161705	정확도: 97.58%
15	검증 세트 손실: 0.191835	최선의 손실: 0.161705	정확도: 97.69%
16	검증 세트 손실: 0.198290	최선의 손실: 0.161705	정확도: 98.08%
17	검증 세트 손실: 0.244855	최선의 손실: 0.161705	정확도: 97.22%
18	검증 세트 손실: 0.189315	최선의 손실: 0.161705	정확도: 97.89%
19	검증 세트 손실: 3.665245	최선의 손실: 0.161705	정확도: 68.53%
20	검증 세트 손실: 0.697931	최선의 손실: 0.161705	정확도: 94.72%
조기 종료!
WARNING:tensorflow:From /home/haesun/anaconda3/envs/handson-ml/lib/python3.6/site-packages/tensorflow/python/training/saver.py:1266: checkpoint_exists (from tensorflow.python.training.checkpoint_management) is deprecated and will be removed in a future version.
Instructions for updating:
Use standard file APIs to check for files with this prefix.
INFO:tensorflow:Restoring parameters from ./my_mnist_model_0_to_4.ckpt
최종 테스트 정확도: 96.54%

아주 나쁘지는 않지만 하이퍼파라미터를 튜닝하여 더 개선할 수 있을지 보겠습니다.

8.3.

문제: 교차 검증을 사용하여 하이퍼파라미터를 튜닝하고 얼마의 성능을 달성할 수 있는지 확인해보세요.

하이퍼파라미터 튜닝을 하기 위해 사이킷런의 RandomizedSearchCV 클래스와 호환되는 DNNClassifier 클래스를 만듭니다. 이 클래스의 핵심은 다음과 같습니다:

  • __init__() 메서드(생성자)는 각 하이퍼파라미터에 대한 인스턴스 변수를 만듭니다.
  • fit() 메서드는 그래프를 만들고 세션을 시작해 모델을 훈련시킵니다:
    • _build_graph() 메서드를 호출해 그래프를 만듭니다(앞서 만든 그래프와 비슷합니다). 그래프가 만들어지면 다른 메서드에서 접근할 수 있도록 중요한 연산은 모두 인스턴스 변수로 저장합니다.
    • _dnn() 메서드는 위의 dnn() 함수와 비슷하게 은닉층을 만들고 배치 정규화와 드롭아웃을 추가합니다(다음 연습문제를 위해).
    • fit() 메서드에는 검증 세트(X_validy_valid)가 주어지면 조기 종료를 실행합니다. 여기에서는 디스키 대신 메모리에 최상의 모델을 저장합니다. 이 함수는 그래프의 모든 변수와 값을 가져오기 위해 _get_model_params() 함수를 사용하고 (최상의 모델에서) 변수 값을 복원하기 위해 _restore_model_params() 함수를 사용합니다. 이런 방식은 훈련 속도를 높여 줍니다.
    • fit() 메서드가 모델 훈련을 마치면 예측을 만들기 위해 모델을 저장하고 복원하는 대신에 빠르게 예측을 만들기 위해 그대로 세션을 열어 둡니다. close_session() 메서드를 호출해 세션을 닫을 수 있습니다.
    • predict_proba() 메서드는 훈련 모델을 사용해 클래스 확률을 예측합니다.
    • predict() 메서드는 predict_proba()를 호출해 각 샘플에 대해 가장 높은 확률을 가진 클래스를 반환합니다.
In [10]:
from sklearn.base import BaseEstimator, ClassifierMixin
from sklearn.exceptions import NotFittedError

class DNNClassifier(BaseEstimator, ClassifierMixin):
    def __init__(self, n_hidden_layers=5, n_neurons=100, optimizer_class=tf.train.AdamOptimizer,
                 learning_rate=0.01, batch_size=20, activation=tf.nn.elu, initializer=he_init,
                 batch_norm_momentum=None, dropout_rate=None, random_state=None):
        """모든 하이퍼파파미터를 저장하는 것으로 DNNClassifier를 초기화합니다."""
        self.n_hidden_layers = n_hidden_layers
        self.n_neurons = n_neurons
        self.optimizer_class = optimizer_class
        self.learning_rate = learning_rate
        self.batch_size = batch_size
        self.activation = activation
        self.initializer = initializer
        self.batch_norm_momentum = batch_norm_momentum
        self.dropout_rate = dropout_rate
        self.random_state = random_state
        self._session = None

    def _dnn(self, inputs):
        """배치 정규화와 드롭아웃 기능을 넣어 은닉층을 구성합니다."""
        for layer in range(self.n_hidden_layers):
            if self.dropout_rate:
                inputs = tf.layers.dropout(inputs, self.dropout_rate, training=self._training)
            inputs = tf.layers.dense(inputs, self.n_neurons,
                                     kernel_initializer=self.initializer,
                                     name="hidden%d" % (layer + 1))
            if self.batch_norm_momentum:
                inputs = tf.layers.batch_normalization(inputs, momentum=self.batch_norm_momentum,
                                                       training=self._training)
            inputs = self.activation(inputs, name="hidden%d_out" % (layer + 1))
        return inputs

    def _build_graph(self, n_inputs, n_outputs):
        """이전과 동일한 모델을 만듭니다."""
        if self.random_state is not None:
            tf.set_random_seed(self.random_state)
            np.random.seed(self.random_state)

        X = tf.placeholder(tf.float32, shape=(None, n_inputs), name="X")
        y = tf.placeholder(tf.int32, shape=(None), name="y")

        if self.batch_norm_momentum or self.dropout_rate:
            self._training = tf.placeholder_with_default(False, shape=(), name='training')
        else:
            self._training = None

        dnn_outputs = self._dnn(X)

        logits = tf.layers.dense(dnn_outputs, n_outputs, kernel_initializer=he_init, name="logits")
        Y_proba = tf.nn.softmax(logits, name="Y_proba")

        xentropy = tf.nn.sparse_softmax_cross_entropy_with_logits(labels=y,
                                                                  logits=logits)
        loss = tf.reduce_mean(xentropy, name="loss")

        optimizer = self.optimizer_class(learning_rate=self.learning_rate)
        training_op = optimizer.minimize(loss)

        correct = tf.nn.in_top_k(logits, y, 1)
        accuracy = tf.reduce_mean(tf.cast(correct, tf.float32), name="accuracy")

        init = tf.global_variables_initializer()
        saver = tf.train.Saver()

        # 중요한 연산은 인스턴스 변수로 저장하여 참조하기 쉽게 합니다.
        self._X, self._y = X, y
        self._Y_proba, self._loss = Y_proba, loss
        self._training_op, self._accuracy = training_op, accuracy
        self._init, self._saver = init, saver

    def close_session(self):
        if self._session:
            self._session.close()

    def _get_model_params(self):
        """모든 변수 값을 가져옵니다 (조기 종료를 위해 사용하며 디스크에 저장하는 것보다 빠릅니다)"""
        with self._graph.as_default():
            gvars = tf.get_collection(tf.GraphKeys.GLOBAL_VARIABLES)
        return {gvar.op.name: value for gvar, value in zip(gvars, self._session.run(gvars))}

    def _restore_model_params(self, model_params):
        """모든 변수를 주어진 값으로 설정합니다 (조기 종료를 위해 사용하며 디스크에 저장하는 것보다 빠릅니다)"""
        gvar_names = list(model_params.keys())
        assign_ops = {gvar_name: self._graph.get_operation_by_name(gvar_name + "/Assign")
                      for gvar_name in gvar_names}
        init_values = {gvar_name: assign_op.inputs[1] for gvar_name, assign_op in assign_ops.items()}
        feed_dict = {init_values[gvar_name]: model_params[gvar_name] for gvar_name in gvar_names}
        self._session.run(assign_ops, feed_dict=feed_dict)

    def fit(self, X, y, n_epochs=100, X_valid=None, y_valid=None):
        """훈련 세트에 모델을 훈련시킵니다. X_valid와 y_valid가 주어지면 조기 종료를 적용합니다."""
        self.close_session()

        # 훈련 세트로부터 n_inputs와 n_outputs를 구합니다.
        n_inputs = X.shape[1]
        self.classes_ = np.unique(y)
        n_outputs = len(self.classes_)
        
        # 레이블 벡터를 정렬된 클래스 인덱스 벡터로 변환합니다.
        # 0부터 n_outputs - 1까지의 정수를 담고 있게 됩니다.
        # 예를 들어, y가 [8, 8, 9, 5, 7, 6, 6, 6]이면 
        # 정렬된 클래스 레이블(self.classes_)은 [5, 6, 7, 8, 9]가 되고
        # 레이블 벡터는 [3, 3, 4, 0, 2, 1, 1, 1]로 변환됩니다.
        self.class_to_index_ = {label: index
                                for index, label in enumerate(self.classes_)}
        y = np.array([self.class_to_index_[label]
                      for label in y], dtype=np.int32)
        
        self._graph = tf.Graph()
        with self._graph.as_default():
            self._build_graph(n_inputs, n_outputs)
            # 배치 정규화를 위한 추가 연산
            extra_update_ops = tf.get_collection(tf.GraphKeys.UPDATE_OPS)

        # 조기 종료를 위해
        max_checks_without_progress = 20
        checks_without_progress = 0
        best_loss = np.infty
        best_params = None
        
        # 이제 모델을 훈련합니다!
        self._session = tf.Session(graph=self._graph)
        with self._session.as_default() as sess:
            self._init.run()
            for epoch in range(n_epochs):
                rnd_idx = np.random.permutation(len(X))
                for rnd_indices in np.array_split(rnd_idx, len(X) // self.batch_size):
                    X_batch, y_batch = X[rnd_indices], y[rnd_indices]
                    feed_dict = {self._X: X_batch, self._y: y_batch}
                    if self._training is not None:
                        feed_dict[self._training] = True
                    sess.run(self._training_op, feed_dict=feed_dict)
                    if extra_update_ops:
                        sess.run(extra_update_ops, feed_dict=feed_dict)
                if X_valid is not None and y_valid is not None:
                    loss_val, acc_val = sess.run([self._loss, self._accuracy],
                                                 feed_dict={self._X: X_valid,
                                                            self._y: y_valid})
                    if loss_val < best_loss:
                        best_params = self._get_model_params()
                        best_loss = loss_val
                        checks_without_progress = 0
                    else:
                        checks_without_progress += 1
                    print("{}\t검증 세트 손실: {:.6f}\t최선의 손실: {:.6f}\t정확도: {:.2f}%".format(
                        epoch, loss_val, best_loss, acc_val * 100))
                    if checks_without_progress > max_checks_without_progress:
                        print("조기 종료!")
                        break
                else:
                    loss_train, acc_train = sess.run([self._loss, self._accuracy],
                                                     feed_dict={self._X: X_batch,
                                                                self._y: y_batch})
                    print("{}\t마지막 훈련 배치 손실: {:.6f}\tAccuracy: {:.2f}%".format(
                        epoch, loss_train, acc_train * 100))
            # 조기 종료를 사용하면 이전의 최상의 모델로 되돌립니다.
            if best_params:
                self._restore_model_params(best_params)
            return self

    def predict_proba(self, X):
        if not self._session:
            raise NotFittedError("%s 객체가 아직 훈련되지 않았습니다" % self.__class__.__name__)
        with self._session.as_default() as sess:
            return self._Y_proba.eval(feed_dict={self._X: X})

    def predict(self, X):
        class_indices = np.argmax(self.predict_proba(X), axis=1)
        return np.array([[self.classes_[class_index]]
                         for class_index in class_indices], np.int32)

    def save(self, path):
        self._saver.save(self._session, path)

이 클래스를 사용하여 이전과 비슷한 정확도가 나오는지 확인해 보죠(드롭아웃과 배치 정규화는 사용하지 않습니다):

In [11]:
dnn_clf = DNNClassifier(random_state=42)
dnn_clf.fit(X_train1, y_train1, n_epochs=1000, X_valid=X_valid1, y_valid=y_valid1)
0	검증 세트 손실: 0.161705	최선의 손실: 0.161705	정확도: 96.56%
1	검증 세트 손실: 1.224550	최선의 손실: 0.161705	정확도: 37.22%
2	검증 세트 손실: 0.219565	최선의 손실: 0.161705	정확도: 96.09%
3	검증 세트 손실: 0.189125	최선의 손실: 0.161705	정확도: 97.11%
4	검증 세트 손실: 0.189588	최선의 손실: 0.161705	정확도: 96.40%
5	검증 세트 손실: 0.183252	최선의 손실: 0.161705	정확도: 97.11%
6	검증 세트 손실: 0.235175	최선의 손실: 0.161705	정확도: 95.54%
7	검증 세트 손실: 0.239276	최선의 손실: 0.161705	정확도: 96.87%
8	검증 세트 손실: 0.193213	최선의 손실: 0.161705	정확도: 97.62%
9	검증 세트 손실: 0.254931	최선의 손실: 0.161705	정확도: 97.03%
10	검증 세트 손실: 0.170333	최선의 손실: 0.161705	정확도: 97.26%
11	검증 세트 손실: 0.183142	최선의 손실: 0.161705	정확도: 97.38%
12	검증 세트 손실: 0.165072	최선의 손실: 0.161705	정확도: 97.62%
13	검증 세트 손실: 0.287263	최선의 손실: 0.161705	정확도: 95.82%
14	검증 세트 손실: 0.180744	최선의 손실: 0.161705	정확도: 97.58%
15	검증 세트 손실: 0.191835	최선의 손실: 0.161705	정확도: 97.69%
16	검증 세트 손실: 0.198290	최선의 손실: 0.161705	정확도: 98.08%
17	검증 세트 손실: 0.244855	최선의 손실: 0.161705	정확도: 97.22%
18	검증 세트 손실: 0.189315	최선의 손실: 0.161705	정확도: 97.89%
19	검증 세트 손실: 3.665245	최선의 손실: 0.161705	정확도: 68.53%
20	검증 세트 손실: 0.697931	최선의 손실: 0.161705	정확도: 94.72%
21	검증 세트 손실: 1.126661	최선의 손실: 0.161705	정확도: 58.29%
조기 종료!
Out[11]:
DNNClassifier(activation=<function elu at 0x7f8ec4ceef28>,
       batch_norm_momentum=None, batch_size=20, dropout_rate=None,
       initializer=<tensorflow.python.ops.init_ops.VarianceScaling object at 0x7f8eb8842e80>,
       learning_rate=0.01, n_hidden_layers=5, n_neurons=100,
       optimizer_class=<class 'tensorflow.python.training.adam.AdamOptimizer'>,
       random_state=42)

모델 훈련이 완료되면 이전과 비슷한 정확도가 나오는지 확인해 보겠습니다:

In [12]:
from sklearn.metrics import accuracy_score

y_pred = dnn_clf.predict(X_test1)
accuracy_score(y_test1, y_pred)
Out[12]:
0.9653629110721931

좋네요! 잘 작동합니다. 이제 사이킷런의 RandomizedSearchCV 클래스를 사용해서 더 나은 하이퍼파라미터를 찾아보겠습니다(시스템에 따라 이 작업은 한 시간 이상 걸릴지 모릅니다):

사이킷런 0.22 버전에서 cross_val_score 함수와 GridSearchCV, RandomizedSearchCV 클래스의 cv 매개변수 기본값이 3에서 5로 바뀔 예정입니다. 0.20 버전에서 cv 매개변수를 지정하지 않는 경우 이에 관한 경고 메세지가 출력됩니다. 경고 메세지를 피하기 위해 cv 매개변수 값을 명시적으로 3으로 지정합니다.

In [13]:
from sklearn.model_selection import RandomizedSearchCV

def leaky_relu(alpha=0.01):
    def parametrized_leaky_relu(z, name=None):
        return tf.maximum(alpha * z, z, name=name)
    return parametrized_leaky_relu

param_distribs = {
    "n_neurons": [10, 30, 50, 70, 90, 100, 120, 140, 160],
    "batch_size": [10, 50, 100, 500],
    "learning_rate": [0.01, 0.02, 0.05, 0.1],
    "activation": [tf.nn.relu, tf.nn.elu, leaky_relu(alpha=0.01), leaky_relu(alpha=0.1)],
    # 은닉층의 수나 옵티마이저 등을 달리하여 탐색해 볼 수 있습니다.
    #"n_hidden_layers": [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10],
    #"optimizer_class": [tf.train.AdamOptimizer, partial(tf.train.MomentumOptimizer, momentum=0.95)],
}

# 생성자에 넘겨주는 fit_params 매개변수는 사이킷런 0.19 버전부터 경고가 발생하고 0.21 버전에서 사라지므로
# 대신 fit() 메서드에 매개변수로 전달해야 합니다.:
rnd_search = RandomizedSearchCV(DNNClassifier(random_state=42), param_distribs, n_iter=50,
                                random_state=42, verbose=2, cv=3)
fit_params={"X_valid": X_valid1, "y_valid": y_valid1, "n_epochs": 1000}
rnd_search.fit(X_train1, y_train1, **fit_params)
Fitting 3 folds for each of 50 candidates, totalling 150 fits
[CV] n_neurons=10, learning_rate=0.05, batch_size=100, activation=<function elu at 0x7f8ec4ceef28> 
[Parallel(n_jobs=1)]: Using backend SequentialBackend with 1 concurrent workers.
0	검증 세트 손실: 0.169612	최선의 손실: 0.169612	정확도: 95.86%
1	검증 세트 손실: 0.137028	최선의 손실: 0.137028	정확도: 96.36%
2	검증 세트 손실: 0.154441	최선의 손실: 0.137028	정확도: 96.48%
3	검증 세트 손실: 0.134872	최선의 손실: 0.134872	정확도: 96.79%
4	검증 세트 손실: 0.099001	최선의 손실: 0.099001	정확도: 97.30%
5	검증 세트 손실: 0.126843	최선의 손실: 0.099001	정확도: 97.30%
6	검증 세트 손실: 0.128056	최선의 손실: 0.099001	정확도: 96.91%
7	검증 세트 손실: 0.169414	최선의 손실: 0.099001	정확도: 96.40%
8	검증 세트 손실: 1.639446	최선의 손실: 0.099001	정확도: 19.51%
9	검증 세트 손실: 1.711398	최선의 손실: 0.099001	정확도: 19.08%
10	검증 세트 손실: 1.608588	최선의 손실: 0.099001	정확도: 21.50%
11	검증 세트 손실: 1.614693	최선의 손실: 0.099001	정확도: 20.91%
12	검증 세트 손실: 1.626087	최선의 손실: 0.099001	정확도: 20.91%
13	검증 세트 손실: 1.641145	최선의 손실: 0.099001	정확도: 18.73%
14	검증 세트 손실: 1.614413	최선의 손실: 0.099001	정확도: 22.01%
15	검증 세트 손실: 1.618399	최선의 손실: 0.099001	정확도: 22.01%
16	검증 세트 손실: 1.610849	최선의 손실: 0.099001	정확도: 22.01%
17	검증 세트 손실: 1.618682	최선의 손실: 0.099001	정확도: 19.27%
18	검증 세트 손실: 1.612818	최선의 손실: 0.099001	정확도: 18.73%
19	검증 세트 손실: 1.614698	최선의 손실: 0.099001	정확도: 22.01%
20	검증 세트 손실: 1.625712	최선의 손실: 0.099001	정확도: 19.08%
21	검증 세트 손실: 1.623401	최선의 손실: 0.099001	정확도: 19.27%
22	검증 세트 손실: 1.627036	최선의 손실: 0.099001	정확도: 18.73%
23	검증 세트 손실: 1.618181	최선의 손실: 0.099001	정확도: 19.27%
24	검증 세트 손실: 1.616966	최선의 손실: 0.099001	정확도: 22.01%
25	검증 세트 손실: 1.619997	최선의 손실: 0.099001	정확도: 22.01%
조기 종료!
[CV]  n_neurons=10, learning_rate=0.05, batch_size=100, activation=<function elu at 0x7f8ec4ceef28>, total=   3.5s
[CV] n_neurons=10, learning_rate=0.05, batch_size=100, activation=<function elu at 0x7f8ec4ceef28> 
[Parallel(n_jobs=1)]: Done   1 out of   1 | elapsed:    3.5s remaining:    0.0s
0	검증 세트 손실: 0.161831	최선의 손실: 0.161831	정확도: 96.21%
1	검증 세트 손실: 0.115342	최선의 손실: 0.115342	정확도: 97.11%
2	검증 세트 손실: 0.141663	최선의 손실: 0.115342	정확도: 97.19%
3	검증 세트 손실: 0.180142	최선의 손실: 0.115342	정확도: 96.40%
4	검증 세트 손실: 0.152933	최선의 손실: 0.115342	정확도: 96.64%
5	검증 세트 손실: 0.134434	최선의 손실: 0.115342	정확도: 97.19%
6	검증 세트 손실: 0.110120	최선의 손실: 0.110120	정확도: 97.30%
7	검증 세트 손실: 0.129287	최선의 손실: 0.110120	정확도: 97.22%
8	검증 세트 손실: 1.816588	최선의 손실: 0.110120	정확도: 39.05%
9	검증 세트 손실: 1.382134	최선의 손실: 0.110120	정확도: 32.64%
10	검증 세트 손실: 1.228535	최선의 손실: 0.110120	정확도: 39.87%
11	검증 세트 손실: 1.202906	최선의 손실: 0.110120	정확도: 39.52%
12	검증 세트 손실: 1.219439	최선의 손실: 0.110120	정확도: 39.95%
13	검증 세트 손실: 1.223669	최선의 손실: 0.110120	정확도: 39.01%
14	검증 세트 손실: 1.150941	최선의 손실: 0.110120	정확도: 41.95%
15	검증 세트 손실: 1.151576	최선의 손실: 0.110120	정확도: 41.95%
16	검증 세트 손실: 1.164400	최선의 손실: 0.110120	정확도: 40.19%
17	검증 세트 손실: 1.155117	최선의 손실: 0.110120	정확도: 41.87%
18	검증 세트 손실: 1.168984	최선의 손실: 0.110120	정확도: 39.91%
19	검증 세트 손실: 1.156087	최선의 손실: 0.110120	정확도: 41.71%
20	검증 세트 손실: 1.161918	최선의 손실: 0.110120	정확도: 39.91%
21	검증 세트 손실: 1.195756	최선의 손실: 0.110120	정확도: 40.38%
22	검증 세트 손실: 1.199676	최선의 손실: 0.110120	정확도: 40.42%
23	검증 세트 손실: 1.177805	최선의 손실: 0.110120	정확도: 40.30%
24	검증 세트 손실: 1.171966	최선의 손실: 0.110120	정확도: 39.13%
25	검증 세트 손실: 1.144288	최선의 손실: 0.110120	정확도: 42.03%
26	검증 세트 손실: 1.146498	최선의 손실: 0.110120	정확도: 40.30%
27	검증 세트 손실: 1.160356	최선의 손실: 0.110120	정확도: 40.23%
조기 종료!
[CV]  n_neurons=10, learning_rate=0.05, batch_size=100, activation=<function elu at 0x7f8ec4ceef28>, total=   3.7s
[CV] n_neurons=10, learning_rate=0.05, batch_size=100, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.129187	최선의 손실: 0.129187	정확도: 96.87%
1	검증 세트 손실: 0.118899	최선의 손실: 0.118899	정확도: 96.99%
2	검증 세트 손실: 0.131234	최선의 손실: 0.118899	정확도: 96.01%
3	검증 세트 손실: 0.236573	최선의 손실: 0.118899	정확도: 93.47%
4	검증 세트 손실: 1.609613	최선의 손실: 0.118899	정확도: 20.91%
5	검증 세트 손실: 1.620917	최선의 손실: 0.118899	정확도: 22.01%
6	검증 세트 손실: 1.614585	최선의 손실: 0.118899	정확도: 22.01%
7	검증 세트 손실: 1.624998	최선의 손실: 0.118899	정확도: 18.73%
8	검증 세트 손실: 1.614702	최선의 손실: 0.118899	정확도: 22.01%
9	검증 세트 손실: 1.608738	최선의 손실: 0.118899	정확도: 22.01%
10	검증 세트 손실: 1.613762	최선의 손실: 0.118899	정확도: 22.01%
11	검증 세트 손실: 1.615227	최선의 손실: 0.118899	정확도: 22.01%
12	검증 세트 손실: 1.620622	최선의 손실: 0.118899	정확도: 20.91%
13	검증 세트 손실: 1.634356	최선의 손실: 0.118899	정확도: 19.27%
14	검증 세트 손실: 1.620624	최선의 손실: 0.118899	정확도: 22.01%
15	검증 세트 손실: 1.629337	최선의 손실: 0.118899	정확도: 22.01%
16	검증 세트 손실: 1.627128	최선의 손실: 0.118899	정확도: 22.01%
17	검증 세트 손실: 1.637325	최선의 손실: 0.118899	정확도: 19.08%
18	검증 세트 손실: 1.613848	최선의 손실: 0.118899	정확도: 20.91%
19	검증 세트 손실: 1.616927	최선의 손실: 0.118899	정확도: 19.08%
20	검증 세트 손실: 1.614749	최선의 손실: 0.118899	정확도: 22.01%
21	검증 세트 손실: 1.633856	최선의 손실: 0.118899	정확도: 18.73%
22	검증 세트 손실: 1.628325	최선의 손실: 0.118899	정확도: 22.01%
조기 종료!
[CV]  n_neurons=10, learning_rate=0.05, batch_size=100, activation=<function elu at 0x7f8ec4ceef28>, total=   3.2s
[CV] n_neurons=30, learning_rate=0.02, batch_size=500, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 0.110739	최선의 손실: 0.110739	정확도: 96.36%
1	검증 세트 손실: 0.083676	최선의 손실: 0.083676	정확도: 97.50%
2	검증 세트 손실: 0.085564	최선의 손실: 0.083676	정확도: 97.81%
3	검증 세트 손실: 0.070900	최선의 손실: 0.070900	정확도: 98.05%
4	검증 세트 손실: 0.064577	최선의 손실: 0.064577	정확도: 98.28%
5	검증 세트 손실: 0.063926	최선의 손실: 0.063926	정확도: 98.16%
6	검증 세트 손실: 0.065918	최선의 손실: 0.063926	정확도: 98.36%
7	검증 세트 손실: 0.059087	최선의 손실: 0.059087	정확도: 98.32%
8	검증 세트 손실: 0.058144	최선의 손실: 0.058144	정확도: 98.16%
9	검증 세트 손실: 0.056851	최선의 손실: 0.056851	정확도: 98.28%
10	검증 세트 손실: 0.075492	최선의 손실: 0.056851	정확도: 98.01%
11	검증 세트 손실: 0.065050	최선의 손실: 0.056851	정확도: 98.59%
12	검증 세트 손실: 0.078835	최선의 손실: 0.056851	정확도: 98.20%
13	검증 세트 손실: 0.072825	최선의 손실: 0.056851	정확도: 98.28%
14	검증 세트 손실: 0.085902	최선의 손실: 0.056851	정확도: 97.93%
15	검증 세트 손실: 0.061247	최선의 손실: 0.056851	정확도: 98.44%
16	검증 세트 손실: 0.062648	최선의 손실: 0.056851	정확도: 98.55%
17	검증 세트 손실: 0.080298	최선의 손실: 0.056851	정확도: 98.51%
18	검증 세트 손실: 0.090790	최선의 손실: 0.056851	정확도: 98.32%
19	검증 세트 손실: 0.070806	최선의 손실: 0.056851	정확도: 98.36%
20	검증 세트 손실: 0.085928	최선의 손실: 0.056851	정확도: 98.12%
21	검증 세트 손실: 0.078405	최선의 손실: 0.056851	정확도: 98.36%
22	검증 세트 손실: 0.074821	최선의 손실: 0.056851	정확도: 98.36%
23	검증 세트 손실: 0.085305	최선의 손실: 0.056851	정확도: 98.12%
24	검증 세트 손실: 0.065801	최선의 손실: 0.056851	정확도: 98.48%
25	검증 세트 손실: 0.074315	최선의 손실: 0.056851	정확도: 98.12%
26	검증 세트 손실: 0.083856	최선의 손실: 0.056851	정확도: 98.24%
27	검증 세트 손실: 0.078093	최선의 손실: 0.056851	정확도: 98.59%
28	검증 세트 손실: 0.086948	최선의 손실: 0.056851	정확도: 98.63%
29	검증 세트 손실: 0.092258	최선의 손실: 0.056851	정확도: 97.97%
30	검증 세트 손실: 0.116482	최선의 손실: 0.056851	정확도: 97.69%
조기 종료!
[CV]  n_neurons=30, learning_rate=0.02, batch_size=500, activation=<function relu at 0x7f8ec4c8c510>, total=   3.3s
[CV] n_neurons=30, learning_rate=0.02, batch_size=500, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 0.150243	최선의 손실: 0.150243	정확도: 95.93%
1	검증 세트 손실: 0.074734	최선의 손실: 0.074734	정확도: 97.85%
2	검증 세트 손실: 0.064674	최선의 손실: 0.064674	정확도: 98.28%
3	검증 세트 손실: 0.059260	최선의 손실: 0.059260	정확도: 98.20%
4	검증 세트 손실: 0.070795	최선의 손실: 0.059260	정확도: 97.93%
5	검증 세트 손실: 0.064103	최선의 손실: 0.059260	정확도: 98.12%
6	검증 세트 손실: 0.058995	최선의 손실: 0.058995	정확도: 98.51%
7	검증 세트 손실: 0.074334	최선의 손실: 0.058995	정확도: 98.05%
8	검증 세트 손실: 0.063130	최선의 손실: 0.058995	정확도: 98.12%
9	검증 세트 손실: 0.052821	최선의 손실: 0.052821	정확도: 98.79%
10	검증 세트 손실: 0.067567	최선의 손실: 0.052821	정확도: 98.48%
11	검증 세트 손실: 0.059678	최선의 손실: 0.052821	정확도: 98.75%
12	검증 세트 손실: 0.094348	최선의 손실: 0.052821	정확도: 98.08%
13	검증 세트 손실: 0.053173	최선의 손실: 0.052821	정확도: 98.55%
14	검증 세트 손실: 0.055377	최선의 손실: 0.052821	정확도: 98.63%
15	검증 세트 손실: 0.056954	최선의 손실: 0.052821	정확도: 98.71%
16	검증 세트 손실: 0.071836	최선의 손실: 0.052821	정확도: 98.63%
17	검증 세트 손실: 0.089015	최선의 손실: 0.052821	정확도: 98.48%
18	검증 세트 손실: 0.078217	최선의 손실: 0.052821	정확도: 98.67%
19	검증 세트 손실: 0.063984	최선의 손실: 0.052821	정확도: 98.51%
20	검증 세트 손실: 0.065747	최선의 손실: 0.052821	정확도: 98.63%
21	검증 세트 손실: 0.066643	최선의 손실: 0.052821	정확도: 98.83%
22	검증 세트 손실: 0.076351	최선의 손실: 0.052821	정확도: 98.44%
23	검증 세트 손실: 0.070130	최선의 손실: 0.052821	정확도: 98.67%
24	검증 세트 손실: 0.070576	최선의 손실: 0.052821	정확도: 98.44%
25	검증 세트 손실: 0.090841	최선의 손실: 0.052821	정확도: 98.59%
26	검증 세트 손실: 0.060712	최선의 손실: 0.052821	정확도: 98.75%
27	검증 세트 손실: 0.071062	최선의 손실: 0.052821	정확도: 98.75%
28	검증 세트 손실: 0.070795	최선의 손실: 0.052821	정확도: 98.83%
29	검증 세트 손실: 0.071805	최선의 손실: 0.052821	정확도: 98.67%
30	검증 세트 손실: 0.083105	최선의 손실: 0.052821	정확도: 98.44%
조기 종료!
[CV]  n_neurons=30, learning_rate=0.02, batch_size=500, activation=<function relu at 0x7f8ec4c8c510>, total=   3.2s
[CV] n_neurons=30, learning_rate=0.02, batch_size=500, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 0.101571	최선의 손실: 0.101571	정확도: 96.79%
1	검증 세트 손실: 0.077616	최선의 손실: 0.077616	정확도: 97.97%
2	검증 세트 손실: 0.059689	최선의 손실: 0.059689	정확도: 98.28%
3	검증 세트 손실: 0.057170	최선의 손실: 0.057170	정확도: 98.48%
4	검증 세트 손실: 0.051170	최선의 손실: 0.051170	정확도: 98.48%
5	검증 세트 손실: 0.074582	최선의 손실: 0.051170	정확도: 97.81%
6	검증 세트 손실: 0.055337	최선의 손실: 0.051170	정확도: 98.44%
7	검증 세트 손실: 0.057996	최선의 손실: 0.051170	정확도: 98.51%
8	검증 세트 손실: 0.052171	최선의 손실: 0.051170	정확도: 98.20%
9	검증 세트 손실: 0.083126	최선의 손실: 0.051170	정확도: 98.40%
10	검증 세트 손실: 0.066241	최선의 손실: 0.051170	정확도: 98.24%
11	검증 세트 손실: 0.086855	최선의 손실: 0.051170	정확도: 98.40%
12	검증 세트 손실: 0.064592	최선의 손실: 0.051170	정확도: 98.36%
13	검증 세트 손실: 0.064097	최선의 손실: 0.051170	정확도: 98.48%
14	검증 세트 손실: 0.073890	최선의 손실: 0.051170	정확도: 98.20%
15	검증 세트 손실: 0.092007	최선의 손실: 0.051170	정확도: 98.32%
16	검증 세트 손실: 0.066213	최선의 손실: 0.051170	정확도: 98.63%
17	검증 세트 손실: 0.073114	최선의 손실: 0.051170	정확도: 98.67%
18	검증 세트 손실: 0.062950	최선의 손실: 0.051170	정확도: 98.67%
19	검증 세트 손실: 0.065250	최선의 손실: 0.051170	정확도: 98.36%
20	검증 세트 손실: 0.073439	최선의 손실: 0.051170	정확도: 98.67%
21	검증 세트 손실: 0.078672	최선의 손실: 0.051170	정확도: 98.63%
22	검증 세트 손실: 0.062747	최선의 손실: 0.051170	정확도: 98.67%
23	검증 세트 손실: 0.080132	최선의 손실: 0.051170	정확도: 98.44%
24	검증 세트 손실: 0.071110	최선의 손실: 0.051170	정확도: 98.59%
25	검증 세트 손실: 0.065921	최선의 손실: 0.051170	정확도: 98.55%
조기 종료!
[CV]  n_neurons=30, learning_rate=0.02, batch_size=500, activation=<function relu at 0x7f8ec4c8c510>, total=   2.8s
[CV] n_neurons=90, learning_rate=0.05, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 
0	검증 세트 손실: 0.396929	최선의 손실: 0.396929	정확도: 88.55%
1	검증 세트 손실: 6.478924	최선의 손실: 0.396929	정확도: 79.91%
2	검증 세트 손실: 1.505791	최선의 손실: 0.396929	정확도: 80.69%
3	검증 세트 손실: 1.195650	최선의 손실: 0.396929	정확도: 80.61%
4	검증 세트 손실: 2.563684	최선의 손실: 0.396929	정확도: 69.23%
5	검증 세트 손실: 536.572937	최선의 손실: 0.396929	정확도: 45.19%
6	검증 세트 손실: 89.243279	최선의 손실: 0.396929	정확도: 78.11%
7	검증 세트 손실: 79.655708	최선의 손실: 0.396929	정확도: 71.97%
8	검증 세트 손실: 122.312195	최선의 손실: 0.396929	정확도: 74.75%
9	검증 세트 손실: 47.916676	최선의 손실: 0.396929	정확도: 91.63%
10	검증 세트 손실: 58.104256	최선의 손실: 0.396929	정확도: 91.91%
11	검증 세트 손실: 44.203144	최선의 손실: 0.396929	정확도: 90.58%
12	검증 세트 손실: 33.199314	최선의 손실: 0.396929	정확도: 94.25%
13	검증 세트 손실: 34.830338	최선의 손실: 0.396929	정확도: 92.14%
14	검증 세트 손실: 30.196430	최선의 손실: 0.396929	정확도: 92.89%
15	검증 세트 손실: 23.511036	최선의 손실: 0.396929	정확도: 93.94%
16	검증 세트 손실: 66.064659	최선의 손실: 0.396929	정확도: 87.57%
17	검증 세트 손실: 154.809708	최선의 손실: 0.396929	정확도: 70.48%
18	검증 세트 손실: 157.595306	최선의 손실: 0.396929	정확도: 67.12%
19	검증 세트 손실: 46.421604	최선의 손실: 0.396929	정확도: 78.89%
20	검증 세트 손실: 40.813641	최선의 손실: 0.396929	정확도: 84.40%
21	검증 세트 손실: 45.768738	최선의 손실: 0.396929	정확도: 85.85%
조기 종료!
[CV]  n_neurons=90, learning_rate=0.05, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total=   8.9s
[CV] n_neurons=90, learning_rate=0.05, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 
0	검증 세트 손실: 4.739810	최선의 손실: 4.739810	정확도: 44.25%
1	검증 세트 손실: 52066.144531	최선의 손실: 4.739810	정확도: 28.89%
2	검증 세트 손실: 87.915123	최선의 손실: 4.739810	정확도: 65.44%
3	검증 세트 손실: 25.975292	최선의 손실: 4.739810	정확도: 81.51%
4	검증 세트 손실: 31.957380	최선의 손실: 4.739810	정확도: 79.55%
5	검증 세트 손실: 14.952983	최선의 손실: 4.739810	정확도: 83.78%
6	검증 세트 손실: 23.431433	최선의 손실: 4.739810	정확도: 78.26%
7	검증 세트 손실: 16.321989	최선의 손실: 4.739810	정확도: 72.09%
8	검증 세트 손실: 11.031761	최선의 손실: 4.739810	정확도: 88.74%
9	검증 세트 손실: 152.935760	최선의 손실: 4.739810	정확도: 81.70%
10	검증 세트 손실: 186.634201	최선의 손실: 4.739810	정확도: 47.07%
11	검증 세트 손실: 51.709373	최선의 손실: 4.739810	정확도: 66.30%
12	검증 세트 손실: 33.102184	최선의 손실: 4.739810	정확도: 69.82%
13	검증 세트 손실: 23.592550	최선의 손실: 4.739810	정확도: 85.65%
14	검증 세트 손실: 22.948610	최선의 손실: 4.739810	정확도: 83.58%
15	검증 세트 손실: 15.511449	최선의 손실: 4.739810	정확도: 85.97%
16	검증 세트 손실: 16.448492	최선의 손실: 4.739810	정확도: 77.17%
17	검증 세트 손실: 174.890411	최선의 손실: 4.739810	정확도: 45.15%
18	검증 세트 손실: 12.692270	최선의 손실: 4.739810	정확도: 91.83%
19	검증 세트 손실: 15.014576	최선의 손실: 4.739810	정확도: 89.52%
20	검증 세트 손실: 70118.351562	최선의 손실: 4.739810	정확도: 57.78%
21	검증 세트 손실: 5336.040039	최선의 손실: 4.739810	정확도: 75.22%
조기 종료!
[CV]  n_neurons=90, learning_rate=0.05, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total=   8.8s
[CV] n_neurons=90, learning_rate=0.05, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 
0	검증 세트 손실: 34.707134	최선의 손실: 34.707134	정확도: 44.02%
1	검증 세트 손실: 1.482173	최선의 손실: 1.482173	정확도: 77.72%
2	검증 세트 손실: 1.603607	최선의 손실: 1.482173	정확도: 76.74%
3	검증 세트 손실: 1.248135	최선의 손실: 1.248135	정확도: 79.24%
4	검증 세트 손실: 0.605569	최선의 손실: 0.605569	정확도: 88.15%
5	검증 세트 손실: 1.413563	최선의 손실: 0.605569	정확도: 71.42%
6	검증 세트 손실: 0.603150	최선의 손실: 0.603150	정확도: 89.29%
7	검증 세트 손실: 1.107997	최선의 손실: 0.603150	정확도: 79.40%
8	검증 세트 손실: 0.349525	최선의 손실: 0.349525	정확도: 91.44%
9	검증 세트 손실: 0.424007	최선의 손실: 0.349525	정확도: 91.01%
10	검증 세트 손실: 0.423164	최선의 손실: 0.349525	정확도: 90.34%
11	검증 세트 손실: 0.278822	최선의 손실: 0.278822	정확도: 93.59%
12	검증 세트 손실: 0.437423	최선의 손실: 0.278822	정확도: 89.68%
13	검증 세트 손실: 0.260361	최선의 손실: 0.260361	정확도: 93.12%
14	검증 세트 손실: 3576.981934	최선의 손실: 0.260361	정확도: 20.37%
15	검증 세트 손실: 119.415825	최선의 손실: 0.260361	정확도: 46.17%
16	검증 세트 손실: 110.711998	최선의 손실: 0.260361	정확도: 42.14%
17	검증 세트 손실: 27.452753	최선의 손실: 0.260361	정확도: 62.82%
18	검증 세트 손실: 46.970539	최선의 손실: 0.260361	정확도: 68.61%
19	검증 세트 손실: 119.639145	최선의 손실: 0.260361	정확도: 63.84%
20	검증 세트 손실: 78.779388	최선의 손실: 0.260361	정확도: 42.46%
21	검증 세트 손실: 51.610931	최선의 손실: 0.260361	정확도: 55.04%
22	검증 세트 손실: 30.280518	최선의 손실: 0.260361	정확도: 70.56%
23	검증 세트 손실: 14.281271	최선의 손실: 0.260361	정확도: 73.57%
24	검증 세트 손실: 35.734028	최선의 손실: 0.260361	정확도: 63.68%
25	검증 세트 손실: 20.424391	최선의 손실: 0.260361	정확도: 68.92%
26	검증 세트 손실: 35969.796875	최선의 손실: 0.260361	정확도: 45.15%
27	검증 세트 손실: 1212.543213	최선의 손실: 0.260361	정확도: 67.90%
28	검증 세트 손실: 655.318115	최선의 손실: 0.260361	정확도: 67.51%
29	검증 세트 손실: 267.746582	최선의 손실: 0.260361	정확도: 87.18%
30	검증 세트 손실: 509.052155	최선의 손실: 0.260361	정확도: 79.79%
31	검증 세트 손실: 682.841797	최선의 손실: 0.260361	정확도: 73.49%
32	검증 세트 손실: 384.203033	최선의 손실: 0.260361	정확도: 84.21%
33	검증 세트 손실: 212.137268	최선의 손실: 0.260361	정확도: 90.54%
34	검증 세트 손실: 382.472046	최선의 손실: 0.260361	정확도: 86.24%
조기 종료!
[CV]  n_neurons=90, learning_rate=0.05, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total=  13.8s
[CV] n_neurons=70, learning_rate=0.1, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 
0	검증 세트 손실: 3.289538	최선의 손실: 3.289538	정확도: 84.44%
1	검증 세트 손실: 1.299825	최선의 손실: 1.299825	정확도: 89.05%
2	검증 세트 손실: 2.303078	최선의 손실: 1.299825	정확도: 72.40%
3	검증 세트 손실: 1.147589	최선의 손실: 1.147589	정확도: 89.84%
4	검증 세트 손실: 0.512307	최선의 손실: 0.512307	정확도: 91.56%
5	검증 세트 손실: 0.554251	최선의 손실: 0.512307	정확도: 92.96%
6	검증 세트 손실: 0.910844	최선의 손실: 0.512307	정확도: 89.29%
7	검증 세트 손실: 89697.218750	최선의 손실: 0.512307	정확도: 60.13%
8	검증 세트 손실: 26111.474609	최선의 손실: 0.512307	정확도: 77.21%
9	검증 세트 손실: 7906.910156	최선의 손실: 0.512307	정확도: 90.23%
10	검증 세트 손실: 11097.594727	최선의 손실: 0.512307	정확도: 85.89%
11	검증 세트 손실: 9426.625977	최선의 손실: 0.512307	정확도: 81.86%
12	검증 세트 손실: 9318.779297	최선의 손실: 0.512307	정확도: 82.29%
13	검증 세트 손실: 5717.183105	최선의 손실: 0.512307	정확도: 90.81%
14	검증 세트 손실: 6448.424316	최선의 손실: 0.512307	정확도: 89.52%
15	검증 세트 손실: 3354.368164	최선의 손실: 0.512307	정확도: 93.75%
16	검증 세트 손실: 4351.820312	최선의 손실: 0.512307	정확도: 93.04%
17	검증 세트 손실: 3315.935059	최선의 손실: 0.512307	정확도: 94.29%
18	검증 세트 손실: 3207.560059	최선의 손실: 0.512307	정확도: 91.83%
19	검증 세트 손실: 9689.852539	최선의 손실: 0.512307	정확도: 90.58%
20	검증 세트 손실: 2885.183594	최선의 손실: 0.512307	정확도: 95.23%
21	검증 세트 손실: 2095.049561	최선의 손실: 0.512307	정확도: 94.45%
22	검증 세트 손실: 1655.197388	최선의 손실: 0.512307	정확도: 94.92%
23	검증 세트 손실: 16705.595703	최선의 손실: 0.512307	정확도: 85.77%
24	검증 세트 손실: 4854.030273	최선의 손실: 0.512307	정확도: 92.14%
25	검증 세트 손실: 3260.917236	최선의 손실: 0.512307	정확도: 94.41%
조기 종료!
[CV]  n_neurons=70, learning_rate=0.1, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total=   9.4s
[CV] n_neurons=70, learning_rate=0.1, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 
0	검증 세트 손실: 2.943871	최선의 손실: 2.943871	정확도: 75.25%
1	검증 세트 손실: 7814.180664	최선의 손실: 2.943871	정확도: 72.44%
2	검증 세트 손실: 7112.951660	최선의 손실: 2.943871	정확도: 62.82%
3	검증 세트 손실: 1214.788696	최선의 손실: 2.943871	정확도: 88.27%
4	검증 세트 손실: 1132.935913	최선의 손실: 2.943871	정확도: 88.27%
5	검증 세트 손실: 764.093994	최선의 손실: 2.943871	정확도: 93.20%
6	검증 세트 손실: 1287.751953	최선의 손실: 2.943871	정확도: 84.32%
7	검증 세트 손실: 367.602142	최선의 손실: 2.943871	정확도: 94.64%
8	검증 세트 손실: 3724.829590	최선의 손실: 2.943871	정확도: 77.37%
9	검증 세트 손실: 2475.678955	최선의 손실: 2.943871	정확도: 88.90%
10	검증 세트 손실: 378.125519	최선의 손실: 2.943871	정확도: 94.72%
11	검증 세트 손실: 355.467224	최선의 손실: 2.943871	정확도: 95.07%
12	검증 세트 손실: 275.537048	최선의 손실: 2.943871	정확도: 94.45%
13	검증 세트 손실: 736624.687500	최선의 손실: 2.943871	정확도: 82.29%
14	검증 세트 손실: 102468.914062	최선의 손실: 2.943871	정확도: 92.65%
15	검증 세트 손실: 111072.648438	최선의 손실: 2.943871	정확도: 91.59%
16	검증 세트 손실: 51086.437500	최선의 손실: 2.943871	정확도: 94.21%
17	검증 세트 손실: 47539.410156	최선의 손실: 2.943871	정확도: 93.98%
18	검증 세트 손실: 36284.523438	최선의 손실: 2.943871	정확도: 94.57%
19	검증 세트 손실: 44677.363281	최선의 손실: 2.943871	정확도: 93.55%
20	검증 세트 손실: 70205.539062	최선의 손실: 2.943871	정확도: 92.77%
21	검증 세트 손실: 25837.769531	최선의 손실: 2.943871	정확도: 95.15%
조기 종료!
[CV]  n_neurons=70, learning_rate=0.1, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total=   8.1s
[CV] n_neurons=70, learning_rate=0.1, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 
0	검증 세트 손실: 64.866959	최선의 손실: 64.866959	정확도: 84.05%
1	검증 세트 손실: 10.508960	최선의 손실: 10.508960	정확도: 91.99%
2	검증 세트 손실: 9.558105	최선의 손실: 9.558105	정확도: 89.48%
3	검증 세트 손실: 3.672984	최선의 손실: 3.672984	정확도: 92.65%
4	검증 세트 손실: 110.740875	최선의 손실: 3.672984	정확도: 67.90%
5	검증 세트 손실: 14681.238281	최선의 손실: 3.672984	정확도: 84.36%
6	검증 세트 손실: 7871.326172	최선의 손실: 3.672984	정확도: 90.19%
7	검증 세트 손실: 5917.387207	최선의 손실: 3.672984	정확도: 88.19%
8	검증 세트 손실: 9985.247070	최선의 손실: 3.672984	정확도: 85.34%
9	검증 세트 손실: 8143.510742	최선의 손실: 3.672984	정확도: 91.28%
10	검증 세트 손실: 3778.364258	최선의 손실: 3.672984	정확도: 92.18%
11	검증 세트 손실: 4556.745605	최선의 손실: 3.672984	정확도: 91.91%
12	검증 세트 손실: 2902.612305	최선의 손실: 3.672984	정확도: 92.85%
13	검증 세트 손실: 2551.194336	최선의 손실: 3.672984	정확도: 92.49%
14	검증 세트 손실: 8609.489258	최선의 손실: 3.672984	정확도: 84.79%
15	검증 세트 손실: 4247.188477	최선의 손실: 3.672984	정확도: 91.40%
16	검증 세트 손실: 2113.531250	최선의 손실: 3.672984	정확도: 93.98%
17	검증 세트 손실: 41574.953125	최선의 손실: 3.672984	정확도: 91.75%
18	검증 세트 손실: 34662.796875	최선의 손실: 3.672984	정확도: 94.80%
19	검증 세트 손실: 31649.097656	최선의 손실: 3.672984	정확도: 95.04%
20	검증 세트 손실: 34659.285156	최선의 손실: 3.672984	정확도: 96.17%
21	검증 세트 손실: 43335.621094	최선의 손실: 3.672984	정확도: 94.57%
22	검증 세트 손실: 30477.695312	최선의 손실: 3.672984	정확도: 94.45%
23	검증 세트 손실: 16619.791016	최선의 손실: 3.672984	정확도: 93.16%
24	검증 세트 손실: 14163.893555	최선의 손실: 3.672984	정확도: 96.33%
조기 종료!
[CV]  n_neurons=70, learning_rate=0.1, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total=   9.1s
[CV] n_neurons=120, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 
0	검증 세트 손실: 0.116430	최선의 손실: 0.116430	정확도: 96.52%
1	검증 세트 손실: 0.058836	최선의 손실: 0.058836	정확도: 98.20%
2	검증 세트 손실: 0.057258	최선의 손실: 0.057258	정확도: 98.36%
3	검증 세트 손실: 0.050221	최선의 손실: 0.050221	정확도: 98.20%
4	검증 세트 손실: 0.050673	최선의 손실: 0.050221	정확도: 98.48%
5	검증 세트 손실: 0.052190	최선의 손실: 0.050221	정확도: 98.44%
6	검증 세트 손실: 0.059890	최선의 손실: 0.050221	정확도: 98.36%
7	검증 세트 손실: 0.066746	최선의 손실: 0.050221	정확도: 98.59%
8	검증 세트 손실: 0.066103	최선의 손실: 0.050221	정확도: 98.32%
9	검증 세트 손실: 0.061629	최선의 손실: 0.050221	정확도: 98.24%
10	검증 세트 손실: 0.056561	최선의 손실: 0.050221	정확도: 98.91%
11	검증 세트 손실: 0.058780	최선의 손실: 0.050221	정확도: 98.75%
12	검증 세트 손실: 0.053118	최선의 손실: 0.050221	정확도: 98.59%
13	검증 세트 손실: 0.061400	최선의 손실: 0.050221	정확도: 98.71%
14	검증 세트 손실: 0.055872	최선의 손실: 0.050221	정확도: 98.79%
15	검증 세트 손실: 0.063880	최선의 손실: 0.050221	정확도: 98.67%
16	검증 세트 손실: 0.057265	최선의 손실: 0.050221	정확도: 98.71%
17	검증 세트 손실: 0.073713	최선의 손실: 0.050221	정확도: 99.06%
18	검증 세트 손실: 0.059552	최선의 손실: 0.050221	정확도: 98.75%
19	검증 세트 손실: 0.051988	최선의 손실: 0.050221	정확도: 98.83%
20	검증 세트 손실: 0.052571	최선의 손실: 0.050221	정확도: 98.87%
21	검증 세트 손실: 0.048758	최선의 손실: 0.048758	정확도: 99.18%
22	검증 세트 손실: 0.063519	최선의 손실: 0.048758	정확도: 98.98%
23	검증 세트 손실: 0.059674	최선의 손실: 0.048758	정확도: 98.87%
24	검증 세트 손실: 0.048063	최선의 손실: 0.048063	정확도: 98.94%
25	검증 세트 손실: 0.049476	최선의 손실: 0.048063	정확도: 99.14%
26	검증 세트 손실: 0.041990	최선의 손실: 0.041990	정확도: 99.14%
27	검증 세트 손실: 0.051628	최선의 손실: 0.041990	정확도: 98.87%
28	검증 세트 손실: 0.070495	최선의 손실: 0.041990	정확도: 98.87%
29	검증 세트 손실: 0.061075	최선의 손실: 0.041990	정확도: 98.87%
30	검증 세트 손실: 0.068515	최선의 손실: 0.041990	정확도: 98.71%
31	검증 세트 손실: 0.093530	최선의 손실: 0.041990	정확도: 98.16%
32	검증 세트 손실: 0.056517	최선의 손실: 0.041990	정확도: 98.67%
33	검증 세트 손실: 0.047439	최선의 손실: 0.041990	정확도: 99.02%
34	검증 세트 손실: 0.063012	최선의 손실: 0.041990	정확도: 99.10%
35	검증 세트 손실: 0.069009	최선의 손실: 0.041990	정확도: 98.98%
36	검증 세트 손실: 0.085532	최선의 손실: 0.041990	정확도: 98.91%
37	검증 세트 손실: 0.079452	최선의 손실: 0.041990	정확도: 98.98%
38	검증 세트 손실: 0.061059	최선의 손실: 0.041990	정확도: 98.94%
39	검증 세트 손실: 0.069843	최선의 손실: 0.041990	정확도: 98.91%
40	검증 세트 손실: 0.072306	최선의 손실: 0.041990	정확도: 98.94%
41	검증 세트 손실: 0.504272	최선의 손실: 0.041990	정확도: 94.45%
42	검증 세트 손실: 1.387064	최선의 손실: 0.041990	정확도: 86.16%
43	검증 세트 손실: 0.111866	최선의 손실: 0.041990	정확도: 97.38%
44	검증 세트 손실: 0.182682	최선의 손실: 0.041990	정확도: 98.24%
45	검증 세트 손실: 0.306056	최선의 손실: 0.041990	정확도: 98.36%
46	검증 세트 손실: 0.065390	최선의 손실: 0.041990	정확도: 98.36%
47	검증 세트 손실: 0.062764	최선의 손실: 0.041990	정확도: 98.51%
조기 종료!
[CV]  n_neurons=120, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total=  11.0s
[CV] n_neurons=120, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 
0	검증 세트 손실: 0.100682	최선의 손실: 0.100682	정확도: 97.07%
1	검증 세트 손실: 0.067505	최선의 손실: 0.067505	정확도: 97.97%
2	검증 세트 손실: 0.058056	최선의 손실: 0.058056	정확도: 98.05%
3	검증 세트 손실: 0.059793	최선의 손실: 0.058056	정확도: 98.36%
4	검증 세트 손실: 0.062410	최선의 손실: 0.058056	정확도: 98.36%
5	검증 세트 손실: 0.044132	최선의 손실: 0.044132	정확도: 98.51%
6	검증 세트 손실: 0.050976	최선의 손실: 0.044132	정확도: 98.59%
7	검증 세트 손실: 0.051979	최선의 손실: 0.044132	정확도: 98.63%
8	검증 세트 손실: 0.043669	최선의 손실: 0.043669	정확도: 99.06%
9	검증 세트 손실: 0.064304	최선의 손실: 0.043669	정확도: 98.59%
10	검증 세트 손실: 0.062636	최선의 손실: 0.043669	정확도: 98.63%
11	검증 세트 손실: 0.058021	최선의 손실: 0.043669	정확도: 98.48%
12	검증 세트 손실: 0.069992	최선의 손실: 0.043669	정확도: 98.71%
13	검증 세트 손실: 0.060716	최선의 손실: 0.043669	정확도: 98.83%
14	검증 세트 손실: 0.070071	최선의 손실: 0.043669	정확도: 98.24%
15	검증 세트 손실: 0.076873	최선의 손실: 0.043669	정확도: 98.59%
16	검증 세트 손실: 0.089978	최선의 손실: 0.043669	정확도: 98.05%
17	검증 세트 손실: 0.074167	최선의 손실: 0.043669	정확도: 98.71%
18	검증 세트 손실: 0.081114	최선의 손실: 0.043669	정확도: 98.71%
19	검증 세트 손실: 0.054182	최선의 손실: 0.043669	정확도: 98.59%
20	검증 세트 손실: 0.078447	최선의 손실: 0.043669	정확도: 98.75%
21	검증 세트 손실: 0.064965	최선의 손실: 0.043669	정확도: 98.79%
22	검증 세트 손실: 0.075467	최선의 손실: 0.043669	정확도: 98.75%
23	검증 세트 손실: 0.071256	최선의 손실: 0.043669	정확도: 98.55%
24	검증 세트 손실: 0.057043	최선의 손실: 0.043669	정확도: 98.83%
25	검증 세트 손실: 0.074998	최선의 손실: 0.043669	정확도: 99.06%
26	검증 세트 손실: 0.087076	최선의 손실: 0.043669	정확도: 98.94%
27	검증 세트 손실: 0.079547	최선의 손실: 0.043669	정확도: 99.02%
28	검증 세트 손실: 0.083177	최선의 손실: 0.043669	정확도: 99.02%
29	검증 세트 손실: 0.085792	최선의 손실: 0.043669	정확도: 99.06%
조기 종료!
[CV]  n_neurons=120, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total=   7.1s
[CV] n_neurons=120, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 
0	검증 세트 손실: 0.103850	최선의 손실: 0.103850	정확도: 97.30%
1	검증 세트 손실: 0.067564	최선의 손실: 0.067564	정확도: 98.12%
2	검증 세트 손실: 0.060161	최선의 손실: 0.060161	정확도: 98.28%
3	검증 세트 손실: 0.064349	최선의 손실: 0.060161	정확도: 98.48%
4	검증 세트 손실: 0.055648	최선의 손실: 0.055648	정확도: 98.55%
5	검증 세트 손실: 0.059491	최선의 손실: 0.055648	정확도: 98.40%
6	검증 세트 손실: 0.049381	최선의 손실: 0.049381	정확도: 98.79%
7	검증 세트 손실: 0.066729	최선의 손실: 0.049381	정확도: 98.55%
8	검증 세트 손실: 0.072768	최선의 손실: 0.049381	정확도: 98.20%
9	검증 세트 손실: 0.040212	최선의 손실: 0.040212	정확도: 98.94%
10	검증 세트 손실: 0.057280	최선의 손실: 0.040212	정확도: 98.67%
11	검증 세트 손실: 0.054836	최선의 손실: 0.040212	정확도: 98.71%
12	검증 세트 손실: 0.063390	최선의 손실: 0.040212	정확도: 98.83%
13	검증 세트 손실: 0.051530	최선의 손실: 0.040212	정확도: 98.67%
14	검증 세트 손실: 0.075230	최선의 손실: 0.040212	정확도: 98.87%
15	검증 세트 손실: 0.062996	최선의 손실: 0.040212	정확도: 98.87%
16	검증 세트 손실: 0.056509	최선의 손실: 0.040212	정확도: 98.83%
17	검증 세트 손실: 0.065633	최선의 손실: 0.040212	정확도: 99.02%
18	검증 세트 손실: 0.052158	최선의 손실: 0.040212	정확도: 99.06%
19	검증 세트 손실: 0.081302	최선의 손실: 0.040212	정확도: 98.91%
20	검증 세트 손실: 0.081773	최선의 손실: 0.040212	정확도: 98.63%
21	검증 세트 손실: 0.087875	최선의 손실: 0.040212	정확도: 98.75%
22	검증 세트 손실: 0.066737	최선의 손실: 0.040212	정확도: 99.02%
23	검증 세트 손실: 0.078363	최선의 손실: 0.040212	정확도: 98.91%
24	검증 세트 손실: 0.070105	최선의 손실: 0.040212	정확도: 98.91%
25	검증 세트 손실: 0.060393	최선의 손실: 0.040212	정확도: 99.10%
26	검증 세트 손실: 0.060355	최선의 손실: 0.040212	정확도: 98.98%
27	검증 세트 손실: 0.071796	최선의 손실: 0.040212	정확도: 99.06%
28	검증 세트 손실: 0.080071	최선의 손실: 0.040212	정확도: 99.06%
29	검증 세트 손실: 0.055605	최선의 손실: 0.040212	정확도: 98.79%
30	검증 세트 손실: 0.061928	최선의 손실: 0.040212	정확도: 99.06%
조기 종료!
[CV]  n_neurons=120, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total=   7.3s
[CV] n_neurons=90, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 
0	검증 세트 손실: 0.125644	최선의 손실: 0.125644	정확도: 96.99%
1	검증 세트 손실: 0.061403	최선의 손실: 0.061403	정확도: 98.24%
2	검증 세트 손실: 0.066687	최선의 손실: 0.061403	정확도: 97.77%
3	검증 세트 손실: 0.054368	최선의 손실: 0.054368	정확도: 98.20%
4	검증 세트 손실: 0.054328	최선의 손실: 0.054328	정확도: 98.32%
5	검증 세트 손실: 0.067437	최선의 손실: 0.054328	정확도: 98.12%
6	검증 세트 손실: 0.036356	최선의 손실: 0.036356	정확도: 98.83%
7	검증 세트 손실: 0.057743	최선의 손실: 0.036356	정확도: 98.40%
8	검증 세트 손실: 0.046037	최선의 손실: 0.036356	정확도: 98.71%
9	검증 세트 손실: 0.045686	최선의 손실: 0.036356	정확도: 98.83%
10	검증 세트 손실: 0.044433	최선의 손실: 0.036356	정확도: 99.02%
11	검증 세트 손실: 0.046541	최선의 손실: 0.036356	정확도: 98.67%
12	검증 세트 손실: 0.062337	최선의 손실: 0.036356	정확도: 98.48%
13	검증 세트 손실: 0.065704	최선의 손실: 0.036356	정확도: 98.48%
14	검증 세트 손실: 0.056532	최선의 손실: 0.036356	정확도: 98.59%
15	검증 세트 손실: 0.057653	최선의 손실: 0.036356	정확도: 98.94%
16	검증 세트 손실: 0.036613	최선의 손실: 0.036356	정확도: 99.10%
17	검증 세트 손실: 0.050595	최선의 손실: 0.036356	정확도: 98.94%
18	검증 세트 손실: 0.060675	최선의 손실: 0.036356	정확도: 98.71%
19	검증 세트 손실: 0.052941	최선의 손실: 0.036356	정확도: 98.83%
20	검증 세트 손실: 0.045952	최선의 손실: 0.036356	정확도: 99.10%
21	검증 세트 손실: 0.083539	최선의 손실: 0.036356	정확도: 98.36%
22	검증 세트 손실: 0.087613	최선의 손실: 0.036356	정확도: 98.67%
23	검증 세트 손실: 0.054027	최선의 손실: 0.036356	정확도: 98.91%
24	검증 세트 손실: 0.044101	최선의 손실: 0.036356	정확도: 99.10%
25	검증 세트 손실: 0.071613	최선의 손실: 0.036356	정확도: 98.79%
26	검증 세트 손실: 0.054607	최선의 손실: 0.036356	정확도: 98.94%
27	검증 세트 손실: 0.061004	최선의 손실: 0.036356	정확도: 99.26%
조기 종료!
[CV]  n_neurons=90, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total=   5.5s
[CV] n_neurons=90, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 
0	검증 세트 손실: 0.086824	최선의 손실: 0.086824	정확도: 97.42%
1	검증 세트 손실: 0.062758	최선의 손실: 0.062758	정확도: 98.01%
2	검증 세트 손실: 0.054979	최선의 손실: 0.054979	정확도: 98.16%
3	검증 세트 손실: 0.050562	최선의 손실: 0.050562	정확도: 98.40%
4	검증 세트 손실: 0.049423	최선의 손실: 0.049423	정확도: 98.40%
5	검증 세트 손실: 0.060881	최선의 손실: 0.049423	정확도: 98.24%
6	검증 세트 손실: 0.042328	최선의 손실: 0.042328	정확도: 98.59%
7	검증 세트 손실: 0.093644	최선의 손실: 0.042328	정확도: 97.54%
8	검증 세트 손실: 0.041667	최선의 손실: 0.041667	정확도: 98.94%
9	검증 세트 손실: 0.064672	최선의 손실: 0.041667	정확도: 98.67%
10	검증 세트 손실: 0.039939	최선의 손실: 0.039939	정확도: 98.79%
11	검증 세트 손실: 0.038714	최선의 손실: 0.038714	정확도: 98.71%
12	검증 세트 손실: 0.048340	최선의 손실: 0.038714	정확도: 98.71%
13	검증 세트 손실: 0.048865	최선의 손실: 0.038714	정확도: 98.63%
14	검증 세트 손실: 0.050127	최선의 손실: 0.038714	정확도: 98.91%
15	검증 세트 손실: 0.076632	최선의 손실: 0.038714	정확도: 98.79%
16	검증 세트 손실: 0.059312	최선의 손실: 0.038714	정확도: 98.63%
17	검증 세트 손실: 0.052989	최선의 손실: 0.038714	정확도: 98.87%
18	검증 세트 손실: 0.050553	최선의 손실: 0.038714	정확도: 99.06%
19	검증 세트 손실: 0.068197	최선의 손실: 0.038714	정확도: 98.87%
20	검증 세트 손실: 0.060219	최선의 손실: 0.038714	정확도: 98.83%
21	검증 세트 손실: 0.106053	최선의 손실: 0.038714	정확도: 97.77%
22	검증 세트 손실: 0.077954	최선의 손실: 0.038714	정확도: 98.55%
23	검증 세트 손실: 0.064427	최선의 손실: 0.038714	정확도: 98.59%
24	검증 세트 손실: 0.067822	최선의 손실: 0.038714	정확도: 98.79%
25	검증 세트 손실: 0.085932	최선의 손실: 0.038714	정확도: 98.83%
26	검증 세트 손실: 0.097478	최선의 손실: 0.038714	정확도: 98.36%
27	검증 세트 손실: 0.074513	최선의 손실: 0.038714	정확도: 98.67%
28	검증 세트 손실: 0.063021	최선의 손실: 0.038714	정확도: 98.94%
29	검증 세트 손실: 0.064320	최선의 손실: 0.038714	정확도: 98.83%
30	검증 세트 손실: 0.065725	최선의 손실: 0.038714	정확도: 98.79%
31	검증 세트 손실: 0.079540	최선의 손실: 0.038714	정확도: 98.94%
32	검증 세트 손실: 0.056984	최선의 손실: 0.038714	정확도: 98.94%
조기 종료!
[CV]  n_neurons=90, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total=   6.4s
[CV] n_neurons=90, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 
0	검증 세트 손실: 0.093045	최선의 손실: 0.093045	정확도: 97.42%
1	검증 세트 손실: 0.062446	최선의 손실: 0.062446	정확도: 98.32%
2	검증 세트 손실: 0.053794	최선의 손실: 0.053794	정확도: 98.51%
3	검증 세트 손실: 0.052708	최선의 손실: 0.052708	정확도: 98.51%
4	검증 세트 손실: 0.045225	최선의 손실: 0.045225	정확도: 98.55%
5	검증 세트 손실: 0.059690	최선의 손실: 0.045225	정확도: 98.20%
6	검증 세트 손실: 0.061587	최선의 손실: 0.045225	정확도: 98.40%
7	검증 세트 손실: 0.062032	최선의 손실: 0.045225	정확도: 98.36%
8	검증 세트 손실: 0.064090	최선의 손실: 0.045225	정확도: 98.36%
9	검증 세트 손실: 0.060882	최선의 손실: 0.045225	정확도: 98.48%
10	검증 세트 손실: 0.058720	최선의 손실: 0.045225	정확도: 98.63%
11	검증 세트 손실: 0.048569	최선의 손실: 0.045225	정확도: 98.79%
12	검증 세트 손실: 0.052376	최선의 손실: 0.045225	정확도: 98.44%
13	검증 세트 손실: 0.049417	최선의 손실: 0.045225	정확도: 98.67%
14	검증 세트 손실: 0.059069	최선의 손실: 0.045225	정확도: 98.59%
15	검증 세트 손실: 0.077342	최선의 손실: 0.045225	정확도: 98.79%
16	검증 세트 손실: 0.065368	최선의 손실: 0.045225	정확도: 98.59%
17	검증 세트 손실: 0.055816	최선의 손실: 0.045225	정확도: 98.63%
18	검증 세트 손실: 0.054167	최선의 손실: 0.045225	정확도: 98.63%
19	검증 세트 손실: 0.058868	최선의 손실: 0.045225	정확도: 98.55%
20	검증 세트 손실: 0.055102	최선의 손실: 0.045225	정확도: 99.02%
21	검증 세트 손실: 0.067657	최선의 손실: 0.045225	정확도: 98.51%
22	검증 세트 손실: 0.057822	최선의 손실: 0.045225	정확도: 98.75%
23	검증 세트 손실: 0.084302	최선의 손실: 0.045225	정확도: 98.48%
24	검증 세트 손실: 0.066277	최선의 손실: 0.045225	정확도: 98.87%
25	검증 세트 손실: 0.077925	최선의 손실: 0.045225	정확도: 98.79%
조기 종료!
[CV]  n_neurons=90, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total=   5.2s
[CV] n_neurons=140, learning_rate=0.01, batch_size=500, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.131316	최선의 손실: 0.131316	정확도: 95.70%
1	검증 세트 손실: 0.076757	최선의 손실: 0.076757	정확도: 97.58%
2	검증 세트 손실: 0.071406	최선의 손실: 0.071406	정확도: 97.69%
3	검증 세트 손실: 0.085052	최선의 손실: 0.071406	정확도: 97.50%
4	검증 세트 손실: 0.065436	최선의 손실: 0.065436	정확도: 97.89%
5	검증 세트 손실: 0.070239	최선의 손실: 0.065436	정확도: 98.16%
6	검증 세트 손실: 0.058229	최선의 손실: 0.058229	정확도: 98.40%
7	검증 세트 손실: 0.043609	최선의 손실: 0.043609	정확도: 98.67%
8	검증 세트 손실: 0.047669	최선의 손실: 0.043609	정확도: 98.63%
9	검증 세트 손실: 0.050014	최선의 손실: 0.043609	정확도: 98.75%
10	검증 세트 손실: 0.045471	최선의 손실: 0.043609	정확도: 98.94%
11	검증 세트 손실: 0.064411	최선의 손실: 0.043609	정확도: 98.51%
12	검증 세트 손실: 0.053780	최선의 손실: 0.043609	정확도: 98.59%
13	검증 세트 손실: 0.048436	최선의 손실: 0.043609	정확도: 98.83%
14	검증 세트 손실: 0.052409	최선의 손실: 0.043609	정확도: 98.98%
15	검증 세트 손실: 0.057364	최선의 손실: 0.043609	정확도: 98.98%
16	검증 세트 손실: 0.056954	최선의 손실: 0.043609	정확도: 99.06%
17	검증 세트 손실: 0.063567	최선의 손실: 0.043609	정확도: 98.75%
18	검증 세트 손실: 0.060083	최선의 손실: 0.043609	정확도: 98.79%
19	검증 세트 손실: 0.086818	최선의 손실: 0.043609	정확도: 98.44%
20	검증 세트 손실: 0.103629	최선의 손실: 0.043609	정확도: 97.81%
21	검증 세트 손실: 0.061445	최선의 손실: 0.043609	정확도: 98.67%
22	검증 세트 손실: 0.066770	최선의 손실: 0.043609	정확도: 98.87%
23	검증 세트 손실: 0.088259	최선의 손실: 0.043609	정확도: 98.48%
24	검증 세트 손실: 0.070522	최선의 손실: 0.043609	정확도: 98.55%
25	검증 세트 손실: 0.053639	최선의 손실: 0.043609	정확도: 98.94%
26	검증 세트 손실: 0.055513	최선의 손실: 0.043609	정확도: 99.10%
27	검증 세트 손실: 0.066452	최선의 손실: 0.043609	정확도: 98.94%
28	검증 세트 손실: 0.067137	최선의 손실: 0.043609	정확도: 98.91%
조기 종료!
[CV]  n_neurons=140, learning_rate=0.01, batch_size=500, activation=<function elu at 0x7f8ec4ceef28>, total=   7.4s
[CV] n_neurons=140, learning_rate=0.01, batch_size=500, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.123218	최선의 손실: 0.123218	정확도: 95.93%
1	검증 세트 손실: 0.083363	최선의 손실: 0.083363	정확도: 97.30%
2	검증 세트 손실: 0.065928	최선의 손실: 0.065928	정확도: 97.77%
3	검증 세트 손실: 0.059005	최선의 손실: 0.059005	정확도: 97.89%
4	검증 세트 손실: 0.071271	최선의 손실: 0.059005	정확도: 97.58%
5	검증 세트 손실: 0.065771	최선의 손실: 0.059005	정확도: 97.93%
6	검증 세트 손실: 0.048410	최선의 손실: 0.048410	정확도: 98.51%
7	검증 세트 손실: 0.057414	최선의 손실: 0.048410	정확도: 98.28%
8	검증 세트 손실: 0.052810	최선의 손실: 0.048410	정확도: 98.44%
9	검증 세트 손실: 0.054508	최선의 손실: 0.048410	정확도: 98.67%
10	검증 세트 손실: 0.055793	최선의 손실: 0.048410	정확도: 98.44%
11	검증 세트 손실: 0.058459	최선의 손실: 0.048410	정확도: 98.51%
12	검증 세트 손실: 0.069417	최선의 손실: 0.048410	정확도: 98.55%
13	검증 세트 손실: 0.047549	최선의 손실: 0.047549	정확도: 98.79%
14	검증 세트 손실: 0.097031	최선의 손실: 0.047549	정확도: 98.12%
15	검증 세트 손실: 0.071348	최선의 손실: 0.047549	정확도: 98.75%
16	검증 세트 손실: 0.057430	최선의 손실: 0.047549	정확도: 98.75%
17	검증 세트 손실: 0.065822	최선의 손실: 0.047549	정확도: 98.87%
18	검증 세트 손실: 0.060730	최선의 손실: 0.047549	정확도: 98.71%
19	검증 세트 손실: 0.082107	최선의 손실: 0.047549	정확도: 98.63%
20	검증 세트 손실: 0.074310	최선의 손실: 0.047549	정확도: 98.55%
21	검증 세트 손실: 0.074472	최선의 손실: 0.047549	정확도: 98.32%
22	검증 세트 손실: 0.080340	최선의 손실: 0.047549	정확도: 98.71%
23	검증 세트 손실: 0.069632	최선의 손실: 0.047549	정확도: 98.28%
24	검증 세트 손실: 0.070948	최선의 손실: 0.047549	정확도: 98.91%
25	검증 세트 손실: 0.064276	최선의 손실: 0.047549	정확도: 98.71%
26	검증 세트 손실: 0.099554	최선의 손실: 0.047549	정확도: 98.40%
27	검증 세트 손실: 0.064798	최선의 손실: 0.047549	정확도: 98.91%
28	검증 세트 손실: 0.074022	최선의 손실: 0.047549	정확도: 98.94%
29	검증 세트 손실: 0.072556	최선의 손실: 0.047549	정확도: 98.91%
30	검증 세트 손실: 0.084082	최선의 손실: 0.047549	정확도: 98.59%
31	검증 세트 손실: 0.082196	최선의 손실: 0.047549	정확도: 98.79%
32	검증 세트 손실: 0.068429	최선의 손실: 0.047549	정확도: 98.91%
33	검증 세트 손실: 0.060926	최선의 손실: 0.047549	정확도: 98.87%
34	검증 세트 손실: 0.059046	최선의 손실: 0.047549	정확도: 98.98%
조기 종료!
[CV]  n_neurons=140, learning_rate=0.01, batch_size=500, activation=<function elu at 0x7f8ec4ceef28>, total=   8.8s
[CV] n_neurons=140, learning_rate=0.01, batch_size=500, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.108754	최선의 손실: 0.108754	정확도: 96.68%
1	검증 세트 손실: 0.076621	최선의 손실: 0.076621	정확도: 97.54%
2	검증 세트 손실: 0.066869	최선의 손실: 0.066869	정확도: 98.08%
3	검증 세트 손실: 0.059805	최선의 손실: 0.059805	정확도: 98.20%
4	검증 세트 손실: 0.050830	최선의 손실: 0.050830	정확도: 98.36%
5	검증 세트 손실: 0.050915	최선의 손실: 0.050830	정확도: 98.32%
6	검증 세트 손실: 0.054090	최선의 손실: 0.050830	정확도: 98.44%
7	검증 세트 손실: 0.041230	최선의 손실: 0.041230	정확도: 98.71%
8	검증 세트 손실: 0.049005	최선의 손실: 0.041230	정확도: 98.51%
9	검증 세트 손실: 0.056138	최선의 손실: 0.041230	정확도: 98.79%
10	검증 세트 손실: 0.073905	최선의 손실: 0.041230	정확도: 98.28%
11	검증 세트 손실: 0.062808	최선의 손실: 0.041230	정확도: 98.63%
12	검증 세트 손실: 0.087869	최선의 손실: 0.041230	정확도: 98.01%
13	검증 세트 손실: 0.061957	최선의 손실: 0.041230	정확도: 98.67%
14	검증 세트 손실: 0.062072	최선의 손실: 0.041230	정확도: 98.75%
15	검증 세트 손실: 0.056108	최선의 손실: 0.041230	정확도: 98.98%
16	검증 세트 손실: 0.070555	최선의 손실: 0.041230	정확도: 98.55%
17	검증 세트 손실: 0.076794	최선의 손실: 0.041230	정확도: 98.40%
18	검증 세트 손실: 0.059209	최선의 손실: 0.041230	정확도: 98.71%
19	검증 세트 손실: 0.067047	최선의 손실: 0.041230	정확도: 98.67%
20	검증 세트 손실: 0.063466	최선의 손실: 0.041230	정확도: 98.75%
21	검증 세트 손실: 0.073017	최선의 손실: 0.041230	정확도: 98.63%
22	검증 세트 손실: 0.081922	최선의 손실: 0.041230	정확도: 98.44%
23	검증 세트 손실: 0.091177	최선의 손실: 0.041230	정확도: 98.67%
24	검증 세트 손실: 0.058785	최선의 손실: 0.041230	정확도: 98.79%
25	검증 세트 손실: 0.063682	최선의 손실: 0.041230	정확도: 98.87%
26	검증 세트 손실: 0.087580	최선의 손실: 0.041230	정확도: 98.44%
27	검증 세트 손실: 0.069776	최선의 손실: 0.041230	정확도: 98.79%
28	검증 세트 손실: 0.073279	최선의 손실: 0.041230	정확도: 98.75%
조기 종료!
[CV]  n_neurons=140, learning_rate=0.01, batch_size=500, activation=<function elu at 0x7f8ec4ceef28>, total=   7.3s
[CV] n_neurons=50, learning_rate=0.1, batch_size=10, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 1.680824	최선의 손실: 1.680824	정확도: 19.27%
1	검증 세트 손실: 1.621809	최선의 손실: 1.621809	정확도: 19.27%
2	검증 세트 손실: 1.619829	최선의 손실: 1.619829	정확도: 19.27%
3	검증 세트 손실: 1.616521	최선의 손실: 1.616521	정확도: 19.27%
4	검증 세트 손실: 1.654961	최선의 손실: 1.616521	정확도: 22.01%
5	검증 세트 손실: 1.621475	최선의 손실: 1.616521	정확도: 22.01%
6	검증 세트 손실: 1.632695	최선의 손실: 1.616521	정확도: 19.27%
7	검증 세트 손실: 1.614866	최선의 손실: 1.614866	정확도: 19.27%
8	검증 세트 손실: 1.642610	최선의 손실: 1.614866	정확도: 19.27%
9	검증 세트 손실: 1.639823	최선의 손실: 1.614866	정확도: 19.27%
10	검증 세트 손실: 1.615378	최선의 손실: 1.614866	정확도: 22.01%
11	검증 세트 손실: 1.630569	최선의 손실: 1.614866	정확도: 22.01%
12	검증 세트 손실: 1.636738	최선의 손실: 1.614866	정확도: 19.08%
13	검증 세트 손실: 1.613106	최선의 손실: 1.613106	정확도: 19.27%
14	검증 세트 손실: 1.629267	최선의 손실: 1.613106	정확도: 19.08%
15	검증 세트 손실: 1.617142	최선의 손실: 1.613106	정확도: 22.01%
16	검증 세트 손실: 1.626923	최선의 손실: 1.613106	정확도: 18.73%
17	검증 세트 손실: 1.608595	최선의 손실: 1.608595	정확도: 22.01%
18	검증 세트 손실: 1.624731	최선의 손실: 1.608595	정확도: 19.27%
19	검증 세트 손실: 1.624030	최선의 손실: 1.608595	정확도: 20.91%
20	검증 세트 손실: 1.615448	최선의 손실: 1.608595	정확도: 19.27%
21	검증 세트 손실: 1.629645	최선의 손실: 1.608595	정확도: 19.27%
22	검증 세트 손실: 1.619089	최선의 손실: 1.608595	정확도: 19.27%
23	검증 세트 손실: 1.621075	최선의 손실: 1.608595	정확도: 22.01%
24	검증 세트 손실: 1.633985	최선의 손실: 1.608595	정확도: 22.01%
25	검증 세트 손실: 1.647179	최선의 손실: 1.608595	정확도: 22.01%
26	검증 세트 손실: 1.614125	최선의 손실: 1.608595	정확도: 19.08%
27	검증 세트 손실: 1.638547	최선의 손실: 1.608595	정확도: 19.27%
28	검증 세트 손실: 1.656266	최선의 손실: 1.608595	정확도: 22.01%
29	검증 세트 손실: 1.617742	최선의 손실: 1.608595	정확도: 18.73%
30	검증 세트 손실: 1.641872	최선의 손실: 1.608595	정확도: 19.27%
31	검증 세트 손실: 1.631484	최선의 손실: 1.608595	정확도: 18.73%
32	검증 세트 손실: 1.641180	최선의 손실: 1.608595	정확도: 18.73%
33	검증 세트 손실: 1.647449	최선의 손실: 1.608595	정확도: 19.08%
34	검증 세트 손실: 1.610285	최선의 손실: 1.608595	정확도: 22.01%
35	검증 세트 손실: 1.624693	최선의 손실: 1.608595	정확도: 19.08%
36	검증 세트 손실: 1.630855	최선의 손실: 1.608595	정확도: 18.73%
37	검증 세트 손실: 1.632279	최선의 손실: 1.608595	정확도: 18.73%
38	검증 세트 손실: 1.631024	최선의 손실: 1.608595	정확도: 22.01%
조기 종료!
[CV]  n_neurons=50, learning_rate=0.1, batch_size=10, activation=<function relu at 0x7f8ec4c8c510>, total=  34.0s
[CV] n_neurons=50, learning_rate=0.1, batch_size=10, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 1.631946	최선의 손실: 1.631946	정확도: 22.01%
1	검증 세트 손실: 1.644833	최선의 손실: 1.631946	정확도: 19.08%
2	검증 세트 손실: 1.611661	최선의 손실: 1.611661	정확도: 22.01%
3	검증 세트 손실: 1.614182	최선의 손실: 1.611661	정확도: 22.01%
4	검증 세트 손실: 1.617815	최선의 손실: 1.611661	정확도: 22.01%
5	검증 세트 손실: 1.624095	최선의 손실: 1.611661	정확도: 22.01%
6	검증 세트 손실: 1.635101	최선의 손실: 1.611661	정확도: 19.27%
7	검증 세트 손실: 1.630914	최선의 손실: 1.611661	정확도: 18.73%
8	검증 세트 손실: 1.639863	최선의 손실: 1.611661	정확도: 22.01%
9	검증 세트 손실: 1.611894	최선의 손실: 1.611661	정확도: 20.91%
10	검증 세트 손실: 1.613292	최선의 손실: 1.611661	정확도: 22.01%
11	검증 세트 손실: 1.614465	최선의 손실: 1.611661	정확도: 22.01%
12	검증 세트 손실: 1.615519	최선의 손실: 1.611661	정확도: 20.91%
13	검증 세트 손실: 1.609593	최선의 손실: 1.609593	정확도: 22.01%
14	검증 세트 손실: 1.628134	최선의 손실: 1.609593	정확도: 22.01%
15	검증 세트 손실: 1.613723	최선의 손실: 1.609593	정확도: 19.08%
16	검증 세트 손실: 1.621646	최선의 손실: 1.609593	정확도: 22.01%
17	검증 세트 손실: 1.612428	최선의 손실: 1.609593	정확도: 19.08%
18	검증 세트 손실: 1.622170	최선의 손실: 1.609593	정확도: 22.01%
19	검증 세트 손실: 1.611825	최선의 손실: 1.609593	정확도: 22.01%
20	검증 세트 손실: 1.612158	최선의 손실: 1.609593	정확도: 20.91%
21	검증 세트 손실: 1.657981	최선의 손실: 1.609593	정확도: 22.01%
22	검증 세트 손실: 1.643383	최선의 손실: 1.609593	정확도: 19.27%
23	검증 세트 손실: 1.647554	최선의 손실: 1.609593	정확도: 22.01%
24	검증 세트 손실: 1.652203	최선의 손실: 1.609593	정확도: 18.73%
25	검증 세트 손실: 1.610976	최선의 손실: 1.609593	정확도: 20.91%
26	검증 세트 손실: 1.614098	최선의 손실: 1.609593	정확도: 20.91%
27	검증 세트 손실: 1.614371	최선의 손실: 1.609593	정확도: 20.91%
28	검증 세트 손실: 1.642984	최선의 손실: 1.609593	정확도: 19.08%
29	검증 세트 손실: 1.614041	최선의 손실: 1.609593	정확도: 19.08%
30	검증 세트 손실: 1.609285	최선의 손실: 1.609285	정확도: 22.01%
31	검증 세트 손실: 1.634894	최선의 손실: 1.609285	정확도: 18.73%
32	검증 세트 손실: 1.614006	최선의 손실: 1.609285	정확도: 19.08%
33	검증 세트 손실: 1.619314	최선의 손실: 1.609285	정확도: 19.08%
34	검증 세트 손실: 1.611677	최선의 손실: 1.609285	정확도: 22.01%
35	검증 세트 손실: 1.638075	최선의 손실: 1.609285	정확도: 20.91%
36	검증 세트 손실: 1.621402	최선의 손실: 1.609285	정확도: 22.01%
37	검증 세트 손실: 1.617570	최선의 손실: 1.609285	정확도: 22.01%
38	검증 세트 손실: 1.620770	최선의 손실: 1.609285	정확도: 20.91%
39	검증 세트 손실: 1.627340	최선의 손실: 1.609285	정확도: 19.27%
40	검증 세트 손실: 1.607887	최선의 손실: 1.607887	정확도: 22.01%
41	검증 세트 손실: 1.634036	최선의 손실: 1.607887	정확도: 22.01%
42	검증 세트 손실: 1.618335	최선의 손실: 1.607887	정확도: 20.91%
43	검증 세트 손실: 1.618744	최선의 손실: 1.607887	정확도: 22.01%
44	검증 세트 손실: 1.621667	최선의 손실: 1.607887	정확도: 19.08%
45	검증 세트 손실: 1.629387	최선의 손실: 1.607887	정확도: 22.01%
46	검증 세트 손실: 1.637660	최선의 손실: 1.607887	정확도: 18.73%
47	검증 세트 손실: 1.609609	최선의 손실: 1.607887	정확도: 22.01%
48	검증 세트 손실: 1.612161	최선의 손실: 1.607887	정확도: 22.01%
49	검증 세트 손실: 1.643130	최선의 손실: 1.607887	정확도: 19.27%
50	검증 세트 손실: 1.611989	최선의 손실: 1.607887	정확도: 22.01%
51	검증 세트 손실: 1.619973	최선의 손실: 1.607887	정확도: 19.08%
52	검증 세트 손실: 1.627019	최선의 손실: 1.607887	정확도: 19.08%
53	검증 세트 손실: 1.618522	최선의 손실: 1.607887	정확도: 22.01%
54	검증 세트 손실: 1.654810	최선의 손실: 1.607887	정확도: 18.73%
55	검증 세트 손실: 1.645115	최선의 손실: 1.607887	정확도: 18.73%
56	검증 세트 손실: 1.669473	최선의 손실: 1.607887	정확도: 19.08%
57	검증 세트 손실: 1.619665	최선의 손실: 1.607887	정확도: 18.73%
58	검증 세트 손실: 1.612547	최선의 손실: 1.607887	정확도: 22.01%
59	검증 세트 손실: 1.619512	최선의 손실: 1.607887	정확도: 22.01%
60	검증 세트 손실: 1.635963	최선의 손실: 1.607887	정확도: 18.73%
61	검증 세트 손실: 1.627398	최선의 손실: 1.607887	정확도: 22.01%
조기 종료!
[CV]  n_neurons=50, learning_rate=0.1, batch_size=10, activation=<function relu at 0x7f8ec4c8c510>, total=  54.1s
[CV] n_neurons=50, learning_rate=0.1, batch_size=10, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 1.644702	최선의 손실: 1.644702	정확도: 19.27%
1	검증 세트 손실: 1.624352	최선의 손실: 1.624352	정확도: 19.27%
2	검증 세트 손실: 1.614131	최선의 손실: 1.614131	정확도: 19.27%
3	검증 세트 손실: 1.616998	최선의 손실: 1.614131	정확도: 19.27%
4	검증 세트 손실: 1.614502	최선의 손실: 1.614131	정확도: 22.01%
5	검증 세트 손실: 1.627699	최선의 손실: 1.614131	정확도: 22.01%
6	검증 세트 손실: 1.648675	최선의 손실: 1.614131	정확도: 19.27%
7	검증 세트 손실: 1.627600	최선의 손실: 1.614131	정확도: 18.73%
8	검증 세트 손실: 1.625684	최선의 손실: 1.614131	정확도: 22.01%
9	검증 세트 손실: 1.615554	최선의 손실: 1.614131	정확도: 20.91%
10	검증 세트 손실: 1.619121	최선의 손실: 1.614131	정확도: 22.01%
11	검증 세트 손실: 1.639597	최선의 손실: 1.614131	정확도: 22.01%
12	검증 세트 손실: 1.627611	최선의 손실: 1.614131	정확도: 19.08%
13	검증 세트 손실: 1.615012	최선의 손실: 1.614131	정확도: 19.08%
14	검증 세트 손실: 1.624332	최선의 손실: 1.614131	정확도: 19.08%
15	검증 세트 손실: 1.612443	최선의 손실: 1.612443	정확도: 22.01%
16	검증 세트 손실: 1.627838	최선의 손실: 1.612443	정확도: 22.01%
17	검증 세트 손실: 1.613231	최선의 손실: 1.612443	정확도: 18.73%
18	검증 세트 손실: 1.615750	최선의 손실: 1.612443	정확도: 22.01%
19	검증 세트 손실: 1.619094	최선의 손실: 1.612443	정확도: 22.01%
20	검증 세트 손실: 1.609112	최선의 손실: 1.609112	정확도: 22.01%
21	검증 세트 손실: 1.689015	최선의 손실: 1.609112	정확도: 22.01%
22	검증 세트 손실: 1.618887	최선의 손실: 1.609112	정확도: 18.73%
23	검증 세트 손실: 1.638923	최선의 손실: 1.609112	정확도: 22.01%
24	검증 세트 손실: 1.660611	최선의 손실: 1.609112	정확도: 20.91%
25	검증 세트 손실: 1.619327	최선의 손실: 1.609112	정확도: 19.27%
26	검증 세트 손실: 1.611328	최선의 손실: 1.609112	정확도: 22.01%
27	검증 세트 손실: 1.614297	최선의 손실: 1.609112	정확도: 20.91%
28	검증 세트 손실: 1.628115	최선의 손실: 1.609112	정확도: 19.08%
29	검증 세트 손실: 1.610351	최선의 손실: 1.609112	정확도: 20.91%
30	검증 세트 손실: 1.626940	최선의 손실: 1.609112	정확도: 20.91%
31	검증 세트 손실: 1.633271	최선의 손실: 1.609112	정확도: 18.73%
32	검증 세트 손실: 1.609059	최선의 손실: 1.609059	정확도: 22.01%
33	검증 세트 손실: 1.610649	최선의 손실: 1.609059	정확도: 19.08%
34	검증 세트 손실: 1.616985	최선의 손실: 1.609059	정확도: 22.01%
35	검증 세트 손실: 1.627558	최선의 손실: 1.609059	정확도: 19.27%
36	검증 세트 손실: 1.609164	최선의 손실: 1.609059	정확도: 20.91%
37	검증 세트 손실: 1.626446	최선의 손실: 1.609059	정확도: 19.27%
38	검증 세트 손실: 1.614501	최선의 손실: 1.609059	정확도: 22.01%
39	검증 세트 손실: 1.617748	최선의 손실: 1.609059	정확도: 19.27%
40	검증 세트 손실: 1.623124	최선의 손실: 1.609059	정확도: 22.01%
41	검증 세트 손실: 1.615785	최선의 손실: 1.609059	정확도: 19.27%
42	검증 세트 손실: 1.617481	최선의 손실: 1.609059	정확도: 19.27%
43	검증 세트 손실: 1.617776	최선의 손실: 1.609059	정확도: 19.08%
44	검증 세트 손실: 1.626857	최선의 손실: 1.609059	정확도: 22.01%
45	검증 세트 손실: 1.613782	최선의 손실: 1.609059	정확도: 22.01%
46	검증 세트 손실: 1.618688	최선의 손실: 1.609059	정확도: 22.01%
47	검증 세트 손실: 1.610628	최선의 손실: 1.609059	정확도: 22.01%
48	검증 세트 손실: 1.614394	최선의 손실: 1.609059	정확도: 18.73%
49	검증 세트 손실: 1.612177	최선의 손실: 1.609059	정확도: 19.27%
50	검증 세트 손실: 1.623884	최선의 손실: 1.609059	정확도: 19.27%
51	검증 세트 손실: 1.616774	최선의 손실: 1.609059	정확도: 22.01%
52	검증 세트 손실: 1.620593	최선의 손실: 1.609059	정확도: 18.73%
53	검증 세트 손실: 1.617683	최선의 손실: 1.609059	정확도: 22.01%
조기 종료!
[CV]  n_neurons=50, learning_rate=0.1, batch_size=10, activation=<function relu at 0x7f8ec4c8c510>, total=  47.0s
[CV] n_neurons=30, learning_rate=0.02, batch_size=100, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 0.078571	최선의 손실: 0.078571	정확도: 97.73%
1	검증 세트 손실: 0.086604	최선의 손실: 0.078571	정확도: 97.77%
2	검증 세트 손실: 0.062715	최선의 손실: 0.062715	정확도: 98.48%
3	검증 세트 손실: 0.073588	최선의 손실: 0.062715	정확도: 98.16%
4	검증 세트 손실: 0.099684	최선의 손실: 0.062715	정확도: 97.50%
5	검증 세트 손실: 0.080363	최선의 손실: 0.062715	정확도: 98.28%
6	검증 세트 손실: 0.078911	최선의 손실: 0.062715	정확도: 98.20%
7	검증 세트 손실: 0.075540	최선의 손실: 0.062715	정확도: 98.32%
8	검증 세트 손실: 0.106845	최선의 손실: 0.062715	정확도: 96.99%
9	검증 세트 손실: 0.089732	최선의 손실: 0.062715	정확도: 97.69%
10	검증 세트 손실: 0.081916	최선의 손실: 0.062715	정확도: 98.05%
11	검증 세트 손실: 0.134452	최선의 손실: 0.062715	정확도: 97.34%
12	검증 세트 손실: 0.080808	최선의 손실: 0.062715	정확도: 98.20%
13	검증 세트 손실: 0.090285	최선의 손실: 0.062715	정확도: 97.89%
14	검증 세트 손실: 0.098188	최선의 손실: 0.062715	정확도: 98.01%
15	검증 세트 손실: 0.066659	최선의 손실: 0.062715	정확도: 98.59%
16	검증 세트 손실: 0.098462	최선의 손실: 0.062715	정확도: 98.01%
17	검증 세트 손실: 0.093574	최선의 손실: 0.062715	정확도: 98.05%
18	검증 세트 손실: 0.222328	최선의 손실: 0.062715	정확도: 97.54%
19	검증 세트 손실: 0.098380	최선의 손실: 0.062715	정확도: 97.26%
20	검증 세트 손실: 0.112617	최선의 손실: 0.062715	정확도: 97.69%
21	검증 세트 손실: 0.113867	최선의 손실: 0.062715	정확도: 96.91%
22	검증 세트 손실: 0.080042	최선의 손실: 0.062715	정확도: 98.08%
23	검증 세트 손실: 0.117727	최선의 손실: 0.062715	정확도: 97.03%
조기 종료!
[CV]  n_neurons=30, learning_rate=0.02, batch_size=100, activation=<function relu at 0x7f8ec4c8c510>, total=   3.8s
[CV] n_neurons=30, learning_rate=0.02, batch_size=100, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 0.129494	최선의 손실: 0.129494	정확도: 96.33%
1	검증 세트 손실: 0.119551	최선의 손실: 0.119551	정확도: 97.11%
2	검증 세트 손실: 0.086351	최선의 손실: 0.086351	정확도: 97.30%
3	검증 세트 손실: 0.080640	최선의 손실: 0.080640	정확도: 97.85%
4	검증 세트 손실: 0.093407	최선의 손실: 0.080640	정확도: 97.50%
5	검증 세트 손실: 0.101226	최선의 손실: 0.080640	정확도: 97.11%
6	검증 세트 손실: 0.140311	최선의 손실: 0.080640	정확도: 96.95%
7	검증 세트 손실: 0.076011	최선의 손실: 0.076011	정확도: 97.97%
8	검증 세트 손실: 0.139178	최선의 손실: 0.076011	정확도: 97.73%
9	검증 세트 손실: 0.074389	최선의 손실: 0.074389	정확도: 98.05%
10	검증 세트 손실: 0.084281	최선의 손실: 0.074389	정확도: 98.20%
11	검증 세트 손실: 0.164974	최선의 손실: 0.074389	정확도: 98.28%
12	검증 세트 손실: 0.071322	최선의 손실: 0.071322	정확도: 98.12%
13	검증 세트 손실: 0.087620	최선의 손실: 0.071322	정확도: 98.16%
14	검증 세트 손실: 0.090056	최선의 손실: 0.071322	정확도: 98.08%
15	검증 세트 손실: 0.066347	최선의 손실: 0.066347	정확도: 98.28%
16	검증 세트 손실: 0.077305	최선의 손실: 0.066347	정확도: 98.40%
17	검증 세트 손실: 0.101670	최선의 손실: 0.066347	정확도: 98.05%
18	검증 세트 손실: 0.075264	최선의 손실: 0.066347	정확도: 98.36%
19	검증 세트 손실: 0.097956	최선의 손실: 0.066347	정확도: 98.05%
20	검증 세트 손실: 0.095701	최선의 손실: 0.066347	정확도: 98.40%
21	검증 세트 손실: 0.107292	최선의 손실: 0.066347	정확도: 97.30%
22	검증 세트 손실: 0.087180	최선의 손실: 0.066347	정확도: 97.81%
23	검증 세트 손실: 0.102036	최선의 손실: 0.066347	정확도: 97.65%
24	검증 세트 손실: 0.097211	최선의 손실: 0.066347	정확도: 98.12%
25	검증 세트 손실: 0.082003	최선의 손실: 0.066347	정확도: 98.44%
26	검증 세트 손실: 0.106933	최선의 손실: 0.066347	정확도: 98.01%
27	검증 세트 손실: 0.082594	최선의 손실: 0.066347	정확도: 98.40%
28	검증 세트 손실: 0.077675	최선의 손실: 0.066347	정확도: 98.40%
29	검증 세트 손실: 0.086000	최선의 손실: 0.066347	정확도: 98.12%
30	검증 세트 손실: 0.077836	최선의 손실: 0.066347	정확도: 98.28%
31	검증 세트 손실: 0.073262	최선의 손실: 0.066347	정확도: 98.40%
32	검증 세트 손실: 0.143054	최선의 손실: 0.066347	정확도: 98.16%
33	검증 세트 손실: 0.143183	최선의 손실: 0.066347	정확도: 96.33%
34	검증 세트 손실: 0.098938	최선의 손실: 0.066347	정확도: 98.12%
35	검증 세트 손실: 0.185638	최선의 손실: 0.066347	정확도: 93.94%
36	검증 세트 손실: 0.092825	최선의 손실: 0.066347	정확도: 97.81%
조기 종료!
[CV]  n_neurons=30, learning_rate=0.02, batch_size=100, activation=<function relu at 0x7f8ec4c8c510>, total=   5.7s
[CV] n_neurons=30, learning_rate=0.02, batch_size=100, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 0.097943	최선의 손실: 0.097943	정확도: 97.73%
1	검증 세트 손실: 0.078470	최선의 손실: 0.078470	정확도: 98.20%
2	검증 세트 손실: 0.099947	최선의 손실: 0.078470	정확도: 97.65%
3	검증 세트 손실: 0.089017	최선의 손실: 0.078470	정확도: 98.20%
4	검증 세트 손실: 0.071668	최선의 손실: 0.071668	정확도: 98.28%
5	검증 세트 손실: 0.094318	최선의 손실: 0.071668	정확도: 97.69%
6	검증 세트 손실: 0.094176	최선의 손실: 0.071668	정확도: 98.16%
7	검증 세트 손실: 0.075877	최선의 손실: 0.071668	정확도: 98.05%
8	검증 세트 손실: 0.076313	최선의 손실: 0.071668	정확도: 98.32%
9	검증 세트 손실: 0.078481	최선의 손실: 0.071668	정확도: 98.32%
10	검증 세트 손실: 0.122400	최선의 손실: 0.071668	정확도: 97.26%
11	검증 세트 손실: 0.072401	최선의 손실: 0.071668	정확도: 98.20%
12	검증 세트 손실: 0.095301	최선의 손실: 0.071668	정확도: 97.81%
13	검증 세트 손실: 0.076847	최선의 손실: 0.071668	정확도: 98.32%
14	검증 세트 손실: 0.103863	최선의 손실: 0.071668	정확도: 98.36%
15	검증 세트 손실: 0.081043	최선의 손실: 0.071668	정확도: 98.40%
16	검증 세트 손실: 0.089839	최선의 손실: 0.071668	정확도: 97.62%
17	검증 세트 손실: 0.071595	최선의 손실: 0.071595	정확도: 98.36%
18	검증 세트 손실: 0.076594	최선의 손실: 0.071595	정확도: 98.32%
19	검증 세트 손실: 0.093071	최선의 손실: 0.071595	정확도: 98.16%
20	검증 세트 손실: 0.070257	최선의 손실: 0.070257	정확도: 98.28%
21	검증 세트 손실: 0.157739	최선의 손실: 0.070257	정확도: 97.97%
22	검증 세트 손실: 0.177188	최선의 손실: 0.070257	정확도: 95.90%
23	검증 세트 손실: 0.120664	최선의 손실: 0.070257	정확도: 96.91%
24	검증 세트 손실: 0.102688	최선의 손실: 0.070257	정확도: 98.08%
25	검증 세트 손실: 0.088356	최선의 손실: 0.070257	정확도: 98.48%
26	검증 세트 손실: 0.087845	최선의 손실: 0.070257	정확도: 98.20%
27	검증 세트 손실: 0.083557	최선의 손실: 0.070257	정확도: 98.01%
28	검증 세트 손실: 0.075139	최선의 손실: 0.070257	정확도: 98.16%
29	검증 세트 손실: 0.072139	최선의 손실: 0.070257	정확도: 98.24%
30	검증 세트 손실: 0.094946	최선의 손실: 0.070257	정확도: 98.28%
31	검증 세트 손실: 0.108458	최선의 손실: 0.070257	정확도: 98.48%
32	검증 세트 손실: 0.100851	최선의 손실: 0.070257	정확도: 98.55%
33	검증 세트 손실: 0.084456	최선의 손실: 0.070257	정확도: 98.32%
34	검증 세트 손실: 0.092506	최선의 손실: 0.070257	정확도: 98.48%
35	검증 세트 손실: 0.113258	최선의 손실: 0.070257	정확도: 98.36%
36	검증 세트 손실: 0.089383	최선의 손실: 0.070257	정확도: 98.40%
37	검증 세트 손실: 0.101454	최선의 손실: 0.070257	정확도: 98.20%
38	검증 세트 손실: 0.158697	최선의 손실: 0.070257	정확도: 95.00%
39	검증 세트 손실: 0.086534	최선의 손실: 0.070257	정확도: 98.24%
40	검증 세트 손실: 0.167023	최선의 손실: 0.070257	정확도: 97.93%
41	검증 세트 손실: 0.355330	최선의 손실: 0.070257	정확도: 78.50%
조기 종료!
[CV]  n_neurons=30, learning_rate=0.02, batch_size=100, activation=<function relu at 0x7f8ec4c8c510>, total=   6.5s
[CV] n_neurons=50, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 
0	검증 세트 손실: 0.951716	최선의 손실: 0.951716	정확도: 91.24%
1	검증 세트 손실: 2.091279	최선의 손실: 0.951716	정확도: 82.92%
2	검증 세트 손실: 115.965340	최선의 손실: 0.951716	정확도: 36.32%
3	검증 세트 손실: 4.553381	최선의 손실: 0.951716	정확도: 79.95%
4	검증 세트 손실: 2.752819	최선의 손실: 0.951716	정확도: 84.68%
5	검증 세트 손실: 1.339062	최선의 손실: 0.951716	정확도: 86.75%
6	검증 세트 손실: 1.767870	최선의 손실: 0.951716	정확도: 78.30%
7	검증 세트 손실: 0.931114	최선의 손실: 0.931114	정확도: 84.09%
8	검증 세트 손실: 0.878914	최선의 손실: 0.878914	정확도: 87.57%
9	검증 세트 손실: 0.861499	최선의 손실: 0.861499	정확도: 85.85%
10	검증 세트 손실: 1.051922	최선의 손실: 0.861499	정확도: 78.46%
11	검증 세트 손실: 0.581692	최선의 손실: 0.581692	정확도: 89.44%
12	검증 세트 손실: 0.509965	최선의 손실: 0.509965	정확도: 90.30%
13	검증 세트 손실: 0.906986	최선의 손실: 0.509965	정확도: 77.91%
14	검증 세트 손실: 0.664253	최선의 손실: 0.509965	정확도: 88.27%
15	검증 세트 손실: 0.692753	최선의 손실: 0.509965	정확도: 89.72%
16	검증 세트 손실: 0.376335	최선의 손실: 0.376335	정확도: 91.52%
17	검증 세트 손실: 0.463672	최선의 손실: 0.376335	정확도: 90.50%
18	검증 세트 손실: 0.452051	최선의 손실: 0.376335	정확도: 91.28%
19	검증 세트 손실: 0.499479	최선의 손실: 0.376335	정확도: 90.15%
20	검증 세트 손실: 0.450932	최선의 손실: 0.376335	정확도: 90.27%
21	검증 세트 손실: 0.403222	최선의 손실: 0.376335	정확도: 90.62%
22	검증 세트 손실: 0.360197	최선의 손실: 0.360197	정확도: 90.97%
23	검증 세트 손실: 0.327277	최선의 손실: 0.327277	정확도: 93.32%
24	검증 세트 손실: 0.372522	최선의 손실: 0.327277	정확도: 92.03%
25	검증 세트 손실: 39.087326	최선의 손실: 0.327277	정확도: 19.74%
26	검증 세트 손실: 1.160039	최선의 손실: 0.327277	정확도: 86.86%
27	검증 세트 손실: 1.035741	최선의 손실: 0.327277	정확도: 84.25%
28	검증 세트 손실: 0.625567	최선의 손실: 0.327277	정확도: 86.79%
29	검증 세트 손실: 0.591116	최선의 손실: 0.327277	정확도: 88.12%
30	검증 세트 손실: 0.458627	최선의 손실: 0.327277	정확도: 89.64%
31	검증 세트 손실: 0.389704	최선의 손실: 0.327277	정확도: 90.70%
32	검증 세트 손실: 0.449166	최선의 손실: 0.327277	정확도: 89.99%
33	검증 세트 손실: 0.309842	최선의 손실: 0.309842	정확도: 92.38%
34	검증 세트 손실: 0.348911	최선의 손실: 0.309842	정확도: 91.52%
35	검증 세트 손실: 0.312382	최선의 손실: 0.309842	정확도: 91.95%
36	검증 세트 손실: 0.287358	최선의 손실: 0.287358	정확도: 92.38%
37	검증 세트 손실: 0.254006	최선의 손실: 0.254006	정확도: 92.96%
38	검증 세트 손실: 0.248036	최선의 손실: 0.248036	정확도: 93.28%
39	검증 세트 손실: 0.359787	최선의 손실: 0.248036	정확도: 89.91%
40	검증 세트 손실: 0.233699	최선의 손실: 0.233699	정확도: 93.82%
41	검증 세트 손실: 0.251902	최선의 손실: 0.233699	정확도: 93.24%
42	검증 세트 손실: 0.320863	최선의 손실: 0.233699	정확도: 90.30%
43	검증 세트 손실: 0.221458	최선의 손실: 0.221458	정확도: 93.55%
44	검증 세트 손실: 0.187932	최선의 손실: 0.187932	정확도: 95.00%
45	검증 세트 손실: 0.246497	최선의 손실: 0.187932	정확도: 93.86%
46	검증 세트 손실: 0.499306	최선의 손실: 0.187932	정확도: 94.64%
47	검증 세트 손실: 1742.010376	최선의 손실: 0.187932	정확도: 19.27%
48	검증 세트 손실: 391.704865	최선의 손실: 0.187932	정확도: 39.13%
49	검증 세트 손실: 181.028992	최선의 손실: 0.187932	정확도: 41.09%
50	검증 세트 손실: 94.528633	최선의 손실: 0.187932	정확도: 45.31%
51	검증 세트 손실: 73.160339	최선의 손실: 0.187932	정확도: 41.13%
52	검증 세트 손실: 23.359838	최선의 손실: 0.187932	정확도: 53.56%
53	검증 세트 손실: 13.328618	최선의 손실: 0.187932	정확도: 73.26%
54	검증 세트 손실: 31.473148	최선의 손실: 0.187932	정확도: 64.93%
55	검증 세트 손실: 59.254642	최선의 손실: 0.187932	정확도: 56.88%
56	검증 세트 손실: 25.177927	최선의 손실: 0.187932	정확도: 57.43%
57	검증 세트 손실: 11.013567	최선의 손실: 0.187932	정확도: 81.31%
58	검증 세트 손실: 25.625578	최선의 손실: 0.187932	정확도: 63.49%
59	검증 세트 손실: 13.449788	최선의 손실: 0.187932	정확도: 80.41%
60	검증 세트 손실: 27.670340	최선의 손실: 0.187932	정확도: 66.97%
61	검증 세트 손실: 13.741262	최선의 손실: 0.187932	정확도: 77.33%
62	검증 세트 손실: 31.890701	최선의 손실: 0.187932	정확도: 62.31%
63	검증 세트 손실: 35.600574	최선의 손실: 0.187932	정확도: 65.91%
64	검증 세트 손실: 20.181162	최선의 손실: 0.187932	정확도: 73.34%
65	검증 세트 손실: 12.032900	최선의 손실: 0.187932	정확도: 79.32%
조기 종료!
[CV]  n_neurons=50, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total=  13.2s
[CV] n_neurons=50, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 
0	검증 세트 손실: 0.179815	최선의 손실: 0.179815	정확도: 95.23%
1	검증 세트 손실: 0.117306	최선의 손실: 0.117306	정확도: 96.68%
2	검증 세트 손실: 201.056870	최선의 손실: 0.117306	정확도: 19.27%
3	검증 세트 손실: 13.298692	최선의 손실: 0.117306	정확도: 24.59%
4	검증 세트 손실: 4.579219	최선의 손실: 0.117306	정확도: 43.39%
5	검증 세트 손실: 1.271192	최선의 손실: 0.117306	정확도: 61.14%
6	검증 세트 손실: 1.666028	최선의 손실: 0.117306	정확도: 56.57%
7	검증 세트 손실: 9.050961	최선의 손실: 0.117306	정확도: 27.91%
8	검증 세트 손실: 1.989570	최선의 손실: 0.117306	정확도: 57.19%
9	검증 세트 손실: 1.592043	최선의 손실: 0.117306	정확도: 59.62%
10	검증 세트 손실: 1.175512	최선의 손실: 0.117306	정확도: 68.57%
11	검증 세트 손실: 0.877519	최선의 손실: 0.117306	정확도: 71.74%
12	검증 세트 손실: 1.029731	최선의 손실: 0.117306	정확도: 71.70%
13	검증 세트 손실: 0.853719	최선의 손실: 0.117306	정확도: 71.46%
14	검증 세트 손실: 0.741847	최선의 손실: 0.117306	정확도: 75.72%
15	검증 세트 손실: 0.716557	최선의 손실: 0.117306	정확도: 77.13%
16	검증 세트 손실: 0.655223	최선의 손실: 0.117306	정확도: 78.58%
17	검증 세트 손실: 0.643704	최선의 손실: 0.117306	정확도: 77.60%
18	검증 세트 손실: 0.548966	최선의 손실: 0.117306	정확도: 82.76%
19	검증 세트 손실: 0.618546	최선의 손실: 0.117306	정확도: 82.37%
20	검증 세트 손실: 0.730336	최선의 손실: 0.117306	정확도: 84.28%
21	검증 세트 손실: 0.403706	최선의 손실: 0.117306	정확도: 89.21%
22	검증 세트 손실: 0.353552	최선의 손실: 0.117306	정확도: 91.32%
조기 종료!
[CV]  n_neurons=50, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total=   5.0s
[CV] n_neurons=50, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 
0	검증 세트 손실: 0.142473	최선의 손실: 0.142473	정확도: 95.54%
1	검증 세트 손실: 1.069016	최선의 손실: 0.142473	정확도: 57.82%
2	검증 세트 손실: 1.061630	최선의 손실: 0.142473	정확도: 57.51%
3	검증 세트 손실: 1.039428	최선의 손실: 0.142473	정확도: 56.06%
4	검증 세트 손실: 0.527311	최선의 손실: 0.142473	정확도: 81.86%
5	검증 세트 손실: 0.385806	최선의 손실: 0.142473	정확도: 87.37%
6	검증 세트 손실: 0.292696	최선의 손실: 0.142473	정확도: 91.32%
7	검증 세트 손실: 0.221437	최선의 손실: 0.142473	정확도: 93.51%
8	검증 세트 손실: 0.429490	최선의 손실: 0.142473	정확도: 86.36%
9	검증 세트 손실: 18.061663	최선의 손실: 0.142473	정확도: 31.63%
10	검증 세트 손실: 1.180915	최선의 손실: 0.142473	정확도: 48.67%
11	검증 세트 손실: 1.152141	최선의 손실: 0.142473	정확도: 50.12%
12	검증 세트 손실: 0.947133	최선의 손실: 0.142473	정확도: 52.42%
13	검증 세트 손실: 0.875760	최선의 손실: 0.142473	정확도: 62.63%
14	검증 세트 손실: 1.023189	최선의 손실: 0.142473	정확도: 57.54%
15	검증 세트 손실: 0.892058	최선의 손실: 0.142473	정확도: 64.43%
16	검증 세트 손실: 0.698537	최선의 손실: 0.142473	정확도: 69.51%
17	검증 세트 손실: 0.734095	최선의 손실: 0.142473	정확도: 71.77%
18	검증 세트 손실: 0.651536	최선의 손실: 0.142473	정확도: 75.53%
19	검증 세트 손실: 0.578318	최선의 손실: 0.142473	정확도: 76.74%
20	검증 세트 손실: 0.718826	최선의 손실: 0.142473	정확도: 70.99%
21	검증 세트 손실: 0.737624	최선의 손실: 0.142473	정확도: 70.21%
조기 종료!
[CV]  n_neurons=50, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total=   4.7s
[CV] n_neurons=50, learning_rate=0.01, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 
0	검증 세트 손실: 0.141077	최선의 손실: 0.141077	정확도: 96.87%
1	검증 세트 손실: 0.078047	최선의 손실: 0.078047	정확도: 97.65%
2	검증 세트 손실: 0.068856	최선의 손실: 0.068856	정확도: 98.24%
3	검증 세트 손실: 0.118753	최선의 손실: 0.068856	정확도: 96.76%
4	검증 세트 손실: 0.078877	최선의 손실: 0.068856	정확도: 98.01%
5	검증 세트 손실: 0.085876	최선의 손실: 0.068856	정확도: 98.12%
6	검증 세트 손실: 0.078028	최선의 손실: 0.068856	정확도: 97.85%
7	검증 세트 손실: 0.082451	최선의 손실: 0.068856	정확도: 98.16%
8	검증 세트 손실: 0.063992	최선의 손실: 0.063992	정확도: 98.44%
9	검증 세트 손실: 0.093663	최선의 손실: 0.063992	정확도: 97.54%
10	검증 세트 손실: 0.100377	최선의 손실: 0.063992	정확도: 97.97%
11	검증 세트 손실: 0.171897	최선의 손실: 0.063992	정확도: 98.24%
12	검증 세트 손실: 0.085452	최선의 손실: 0.063992	정확도: 98.44%
13	검증 세트 손실: 6.157323	최선의 손실: 0.063992	정확도: 93.98%
14	검증 세트 손실: 0.207973	최선의 손실: 0.063992	정확도: 97.85%
15	검증 세트 손실: 0.150130	최선의 손실: 0.063992	정확도: 97.89%
16	검증 세트 손실: 0.169306	최선의 손실: 0.063992	정확도: 98.16%
17	검증 세트 손실: 0.182848	최선의 손실: 0.063992	정확도: 97.85%
18	검증 세트 손실: 0.224429	최선의 손실: 0.063992	정확도: 97.97%
19	검증 세트 손실: 0.289862	최선의 손실: 0.063992	정확도: 97.69%
20	검증 세트 손실: 0.355624	최선의 손실: 0.063992	정확도: 97.97%
21	검증 세트 손실: 0.266535	최선의 손실: 0.063992	정확도: 98.08%
22	검증 세트 손실: 0.419849	최선의 손실: 0.063992	정확도: 97.81%
23	검증 세트 손실: 0.495333	최선의 손실: 0.063992	정확도: 97.85%
24	검증 세트 손실: 1.653165	최선의 손실: 0.063992	정확도: 92.10%
25	검증 세트 손실: 0.814543	최선의 손실: 0.063992	정확도: 96.21%
26	검증 세트 손실: 0.203611	최선의 손실: 0.063992	정확도: 97.46%
27	검증 세트 손실: 0.203346	최선의 손실: 0.063992	정확도: 97.93%
28	검증 세트 손실: 0.177424	최선의 손실: 0.063992	정확도: 97.97%
29	검증 세트 손실: 0.154935	최선의 손실: 0.063992	정확도: 97.93%
조기 종료!
[CV]  n_neurons=50, learning_rate=0.01, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total=   9.1s
[CV] n_neurons=50, learning_rate=0.01, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 
0	검증 세트 손실: 0.100823	최선의 손실: 0.100823	정확도: 97.03%
1	검증 세트 손실: 0.091461	최선의 손실: 0.091461	정확도: 97.81%
2	검증 세트 손실: 0.068144	최선의 손실: 0.068144	정확도: 97.93%
3	검증 세트 손실: 0.062620	최선의 손실: 0.062620	정확도: 98.32%
4	검증 세트 손실: 0.077762	최선의 손실: 0.062620	정확도: 97.97%
5	검증 세트 손실: 0.116759	최선의 손실: 0.062620	정확도: 96.87%
6	검증 세트 손실: 0.098177	최선의 손실: 0.062620	정확도: 97.65%
7	검증 세트 손실: 0.100118	최선의 손실: 0.062620	정확도: 97.62%
8	검증 세트 손실: 0.088412	최선의 손실: 0.062620	정확도: 97.69%
9	검증 세트 손실: 0.108396	최선의 손실: 0.062620	정확도: 98.01%
10	검증 세트 손실: 0.076244	최선의 손실: 0.062620	정확도: 97.97%
11	검증 세트 손실: 1.181290	최선의 손실: 0.062620	정확도: 92.69%
12	검증 세트 손실: 0.090115	최선의 손실: 0.062620	정확도: 97.58%
13	검증 세트 손실: 0.103583	최선의 손실: 0.062620	정확도: 97.69%
14	검증 세트 손실: 0.094801	최선의 손실: 0.062620	정확도: 98.01%
15	검증 세트 손실: 0.072825	최선의 손실: 0.062620	정확도: 98.32%
16	검증 세트 손실: 0.073025	최선의 손실: 0.062620	정확도: 98.20%
17	검증 세트 손실: 0.100266	최선의 손실: 0.062620	정확도: 98.16%
18	검증 세트 손실: 0.075702	최선의 손실: 0.062620	정확도: 98.32%
19	검증 세트 손실: 0.168579	최선의 손실: 0.062620	정확도: 97.38%
20	검증 세트 손실: 0.328357	최선의 손실: 0.062620	정확도: 97.54%
21	검증 세트 손실: 0.167139	최선의 손실: 0.062620	정확도: 97.77%
22	검증 세트 손실: 0.178472	최선의 손실: 0.062620	정확도: 97.69%
23	검증 세트 손실: 0.343570	최선의 손실: 0.062620	정확도: 92.34%
24	검증 세트 손실: 0.129392	최선의 손실: 0.062620	정확도: 98.08%
조기 종료!
[CV]  n_neurons=50, learning_rate=0.01, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total=   7.7s
[CV] n_neurons=50, learning_rate=0.01, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 
0	검증 세트 손실: 0.086895	최선의 손실: 0.086895	정확도: 97.81%
1	검증 세트 손실: 0.080882	최선의 손실: 0.080882	정확도: 97.65%
2	검증 세트 손실: 0.071770	최선의 손실: 0.071770	정확도: 98.24%
3	검증 세트 손실: 2.222625	최선의 손실: 0.071770	정확도: 93.86%
4	검증 세트 손실: 0.081986	최선의 손실: 0.071770	정확도: 97.73%
5	검증 세트 손실: 0.092579	최선의 손실: 0.071770	정확도: 97.69%
6	검증 세트 손실: 0.089889	최선의 손실: 0.071770	정확도: 97.73%
7	검증 세트 손실: 0.149572	최선의 손실: 0.071770	정확도: 97.81%
8	검증 세트 손실: 0.105642	최선의 손실: 0.071770	정확도: 97.77%
9	검증 세트 손실: 0.124405	최선의 손실: 0.071770	정확도: 97.62%
10	검증 세트 손실: 0.092457	최선의 손실: 0.071770	정확도: 98.40%
11	검증 세트 손실: 0.077412	최선의 손실: 0.071770	정확도: 98.51%
12	검증 세트 손실: 0.078346	최선의 손실: 0.071770	정확도: 98.36%
13	검증 세트 손실: 2.289061	최선의 손실: 0.071770	정확도: 88.74%
14	검증 세트 손실: 0.145992	최선의 손실: 0.071770	정확도: 97.38%
15	검증 세트 손실: 0.098554	최선의 손실: 0.071770	정확도: 98.12%
16	검증 세트 손실: 0.073152	최선의 손실: 0.071770	정확도: 98.28%
17	검증 세트 손실: 0.061156	최선의 손실: 0.061156	정확도: 98.36%
18	검증 세트 손실: 0.128521	최선의 손실: 0.061156	정확도: 97.81%
19	검증 세트 손실: 0.119571	최선의 손실: 0.061156	정확도: 98.01%
20	검증 세트 손실: 0.111635	최선의 손실: 0.061156	정확도: 98.44%
21	검증 세트 손실: 0.176255	최선의 손실: 0.061156	정확도: 98.05%
22	검증 세트 손실: 0.261963	최선의 손실: 0.061156	정확도: 97.15%
23	검증 세트 손실: 0.278664	최선의 손실: 0.061156	정확도: 97.34%
24	검증 세트 손실: 0.163934	최선의 손실: 0.061156	정확도: 97.89%
25	검증 세트 손실: 0.206291	최선의 손실: 0.061156	정확도: 97.73%
26	검증 세트 손실: 0.147195	최선의 손실: 0.061156	정확도: 98.32%
27	검증 세트 손실: 0.126331	최선의 손실: 0.061156	정확도: 98.48%
28	검증 세트 손실: 0.274872	최선의 손실: 0.061156	정확도: 97.93%
29	검증 세트 손실: 0.167464	최선의 손실: 0.061156	정확도: 98.32%
30	검증 세트 손실: 0.155879	최선의 손실: 0.061156	정확도: 98.12%
31	검증 세트 손실: 0.176197	최선의 손실: 0.061156	정확도: 98.28%
32	검증 세트 손실: 0.204813	최선의 손실: 0.061156	정확도: 98.48%
33	검증 세트 손실: 0.451964	최선의 손실: 0.061156	정확도: 98.08%
34	검증 세트 손실: 0.325901	최선의 손실: 0.061156	정확도: 98.40%
35	검증 세트 손실: 0.351507	최선의 손실: 0.061156	정확도: 98.48%
36	검증 세트 손실: 0.349268	최선의 손실: 0.061156	정확도: 98.48%
37	검증 세트 손실: 0.264415	최선의 손실: 0.061156	정확도: 97.65%
38	검증 세트 손실: 10.992128	최선의 손실: 0.061156	정확도: 96.91%
조기 종료!
[CV]  n_neurons=50, learning_rate=0.01, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total=  11.6s
[CV] n_neurons=120, learning_rate=0.02, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 
0	검증 세트 손실: 0.222944	최선의 손실: 0.222944	정확도: 95.11%
1	검증 세트 손실: 14.132704	최선의 손실: 0.222944	정확도: 92.42%
2	검증 세트 손실: 26.910059	최선의 손실: 0.222944	정확도: 92.38%
3	검증 세트 손실: 441.585968	최선의 손실: 0.222944	정확도: 93.00%
4	검증 세트 손실: 348.810486	최선의 손실: 0.222944	정확도: 94.14%
5	검증 세트 손실: 365.228485	최선의 손실: 0.222944	정확도: 92.10%
6	검증 세트 손실: 673.098389	최선의 손실: 0.222944	정확도: 95.58%
7	검증 세트 손실: 101.628532	최선의 손실: 0.222944	정확도: 97.19%
8	검증 세트 손실: 1743.063965	최선의 손실: 0.222944	정확도: 97.26%
9	검증 세트 손실: 13346.161133	최선의 손실: 0.222944	정확도: 95.43%
10	검증 세트 손실: 1700.885864	최선의 손실: 0.222944	정확도: 96.33%
11	검증 세트 손실: 2618.142578	최선의 손실: 0.222944	정확도: 94.61%
12	검증 세트 손실: 1014.710510	최선의 손실: 0.222944	정확도: 96.29%
13	검증 세트 손실: 1985.383667	최선의 손실: 0.222944	정확도: 95.58%
14	검증 세트 손실: 1640.009033	최선의 손실: 0.222944	정확도: 97.03%
15	검증 세트 손실: 1071.437988	최선의 손실: 0.222944	정확도: 97.85%
16	검증 세트 손실: 6358.932617	최선의 손실: 0.222944	정확도: 97.30%
17	검증 세트 손실: 4367.097168	최선의 손실: 0.222944	정확도: 96.72%
18	검증 세트 손실: 5756.040527	최선의 손실: 0.222944	정확도: 97.30%
19	검증 세트 손실: 7655.868652	최선의 손실: 0.222944	정확도: 97.54%
20	검증 세트 손실: 4712.624023	최선의 손실: 0.222944	정확도: 97.97%
21	검증 세트 손실: 4544.354004	최선의 손실: 0.222944	정확도: 97.89%
조기 종료!
[CV]  n_neurons=120, learning_rate=0.02, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total=  31.9s
[CV] n_neurons=120, learning_rate=0.02, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 
0	검증 세트 손실: 0.289286	최선의 손실: 0.289286	정확도: 95.47%
1	검증 세트 손실: 117.665558	최선의 손실: 0.289286	정확도: 93.24%
2	검증 세트 손실: 70.733574	최선의 손실: 0.289286	정확도: 95.23%
3	검증 세트 손실: 59.198849	최선의 손실: 0.289286	정확도: 96.25%
4	검증 세트 손실: 795.103027	최선의 손실: 0.289286	정확도: 94.84%
5	검증 세트 손실: 645.191345	최선의 손실: 0.289286	정확도: 93.90%
6	검증 세트 손실: 793.415222	최선의 손실: 0.289286	정확도: 93.63%
7	검증 세트 손실: 19155.058594	최선의 손실: 0.289286	정확도: 92.73%
8	검증 세트 손실: 485.487091	최선의 손실: 0.289286	정확도: 94.45%
9	검증 세트 손실: 4140.378418	최선의 손실: 0.289286	정확도: 94.14%
10	검증 세트 손실: 638.269531	최선의 손실: 0.289286	정확도: 96.60%
11	검증 세트 손실: 474.704315	최선의 손실: 0.289286	정확도: 97.22%
12	검증 세트 손실: 881.685486	최선의 손실: 0.289286	정확도: 96.44%
13	검증 세트 손실: 993.797791	최선의 손실: 0.289286	정확도: 96.36%
14	검증 세트 손실: 490.194427	최선의 손실: 0.289286	정확도: 96.56%
15	검증 세트 손실: 1700.400269	최선의 손실: 0.289286	정확도: 97.50%
16	검증 세트 손실: 807.565552	최선의 손실: 0.289286	정확도: 97.58%
17	검증 세트 손실: 2874.251465	최선의 손실: 0.289286	정확도: 96.83%
18	검증 세트 손실: 3256.020264	최선의 손실: 0.289286	정확도: 96.99%
19	검증 세트 손실: 2035.143066	최선의 손실: 0.289286	정확도: 97.38%
20	검증 세트 손실: 37909.234375	최선의 손실: 0.289286	정확도: 88.00%
21	검증 세트 손실: 2593.375000	최선의 손실: 0.289286	정확도: 97.58%
조기 종료!
[CV]  n_neurons=120, learning_rate=0.02, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total=  32.1s
[CV] n_neurons=120, learning_rate=0.02, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 
0	검증 세트 손실: 0.590318	최선의 손실: 0.590318	정확도: 94.57%
1	검증 세트 손실: 0.264964	최선의 손실: 0.264964	정확도: 95.97%
2	검증 세트 손실: 95.680405	최선의 손실: 0.264964	정확도: 87.22%
3	검증 세트 손실: 33.931328	최선의 손실: 0.264964	정확도: 94.96%
4	검증 세트 손실: 446.602264	최선의 손실: 0.264964	정확도: 82.68%
5	검증 세트 손실: 1422.288696	최선의 손실: 0.264964	정확도: 93.12%
6	검증 세트 손실: 551.399658	최선의 손실: 0.264964	정확도: 89.37%
7	검증 세트 손실: 470.668976	최선의 손실: 0.264964	정확도: 83.74%
8	검증 세트 손실: 107259.062500	최선의 손실: 0.264964	정확도: 69.98%
9	검증 세트 손실: 1467.659912	최선의 손실: 0.264964	정확도: 94.80%
10	검증 세트 손실: 778.111877	최선의 손실: 0.264964	정확도: 95.97%
11	검증 세트 손실: 967.139587	최선의 손실: 0.264964	정확도: 95.31%
12	검증 세트 손실: 1595.240967	최선의 손실: 0.264964	정확도: 96.33%
13	검증 세트 손실: 617.537598	최선의 손실: 0.264964	정확도: 96.87%
14	검증 세트 손실: 12146.346680	최선의 손실: 0.264964	정확도: 96.01%
15	검증 세트 손실: 13624.348633	최선의 손실: 0.264964	정확도: 94.06%
16	검증 세트 손실: 6802.010254	최선의 손실: 0.264964	정확도: 95.74%
17	검증 세트 손실: 4340.350098	최선의 손실: 0.264964	정확도: 96.17%
18	검증 세트 손실: 2508.006348	최선의 손실: 0.264964	정확도: 97.62%
19	검증 세트 손실: 4677.810547	최선의 손실: 0.264964	정확도: 97.38%
20	검증 세트 손실: 21832.429688	최선의 손실: 0.264964	정확도: 93.35%
21	검증 세트 손실: 12114.728516	최선의 손실: 0.264964	정확도: 97.46%
22	검증 세트 손실: 4624.625000	최선의 손실: 0.264964	정확도: 97.62%
조기 종료!
[CV]  n_neurons=120, learning_rate=0.02, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total=  33.4s
[CV] n_neurons=50, learning_rate=0.1, batch_size=500, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 1.148822	최선의 손실: 1.148822	정확도: 47.07%
1	검증 세트 손실: 1.213831	최선의 손실: 1.148822	정확도: 39.21%
2	검증 세트 손실: 1.158854	최선의 손실: 1.148822	정확도: 39.87%
3	검증 세트 손실: 1.173183	최선의 손실: 1.148822	정확도: 39.09%
4	검증 세트 손실: 1.155171	최선의 손실: 1.148822	정확도: 39.76%
5	검증 세트 손실: 1.197210	최선의 손실: 1.148822	정확도: 40.27%
6	검증 세트 손실: 1.154690	최선의 손실: 1.148822	정확도: 40.50%
7	검증 세트 손실: 1.177344	최선의 손실: 1.148822	정확도: 40.70%
8	검증 세트 손실: 0.850207	최선의 손실: 0.850207	정확도: 59.38%
9	검증 세트 손실: 0.585442	최선의 손실: 0.585442	정확도: 76.94%
10	검증 세트 손실: 1.401432	최선의 손실: 0.585442	정확도: 67.44%
11	검증 세트 손실: 0.443632	최선의 손실: 0.443632	정확도: 89.56%
12	검증 세트 손실: 0.638570	최선의 손실: 0.443632	정확도: 76.97%
13	검증 세트 손실: 0.857933	최선의 손실: 0.443632	정확도: 78.23%
14	검증 세트 손실: 0.654789	최선의 손실: 0.443632	정확도: 78.11%
15	검증 세트 손실: 0.625885	최선의 손실: 0.443632	정확도: 79.05%
16	검증 세트 손실: 0.593792	최선의 손실: 0.443632	정확도: 77.80%
17	검증 세트 손실: 0.701244	최선의 손실: 0.443632	정확도: 78.85%
18	검증 세트 손실: 0.526679	최선의 손실: 0.443632	정확도: 79.59%
19	검증 세트 손실: 2.987692	최선의 손실: 0.443632	정확도: 39.91%
20	검증 세트 손실: 1.704102	최선의 손실: 0.443632	정확도: 19.27%
21	검증 세트 손실: 1.624855	최선의 손실: 0.443632	정확도: 22.01%
22	검증 세트 손실: 1.611139	최선의 손실: 0.443632	정확도: 20.91%
23	검증 세트 손실: 1.609448	최선의 손실: 0.443632	정확도: 22.01%
24	검증 세트 손실: 1.616210	최선의 손실: 0.443632	정확도: 22.01%
25	검증 세트 손실: 1.621164	최선의 손실: 0.443632	정확도: 19.27%
26	검증 세트 손실: 1.614155	최선의 손실: 0.443632	정확도: 22.01%
27	검증 세트 손실: 1.628621	최선의 손실: 0.443632	정확도: 18.73%
28	검증 세트 손실: 1.617029	최선의 손실: 0.443632	정확도: 20.91%
29	검증 세트 손실: 1.632013	최선의 손실: 0.443632	정확도: 18.73%
30	검증 세트 손실: 1.626915	최선의 손실: 0.443632	정확도: 19.27%
31	검증 세트 손실: 1.620182	최선의 손실: 0.443632	정확도: 22.01%
32	검증 세트 손실: 1.617947	최선의 손실: 0.443632	정확도: 18.73%
조기 종료!
[CV]  n_neurons=50, learning_rate=0.1, batch_size=500, activation=<function elu at 0x7f8ec4ceef28>, total=   4.3s
[CV] n_neurons=50, learning_rate=0.1, batch_size=500, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 1.705831	최선의 손실: 1.705831	정확도: 37.45%
1	검증 세트 손실: 0.661845	최선의 손실: 0.661845	정확도: 74.67%
2	검증 세트 손실: 0.387982	최선의 손실: 0.387982	정확도: 84.68%
3	검증 세트 손실: 0.289455	최선의 손실: 0.289455	정확도: 90.89%
4	검증 세트 손실: 0.224888	최선의 손실: 0.224888	정확도: 93.51%
5	검증 세트 손실: 0.223294	최선의 손실: 0.223294	정확도: 93.12%
6	검증 세트 손실: 0.230652	최선의 손실: 0.223294	정확도: 93.47%
7	검증 세트 손실: 2.815432	최선의 손실: 0.223294	정확도: 54.93%
8	검증 세트 손실: 0.982214	최선의 손실: 0.223294	정확도: 54.30%
9	검증 세트 손실: 0.883264	최선의 손실: 0.223294	정확도: 60.83%
10	검증 세트 손실: 2.246536	최선의 손실: 0.223294	정확도: 67.24%
11	검증 세트 손실: 0.710642	최선의 손실: 0.223294	정확도: 69.00%
12	검증 세트 손실: 0.580903	최선의 손실: 0.223294	정확도: 75.92%
13	검증 세트 손실: 0.504758	최선의 손실: 0.223294	정확도: 78.89%
14	검증 세트 손실: 0.492412	최선의 손실: 0.223294	정확도: 80.22%
15	검증 세트 손실: 0.557402	최선의 손실: 0.223294	정확도: 78.42%
16	검증 세트 손실: 0.470357	최선의 손실: 0.223294	정확도: 83.07%
17	검증 세트 손실: 0.424118	최선의 손실: 0.223294	정확도: 84.71%
18	검증 세트 손실: 0.507435	최선의 손실: 0.223294	정확도: 80.73%
19	검증 세트 손실: 0.731395	최선의 손실: 0.223294	정확도: 57.90%
20	검증 세트 손실: 0.449223	최선의 손실: 0.223294	정확도: 83.19%
21	검증 세트 손실: 0.406612	최선의 손실: 0.223294	정확도: 85.42%
22	검증 세트 손실: 0.760414	최선의 손실: 0.223294	정확도: 75.14%
23	검증 세트 손실: 0.443632	최선의 손실: 0.223294	정확도: 86.12%
24	검증 세트 손실: 0.391436	최선의 손실: 0.223294	정확도: 88.15%
25	검증 세트 손실: 0.427505	최선의 손실: 0.223294	정확도: 86.04%
26	검증 세트 손실: 0.368003	최선의 손실: 0.223294	정확도: 90.03%
조기 종료!
[CV]  n_neurons=50, learning_rate=0.1, batch_size=500, activation=<function elu at 0x7f8ec4ceef28>, total=   3.5s
[CV] n_neurons=50, learning_rate=0.1, batch_size=500, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 1.719839	최선의 손실: 1.719839	정확도: 22.01%
1	검증 세트 손실: 1.623658	최선의 손실: 1.623658	정확도: 19.08%
2	검증 세트 손실: 1.617375	최선의 손실: 1.617375	정확도: 19.08%
3	검증 세트 손실: 1.626064	최선의 손실: 1.617375	정확도: 19.27%
4	검증 세트 손실: 1.616276	최선의 손실: 1.616276	정확도: 22.01%
5	검증 세트 손실: 1.613683	최선의 손실: 1.613683	정확도: 19.27%
6	검증 세트 손실: 1.615637	최선의 손실: 1.613683	정확도: 19.27%
7	검증 세트 손실: 1.631290	최선의 손실: 1.613683	정확도: 22.01%
8	검증 세트 손실: 1.612280	최선의 손실: 1.612280	정확도: 19.27%
9	검증 세트 손실: 1.613432	최선의 손실: 1.612280	정확도: 18.73%
10	검증 세트 손실: 1.617714	최선의 손실: 1.612280	정확도: 19.27%
11	검증 세트 손실: 1.646660	최선의 손실: 1.612280	정확도: 18.73%
12	검증 세트 손실: 1.614820	최선의 손실: 1.612280	정확도: 20.91%
13	검증 세트 손실: 1.610559	최선의 손실: 1.610559	정확도: 22.01%
14	검증 세트 손실: 1.619380	최선의 손실: 1.610559	정확도: 18.73%
15	검증 세트 손실: 1.635474	최선의 손실: 1.610559	정확도: 19.08%
16	검증 세트 손실: 1.629788	최선의 손실: 1.610559	정확도: 18.73%
17	검증 세트 손실: 1.612352	최선의 손실: 1.610559	정확도: 22.01%
18	검증 세트 손실: 1.614932	최선의 손실: 1.610559	정확도: 22.01%
19	검증 세트 손실: 1.615351	최선의 손실: 1.610559	정확도: 19.08%
20	검증 세트 손실: 1.638466	최선의 손실: 1.610559	정확도: 19.27%
21	검증 세트 손실: 1.638186	최선의 손실: 1.610559	정확도: 19.27%
22	검증 세트 손실: 1.645105	최선의 손실: 1.610559	정확도: 18.73%
23	검증 세트 손실: 1.621164	최선의 손실: 1.610559	정확도: 18.73%
24	검증 세트 손실: 1.644718	최선의 손실: 1.610559	정확도: 19.27%
25	검증 세트 손실: 1.623361	최선의 손실: 1.610559	정확도: 22.01%
26	검증 세트 손실: 1.613383	최선의 손실: 1.610559	정확도: 22.01%
27	검증 세트 손실: 1.636156	최선의 손실: 1.610559	정확도: 19.27%
28	검증 세트 손실: 1.647457	최선의 손실: 1.610559	정확도: 22.01%
29	검증 세트 손실: 1.622684	최선의 손실: 1.610559	정확도: 18.73%
30	검증 세트 손실: 1.634938	최선의 손실: 1.610559	정확도: 19.08%
31	검증 세트 손실: 1.627927	최선의 손실: 1.610559	정확도: 18.73%
32	검증 세트 손실: 1.639017	최선의 손실: 1.610559	정확도: 18.73%
33	검증 세트 손실: 1.621583	최선의 손실: 1.610559	정확도: 19.08%
34	검증 세트 손실: 1.624100	최선의 손실: 1.610559	정확도: 22.01%
조기 종료!
[CV]  n_neurons=50, learning_rate=0.1, batch_size=500, activation=<function elu at 0x7f8ec4ceef28>, total=   4.6s
[CV] n_neurons=100, learning_rate=0.1, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 
0	검증 세트 손실: 13068.746094	최선의 손실: 13068.746094	정확도: 20.91%
1	검증 세트 손실: 173.019791	최선의 손실: 173.019791	정확도: 55.98%
2	검증 세트 손실: 138.092865	최선의 손실: 138.092865	정확도: 66.61%
3	검증 세트 손실: 89.267876	최선의 손실: 89.267876	정확도: 74.16%
4	검증 세트 손실: 31.273142	최선의 손실: 31.273142	정확도: 85.07%
5	검증 세트 손실: 61.124371	최선의 손실: 31.273142	정확도: 76.00%
6	검증 세트 손실: 20.100601	최선의 손실: 20.100601	정확도: 90.85%
7	검증 세트 손실: 20.297197	최선의 손실: 20.100601	정확도: 88.47%
8	검증 세트 손실: 17.456469	최선의 손실: 17.456469	정확도: 90.66%
9	검증 세트 손실: 15.774197	최선의 손실: 15.774197	정확도: 94.64%
10	검증 세트 손실: 4106.851074	최선의 손실: 15.774197	정확도: 69.66%
11	검증 세트 손실: 1518.754150	최선의 손실: 15.774197	정확도: 86.55%
12	검증 세트 손실: 50911.367188	최선의 손실: 15.774197	정확도: 54.38%
13	검증 세트 손실: 656669.250000	최선의 손실: 15.774197	정확도: 39.01%
14	검증 세트 손실: 24311.792969	최선의 손실: 15.774197	정확도: 51.13%
15	검증 세트 손실: 17656.449219	최선의 손실: 15.774197	정확도: 65.60%
16	검증 세트 손실: 21729.988281	최선의 손실: 15.774197	정확도: 53.48%
17	검증 세트 손실: 35699.144531	최선의 손실: 15.774197	정확도: 48.79%
18	검증 세트 손실: 5645.808105	최선의 손실: 15.774197	정확도: 87.22%
19	검증 세트 손실: 6794.997559	최선의 손실: 15.774197	정확도: 80.81%
20	검증 세트 손실: 6159.350098	최선의 손실: 15.774197	정확도: 81.67%
21	검증 세트 손실: 19637.652344	최선의 손실: 15.774197	정확도: 76.43%
22	검증 세트 손실: 8213.773438	최선의 손실: 15.774197	정확도: 81.86%
23	검증 세트 손실: 6905.885742	최선의 손실: 15.774197	정확도: 84.83%
24	검증 세트 손실: 7456.993164	최선의 손실: 15.774197	정확도: 85.22%
25	검증 세트 손실: 4240.890625	최선의 손실: 15.774197	정확도: 91.28%
26	검증 세트 손실: 2607.236572	최선의 손실: 15.774197	정확도: 92.53%
27	검증 세트 손실: 3322.704346	최선의 손실: 15.774197	정확도: 91.44%
28	검증 세트 손실: 3628.825684	최선의 손실: 15.774197	정확도: 89.99%
29	검증 세트 손실: 2307.210205	최선의 손실: 15.774197	정확도: 92.65%
30	검증 세트 손실: 2264.366211	최선의 손실: 15.774197	정확도: 91.09%
조기 종료!
[CV]  n_neurons=100, learning_rate=0.1, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total=  13.4s
[CV] n_neurons=100, learning_rate=0.1, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 
0	검증 세트 손실: 0.908990	최선의 손실: 0.908990	정확도: 67.59%
1	검증 세트 손실: 0.312177	최선의 손실: 0.312177	정확도: 91.44%
2	검증 세트 손실: 0.192297	최선의 손실: 0.192297	정확도: 94.53%
3	검증 세트 손실: 0.166873	최선의 손실: 0.166873	정확도: 95.62%
4	검증 세트 손실: 0.192419	최선의 손실: 0.166873	정확도: 94.64%
5	검증 세트 손실: 0.171311	최선의 손실: 0.166873	정확도: 96.09%
6	검증 세트 손실: 5671.211426	최선의 손실: 0.166873	정확도: 71.77%
7	검증 세트 손실: 1019.070557	최선의 손실: 0.166873	정확도: 80.10%
8	검증 세트 손실: 761.369446	최선의 손실: 0.166873	정확도: 78.11%
9	검증 세트 손실: 558.659851	최선의 손실: 0.166873	정확도: 89.29%
10	검증 세트 손실: 560.691528	최선의 손실: 0.166873	정확도: 77.83%
11	검증 세트 손실: 256.186035	최선의 손실: 0.166873	정확도: 90.07%
12	검증 세트 손실: 454.642151	최선의 손실: 0.166873	정확도: 84.75%
13	검증 세트 손실: 209.309586	최선의 손실: 0.166873	정확도: 91.28%
14	검증 세트 손실: 566.059509	최선의 손실: 0.166873	정확도: 81.59%
15	검증 세트 손실: 250.336609	최선의 손실: 0.166873	정확도: 89.09%
16	검증 세트 손실: 184.179749	최선의 손실: 0.166873	정확도: 88.19%
17	검증 세트 손실: 3015.023926	최선의 손실: 0.166873	정확도: 87.10%
18	검증 세트 손실: 3456.912354	최선의 손실: 0.166873	정확도: 92.03%
19	검증 세트 손실: 907.970276	최선의 손실: 0.166873	정확도: 88.74%
20	검증 세트 손실: 497.557770	최선의 손실: 0.166873	정확도: 93.71%
21	검증 세트 손실: 279.949585	최선의 손실: 0.166873	정확도: 94.53%
22	검증 세트 손실: 218.020370	최선의 손실: 0.166873	정확도: 95.82%
23	검증 세트 손실: 197.380722	최선의 손실: 0.166873	정확도: 95.35%
24	검증 세트 손실: 639.380310	최선의 손실: 0.166873	정확도: 83.15%
조기 종료!
[CV]  n_neurons=100, learning_rate=0.1, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total=  11.0s
[CV] n_neurons=100, learning_rate=0.1, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 
0	검증 세트 손실: 28561.357422	최선의 손실: 28561.357422	정확도: 41.28%
1	검증 세트 손실: 1076.284790	최선의 손실: 1076.284790	정확도: 46.76%
2	검증 세트 손실: 1404.401489	최선의 손실: 1076.284790	정확도: 63.02%
3	검증 세트 손실: 2495.003418	최선의 손실: 1076.284790	정확도: 49.96%
4	검증 세트 손실: 418.948547	최선의 손실: 418.948547	정확도: 74.86%
5	검증 세트 손실: 4745.711914	최선의 손실: 418.948547	정확도: 55.71%
6	검증 세트 손실: 1249.802002	최선의 손실: 418.948547	정확도: 65.21%
7	검증 세트 손실: 619.809814	최선의 손실: 418.948547	정확도: 79.83%
8	검증 세트 손실: 240.740417	최선의 손실: 240.740417	정확도: 90.03%
9	검증 세트 손실: 291.102905	최선의 손실: 240.740417	정확도: 90.34%
10	검증 세트 손실: 622817.000000	최선의 손실: 240.740417	정확도: 27.56%
11	검증 세트 손실: 446596.812500	최선의 손실: 240.740417	정확도: 23.61%
12	검증 세트 손실: 31512.136719	최선의 손실: 240.740417	정확도: 46.09%
13	검증 세트 손실: 38355.648438	최선의 손실: 240.740417	정확도: 41.01%
14	검증 세트 손실: 64157.484375	최선의 손실: 240.740417	정확도: 37.88%
15	검증 세트 손실: 35889.859375	최선의 손실: 240.740417	정확도: 41.63%
16	검증 세트 손실: 55765.531250	최선의 손실: 240.740417	정확도: 40.89%
17	검증 세트 손실: 34041.464844	최선의 손실: 240.740417	정확도: 48.83%
18	검증 세트 손실: 39425.671875	최선의 손실: 240.740417	정확도: 40.46%
19	검증 세트 손실: 12961.490234	최선의 손실: 240.740417	정확도: 49.65%
20	검증 세트 손실: 5841.863770	최선의 손실: 240.740417	정확도: 55.82%
21	검증 세트 손실: 29198.615234	최선의 손실: 240.740417	정확도: 40.23%
22	검증 세트 손실: 26503.925781	최선의 손실: 240.740417	정확도: 37.84%
23	검증 세트 손실: 11956.325195	최선의 손실: 240.740417	정확도: 50.27%
24	검증 세트 손실: 7013481.500000	최선의 손실: 240.740417	정확도: 39.37%
25	검증 세트 손실: 57214.660156	최선의 손실: 240.740417	정확도: 55.24%
26	검증 세트 손실: 23070.476562	최선의 손실: 240.740417	정확도: 68.84%
27	검증 세트 손실: 17963.191406	최선의 손실: 240.740417	정확도: 78.38%
28	검증 세트 손실: 41626.371094	최선의 손실: 240.740417	정확도: 55.79%
29	검증 세트 손실: 18991.974609	최선의 손실: 240.740417	정확도: 76.35%
조기 종료!
[CV]  n_neurons=100, learning_rate=0.1, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total=  13.0s
[CV] n_neurons=70, learning_rate=0.1, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 
0	검증 세트 손실: 5.413154	최선의 손실: 5.413154	정확도: 90.23%
1	검증 세트 손실: 2.335205	최선의 손실: 2.335205	정확도: 88.51%
2	검증 세트 손실: 1.865068	최선의 손실: 1.865068	정확도: 91.44%
3	검증 세트 손실: 0.887989	최선의 손실: 0.887989	정확도: 94.10%
4	검증 세트 손실: 1.967932	최선의 손실: 0.887989	정확도: 93.16%
5	검증 세트 손실: 0.691477	최선의 손실: 0.691477	정확도: 95.74%
6	검증 세트 손실: 1.265961	최선의 손실: 0.691477	정확도: 95.31%
7	검증 세트 손실: 8.335981	최선의 손실: 0.691477	정확도: 94.49%
8	검증 세트 손실: 1.733429	최선의 손실: 0.691477	정확도: 91.20%
9	검증 세트 손실: 1.187357	최선의 손실: 0.691477	정확도: 92.81%
10	검증 세트 손실: 0.455939	최선의 손실: 0.455939	정확도: 96.17%
11	검증 세트 손실: 0.313774	최선의 손실: 0.313774	정확도: 96.68%
12	검증 세트 손실: 260030.750000	최선의 손실: 0.313774	정확도: 50.90%
13	검증 세트 손실: 11933.045898	최선의 손실: 0.313774	정확도: 90.73%
14	검증 세트 손실: 6031.375977	최선의 손실: 0.313774	정확도: 92.38%
15	검증 세트 손실: 5064.738770	최선의 손실: 0.313774	정확도: 93.32%
16	검증 세트 손실: 2772.798584	최선의 손실: 0.313774	정확도: 95.11%
17	검증 세트 손실: 2713.607178	최선의 손실: 0.313774	정확도: 95.15%
18	검증 세트 손실: 2480.450928	최선의 손실: 0.313774	정확도: 94.61%
19	검증 세트 손실: 5676.205078	최선의 손실: 0.313774	정확도: 90.62%
20	검증 세트 손실: 3683.535645	최선의 손실: 0.313774	정확도: 94.33%
21	검증 세트 손실: 89547.585938	최선의 손실: 0.313774	정확도: 93.16%
22	검증 세트 손실: 3330.138428	최선의 손실: 0.313774	정확도: 96.17%
23	검증 세트 손실: 4790.824707	최선의 손실: 0.313774	정확도: 93.55%
24	검증 세트 손실: 44094.945312	최선의 손실: 0.313774	정확도: 66.54%
25	검증 세트 손실: 3138.680908	최선의 손실: 0.313774	정확도: 96.05%
26	검증 세트 손실: 2097.746582	최선의 손실: 0.313774	정확도: 96.48%
27	검증 세트 손실: 1685.792969	최선의 손실: 0.313774	정확도: 97.07%
28	검증 세트 손실: 1861.947266	최선의 손실: 0.313774	정확도: 97.46%
29	검증 세트 손실: 1631.026733	최선의 손실: 0.313774	정확도: 96.64%
30	검증 세트 손실: 1523.757080	최선의 손실: 0.313774	정확도: 97.50%
31	검증 세트 손실: 1377.818604	최선의 손실: 0.313774	정확도: 96.48%
32	검증 세트 손실: 1842.982788	최선의 손실: 0.313774	정확도: 96.79%
조기 종료!
[CV]  n_neurons=70, learning_rate=0.1, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total=   8.5s
[CV] n_neurons=70, learning_rate=0.1, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 
0	검증 세트 손실: 2546.781738	최선의 손실: 2546.781738	정확도: 50.86%
1	검증 세트 손실: 38.256748	최선의 손실: 38.256748	정확도: 87.22%
2	검증 세트 손실: 37.551113	최선의 손실: 37.551113	정확도: 88.70%
3	검증 세트 손실: 21.225380	최선의 손실: 21.225380	정확도: 88.55%
4	검증 세트 손실: 14.073637	최선의 손실: 14.073637	정확도: 92.81%
5	검증 세트 손실: 8.793891	최선의 손실: 8.793891	정확도: 95.07%
6	검증 세트 손실: 14.796718	최선의 손실: 8.793891	정확도: 93.24%
7	검증 세트 손실: 6.090724	최선의 손실: 6.090724	정확도: 95.93%
8	검증 세트 손실: 8.372476	최선의 손실: 6.090724	정확도: 95.27%
9	검증 세트 손실: 8.692408	최선의 손실: 6.090724	정확도: 95.35%
10	검증 세트 손실: 5.657032	최선의 손실: 5.657032	정확도: 95.43%
11	검증 세트 손실: 11.487044	최선의 손실: 5.657032	정확도: 94.41%
12	검증 세트 손실: 4.641850	최선의 손실: 4.641850	정확도: 96.56%
13	검증 세트 손실: 3.814003	최선의 손실: 3.814003	정확도: 96.87%
14	검증 세트 손실: 70.368889	최선의 손실: 3.814003	정확도: 83.70%
15	검증 세트 손실: 56550.968750	최선의 손실: 3.814003	정확도: 75.25%
16	검증 세트 손실: 13168.267578	최선의 손실: 3.814003	정확도: 85.38%
17	검증 세트 손실: 14821.100586	최선의 손실: 3.814003	정확도: 79.59%
18	검증 세트 손실: 11850.468750	최선의 손실: 3.814003	정확도: 83.35%
19	검증 세트 손실: 8953.185547	최선의 손실: 3.814003	정확도: 85.85%
20	검증 세트 손실: 24498.355469	최선의 손실: 3.814003	정확도: 70.37%
21	검증 세트 손실: 5835.713379	최선의 손실: 3.814003	정확도: 92.73%
22	검증 세트 손실: 7197.416016	최선의 손실: 3.814003	정확도: 86.79%
23	검증 세트 손실: 4070.374023	최선의 손실: 3.814003	정확도: 90.58%
24	검증 세트 손실: 4160.066406	최선의 손실: 3.814003	정확도: 90.30%
25	검증 세트 손실: 3425.521484	최선의 손실: 3.814003	정확도: 92.65%
26	검증 세트 손실: 6447.624512	최선의 손실: 3.814003	정확도: 87.33%
27	검증 세트 손실: 3291.083252	최선의 손실: 3.814003	정확도: 91.63%
28	검증 세트 손실: 3627.269775	최선의 손실: 3.814003	정확도: 91.48%
29	검증 세트 손실: 6319.331055	최선의 손실: 3.814003	정확도: 84.99%
30	검증 세트 손실: 5595.559082	최선의 손실: 3.814003	정확도: 90.11%
31	검증 세트 손실: 3352.125977	최선의 손실: 3.814003	정확도: 91.87%
32	검증 세트 손실: 3492.978516	최선의 손실: 3.814003	정확도: 89.13%
33	검증 세트 손실: 1498.493652	최선의 손실: 3.814003	정확도: 95.35%
34	검증 세트 손실: 2025.615112	최선의 손실: 3.814003	정확도: 94.10%
조기 종료!
[CV]  n_neurons=70, learning_rate=0.1, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total=   9.0s
[CV] n_neurons=70, learning_rate=0.1, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 
0	검증 세트 손실: 14428.106445	최선의 손실: 14428.106445	정확도: 18.73%
1	검증 세트 손실: 97.355049	최선의 손실: 97.355049	정확도: 59.34%
2	검증 세트 손실: 17.617222	최선의 손실: 17.617222	정확도: 81.16%
3	검증 세트 손실: 12.494961	최선의 손실: 12.494961	정확도: 88.39%
4	검증 세트 손실: 14.719613	최선의 손실: 12.494961	정확도: 87.53%
5	검증 세트 손실: 12.193923	최선의 손실: 12.193923	정확도: 86.32%
6	검증 세트 손실: 8.901318	최선의 손실: 8.901318	정확도: 88.31%
7	검증 세트 손실: 10.385693	최선의 손실: 8.901318	정확도: 87.92%
8	검증 세트 손실: 20.340471	최선의 손실: 8.901318	정확도: 82.10%
9	검증 세트 손실: 10.751019	최선의 손실: 8.901318	정확도: 88.82%
10	검증 세트 손실: 23.130636	최선의 손실: 8.901318	정확도: 82.37%
11	검증 세트 손실: 5.877099	최선의 손실: 5.877099	정확도: 92.92%
12	검증 세트 손실: 3.927591	최선의 손실: 3.927591	정확도: 93.75%
13	검증 세트 손실: 4.252292	최선의 손실: 3.927591	정확도: 93.24%
14	검증 세트 손실: 4.891749	최선의 손실: 3.927591	정확도: 94.57%
15	검증 세트 손실: 4.837025	최선의 손실: 3.927591	정확도: 93.75%
16	검증 세트 손실: 5.262472	최선의 손실: 3.927591	정확도: 93.08%
17	검증 세트 손실: 3.936181	최선의 손실: 3.927591	정확도: 94.33%
18	검증 세트 손실: 3.127215	최선의 손실: 3.127215	정확도: 94.64%
19	검증 세트 손실: 3.649201	최선의 손실: 3.127215	정확도: 93.94%
20	검증 세트 손실: 3.627139	최선의 손실: 3.127215	정확도: 91.99%
21	검증 세트 손실: 582.599915	최선의 손실: 3.127215	정확도: 33.42%
22	검증 세트 손실: 126555.500000	최선의 손실: 3.127215	정확도: 76.19%
23	검증 세트 손실: 37859.531250	최선의 손실: 3.127215	정확도: 72.63%
24	검증 세트 손실: 35585.226562	최선의 손실: 3.127215	정확도: 80.84%
25	검증 세트 손실: 23134.175781	최선의 손실: 3.127215	정확도: 81.78%
26	검증 세트 손실: 10451.040039	최선의 손실: 3.127215	정확도: 89.01%
27	검증 세트 손실: 6008.763184	최선의 손실: 3.127215	정확도: 92.06%
28	검증 세트 손실: 9381.696289	최선의 손실: 3.127215	정확도: 88.47%
29	검증 세트 손실: 5388.400879	최선의 손실: 3.127215	정확도: 92.22%
30	검증 세트 손실: 26328.181641	최선의 손실: 3.127215	정확도: 73.49%
31	검증 세트 손실: 6009.228516	최선의 손실: 3.127215	정확도: 91.13%
32	검증 세트 손실: 7528.229980	최선의 손실: 3.127215	정확도: 87.14%
33	검증 세트 손실: 3268.595703	최선의 손실: 3.127215	정확도: 94.49%
34	검증 세트 손실: 5617.716797	최선의 손실: 3.127215	정확도: 93.90%
35	검증 세트 손실: 4708.864746	최선의 손실: 3.127215	정확도: 94.06%
36	검증 세트 손실: 24444.380859	최선의 손실: 3.127215	정확도: 88.78%
37	검증 세트 손실: 6551.906738	최선의 손실: 3.127215	정확도: 94.18%
38	검증 세트 손실: 4448.666016	최선의 손실: 3.127215	정확도: 95.47%
39	검증 세트 손실: 3126.424561	최선의 손실: 3.127215	정확도: 94.57%
조기 종료!
[CV]  n_neurons=70, learning_rate=0.1, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total=  10.1s
[CV] n_neurons=100, learning_rate=0.05, batch_size=10, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 2.075023	최선의 손실: 2.075023	정확도: 18.73%
1	검증 세트 손실: 2.392765	최선의 손실: 2.075023	정확도: 18.73%
2	검증 세트 손실: 2.045198	최선의 손실: 2.045198	정확도: 19.27%
3	검증 세트 손실: 2.207034	최선의 손실: 2.045198	정확도: 19.27%
4	검증 세트 손실: 1.794731	최선의 손실: 1.794731	정확도: 22.01%
5	검증 세트 손실: 2.012966	최선의 손실: 1.794731	정확도: 19.08%
6	검증 세트 손실: 1.975259	최선의 손실: 1.794731	정확도: 19.27%
7	검증 세트 손실: 1.949084	최선의 손실: 1.794731	정확도: 18.73%
8	검증 세트 손실: 2.035789	최선의 손실: 1.794731	정확도: 19.08%
9	검증 세트 손실: 2.281121	최선의 손실: 1.794731	정확도: 19.27%
10	검증 세트 손실: 1.806986	최선의 손실: 1.794731	정확도: 19.08%
11	검증 세트 손실: 1.917274	최선의 손실: 1.794731	정확도: 19.08%
12	검증 세트 손실: 2.006843	최선의 손실: 1.794731	정확도: 19.08%
13	검증 세트 손실: 1.773531	최선의 손실: 1.773531	정확도: 19.08%
14	검증 세트 손실: 3.055529	최선의 손실: 1.773531	정확도: 18.73%
15	검증 세트 손실: 1.692753	최선의 손실: 1.692753	정확도: 19.27%
16	검증 세트 손실: 2.644387	최선의 손실: 1.692753	정확도: 20.91%
17	검증 세트 손실: 2.019650	최선의 손실: 1.692753	정확도: 20.91%
18	검증 세트 손실: 2.567739	최선의 손실: 1.692753	정확도: 22.01%
19	검증 세트 손실: 2.833768	최선의 손실: 1.692753	정확도: 22.01%
20	검증 세트 손실: 2.283569	최선의 손실: 1.692753	정확도: 22.01%
21	검증 세트 손실: 2.377184	최선의 손실: 1.692753	정확도: 20.91%
22	검증 세트 손실: 1.983371	최선의 손실: 1.692753	정확도: 18.73%
23	검증 세트 손실: 2.143984	최선의 손실: 1.692753	정확도: 19.27%
24	검증 세트 손실: 2.032387	최선의 손실: 1.692753	정확도: 20.91%
25	검증 세트 손실: 1.828012	최선의 손실: 1.692753	정확도: 20.91%
26	검증 세트 손실: 1.893220	최선의 손실: 1.692753	정확도: 19.08%
27	검증 세트 손실: 2.163724	최선의 손실: 1.692753	정확도: 22.01%
28	검증 세트 손실: 2.621585	최선의 손실: 1.692753	정확도: 19.08%
29	검증 세트 손실: 2.281008	최선의 손실: 1.692753	정확도: 20.91%
30	검증 세트 손실: 1.913917	최선의 손실: 1.692753	정확도: 19.27%
31	검증 세트 손실: 2.141617	최선의 손실: 1.692753	정확도: 19.27%
32	검증 세트 손실: 2.017922	최선의 손실: 1.692753	정확도: 19.27%
33	검증 세트 손실: 1.835147	최선의 손실: 1.692753	정확도: 19.08%
34	검증 세트 손실: 1.877346	최선의 손실: 1.692753	정확도: 19.08%
35	검증 세트 손실: 2.370304	최선의 손실: 1.692753	정확도: 19.27%
36	검증 세트 손실: 2.066645	최선의 손실: 1.692753	정확도: 22.01%
조기 종료!
[CV]  n_neurons=100, learning_rate=0.05, batch_size=10, activation=<function elu at 0x7f8ec4ceef28>, total=  43.5s
[CV] n_neurons=100, learning_rate=0.05, batch_size=10, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 2.086180	최선의 손실: 2.086180	정확도: 19.27%
1	검증 세트 손실: 2.040330	최선의 손실: 2.040330	정확도: 20.91%
2	검증 세트 손실: 2.146819	최선의 손실: 2.040330	정확도: 22.01%
3	검증 세트 손실: 2.180535	최선의 손실: 2.040330	정확도: 22.01%
4	검증 세트 손실: 2.009214	최선의 손실: 2.009214	정확도: 20.91%
5	검증 세트 손실: 2.124437	최선의 손실: 2.009214	정확도: 19.27%
6	검증 세트 손실: 1.798526	최선의 손실: 1.798526	정확도: 19.27%
7	검증 세트 손실: 2.029066	최선의 손실: 1.798526	정확도: 19.08%
8	검증 세트 손실: 2.358270	최선의 손실: 1.798526	정확도: 18.73%
9	검증 세트 손실: 1.772398	최선의 손실: 1.772398	정확도: 19.27%
10	검증 세트 손실: 2.146672	최선의 손실: 1.772398	정확도: 19.08%
11	검증 세트 손실: 2.742556	최선의 손실: 1.772398	정확도: 22.01%
12	검증 세트 손실: 2.154563	최선의 손실: 1.772398	정확도: 19.27%
13	검증 세트 손실: 2.503036	최선의 손실: 1.772398	정확도: 19.27%
14	검증 세트 손실: 2.296438	최선의 손실: 1.772398	정확도: 19.27%
15	검증 세트 손실: 2.037246	최선의 손실: 1.772398	정확도: 18.73%
16	검증 세트 손실: 1.655975	최선의 손실: 1.655975	정확도: 19.08%
17	검증 세트 손실: 1.940822	최선의 손실: 1.655975	정확도: 18.73%
18	검증 세트 손실: 1.873852	최선의 손실: 1.655975	정확도: 19.08%
19	검증 세트 손실: 2.003685	최선의 손실: 1.655975	정확도: 18.73%
20	검증 세트 손실: 2.406449	최선의 손실: 1.655975	정확도: 19.27%
21	검증 세트 손실: 1.857483	최선의 손실: 1.655975	정확도: 19.27%
22	검증 세트 손실: 2.096717	최선의 손실: 1.655975	정확도: 19.27%
23	검증 세트 손실: 2.520994	최선의 손실: 1.655975	정확도: 22.01%
24	검증 세트 손실: 1.893641	최선의 손실: 1.655975	정확도: 19.08%
25	검증 세트 손실: 2.078129	최선의 손실: 1.655975	정확도: 22.01%
26	검증 세트 손실: 2.804221	최선의 손실: 1.655975	정확도: 19.08%
27	검증 세트 손실: 2.394255	최선의 손실: 1.655975	정확도: 20.91%
28	검증 세트 손실: 1.977029	최선의 손실: 1.655975	정확도: 20.91%
29	검증 세트 손실: 1.721668	최선의 손실: 1.655975	정확도: 19.27%
30	검증 세트 손실: 2.203054	최선의 손실: 1.655975	정확도: 19.08%
31	검증 세트 손실: 2.605257	최선의 손실: 1.655975	정확도: 22.01%
32	검증 세트 손실: 2.066093	최선의 손실: 1.655975	정확도: 18.73%
33	검증 세트 손실: 2.527786	최선의 손실: 1.655975	정확도: 19.08%
34	검증 세트 손실: 2.730592	최선의 손실: 1.655975	정확도: 18.73%
35	검증 세트 손실: 2.582781	최선의 손실: 1.655975	정확도: 22.01%
36	검증 세트 손실: 2.845666	최선의 손실: 1.655975	정확도: 19.27%
37	검증 세트 손실: 1.998371	최선의 손실: 1.655975	정확도: 19.27%
조기 종료!
[CV]  n_neurons=100, learning_rate=0.05, batch_size=10, activation=<function elu at 0x7f8ec4ceef28>, total=  44.4s
[CV] n_neurons=100, learning_rate=0.05, batch_size=10, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 1.830006	최선의 손실: 1.830006	정확도: 22.01%
1	검증 세트 손실: 2.131338	최선의 손실: 1.830006	정확도: 22.01%
2	검증 세트 손실: 2.190770	최선의 손실: 1.830006	정확도: 19.08%
3	검증 세트 손실: 2.143046	최선의 손실: 1.830006	정확도: 19.27%
4	검증 세트 손실: 3.100336	최선의 손실: 1.830006	정확도: 20.91%
5	검증 세트 손실: 2.463856	최선의 손실: 1.830006	정확도: 20.91%
6	검증 세트 손실: 2.003280	최선의 손실: 1.830006	정확도: 22.01%
7	검증 세트 손실: 1.763765	최선의 손실: 1.763765	정확도: 22.01%
8	검증 세트 손실: 1.700586	최선의 손실: 1.700586	정확도: 19.27%
9	검증 세트 손실: 2.334467	최선의 손실: 1.700586	정확도: 22.01%
10	검증 세트 손실: 1.853936	최선의 손실: 1.700586	정확도: 18.73%
11	검증 세트 손실: 1.842177	최선의 손실: 1.700586	정확도: 19.27%
12	검증 세트 손실: 2.091001	최선의 손실: 1.700586	정확도: 20.91%
13	검증 세트 손실: 3.280352	최선의 손실: 1.700586	정확도: 19.08%
14	검증 세트 손실: 2.147484	최선의 손실: 1.700586	정확도: 19.08%
15	검증 세트 손실: 1.816309	최선의 손실: 1.700586	정확도: 19.27%
16	검증 세트 손실: 1.802175	최선의 손실: 1.700586	정확도: 18.73%
17	검증 세트 손실: 2.435381	최선의 손실: 1.700586	정확도: 20.91%
18	검증 세트 손실: 1.970497	최선의 손실: 1.700586	정확도: 19.27%
19	검증 세트 손실: 2.368725	최선의 손실: 1.700586	정확도: 22.01%
20	검증 세트 손실: 2.211070	최선의 손실: 1.700586	정확도: 19.27%
21	검증 세트 손실: 2.549927	최선의 손실: 1.700586	정확도: 22.01%
22	검증 세트 손실: 1.926622	최선의 손실: 1.700586	정확도: 19.27%
23	검증 세트 손실: 2.675780	최선의 손실: 1.700586	정확도: 19.08%
24	검증 세트 손실: 2.494112	최선의 손실: 1.700586	정확도: 19.27%
25	검증 세트 손실: 1.703840	최선의 손실: 1.700586	정확도: 22.01%
26	검증 세트 손실: 2.280957	최선의 손실: 1.700586	정확도: 18.73%
27	검증 세트 손실: 1.996817	최선의 손실: 1.700586	정확도: 18.73%
28	검증 세트 손실: 2.451431	최선의 손실: 1.700586	정확도: 19.08%
29	검증 세트 손실: 2.784983	최선의 손실: 1.700586	정확도: 20.91%
조기 종료!
[CV]  n_neurons=100, learning_rate=0.05, batch_size=10, activation=<function elu at 0x7f8ec4ceef28>, total=  35.0s
[CV] n_neurons=90, learning_rate=0.02, batch_size=500, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.153380	최선의 손실: 0.153380	정확도: 94.80%
1	검증 세트 손실: 0.087586	최선의 손실: 0.087586	정확도: 97.50%
2	검증 세트 손실: 0.076680	최선의 손실: 0.076680	정확도: 97.77%
3	검증 세트 손실: 0.081570	최선의 손실: 0.076680	정확도: 97.69%
4	검증 세트 손실: 0.075922	최선의 손실: 0.075922	정확도: 97.93%
5	검증 세트 손실: 0.065010	최선의 손실: 0.065010	정확도: 98.44%
6	검증 세트 손실: 0.065706	최선의 손실: 0.065010	정확도: 98.36%
7	검증 세트 손실: 0.071053	최선의 손실: 0.065010	정확도: 98.32%
8	검증 세트 손실: 0.070527	최선의 손실: 0.065010	정확도: 98.32%
9	검증 세트 손실: 0.073580	최선의 손실: 0.065010	정확도: 98.28%
10	검증 세트 손실: 0.048505	최선의 손실: 0.048505	정확도: 98.94%
11	검증 세트 손실: 0.065689	최선의 손실: 0.048505	정확도: 98.36%
12	검증 세트 손실: 0.071522	최선의 손실: 0.048505	정확도: 98.16%
13	검증 세트 손실: 0.068540	최선의 손실: 0.048505	정확도: 98.51%
14	검증 세트 손실: 0.079861	최선의 손실: 0.048505	정확도: 98.36%
15	검증 세트 손실: 0.075419	최선의 손실: 0.048505	정확도: 98.20%
16	검증 세트 손실: 0.085131	최선의 손실: 0.048505	정확도: 98.20%
17	검증 세트 손실: 0.074155	최선의 손실: 0.048505	정확도: 98.71%
18	검증 세트 손실: 0.067812	최선의 손실: 0.048505	정확도: 98.67%
19	검증 세트 손실: 0.070843	최선의 손실: 0.048505	정확도: 98.75%
20	검증 세트 손실: 0.079976	최선의 손실: 0.048505	정확도: 98.51%
21	검증 세트 손실: 0.067650	최선의 손실: 0.048505	정확도: 98.55%
22	검증 세트 손실: 0.073264	최선의 손실: 0.048505	정확도: 98.48%
23	검증 세트 손실: 0.079828	최선의 손실: 0.048505	정확도: 98.59%
24	검증 세트 손실: 0.069711	최선의 손실: 0.048505	정확도: 98.44%
25	검증 세트 손실: 0.087333	최선의 손실: 0.048505	정확도: 98.71%
26	검증 세트 손실: 0.092510	최선의 손실: 0.048505	정확도: 98.59%
27	검증 세트 손실: 0.104338	최선의 손실: 0.048505	정확도: 98.28%
28	검증 세트 손실: 0.079420	최선의 손실: 0.048505	정확도: 98.75%
29	검증 세트 손실: 0.085931	최선의 손실: 0.048505	정확도: 98.67%
30	검증 세트 손실: 0.081857	최선의 손실: 0.048505	정확도: 98.51%
31	검증 세트 손실: 0.093568	최선의 손실: 0.048505	정확도: 98.28%
조기 종료!
[CV]  n_neurons=90, learning_rate=0.02, batch_size=500, activation=<function elu at 0x7f8ec4ceef28>, total=   5.7s
[CV] n_neurons=90, learning_rate=0.02, batch_size=500, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.142724	최선의 손실: 0.142724	정확도: 96.09%
1	검증 세트 손실: 0.077564	최선의 손실: 0.077564	정확도: 97.54%
2	검증 세트 손실: 0.068069	최선의 손실: 0.068069	정확도: 97.81%
3	검증 세트 손실: 0.056794	최선의 손실: 0.056794	정확도: 98.24%
4	검증 세트 손실: 0.057224	최선의 손실: 0.056794	정확도: 98.32%
5	검증 세트 손실: 0.047567	최선의 손실: 0.047567	정확도: 98.51%
6	검증 세트 손실: 0.064623	최선의 손실: 0.047567	정확도: 97.93%
7	검증 세트 손실: 0.063472	최선의 손실: 0.047567	정확도: 98.12%
8	검증 세트 손실: 0.088332	최선의 손실: 0.047567	정확도: 97.58%
9	검증 세트 손실: 0.055690	최선의 손실: 0.047567	정확도: 98.40%
10	검증 세트 손실: 0.052995	최선의 손실: 0.047567	정확도: 98.71%
11	검증 세트 손실: 0.076544	최선의 손실: 0.047567	정확도: 98.32%
12	검증 세트 손실: 0.061579	최선의 손실: 0.047567	정확도: 98.63%
13	검증 세트 손실: 0.055622	최선의 손실: 0.047567	정확도: 98.83%
14	검증 세트 손실: 0.062736	최선의 손실: 0.047567	정확도: 98.55%
15	검증 세트 손실: 0.090491	최선의 손실: 0.047567	정확도: 98.44%
16	검증 세트 손실: 0.053311	최선의 손실: 0.047567	정확도: 98.55%
17	검증 세트 손실: 0.061010	최선의 손실: 0.047567	정확도: 98.87%
18	검증 세트 손실: 0.068575	최선의 손실: 0.047567	정확도: 98.71%
19	검증 세트 손실: 0.063921	최선의 손실: 0.047567	정확도: 98.67%
20	검증 세트 손실: 0.056553	최선의 손실: 0.047567	정확도: 98.55%
21	검증 세트 손실: 0.064097	최선의 손실: 0.047567	정확도: 98.63%
22	검증 세트 손실: 0.071911	최선의 손실: 0.047567	정확도: 98.71%
23	검증 세트 손실: 0.074017	최선의 손실: 0.047567	정확도: 98.55%
24	검증 세트 손실: 0.065793	최선의 손실: 0.047567	정확도: 98.87%
25	검증 세트 손실: 0.082452	최선의 손실: 0.047567	정확도: 98.55%
26	검증 세트 손실: 0.062957	최선의 손실: 0.047567	정확도: 98.63%
조기 종료!
[CV]  n_neurons=90, learning_rate=0.02, batch_size=500, activation=<function elu at 0x7f8ec4ceef28>, total=   4.9s
[CV] n_neurons=90, learning_rate=0.02, batch_size=500, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.140301	최선의 손실: 0.140301	정확도: 95.31%
1	검증 세트 손실: 0.078181	최선의 손실: 0.078181	정확도: 97.30%
2	검증 세트 손실: 0.067004	최선의 손실: 0.067004	정확도: 97.77%
3	검증 세트 손실: 0.056316	최선의 손실: 0.056316	정확도: 98.24%
4	검증 세트 손실: 0.059319	최선의 손실: 0.056316	정확도: 98.28%
5	검증 세트 손실: 0.053590	최선의 손실: 0.053590	정확도: 98.28%
6	검증 세트 손실: 0.082156	최선의 손실: 0.053590	정확도: 97.85%
7	검증 세트 손실: 0.063492	최선의 손실: 0.053590	정확도: 98.24%
8	검증 세트 손실: 0.054046	최선의 손실: 0.053590	정확도: 98.48%
9	검증 세트 손실: 0.064006	최선의 손실: 0.053590	정확도: 98.48%
10	검증 세트 손실: 0.062416	최선의 손실: 0.053590	정확도: 98.40%
11	검증 세트 손실: 0.062902	최선의 손실: 0.053590	정확도: 98.28%
12	검증 세트 손실: 0.062604	최선의 손실: 0.053590	정확도: 98.32%
13	검증 세트 손실: 0.067877	최선의 손실: 0.053590	정확도: 98.59%
14	검증 세트 손실: 0.067826	최선의 손실: 0.053590	정확도: 98.40%
15	검증 세트 손실: 0.066816	최선의 손실: 0.053590	정확도: 98.55%
16	검증 세트 손실: 0.074994	최선의 손실: 0.053590	정확도: 98.63%
17	검증 세트 손실: 0.077950	최선의 손실: 0.053590	정확도: 98.55%
18	검증 세트 손실: 0.060889	최선의 손실: 0.053590	정확도: 98.83%
19	검증 세트 손실: 0.064673	최선의 손실: 0.053590	정확도: 98.63%
20	검증 세트 손실: 0.064803	최선의 손실: 0.053590	정확도: 98.71%
21	검증 세트 손실: 0.072526	최선의 손실: 0.053590	정확도: 98.59%
22	검증 세트 손실: 0.062641	최선의 손실: 0.053590	정확도: 98.67%
23	검증 세트 손실: 0.044543	최선의 손실: 0.044543	정확도: 99.14%
24	검증 세트 손실: 0.063428	최선의 손실: 0.044543	정확도: 98.75%
25	검증 세트 손실: 0.056027	최선의 손실: 0.044543	정확도: 98.71%
26	검증 세트 손실: 0.074050	최선의 손실: 0.044543	정확도: 98.75%
27	검증 세트 손실: 0.072819	최선의 손실: 0.044543	정확도: 98.40%
28	검증 세트 손실: 0.055905	최선의 손실: 0.044543	정확도: 98.75%
29	검증 세트 손실: 0.064613	최선의 손실: 0.044543	정확도: 98.75%
30	검증 세트 손실: 0.066320	최선의 손실: 0.044543	정확도: 98.71%
31	검증 세트 손실: 0.055651	최선의 손실: 0.044543	정확도: 98.87%
32	검증 세트 손실: 0.066779	최선의 손실: 0.044543	정확도: 98.71%
33	검증 세트 손실: 0.065109	최선의 손실: 0.044543	정확도: 98.71%
34	검증 세트 손실: 0.065098	최선의 손실: 0.044543	정확도: 98.75%
35	검증 세트 손실: 0.060093	최선의 손실: 0.044543	정확도: 98.94%
36	검증 세트 손실: 0.069519	최선의 손실: 0.044543	정확도: 98.91%
37	검증 세트 손실: 0.084380	최선의 손실: 0.044543	정확도: 98.91%
38	검증 세트 손실: 0.109287	최선의 손실: 0.044543	정확도: 98.36%
39	검증 세트 손실: 0.073206	최선의 손실: 0.044543	정확도: 98.83%
40	검증 세트 손실: 0.066892	최선의 손실: 0.044543	정확도: 98.83%
41	검증 세트 손실: 0.054476	최선의 손실: 0.044543	정확도: 98.83%
42	검증 세트 손실: 0.099790	최선의 손실: 0.044543	정확도: 98.55%
43	검증 세트 손실: 0.078520	최선의 손실: 0.044543	정확도: 98.67%
44	검증 세트 손실: 0.059422	최선의 손실: 0.044543	정확도: 98.67%
조기 종료!
[CV]  n_neurons=90, learning_rate=0.02, batch_size=500, activation=<function elu at 0x7f8ec4ceef28>, total=   7.8s
[CV] n_neurons=30, learning_rate=0.05, batch_size=50, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 0.467548	최선의 손실: 0.467548	정확도: 89.68%
1	검증 세트 손실: 0.252414	최선의 손실: 0.252414	정확도: 92.61%
2	검증 세트 손실: 0.688882	최선의 손실: 0.252414	정확도: 75.18%
3	검증 세트 손실: 1.595843	최선의 손실: 0.252414	정확도: 22.01%
4	검증 세트 손실: 1.617073	최선의 손실: 0.252414	정확도: 22.01%
5	검증 세트 손실: 1.614134	최선의 손실: 0.252414	정확도: 22.01%
6	검증 세트 손실: 1.609219	최선의 손실: 0.252414	정확도: 22.01%
7	검증 세트 손실: 1.614352	최선의 손실: 0.252414	정확도: 22.01%
8	검증 세트 손실: 1.616958	최선의 손실: 0.252414	정확도: 22.01%
9	검증 세트 손실: 1.608661	최선의 손실: 0.252414	정확도: 22.01%
10	검증 세트 손실: 1.608050	최선의 손실: 0.252414	정확도: 22.01%
11	검증 세트 손실: 1.613508	최선의 손실: 0.252414	정확도: 19.27%
12	검증 세트 손실: 1.609078	최선의 손실: 0.252414	정확도: 22.01%
13	검증 세트 손실: 1.615909	최선의 손실: 0.252414	정확도: 19.08%
14	검증 세트 손실: 1.613166	최선의 손실: 0.252414	정확도: 18.73%
15	검증 세트 손실: 1.611266	최선의 손실: 0.252414	정확도: 22.01%
16	검증 세트 손실: 1.609476	최선의 손실: 0.252414	정확도: 19.08%
17	검증 세트 손실: 1.610101	최선의 손실: 0.252414	정확도: 19.27%
18	검증 세트 손실: 1.615433	최선의 손실: 0.252414	정확도: 18.73%
19	검증 세트 손실: 1.608982	최선의 손실: 0.252414	정확도: 22.01%
20	검증 세트 손실: 1.609123	최선의 손실: 0.252414	정확도: 20.91%
21	검증 세트 손실: 1.615655	최선의 손실: 0.252414	정확도: 22.01%
22	검증 세트 손실: 1.613657	최선의 손실: 0.252414	정확도: 19.27%
조기 종료!
[CV]  n_neurons=30, learning_rate=0.05, batch_size=50, activation=<function relu at 0x7f8ec4c8c510>, total=   5.9s
[CV] n_neurons=30, learning_rate=0.05, batch_size=50, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 0.171215	최선의 손실: 0.171215	정확도: 94.80%
1	검증 세트 손실: 0.276635	최선의 손실: 0.171215	정확도: 93.90%
2	검증 세트 손실: 0.714480	최선의 손실: 0.171215	정확도: 76.58%
3	검증 세트 손실: 1.261391	최선의 손실: 0.171215	정확도: 38.94%
4	검증 세트 손실: 1.207924	최선의 손실: 0.171215	정확도: 39.91%
5	검증 세트 손실: 1.168964	최선의 손실: 0.171215	정확도: 42.42%
6	검증 세트 손실: 1.211761	최선의 손실: 0.171215	정확도: 33.11%
7	검증 세트 손실: 1.655871	최선의 손실: 0.171215	정확도: 22.01%
8	검증 세트 손실: 1.608976	최선의 손실: 0.171215	정확도: 22.01%
9	검증 세트 손실: 1.608349	최선의 손실: 0.171215	정확도: 22.01%
10	검증 세트 손실: 1.614480	최선의 손실: 0.171215	정확도: 22.01%
11	검증 세트 손실: 1.610581	최선의 손실: 0.171215	정확도: 22.01%
12	검증 세트 손실: 1.609118	최선의 손실: 0.171215	정확도: 22.01%
13	검증 세트 손실: 1.612355	최선의 손실: 0.171215	정확도: 19.27%
14	검증 세트 손실: 1.609242	최선의 손실: 0.171215	정확도: 22.01%
15	검증 세트 손실: 1.610152	최선의 손실: 0.171215	정확도: 22.01%
16	검증 세트 손실: 1.613015	최선의 손실: 0.171215	정확도: 22.01%
17	검증 세트 손실: 1.615447	최선의 손실: 0.171215	정확도: 19.08%
18	검증 세트 손실: 1.610247	최선의 손실: 0.171215	정확도: 22.01%
19	검증 세트 손실: 1.609071	최선의 손실: 0.171215	정확도: 22.01%
20	검증 세트 손실: 1.610649	최선의 손실: 0.171215	정확도: 22.01%
21	검증 세트 손실: 1.612858	최선의 손실: 0.171215	정확도: 22.01%
조기 종료!
[CV]  n_neurons=30, learning_rate=0.05, batch_size=50, activation=<function relu at 0x7f8ec4c8c510>, total=   5.6s
[CV] n_neurons=30, learning_rate=0.05, batch_size=50, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 0.148792	최선의 손실: 0.148792	정확도: 95.74%
1	검증 세트 손실: 0.146185	최선의 손실: 0.146185	정확도: 96.13%
2	검증 세트 손실: 0.332904	최선의 손실: 0.146185	정확도: 92.49%
3	검증 세트 손실: 0.192183	최선의 손실: 0.146185	정확도: 94.72%
4	검증 세트 손실: 0.247676	최선의 손실: 0.146185	정확도: 94.10%
5	검증 세트 손실: 0.617268	최선의 손실: 0.146185	정확도: 75.49%
6	검증 세트 손실: 0.521337	최선의 손실: 0.146185	정확도: 79.52%
7	검증 세트 손실: 0.701716	최선의 손실: 0.146185	정확도: 71.03%
8	검증 세트 손실: 0.645204	최선의 손실: 0.146185	정확도: 74.94%
9	검증 세트 손실: 1.015691	최선의 손실: 0.146185	정확도: 54.46%
10	검증 세트 손실: 1.017543	최선의 손실: 0.146185	정확도: 52.66%
11	검증 세트 손실: 0.885283	최선의 손실: 0.146185	정확도: 57.23%
12	검증 세트 손실: 0.825017	최선의 손실: 0.146185	정확도: 62.59%
13	검증 세트 손실: 0.744610	최선의 손실: 0.146185	정확도: 66.69%
14	검증 세트 손실: 0.783117	최선의 손실: 0.146185	정확도: 63.10%
15	검증 세트 손실: 0.719829	최선의 손실: 0.146185	정확도: 68.18%
16	검증 세트 손실: 0.745726	최선의 손실: 0.146185	정확도: 67.44%
17	검증 세트 손실: 0.831390	최선의 손실: 0.146185	정확도: 63.10%
18	검증 세트 손실: 0.704464	최선의 손실: 0.146185	정확도: 68.37%
19	검증 세트 손실: 0.519329	최선의 손실: 0.146185	정확도: 83.70%
20	검증 세트 손실: 0.706356	최선의 손실: 0.146185	정확도: 69.47%
21	검증 세트 손실: 0.731465	최선의 손실: 0.146185	정확도: 74.28%
22	검증 세트 손실: 0.811508	최선의 손실: 0.146185	정확도: 71.85%
조기 종료!
[CV]  n_neurons=30, learning_rate=0.05, batch_size=50, activation=<function relu at 0x7f8ec4c8c510>, total=   5.8s
[CV] n_neurons=50, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 
0	검증 세트 손실: 0.186992	최선의 손실: 0.186992	정확도: 95.07%
1	검증 세트 손실: 0.133227	최선의 손실: 0.133227	정확도: 96.17%
2	검증 세트 손실: 0.155530	최선의 손실: 0.133227	정확도: 96.40%
3	검증 세트 손실: 1222.078613	최선의 손실: 0.133227	정확도: 44.53%
4	검증 세트 손실: 22.377054	최선의 손실: 0.133227	정확도: 83.62%
5	검증 세트 손실: 18.422031	최선의 손실: 0.133227	정확도: 84.09%
6	검증 세트 손실: 12.475811	최선의 손실: 0.133227	정확도: 86.86%
7	검증 세트 손실: 6.948159	최선의 손실: 0.133227	정확도: 90.77%
8	검증 세트 손실: 6.151453	최선의 손실: 0.133227	정확도: 92.34%
9	검증 세트 손실: 5.959032	최선의 손실: 0.133227	정확도: 93.00%
10	검증 세트 손실: 7.751710	최선의 손실: 0.133227	정확도: 92.57%
11	검증 세트 손실: 11.911991	최선의 손실: 0.133227	정확도: 91.40%
12	검증 세트 손실: 14.854826	최선의 손실: 0.133227	정확도: 83.50%
13	검증 세트 손실: 12.104122	최선의 손실: 0.133227	정확도: 87.33%
14	검증 세트 손실: 5.944398	최선의 손실: 0.133227	정확도: 92.57%
15	검증 세트 손실: 4.527845	최선의 손실: 0.133227	정확도: 94.72%
16	검증 세트 손실: 3.968540	최선의 손실: 0.133227	정확도: 94.57%
17	검증 세트 손실: 4.558530	최선의 손실: 0.133227	정확도: 95.11%
18	검증 세트 손실: 2.712705	최선의 손실: 0.133227	정확도: 95.90%
19	검증 세트 손실: 15.300344	최선의 손실: 0.133227	정확도: 82.41%
20	검증 세트 손실: 468.918549	최선의 손실: 0.133227	정확도: 83.62%
21	검증 세트 손실: 118.987038	최선의 손실: 0.133227	정확도: 92.73%
22	검증 세트 손실: 64.619713	최선의 손실: 0.133227	정확도: 94.14%
조기 종료!
[CV]  n_neurons=50, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total=   4.9s
[CV] n_neurons=50, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 
0	검증 세트 손실: 0.154682	최선의 손실: 0.154682	정확도: 95.90%
1	검증 세트 손실: 0.094245	최선의 손실: 0.094245	정확도: 97.15%
2	검증 세트 손실: 485.391602	최선의 손실: 0.094245	정확도: 69.04%
3	검증 세트 손실: 20.694063	최선의 손실: 0.094245	정확도: 91.95%
4	검증 세트 손실: 11.762389	최선의 손실: 0.094245	정확도: 92.69%
5	검증 세트 손실: 13.786525	최선의 손실: 0.094245	정확도: 89.29%
6	검증 세트 손실: 5.673931	최선의 손실: 0.094245	정확도: 93.78%
7	검증 세트 손실: 6.248975	최선의 손실: 0.094245	정확도: 93.63%
8	검증 세트 손실: 2.227148	최선의 손실: 0.094245	정확도: 96.25%
9	검증 세트 손실: 3.098826	최선의 손실: 0.094245	정확도: 96.36%
10	검증 세트 손실: 1.799981	최선의 손실: 0.094245	정확도: 96.72%
11	검증 세트 손실: 2.176519	최선의 손실: 0.094245	정확도: 96.21%
12	검증 세트 손실: 1.224813	최선의 손실: 0.094245	정확도: 97.19%
13	검증 세트 손실: 1.304725	최선의 손실: 0.094245	정확도: 96.44%
14	검증 세트 손실: 1.456729	최선의 손실: 0.094245	정확도: 96.13%
15	검증 세트 손실: 1.089426	최선의 손실: 0.094245	정확도: 97.34%
16	검증 세트 손실: 1.918825	최선의 손실: 0.094245	정확도: 95.07%
17	검증 세트 손실: 1.288564	최선의 손실: 0.094245	정확도: 96.17%
18	검증 세트 손실: 1.381156	최선의 손실: 0.094245	정확도: 97.15%
19	검증 세트 손실: 0.806893	최선의 손실: 0.094245	정확도: 96.40%
20	검증 세트 손실: 26.981449	최선의 손실: 0.094245	정확도: 83.62%
21	검증 세트 손실: 4.928243	최선의 손실: 0.094245	정확도: 94.45%
22	검증 세트 손실: 6.141958	최선의 손실: 0.094245	정확도: 91.16%
조기 종료!
[CV]  n_neurons=50, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total=   5.0s
[CV] n_neurons=50, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 
0	검증 세트 손실: 0.116965	최선의 손실: 0.116965	정확도: 96.56%
1	검증 세트 손실: 0.153705	최선의 손실: 0.116965	정확도: 95.86%
2	검증 세트 손실: 1047.593994	최선의 손실: 0.116965	정확도: 48.83%
3	검증 세트 손실: 3.903300	최선의 손실: 0.116965	정확도: 91.32%
4	검증 세트 손실: 2.520075	최선의 손실: 0.116965	정확도: 93.55%
5	검증 세트 손실: 2.371787	최선의 손실: 0.116965	정확도: 94.92%
6	검증 세트 손실: 2.089808	최선의 손실: 0.116965	정확도: 93.20%
7	검증 세트 손실: 4.908280	최선의 손실: 0.116965	정확도: 91.24%
8	검증 세트 손실: 1.802907	최선의 손실: 0.116965	정확도: 94.49%
9	검증 세트 손실: 2.673851	최선의 손실: 0.116965	정확도: 93.98%
10	검증 세트 손실: 3.813082	최선의 손실: 0.116965	정확도: 95.39%
11	검증 세트 손실: 4.047690	최선의 손실: 0.116965	정확도: 94.84%
12	검증 세트 손실: 2.102582	최선의 손실: 0.116965	정확도: 90.66%
13	검증 세트 손실: 1.635320	최선의 손실: 0.116965	정확도: 95.66%
14	검증 세트 손실: 1.308619	최선의 손실: 0.116965	정확도: 92.26%
15	검증 세트 손실: 0.540125	최선의 손실: 0.116965	정확도: 96.95%
16	검증 세트 손실: 0.524107	최선의 손실: 0.116965	정확도: 96.83%
17	검증 세트 손실: 1.382948	최선의 손실: 0.116965	정확도: 93.98%
18	검증 세트 손실: 0.452829	최선의 손실: 0.116965	정확도: 96.52%
19	검증 세트 손실: 0.371988	최선의 손실: 0.116965	정확도: 96.72%
20	검증 세트 손실: 0.380312	최선의 손실: 0.116965	정확도: 95.47%
21	검증 세트 손실: 0.427113	최선의 손실: 0.116965	정확도: 95.54%
조기 종료!
[CV]  n_neurons=50, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total=   4.7s
[CV] n_neurons=10, learning_rate=0.02, batch_size=10, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.251900	최선의 손실: 0.251900	정확도: 93.67%
1	검증 세트 손실: 0.203994	최선의 손실: 0.203994	정확도: 94.72%
2	검증 세트 손실: 0.170632	최선의 손실: 0.170632	정확도: 95.47%
3	검증 세트 손실: 0.145789	최선의 손실: 0.145789	정확도: 95.97%
4	검증 세트 손실: 0.111856	최선의 손실: 0.111856	정확도: 96.79%
5	검증 세트 손실: 0.205407	최선의 손실: 0.111856	정확도: 96.13%
6	검증 세트 손실: 0.131561	최선의 손실: 0.111856	정확도: 96.44%
7	검증 세트 손실: 0.138781	최선의 손실: 0.111856	정확도: 96.68%
8	검증 세트 손실: 0.191409	최선의 손실: 0.111856	정확도: 94.57%
9	검증 세트 손실: 0.193376	최선의 손실: 0.111856	정확도: 95.70%
10	검증 세트 손실: 0.193110	최선의 손실: 0.111856	정확도: 94.57%
11	검증 세트 손실: 0.276580	최선의 손실: 0.111856	정확도: 92.89%
12	검증 세트 손실: 0.300255	최선의 손실: 0.111856	정확도: 92.53%
13	검증 세트 손실: 0.243310	최선의 손실: 0.111856	정확도: 95.50%
14	검증 세트 손실: 0.443112	최선의 손실: 0.111856	정확도: 95.86%
15	검증 세트 손실: 0.219680	최선의 손실: 0.111856	정확도: 94.88%
16	검증 세트 손실: 0.199926	최선의 손실: 0.111856	정확도: 96.25%
17	검증 세트 손실: 0.184721	최선의 손실: 0.111856	정확도: 96.29%
18	검증 세트 손실: 0.213894	최선의 손실: 0.111856	정확도: 95.19%
19	검증 세트 손실: 0.335216	최선의 손실: 0.111856	정확도: 93.04%
20	검증 세트 손실: 1.160094	최선의 손실: 0.111856	정확도: 40.46%
21	검증 세트 손실: 1.180431	최선의 손실: 0.111856	정확도: 40.73%
22	검증 세트 손실: 1.199585	최선의 손실: 0.111856	정확도: 40.19%
23	검증 세트 손실: 1.617542	최선의 손실: 0.111856	정확도: 22.01%
24	검증 세트 손실: 1.646355	최선의 손실: 0.111856	정확도: 22.05%
25	검증 세트 손실: 1.655502	최선의 손실: 0.111856	정확도: 22.01%
조기 종료!
[CV]  n_neurons=10, learning_rate=0.02, batch_size=10, activation=<function elu at 0x7f8ec4ceef28>, total=  18.0s
[CV] n_neurons=10, learning_rate=0.02, batch_size=10, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.293539	최선의 손실: 0.293539	정확도: 91.95%
1	검증 세트 손실: 0.201445	최선의 손실: 0.201445	정확도: 95.39%
2	검증 세트 손실: 0.155083	최선의 손실: 0.155083	정확도: 96.05%
3	검증 세트 손실: 0.121911	최선의 손실: 0.121911	정확도: 96.76%
4	검증 세트 손실: 0.106857	최선의 손실: 0.106857	정확도: 97.03%
5	검증 세트 손실: 0.243694	최선의 손실: 0.106857	정확도: 95.58%
6	검증 세트 손실: 0.166254	최선의 손실: 0.106857	정확도: 96.17%
7	검증 세트 손실: 0.197603	최선의 손실: 0.106857	정확도: 96.01%
8	검증 세트 손실: 0.585144	최선의 손실: 0.106857	정확도: 74.71%
9	검증 세트 손실: 0.347678	최선의 손실: 0.106857	정확도: 91.36%
10	검증 세트 손실: 0.304710	최선의 손실: 0.106857	정확도: 93.75%
11	검증 세트 손실: 0.174496	최선의 손실: 0.106857	정확도: 96.56%
12	검증 세트 손실: 0.463943	최선의 손실: 0.106857	정확도: 77.09%
13	검증 세트 손실: 0.758214	최선의 손실: 0.106857	정확도: 63.37%
14	검증 세트 손실: 0.531307	최선의 손실: 0.106857	정확도: 75.45%
15	검증 세트 손실: 0.758179	최선의 손실: 0.106857	정확도: 71.11%
16	검증 세트 손실: 0.627861	최선의 손실: 0.106857	정확도: 73.53%
17	검증 세트 손실: 0.496033	최선의 손실: 0.106857	정확도: 75.41%
18	검증 세트 손실: 0.534288	최선의 손실: 0.106857	정확도: 73.77%
19	검증 세트 손실: 0.934053	최선의 손실: 0.106857	정확도: 57.27%
20	검증 세트 손실: 1.245830	최선의 손실: 0.106857	정확도: 36.75%
21	검증 세트 손실: 1.626114	최선의 손실: 0.106857	정확도: 24.94%
22	검증 세트 손실: 1.328982	최선의 손실: 0.106857	정확도: 36.24%
23	검증 세트 손실: 1.431234	최선의 손실: 0.106857	정확도: 36.63%
24	검증 세트 손실: 1.245528	최선의 손실: 0.106857	정확도: 38.78%
25	검증 세트 손실: 1.199934	최선의 손실: 0.106857	정확도: 41.40%
조기 종료!
[CV]  n_neurons=10, learning_rate=0.02, batch_size=10, activation=<function elu at 0x7f8ec4ceef28>, total=  17.7s
[CV] n_neurons=10, learning_rate=0.02, batch_size=10, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.218326	최선의 손실: 0.218326	정확도: 95.62%
1	검증 세트 손실: 0.139652	최선의 손실: 0.139652	정확도: 96.48%
2	검증 세트 손실: 0.185367	최선의 손실: 0.139652	정확도: 95.97%
3	검증 세트 손실: 0.503665	최선의 손실: 0.139652	정확도: 84.21%
4	검증 세트 손실: 0.306959	최선의 손실: 0.139652	정확도: 92.34%
5	검증 세트 손실: 0.312952	최선의 손실: 0.139652	정확도: 92.65%
6	검증 세트 손실: 0.321531	최선의 손실: 0.139652	정확도: 93.55%
7	검증 세트 손실: 0.217648	최선의 손실: 0.139652	정확도: 95.47%
8	검증 세트 손실: 0.443441	최선의 손실: 0.139652	정확도: 75.53%
9	검증 세트 손실: 0.296745	최선의 손실: 0.139652	정확도: 93.59%
10	검증 세트 손실: 0.235967	최선의 손실: 0.139652	정확도: 95.04%
11	검증 세트 손실: 0.506821	최선의 손실: 0.139652	정확도: 93.90%
12	검증 세트 손실: 0.451871	최선의 손실: 0.139652	정확도: 92.49%
13	검증 세트 손실: 1.391686	최선의 손실: 0.139652	정확도: 93.86%
14	검증 세트 손실: 0.550413	최선의 손실: 0.139652	정확도: 93.39%
15	검증 세트 손실: 0.399842	최선의 손실: 0.139652	정확도: 95.35%
16	검증 세트 손실: 2.315573	최선의 손실: 0.139652	정확도: 94.06%
17	검증 세트 손실: 0.433348	최선의 손실: 0.139652	정확도: 89.25%
18	검증 세트 손실: 0.271465	최선의 손실: 0.139652	정확도: 93.82%
19	검증 세트 손실: 0.309291	최선의 손실: 0.139652	정확도: 94.37%
20	검증 세트 손실: 0.566560	최선의 손실: 0.139652	정확도: 79.63%
21	검증 세트 손실: 0.314433	최선의 손실: 0.139652	정확도: 92.85%
22	검증 세트 손실: 0.250561	최선의 손실: 0.139652	정확도: 94.14%
조기 종료!
[CV]  n_neurons=10, learning_rate=0.02, batch_size=10, activation=<function elu at 0x7f8ec4ceef28>, total=  16.0s
[CV] n_neurons=140, learning_rate=0.05, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 
0	검증 세트 손실: 690.126282	최선의 손실: 690.126282	정확도: 18.73%
1	검증 세트 손실: 10985.355469	최선의 손실: 690.126282	정확도: 13.02%
2	검증 세트 손실: 65.520966	최선의 손실: 65.520966	정확도: 73.49%
3	검증 세트 손실: 29.767363	최선의 손실: 29.767363	정확도: 87.10%
4	검증 세트 손실: 6.690353	최선의 손실: 6.690353	정확도: 92.77%
5	검증 세트 손실: 4.564709	최선의 손실: 4.564709	정확도: 92.69%
6	검증 세트 손실: 3.826008	최선의 손실: 3.826008	정확도: 92.42%
7	검증 세트 손실: 3.776085	최선의 손실: 3.776085	정확도: 92.46%
8	검증 세트 손실: 2.571607	최선의 손실: 2.571607	정확도: 94.45%
9	검증 세트 손실: 3.960520	최선의 손실: 2.571607	정확도: 92.42%
10	검증 세트 손실: 1.987760	최선의 손실: 1.987760	정확도: 93.98%
11	검증 세트 손실: 1.603755	최선의 손실: 1.603755	정확도: 95.23%
12	검증 세트 손실: 2.144811	최선의 손실: 1.603755	정확도: 94.37%
13	검증 세트 손실: 1.458449	최선의 손실: 1.458449	정확도: 94.92%
14	검증 세트 손실: 5.154097	최선의 손실: 1.458449	정확도: 84.60%
15	검증 세트 손실: 2.715806	최선의 손실: 1.458449	정확도: 94.61%
16	검증 세트 손실: 3.013890	최선의 손실: 1.458449	정확도: 92.89%
17	검증 세트 손실: 1.571816	최선의 손실: 1.458449	정확도: 95.43%
18	검증 세트 손실: 1.303513	최선의 손실: 1.303513	정확도: 96.40%
19	검증 세트 손실: 1.824095	최선의 손실: 1.303513	정확도: 94.92%
20	검증 세트 손실: 2.066882	최선의 손실: 1.303513	정확도: 93.63%
21	검증 세트 손실: 1.799434	최선의 손실: 1.303513	정확도: 94.37%
22	검증 세트 손실: 1.023286	최선의 손실: 1.023286	정확도: 95.78%
23	검증 세트 손실: 0.801162	최선의 손실: 0.801162	정확도: 97.15%
24	검증 세트 손실: 1.622330	최선의 손실: 0.801162	정확도: 95.50%
25	검증 세트 손실: 1.221080	최선의 손실: 0.801162	정확도: 96.95%
26	검증 세트 손실: 0.726078	최선의 손실: 0.726078	정확도: 97.34%
27	검증 세트 손실: 1.180433	최선의 손실: 0.726078	정확도: 94.25%
28	검증 세트 손실: 0.622583	최선의 손실: 0.622583	정확도: 96.79%
29	검증 세트 손실: 0.597420	최선의 손실: 0.597420	정확도: 96.60%
30	검증 세트 손실: 0.829324	최선의 손실: 0.597420	정확도: 95.93%
31	검증 세트 손실: 0.622161	최선의 손실: 0.597420	정확도: 96.48%
32	검증 세트 손실: 0.717351	최선의 손실: 0.597420	정확도: 96.83%
33	검증 세트 손실: 0.763994	최선의 손실: 0.597420	정확도: 96.21%
34	검증 세트 손실: 0.623744	최선의 손실: 0.597420	정확도: 96.40%
35	검증 세트 손실: 0.638363	최선의 손실: 0.597420	정확도: 96.64%
36	검증 세트 손실: 0.839009	최선의 손실: 0.597420	정확도: 96.21%
37	검증 세트 손실: 3.418992	최선의 손실: 0.597420	정확도: 84.79%
38	검증 세트 손실: 1.179810	최선의 손실: 0.597420	정확도: 96.25%
39	검증 세트 손실: 0.713854	최선의 손실: 0.597420	정확도: 96.87%
40	검증 세트 손실: 1.143013	최선의 손실: 0.597420	정확도: 95.00%
41	검증 세트 손실: 0.770571	최선의 손실: 0.597420	정확도: 96.36%
42	검증 세트 손실: 0.614120	최선의 손실: 0.597420	정확도: 96.48%
43	검증 세트 손실: 0.664119	최선의 손실: 0.597420	정확도: 96.99%
44	검증 세트 손실: 0.572742	최선의 손실: 0.572742	정확도: 97.38%
45	검증 세트 손실: 0.457800	최선의 손실: 0.457800	정확도: 97.54%
46	검증 세트 손실: 0.607914	최선의 손실: 0.457800	정확도: 97.81%
47	검증 세트 손실: 0.586952	최선의 손실: 0.457800	정확도: 96.87%
48	검증 세트 손실: 0.529874	최선의 손실: 0.457800	정확도: 97.46%
49	검증 세트 손실: 0.461592	최선의 손실: 0.457800	정확도: 97.46%
50	검증 세트 손실: 0.639595	최선의 손실: 0.457800	정확도: 97.46%
51	검증 세트 손실: 0.746161	최선의 손실: 0.457800	정확도: 96.52%
52	검증 세트 손실: 0.669263	최선의 손실: 0.457800	정확도: 97.11%
53	검증 세트 손실: 0.697061	최선의 손실: 0.457800	정확도: 97.58%
54	검증 세트 손실: 0.600990	최선의 손실: 0.457800	정확도: 97.15%
55	검증 세트 손실: 0.527703	최선의 손실: 0.457800	정확도: 97.22%
56	검증 세트 손실: 0.450883	최선의 손실: 0.450883	정확도: 97.50%
57	검증 세트 손실: 0.474334	최선의 손실: 0.450883	정확도: 97.19%
58	검증 세트 손실: 0.482776	최선의 손실: 0.450883	정확도: 97.93%
59	검증 세트 손실: 0.443026	최선의 손실: 0.443026	정확도: 97.46%
60	검증 세트 손실: 0.520535	최선의 손실: 0.443026	정확도: 97.15%
61	검증 세트 손실: 0.471838	최선의 손실: 0.443026	정확도: 96.83%
62	검증 세트 손실: 0.491998	최선의 손실: 0.443026	정확도: 97.30%
63	검증 세트 손실: 0.576398	최선의 손실: 0.443026	정확도: 97.30%
64	검증 세트 손실: 0.414311	최선의 손실: 0.414311	정확도: 97.77%
65	검증 세트 손실: 0.514725	최선의 손실: 0.414311	정확도: 96.83%
66	검증 세트 손실: 0.477323	최선의 손실: 0.414311	정확도: 97.03%
67	검증 세트 손실: 0.402293	최선의 손실: 0.402293	정확도: 97.19%
68	검증 세트 손실: 0.446427	최선의 손실: 0.402293	정확도: 97.30%
69	검증 세트 손실: 0.456274	최선의 손실: 0.402293	정확도: 96.72%
70	검증 세트 손실: 0.417880	최선의 손실: 0.402293	정확도: 97.11%
71	검증 세트 손실: 0.375337	최선의 손실: 0.375337	정확도: 97.54%
72	검증 세트 손실: 0.393498	최선의 손실: 0.375337	정확도: 97.50%
73	검증 세트 손실: 0.919915	최선의 손실: 0.375337	정확도: 95.15%
74	검증 세트 손실: 0.486201	최선의 손실: 0.375337	정확도: 97.93%
75	검증 세트 손실: 0.513115	최선의 손실: 0.375337	정확도: 96.60%
76	검증 세트 손실: 0.471187	최선의 손실: 0.375337	정확도: 97.65%
77	검증 세트 손실: 0.412200	최선의 손실: 0.375337	정확도: 97.07%
78	검증 세트 손실: 0.666218	최선의 손실: 0.375337	정확도: 96.29%
79	검증 세트 손실: 0.469811	최선의 손실: 0.375337	정확도: 97.65%
80	검증 세트 손실: 2.055529	최선의 손실: 0.375337	정확도: 96.13%
81	검증 세트 손실: 1.967403	최선의 손실: 0.375337	정확도: 94.96%
82	검증 세트 손실: 2.951912	최선의 손실: 0.375337	정확도: 94.37%
83	검증 세트 손실: 11651673.000000	최선의 손실: 0.375337	정확도: 20.91%
84	검증 세트 손실: 17368434.000000	최선의 손실: 0.375337	정확도: 20.05%
85	검증 세트 손실: 447642.906250	최선의 손실: 0.375337	정확도: 82.33%
86	검증 세트 손실: 97908.468750	최선의 손실: 0.375337	정확도: 91.71%
87	검증 세트 손실: 172383.046875	최선의 손실: 0.375337	정확도: 89.52%
88	검증 세트 손실: 79056.265625	최선의 손실: 0.375337	정확도: 90.77%
89	검증 세트 손실: 61543.378906	최선의 손실: 0.375337	정확도: 89.41%
90	검증 세트 손실: 42715.472656	최선의 손실: 0.375337	정확도: 93.63%
91	검증 세트 손실: 30656.837891	최선의 손실: 0.375337	정확도: 93.47%
92	검증 세트 손실: 89969.890625	최선의 손실: 0.375337	정확도: 87.49%
조기 종료!
[CV]  n_neurons=140, learning_rate=0.05, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total=  24.8s
[CV] n_neurons=140, learning_rate=0.05, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 
0	검증 세트 손실: 751.876587	최선의 손실: 751.876587	정확도: 23.34%
1	검증 세트 손실: 7966.148438	최선의 손실: 751.876587	정확도: 14.70%
2	검증 세트 손실: 164.735748	최선의 손실: 164.735748	정확도: 19.59%
3	검증 세트 손실: 8.663122	최선의 손실: 8.663122	정확도: 79.75%
4	검증 세트 손실: 2.519771	최선의 손실: 2.519771	정확도: 90.38%
5	검증 세트 손실: 1.763240	최선의 손실: 1.763240	정확도: 91.05%
6	검증 세트 손실: 1.467391	최선의 손실: 1.467391	정확도: 92.10%
7	검증 세트 손실: 1.235044	최선의 손실: 1.235044	정확도: 91.71%
8	검증 세트 손실: 3.214026	최선의 손실: 1.235044	정확도: 82.02%
9	검증 세트 손실: 1.246960	최선의 손실: 1.235044	정확도: 92.30%
10	검증 세트 손실: 0.743482	최선의 손실: 0.743482	정확도: 94.45%
11	검증 세트 손실: 0.984030	최선의 손실: 0.743482	정확도: 93.67%
12	검증 세트 손실: 0.711798	최선의 손실: 0.711798	정확도: 94.80%
13	검증 세트 손실: 0.634941	최선의 손실: 0.634941	정확도: 94.68%
14	검증 세트 손실: 0.592689	최선의 손실: 0.592689	정확도: 95.00%
15	검증 세트 손실: 2.013277	최선의 손실: 0.592689	정확도: 93.00%
16	검증 세트 손실: 1.237718	최선의 손실: 0.592689	정확도: 94.45%
17	검증 세트 손실: 1.138459	최선의 손실: 0.592689	정확도: 94.10%
18	검증 세트 손실: 0.596466	최선의 손실: 0.592689	정확도: 96.05%
19	검증 세트 손실: 0.555123	최선의 손실: 0.555123	정확도: 95.86%
20	검증 세트 손실: 0.685788	최선의 손실: 0.555123	정확도: 94.57%
21	검증 세트 손실: 0.758175	최선의 손실: 0.555123	정확도: 94.92%
22	검증 세트 손실: 0.522133	최선의 손실: 0.522133	정확도: 94.76%
23	검증 세트 손실: 0.469285	최선의 손실: 0.469285	정확도: 95.74%
24	검증 세트 손실: 0.383536	최선의 손실: 0.383536	정확도: 96.05%
25	검증 세트 손실: 0.328238	최선의 손실: 0.328238	정확도: 96.48%
26	검증 세트 손실: 0.391604	최선의 손실: 0.328238	정확도: 95.47%
27	검증 세트 손실: 0.362059	최선의 손실: 0.328238	정확도: 95.93%
28	검증 세트 손실: 0.316595	최선의 손실: 0.316595	정확도: 96.60%
29	검증 세트 손실: 0.335434	최선의 손실: 0.316595	정확도: 95.86%
30	검증 세트 손실: 0.401593	최선의 손실: 0.316595	정확도: 95.74%
31	검증 세트 손실: 0.304675	최선의 손실: 0.304675	정확도: 96.21%
32	검증 세트 손실: 0.322787	최선의 손실: 0.304675	정확도: 95.86%
33	검증 세트 손실: 0.741534	최선의 손실: 0.304675	정확도: 91.44%
34	검증 세트 손실: 0.293327	최선의 손실: 0.293327	정확도: 96.87%
35	검증 세트 손실: 0.229800	최선의 손실: 0.229800	정확도: 96.83%
36	검증 세트 손실: 0.443321	최선의 손실: 0.229800	정확도: 95.74%
37	검증 세트 손실: 0.319572	최선의 손실: 0.229800	정확도: 96.21%
38	검증 세트 손실: 0.216998	최선의 손실: 0.216998	정확도: 97.22%
39	검증 세트 손실: 0.252087	최선의 손실: 0.216998	정확도: 96.83%
40	검증 세트 손실: 0.234185	최선의 손실: 0.216998	정확도: 97.03%
41	검증 세트 손실: 0.574896	최선의 손실: 0.216998	정확도: 93.63%
42	검증 세트 손실: 0.430997	최선의 손실: 0.216998	정확도: 97.15%
43	검증 세트 손실: 0.397157	최선의 손실: 0.216998	정확도: 96.72%
44	검증 세트 손실: 0.293270	최선의 손실: 0.216998	정확도: 97.15%
45	검증 세트 손실: 0.336327	최선의 손실: 0.216998	정확도: 96.44%
46	검증 세트 손실: 0.387701	최선의 손실: 0.216998	정확도: 95.70%
47	검증 세트 손실: 0.334939	최선의 손실: 0.216998	정확도: 96.52%
48	검증 세트 손실: 0.241557	최선의 손실: 0.216998	정확도: 97.30%
49	검증 세트 손실: 0.268649	최선의 손실: 0.216998	정확도: 97.11%
50	검증 세트 손실: 0.255088	최선의 손실: 0.216998	정확도: 97.07%
51	검증 세트 손실: 0.260927	최선의 손실: 0.216998	정확도: 96.64%
52	검증 세트 손실: 0.267437	최선의 손실: 0.216998	정확도: 96.21%
53	검증 세트 손실: 0.437193	최선의 손실: 0.216998	정확도: 96.52%
54	검증 세트 손실: 0.347985	최선의 손실: 0.216998	정확도: 96.33%
55	검증 세트 손실: 0.222590	최선의 손실: 0.216998	정확도: 97.26%
56	검증 세트 손실: 0.209646	최선의 손실: 0.209646	정확도: 97.58%
57	검증 세트 손실: 0.183275	최선의 손실: 0.183275	정확도: 97.69%
58	검증 세트 손실: 0.214317	최선의 손실: 0.183275	정확도: 97.30%
59	검증 세트 손실: 0.207787	최선의 손실: 0.183275	정확도: 97.34%
60	검증 세트 손실: 0.223133	최선의 손실: 0.183275	정확도: 96.91%
61	검증 세트 손실: 0.230149	최선의 손실: 0.183275	정확도: 96.91%
62	검증 세트 손실: 0.303706	최선의 손실: 0.183275	정확도: 95.23%
63	검증 세트 손실: 0.181842	최선의 손실: 0.181842	정확도: 97.93%
64	검증 세트 손실: 0.207723	최선의 손실: 0.181842	정확도: 97.19%
65	검증 세트 손실: 0.169559	최선의 손실: 0.169559	정확도: 97.69%
66	검증 세트 손실: 0.200212	최선의 손실: 0.169559	정확도: 96.91%
67	검증 세트 손실: 0.184128	최선의 손실: 0.169559	정확도: 97.42%
68	검증 세트 손실: 0.145672	최선의 손실: 0.145672	정확도: 97.38%
69	검증 세트 손실: 0.153731	최선의 손실: 0.145672	정확도: 97.73%
70	검증 세트 손실: 0.732135	최선의 손실: 0.145672	정확도: 93.04%
71	검증 세트 손실: 0.337038	최선의 손실: 0.145672	정확도: 96.72%
72	검증 세트 손실: 0.264949	최선의 손실: 0.145672	정확도: 97.15%
73	검증 세트 손실: 0.229966	최선의 손실: 0.145672	정확도: 97.62%
74	검증 세트 손실: 0.317549	최선의 손실: 0.145672	정확도: 95.97%
75	검증 세트 손실: 0.188669	최선의 손실: 0.145672	정확도: 97.54%
76	검증 세트 손실: 0.191383	최선의 손실: 0.145672	정확도: 97.62%
77	검증 세트 손실: 0.189786	최선의 손실: 0.145672	정확도: 97.58%
78	검증 세트 손실: 0.350416	최선의 손실: 0.145672	정확도: 96.99%
79	검증 세트 손실: 0.239820	최선의 손실: 0.145672	정확도: 97.38%
80	검증 세트 손실: 0.221083	최선의 손실: 0.145672	정확도: 97.50%
81	검증 세트 손실: 0.254571	최선의 손실: 0.145672	정확도: 97.26%
82	검증 세트 손실: 0.171014	최선의 손실: 0.145672	정확도: 97.62%
83	검증 세트 손실: 0.179741	최선의 손실: 0.145672	정확도: 97.81%
84	검증 세트 손실: 0.199969	최선의 손실: 0.145672	정확도: 96.87%
85	검증 세트 손실: 0.306728	최선의 손실: 0.145672	정확도: 97.03%
86	검증 세트 손실: 0.206837	최선의 손실: 0.145672	정확도: 97.69%
87	검증 세트 손실: 0.267688	최선의 손실: 0.145672	정확도: 97.03%
88	검증 세트 손실: 0.203605	최선의 손실: 0.145672	정확도: 97.58%
89	검증 세트 손실: 0.286352	최선의 손실: 0.145672	정확도: 97.07%
조기 종료!
[CV]  n_neurons=140, learning_rate=0.05, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total=  24.0s
[CV] n_neurons=140, learning_rate=0.05, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 
0	검증 세트 손실: 5.728026	최선의 손실: 5.728026	정확도: 61.53%
1	검증 세트 손실: 0.636858	최선의 손실: 0.636858	정확도: 93.59%
2	검증 세트 손실: 0.267661	최선의 손실: 0.267661	정확도: 94.53%
3	검증 세트 손실: 0.168073	최선의 손실: 0.168073	정확도: 95.35%
4	검증 세트 손실: 0.225098	최선의 손실: 0.168073	정확도: 94.06%
5	검증 세트 손실: 0.160530	최선의 손실: 0.160530	정확도: 95.90%
6	검증 세트 손실: 0.163593	최선의 손실: 0.160530	정확도: 95.23%
7	검증 세트 손실: 0.145624	최선의 손실: 0.145624	정확도: 96.40%
8	검증 세트 손실: 0.130919	최선의 손실: 0.130919	정확도: 96.83%
9	검증 세트 손실: 0.136875	최선의 손실: 0.130919	정확도: 96.05%
10	검증 세트 손실: 0.117099	최선의 손실: 0.117099	정확도: 96.91%
11	검증 세트 손실: 0.112784	최선의 손실: 0.112784	정확도: 97.34%
12	검증 세트 손실: 0.114994	최선의 손실: 0.112784	정확도: 97.11%
13	검증 세트 손실: 0.116046	최선의 손실: 0.112784	정확도: 97.54%
14	검증 세트 손실: 0.108455	최선의 손실: 0.108455	정확도: 97.07%
15	검증 세트 손실: 0.124856	최선의 손실: 0.108455	정확도: 97.07%
16	검증 세트 손실: 0.101602	최선의 손실: 0.101602	정확도: 97.77%
17	검증 세트 손실: 0.109768	최선의 손실: 0.101602	정확도: 97.15%
18	검증 세트 손실: 0.110131	최선의 손실: 0.101602	정확도: 97.81%
19	검증 세트 손실: 0.089321	최선의 손실: 0.089321	정확도: 97.65%
20	검증 세트 손실: 0.082800	최선의 손실: 0.082800	정확도: 98.08%
21	검증 세트 손실: 0.085954	최선의 손실: 0.082800	정확도: 97.77%
22	검증 세트 손실: 0.099558	최선의 손실: 0.082800	정확도: 97.93%
23	검증 세트 손실: 0.082258	최선의 손실: 0.082258	정확도: 97.54%
24	검증 세트 손실: 0.076333	최선의 손실: 0.076333	정확도: 97.62%
25	검증 세트 손실: 0.080922	최선의 손실: 0.076333	정확도: 98.05%
26	검증 세트 손실: 0.086210	최선의 손실: 0.076333	정확도: 98.08%
27	검증 세트 손실: 0.097129	최선의 손실: 0.076333	정확도: 97.89%
28	검증 세트 손실: 0.081111	최선의 손실: 0.076333	정확도: 97.97%
29	검증 세트 손실: 0.079537	최선의 손실: 0.076333	정확도: 98.28%
30	검증 세트 손실: 0.088455	최선의 손실: 0.076333	정확도: 97.93%
31	검증 세트 손실: 0.084870	최선의 손실: 0.076333	정확도: 98.40%
32	검증 세트 손실: 0.075438	최선의 손실: 0.075438	정확도: 98.28%
33	검증 세트 손실: 0.087953	최선의 손실: 0.075438	정확도: 98.32%
34	검증 세트 손실: 0.098571	최선의 손실: 0.075438	정확도: 98.28%
35	검증 세트 손실: 0.076184	최선의 손실: 0.075438	정확도: 98.08%
36	검증 세트 손실: 0.202228	최선의 손실: 0.075438	정확도: 97.38%
37	검증 세트 손실: 0.098111	최선의 손실: 0.075438	정확도: 97.73%
38	검증 세트 손실: 0.110263	최선의 손실: 0.075438	정확도: 97.30%
39	검증 세트 손실: 0.111694	최선의 손실: 0.075438	정확도: 97.89%
40	검증 세트 손실: 0.126187	최선의 손실: 0.075438	정확도: 97.89%
41	검증 세트 손실: 0.171487	최선의 손실: 0.075438	정확도: 97.58%
42	검증 세트 손실: 0.080683	최선의 손실: 0.075438	정확도: 98.40%
43	검증 세트 손실: 0.074382	최선의 손실: 0.074382	정확도: 98.48%
44	검증 세트 손실: 0.075319	최선의 손실: 0.074382	정확도: 98.63%
45	검증 세트 손실: 0.069824	최선의 손실: 0.069824	정확도: 98.63%
46	검증 세트 손실: 0.078424	최선의 손실: 0.069824	정확도: 98.36%
47	검증 세트 손실: 0.073932	최선의 손실: 0.069824	정확도: 98.48%
48	검증 세트 손실: 0.086350	최선의 손실: 0.069824	정확도: 98.48%
49	검증 세트 손실: 0.082335	최선의 손실: 0.069824	정확도: 98.55%
50	검증 세트 손실: 0.083764	최선의 손실: 0.069824	정확도: 98.40%
51	검증 세트 손실: 0.082354	최선의 손실: 0.069824	정확도: 98.79%
52	검증 세트 손실: 0.101799	최선의 손실: 0.069824	정확도: 98.36%
53	검증 세트 손실: 0.075515	최선의 손실: 0.069824	정확도: 98.91%
54	검증 세트 손실: 0.089485	최선의 손실: 0.069824	정확도: 98.55%
55	검증 세트 손실: 0.095375	최선의 손실: 0.069824	정확도: 98.63%
56	검증 세트 손실: 0.078092	최선의 손실: 0.069824	정확도: 98.59%
57	검증 세트 손실: 0.113737	최선의 손실: 0.069824	정확도: 98.44%
58	검증 세트 손실: 0.113555	최선의 손실: 0.069824	정확도: 97.58%
59	검증 세트 손실: 0.139272	최선의 손실: 0.069824	정확도: 98.01%
60	검증 세트 손실: 0.094155	최선의 손실: 0.069824	정확도: 98.36%
61	검증 세트 손실: 0.103017	최선의 손실: 0.069824	정확도: 98.40%
62	검증 세트 손실: 0.093321	최선의 손실: 0.069824	정확도: 98.59%
63	검증 세트 손실: 0.096376	최선의 손실: 0.069824	정확도: 98.51%
64	검증 세트 손실: 0.098016	최선의 손실: 0.069824	정확도: 98.63%
65	검증 세트 손실: 0.104939	최선의 손실: 0.069824	정확도: 98.75%
66	검증 세트 손실: 0.108317	최선의 손실: 0.069824	정확도: 98.67%
조기 종료!
[CV]  n_neurons=140, learning_rate=0.05, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total=  18.0s
[CV] n_neurons=10, learning_rate=0.05, batch_size=100, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 0.178874	최선의 손실: 0.178874	정확도: 96.17%
1	검증 세트 손실: 0.168464	최선의 손실: 0.168464	정확도: 95.90%
2	검증 세트 손실: 0.137177	최선의 손실: 0.137177	정확도: 96.52%
3	검증 세트 손실: 0.135009	최선의 손실: 0.135009	정확도: 96.60%
4	검증 세트 손실: 0.136809	최선의 손실: 0.135009	정확도: 96.72%
5	검증 세트 손실: 0.182949	최선의 손실: 0.135009	정확도: 96.76%
6	검증 세트 손실: 0.161491	최선의 손실: 0.135009	정확도: 96.52%
7	검증 세트 손실: 0.149442	최선의 손실: 0.135009	정확도: 96.64%
8	검증 세트 손실: 0.302683	최선의 손실: 0.135009	정확도: 96.56%
9	검증 세트 손실: 0.233316	최선의 손실: 0.135009	정확도: 94.25%
10	검증 세트 손실: 0.320868	최선의 손실: 0.135009	정확도: 93.59%
11	검증 세트 손실: 0.434802	최선의 손실: 0.135009	정확도: 82.60%
12	검증 세트 손실: 0.371503	최선의 손실: 0.135009	정확도: 87.37%
13	검증 세트 손실: 0.581885	최선의 손실: 0.135009	정확도: 85.26%
14	검증 세트 손실: 0.332079	최선의 손실: 0.135009	정확도: 90.34%
15	검증 세트 손실: 0.311369	최선의 손실: 0.135009	정확도: 90.93%
16	검증 세트 손실: 0.343563	최선의 손실: 0.135009	정확도: 89.84%
17	검증 세트 손실: 0.335769	최선의 손실: 0.135009	정확도: 90.73%
18	검증 세트 손실: 0.269528	최선의 손실: 0.135009	정확도: 93.71%
19	검증 세트 손실: 0.485307	최선의 손실: 0.135009	정확도: 79.16%
20	검증 세트 손실: 0.253127	최선의 손실: 0.135009	정확도: 93.20%
21	검증 세트 손실: 0.308981	최선의 손실: 0.135009	정확도: 94.53%
22	검증 세트 손실: 0.290109	최선의 손실: 0.135009	정확도: 94.88%
23	검증 세트 손실: 0.228698	최선의 손실: 0.135009	정확도: 95.47%
24	검증 세트 손실: 0.220054	최선의 손실: 0.135009	정확도: 95.97%
조기 종료!
[CV]  n_neurons=10, learning_rate=0.05, batch_size=100, activation=<function relu at 0x7f8ec4c8c510>, total=   3.3s
[CV] n_neurons=10, learning_rate=0.05, batch_size=100, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 0.566352	최선의 손실: 0.566352	정확도: 74.59%
1	검증 세트 손실: 0.570032	최선의 손실: 0.566352	정확도: 75.14%
2	검증 세트 손실: 0.541036	최선의 손실: 0.541036	정확도: 76.35%
3	검증 세트 손실: 0.555777	최선의 손실: 0.541036	정확도: 79.20%
4	검증 세트 손실: 0.548118	최선의 손실: 0.541036	정확도: 76.90%
5	검증 세트 손실: 0.593899	최선의 손실: 0.541036	정확도: 75.72%
6	검증 세트 손실: 0.487665	최선의 손실: 0.487665	정확도: 81.90%
7	검증 세트 손실: 0.473824	최선의 손실: 0.473824	정확도: 83.78%
8	검증 세트 손실: 0.424803	최선의 손실: 0.424803	정확도: 87.29%
9	검증 세트 손실: 0.365355	최선의 손실: 0.365355	정확도: 89.68%
10	검증 세트 손실: 0.353226	최선의 손실: 0.353226	정확도: 88.82%
11	검증 세트 손실: 0.758854	최선의 손실: 0.353226	정확도: 60.56%
12	검증 세트 손실: 0.764915	최선의 손실: 0.353226	정확도: 60.56%
13	검증 세트 손실: 0.774055	최선의 손실: 0.353226	정확도: 60.20%
14	검증 세트 손실: 0.742843	최선의 손실: 0.353226	정확도: 60.36%
15	검증 세트 손실: 0.752301	최선의 손실: 0.353226	정확도: 59.77%
16	검증 세트 손실: 0.764330	최선의 손실: 0.353226	정확도: 59.54%
17	검증 세트 손실: 0.799040	최선의 손실: 0.353226	정확도: 58.60%
18	검증 세트 손실: 0.748442	최선의 손실: 0.353226	정확도: 60.16%
19	검증 세트 손실: 0.744866	최선의 손실: 0.353226	정확도: 59.81%
20	검증 세트 손실: 0.753063	최선의 손실: 0.353226	정확도: 59.70%
21	검증 세트 손실: 0.763252	최선의 손실: 0.353226	정확도: 60.75%
22	검증 세트 손실: 0.750028	최선의 손실: 0.353226	정확도: 60.36%
23	검증 세트 손실: 0.745839	최선의 손실: 0.353226	정확도: 60.40%
24	검증 세트 손실: 0.756703	최선의 손실: 0.353226	정확도: 59.62%
25	검증 세트 손실: 0.760251	최선의 손실: 0.353226	정확도: 59.38%
26	검증 세트 손실: 0.765373	최선의 손실: 0.353226	정확도: 59.30%
27	검증 세트 손실: 0.780413	최선의 손실: 0.353226	정확도: 59.54%
28	검증 세트 손실: 0.772096	최선의 손실: 0.353226	정확도: 59.15%
29	검증 세트 손실: 0.817674	최선의 손실: 0.353226	정확도: 59.30%
30	검증 세트 손실: 1.183463	최선의 손실: 0.353226	정확도: 41.63%
31	검증 세트 손실: 1.183334	최선의 손실: 0.353226	정확도: 38.74%
조기 종료!
[CV]  n_neurons=10, learning_rate=0.05, batch_size=100, activation=<function relu at 0x7f8ec4c8c510>, total=   4.2s
[CV] n_neurons=10, learning_rate=0.05, batch_size=100, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 0.586215	최선의 손실: 0.586215	정확도: 70.33%
1	검증 세트 손실: 0.614080	최선의 손실: 0.586215	정확도: 70.80%
2	검증 세트 손실: 0.509042	최선의 손실: 0.509042	정확도: 74.20%
3	검증 세트 손실: 0.414994	최선의 손실: 0.414994	정확도: 88.58%
4	검증 세트 손실: 0.563855	최선의 손실: 0.414994	정확도: 84.95%
5	검증 세트 손실: 0.474266	최선의 손실: 0.414994	정확도: 84.83%
6	검증 세트 손실: 0.335126	최선의 손실: 0.335126	정확도: 89.87%
7	검증 세트 손실: 0.384594	최선의 손실: 0.335126	정확도: 86.63%
8	검증 세트 손실: 0.554683	최선의 손실: 0.335126	정확도: 83.23%
9	검증 세트 손실: 0.394285	최선의 손실: 0.335126	정확도: 87.65%
10	검증 세트 손실: 0.522484	최선의 손실: 0.335126	정확도: 85.97%
11	검증 세트 손실: 0.848857	최선의 손실: 0.335126	정확도: 55.59%
12	검증 세트 손실: 1.144138	최선의 손실: 0.335126	정확도: 42.22%
13	검증 세트 손실: 1.184581	최선의 손실: 0.335126	정확도: 40.58%
14	검증 세트 손실: 1.135363	최선의 손실: 0.335126	정확도: 40.27%
15	검증 세트 손실: 1.174794	최선의 손실: 0.335126	정확도: 39.60%
16	검증 세트 손실: 1.215346	최선의 손실: 0.335126	정확도: 40.46%
17	검증 세트 손실: 1.246966	최선의 손실: 0.335126	정확도: 40.46%
18	검증 세트 손실: 1.206455	최선의 손실: 0.335126	정확도: 41.91%
19	검증 세트 손실: 1.206769	최선의 손실: 0.335126	정확도: 40.46%
20	검증 세트 손실: 1.213995	최선의 손실: 0.335126	정확도: 40.03%
21	검증 세트 손실: 1.206895	최선의 손실: 0.335126	정확도: 41.91%
22	검증 세트 손실: 1.209544	최선의 손실: 0.335126	정확도: 40.03%
23	검증 세트 손실: 1.207423	최선의 손실: 0.335126	정확도: 40.46%
24	검증 세트 손실: 1.205273	최선의 손실: 0.335126	정확도: 41.91%
25	검증 세트 손실: 1.208551	최선의 손실: 0.335126	정확도: 40.03%
26	검증 세트 손실: 1.205681	최선의 손실: 0.335126	정확도: 40.46%
27	검증 세트 손실: 1.209201	최선의 손실: 0.335126	정확도: 40.03%
조기 종료!
[CV]  n_neurons=10, learning_rate=0.05, batch_size=100, activation=<function relu at 0x7f8ec4c8c510>, total=   3.6s
[CV] n_neurons=10, learning_rate=0.02, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 
0	검증 세트 손실: 0.207486	최선의 손실: 0.207486	정확도: 94.53%
1	검증 세트 손실: 0.130800	최선의 손실: 0.130800	정확도: 96.01%
2	검증 세트 손실: 0.107869	최선의 손실: 0.107869	정확도: 97.22%
3	검증 세트 손실: 0.092574	최선의 손실: 0.092574	정확도: 97.54%
4	검증 세트 손실: 0.100508	최선의 손실: 0.092574	정확도: 96.83%
5	검증 세트 손실: 0.084469	최선의 손실: 0.084469	정확도: 97.69%
6	검증 세트 손실: 0.083164	최선의 손실: 0.083164	정확도: 97.69%
7	검증 세트 손실: 0.075947	최선의 손실: 0.075947	정확도: 97.73%
8	검증 세트 손실: 0.075357	최선의 손실: 0.075357	정확도: 97.58%
9	검증 세트 손실: 0.080147	최선의 손실: 0.075357	정확도: 97.97%
10	검증 세트 손실: 0.089389	최선의 손실: 0.075357	정확도: 97.81%
11	검증 세트 손실: 0.097586	최선의 손실: 0.075357	정확도: 97.54%
12	검증 세트 손실: 0.082163	최선의 손실: 0.075357	정확도: 98.01%
13	검증 세트 손실: 0.079640	최선의 손실: 0.075357	정확도: 97.85%
14	검증 세트 손실: 0.076942	최선의 손실: 0.075357	정확도: 97.89%
15	검증 세트 손실: 0.074154	최선의 손실: 0.074154	정확도: 97.77%
16	검증 세트 손실: 0.099050	최선의 손실: 0.074154	정확도: 97.26%
17	검증 세트 손실: 0.097326	최선의 손실: 0.074154	정확도: 97.77%
18	검증 세트 손실: 0.093988	최선의 손실: 0.074154	정확도: 97.62%
19	검증 세트 손실: 0.090262	최선의 손실: 0.074154	정확도: 97.54%
20	검증 세트 손실: 0.081459	최선의 손실: 0.074154	정확도: 97.73%
21	검증 세트 손실: 0.089478	최선의 손실: 0.074154	정확도: 97.73%
22	검증 세트 손실: 0.079805	최선의 손실: 0.074154	정확도: 98.01%
23	검증 세트 손실: 0.108147	최선의 손실: 0.074154	정확도: 97.85%
24	검증 세트 손실: 0.105120	최선의 손실: 0.074154	정확도: 97.54%
25	검증 세트 손실: 0.096132	최선의 손실: 0.074154	정확도: 97.54%
26	검증 세트 손실: 0.097558	최선의 손실: 0.074154	정확도: 97.89%
27	검증 세트 손실: 0.105943	최선의 손실: 0.074154	정확도: 97.69%
28	검증 세트 손실: 0.089630	최선의 손실: 0.074154	정확도: 97.81%
29	검증 세트 손실: 0.107367	최선의 손실: 0.074154	정확도: 97.89%
30	검증 세트 손실: 0.087503	최선의 손실: 0.074154	정확도: 98.08%
31	검증 세트 손실: 0.111345	최선의 손실: 0.074154	정확도: 98.01%
32	검증 세트 손실: 0.093124	최선의 손실: 0.074154	정확도: 97.89%
33	검증 세트 손실: 0.119177	최선의 손실: 0.074154	정확도: 97.69%
34	검증 세트 손실: 0.102487	최선의 손실: 0.074154	정확도: 97.58%
35	검증 세트 손실: 0.115130	최선의 손실: 0.074154	정확도: 97.69%
36	검증 세트 손실: 0.098754	최선의 손실: 0.074154	정확도: 97.69%
조기 종료!
[CV]  n_neurons=10, learning_rate=0.02, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total=   2.7s
[CV] n_neurons=10, learning_rate=0.02, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 
0	검증 세트 손실: 0.213791	최선의 손실: 0.213791	정확도: 93.98%
1	검증 세트 손실: 0.134713	최선의 손실: 0.134713	정확도: 96.36%
2	검증 세트 손실: 0.122060	최선의 손실: 0.122060	정확도: 96.44%
3	검증 세트 손실: 0.105862	최선의 손실: 0.105862	정확도: 97.34%
4	검증 세트 손실: 0.097588	최선의 손실: 0.097588	정확도: 97.34%
5	검증 세트 손실: 0.094758	최선의 손실: 0.094758	정확도: 97.26%
6	검증 세트 손실: 0.101506	최선의 손실: 0.094758	정확도: 96.99%
7	검증 세트 손실: 0.105163	최선의 손실: 0.094758	정확도: 96.95%
8	검증 세트 손실: 0.094037	최선의 손실: 0.094037	정확도: 97.65%
9	검증 세트 손실: 0.097605	최선의 손실: 0.094037	정확도: 97.11%
10	검증 세트 손실: 0.113056	최선의 손실: 0.094037	정확도: 97.22%
11	검증 세트 손실: 0.095446	최선의 손실: 0.094037	정확도: 97.38%
12	검증 세트 손실: 0.098122	최선의 손실: 0.094037	정확도: 97.26%
13	검증 세트 손실: 0.088003	최선의 손실: 0.088003	정확도: 97.65%
14	검증 세트 손실: 0.100637	최선의 손실: 0.088003	정확도: 97.30%
15	검증 세트 손실: 0.087943	최선의 손실: 0.087943	정확도: 97.54%
16	검증 세트 손실: 0.090365	최선의 손실: 0.087943	정확도: 97.65%
17	검증 세트 손실: 0.090855	최선의 손실: 0.087943	정확도: 97.54%
18	검증 세트 손실: 0.102127	최선의 손실: 0.087943	정확도: 97.65%
19	검증 세트 손실: 0.127125	최선의 손실: 0.087943	정확도: 96.95%
20	검증 세트 손실: 0.095296	최선의 손실: 0.087943	정확도: 97.46%
21	검증 세트 손실: 0.126552	최선의 손실: 0.087943	정확도: 96.83%
22	검증 세트 손실: 0.096040	최선의 손실: 0.087943	정확도: 97.54%
23	검증 세트 손실: 0.097918	최선의 손실: 0.087943	정확도: 97.69%
24	검증 세트 손실: 0.089013	최선의 손실: 0.087943	정확도: 97.69%
25	검증 세트 손실: 0.081795	최선의 손실: 0.081795	정확도: 97.81%
26	검증 세트 손실: 0.099960	최선의 손실: 0.081795	정확도: 97.50%
27	검증 세트 손실: 0.106775	최선의 손실: 0.081795	정확도: 97.50%
28	검증 세트 손실: 0.101248	최선의 손실: 0.081795	정확도: 97.65%
29	검증 세트 손실: 0.104577	최선의 손실: 0.081795	정확도: 98.20%
30	검증 세트 손실: 0.103716	최선의 손실: 0.081795	정확도: 97.73%
31	검증 세트 손실: 0.100573	최선의 손실: 0.081795	정확도: 97.89%
32	검증 세트 손실: 0.114881	최선의 손실: 0.081795	정확도: 97.81%
33	검증 세트 손실: 0.090023	최선의 손실: 0.081795	정확도: 97.85%
34	검증 세트 손실: 0.147444	최선의 손실: 0.081795	정확도: 97.30%
35	검증 세트 손실: 0.093965	최선의 손실: 0.081795	정확도: 97.85%
36	검증 세트 손실: 0.114427	최선의 손실: 0.081795	정확도: 97.65%
37	검증 세트 손실: 0.107856	최선의 손실: 0.081795	정확도: 97.69%
38	검증 세트 손실: 0.112271	최선의 손실: 0.081795	정확도: 97.89%
39	검증 세트 손실: 0.129546	최선의 손실: 0.081795	정확도: 97.58%
40	검증 세트 손실: 0.125476	최선의 손실: 0.081795	정확도: 97.11%
41	검증 세트 손실: 0.126041	최선의 손실: 0.081795	정확도: 97.77%
42	검증 세트 손실: 0.102021	최선의 손실: 0.081795	정확도: 97.50%
43	검증 세트 손실: 0.107025	최선의 손실: 0.081795	정확도: 97.81%
44	검증 세트 손실: 0.111732	최선의 손실: 0.081795	정확도: 97.65%
45	검증 세트 손실: 0.153487	최선의 손실: 0.081795	정확도: 97.22%
46	검증 세트 손실: 0.130821	최선의 손실: 0.081795	정확도: 97.73%
조기 종료!
[CV]  n_neurons=10, learning_rate=0.02, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total=   3.4s
[CV] n_neurons=10, learning_rate=0.02, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 
0	검증 세트 손실: 0.394790	최선의 손실: 0.394790	정확도: 92.77%
1	검증 세트 손실: 0.149463	최선의 손실: 0.149463	정확도: 95.86%
2	검증 세트 손실: 0.117006	최선의 손실: 0.117006	정확도: 96.52%
3	검증 세트 손실: 0.110410	최선의 손실: 0.110410	정확도: 96.60%
4	검증 세트 손실: 0.101255	최선의 손실: 0.101255	정확도: 96.87%
5	검증 세트 손실: 0.093461	최선의 손실: 0.093461	정확도: 97.42%
6	검증 세트 손실: 0.092672	최선의 손실: 0.092672	정확도: 97.03%
7	검증 세트 손실: 0.085061	최선의 손실: 0.085061	정확도: 97.50%
8	검증 세트 손실: 0.092167	최선의 손실: 0.085061	정확도: 97.34%
9	검증 세트 손실: 0.103642	최선의 손실: 0.085061	정확도: 96.95%
10	검증 세트 손실: 0.090204	최선의 손실: 0.085061	정확도: 97.54%
11	검증 세트 손실: 0.086944	최선의 손실: 0.085061	정확도: 97.58%
12	검증 세트 손실: 0.076301	최선의 손실: 0.076301	정확도: 97.81%
13	검증 세트 손실: 0.080905	최선의 손실: 0.076301	정확도: 97.81%
14	검증 세트 손실: 0.102347	최선의 손실: 0.076301	정확도: 97.34%
15	검증 세트 손실: 0.083201	최선의 손실: 0.076301	정확도: 97.93%
16	검증 세트 손실: 0.089948	최선의 손실: 0.076301	정확도: 97.46%
17	검증 세트 손실: 0.098370	최선의 손실: 0.076301	정확도: 97.30%
18	검증 세트 손실: 0.090863	최선의 손실: 0.076301	정확도: 97.46%
19	검증 세트 손실: 0.099144	최선의 손실: 0.076301	정확도: 97.54%
20	검증 세트 손실: 0.091318	최선의 손실: 0.076301	정확도: 97.54%
21	검증 세트 손실: 0.092398	최선의 손실: 0.076301	정확도: 97.81%
22	검증 세트 손실: 0.104217	최선의 손실: 0.076301	정확도: 97.50%
23	검증 세트 손실: 0.092128	최선의 손실: 0.076301	정확도: 97.58%
24	검증 세트 손실: 0.097106	최선의 손실: 0.076301	정확도: 97.81%
25	검증 세트 손실: 0.112606	최선의 손실: 0.076301	정확도: 97.34%
26	검증 세트 손실: 0.097347	최선의 손실: 0.076301	정확도: 97.46%
27	검증 세트 손실: 0.116242	최선의 손실: 0.076301	정확도: 97.30%
28	검증 세트 손실: 0.103642	최선의 손실: 0.076301	정확도: 97.81%
29	검증 세트 손실: 0.115101	최선의 손실: 0.076301	정확도: 97.58%
30	검증 세트 손실: 0.104617	최선의 손실: 0.076301	정확도: 97.77%
31	검증 세트 손실: 0.106787	최선의 손실: 0.076301	정확도: 97.46%
32	검증 세트 손실: 0.112354	최선의 손실: 0.076301	정확도: 97.34%
33	검증 세트 손실: 0.110330	최선의 손실: 0.076301	정확도: 97.77%
조기 종료!
[CV]  n_neurons=10, learning_rate=0.02, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total=   2.6s
[CV] n_neurons=70, learning_rate=0.02, batch_size=100, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.098629	최선의 손실: 0.098629	정확도: 97.46%
1	검증 세트 손실: 0.160645	최선의 손실: 0.098629	정확도: 96.95%
2	검증 세트 손실: 0.118853	최선의 손실: 0.098629	정확도: 97.62%
3	검증 세트 손실: 0.120856	최선의 손실: 0.098629	정확도: 97.34%
4	검증 세트 손실: 0.088769	최선의 손실: 0.088769	정확도: 97.65%
5	검증 세트 손실: 0.340726	최선의 손실: 0.088769	정확도: 95.27%
6	검증 세트 손실: 1.652843	최선의 손실: 0.088769	정확도: 19.27%
7	검증 세트 손실: 1.637792	최선의 손실: 0.088769	정확도: 19.27%
8	검증 세트 손실: 1.697906	최선의 손실: 0.088769	정확도: 19.27%
9	검증 세트 손실: 1.747859	최선의 손실: 0.088769	정확도: 19.08%
10	검증 세트 손실: 1.634763	최선의 손실: 0.088769	정확도: 20.91%
11	검증 세트 손실: 1.628972	최선의 손실: 0.088769	정확도: 22.01%
12	검증 세트 손실: 1.618302	최선의 손실: 0.088769	정확도: 22.01%
13	검증 세트 손실: 1.609168	최선의 손실: 0.088769	정확도: 20.91%
14	검증 세트 손실: 1.646181	최선의 손실: 0.088769	정확도: 19.08%
15	검증 세트 손실: 1.625818	최선의 손실: 0.088769	정확도: 22.01%
16	검증 세트 손실: 1.632980	최선의 손실: 0.088769	정확도: 22.01%
17	검증 세트 손실: 1.629138	최선의 손실: 0.088769	정확도: 19.27%
18	검증 세트 손실: 1.687351	최선의 손실: 0.088769	정확도: 22.01%
19	검증 세트 손실: 1.623718	최선의 손실: 0.088769	정확도: 22.01%
20	검증 세트 손실: 1.652336	최선의 손실: 0.088769	정확도: 19.27%
21	검증 세트 손실: 1.650169	최선의 손실: 0.088769	정확도: 19.08%
22	검증 세트 손실: 1.633536	최선의 손실: 0.088769	정확도: 22.01%
23	검증 세트 손실: 1.614805	최선의 손실: 0.088769	정확도: 19.08%
24	검증 세트 손실: 1.662865	최선의 손실: 0.088769	정확도: 19.27%
25	검증 세트 손실: 1.664499	최선의 손실: 0.088769	정확도: 22.01%
조기 종료!
[CV]  n_neurons=70, learning_rate=0.02, batch_size=100, activation=<function elu at 0x7f8ec4ceef28>, total=   6.5s
[CV] n_neurons=70, learning_rate=0.02, batch_size=100, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.117705	최선의 손실: 0.117705	정확도: 97.22%
1	검증 세트 손실: 0.074115	최선의 손실: 0.074115	정확도: 98.05%
2	검증 세트 손실: 0.102854	최선의 손실: 0.074115	정확도: 97.34%
3	검증 세트 손실: 0.766439	최선의 손실: 0.074115	정확도: 82.80%
4	검증 세트 손실: 0.127101	최선의 손실: 0.074115	정확도: 96.83%
5	검증 세트 손실: 0.104400	최선의 손실: 0.074115	정확도: 97.42%
6	검증 세트 손실: 0.057533	최선의 손실: 0.057533	정확도: 98.36%
7	검증 세트 손실: 0.122922	최선의 손실: 0.057533	정확도: 97.85%
8	검증 세트 손실: 0.090492	최선의 손실: 0.057533	정확도: 98.16%
9	검증 세트 손실: 0.298647	최선의 손실: 0.057533	정확도: 91.32%
10	검증 세트 손실: 0.081541	최선의 손실: 0.057533	정확도: 97.77%
11	검증 세트 손실: 0.490874	최선의 손실: 0.057533	정확도: 88.90%
12	검증 세트 손실: 0.469737	최선의 손실: 0.057533	정확도: 93.51%
13	검증 세트 손실: 0.203566	최선의 손실: 0.057533	정확도: 96.25%
14	검증 세트 손실: 0.126177	최선의 손실: 0.057533	정확도: 97.50%
15	검증 세트 손실: 0.091925	최선의 손실: 0.057533	정확도: 97.50%
16	검증 세트 손실: 0.115791	최선의 손실: 0.057533	정확도: 97.42%
17	검증 세트 손실: 0.362830	최선의 손실: 0.057533	정확도: 90.23%
18	검증 세트 손실: 0.118158	최선의 손실: 0.057533	정확도: 97.19%
19	검증 세트 손실: 0.139162	최선의 손실: 0.057533	정확도: 96.79%
20	검증 세트 손실: 0.336435	최선의 손실: 0.057533	정확도: 96.76%
21	검증 세트 손실: 0.111332	최선의 손실: 0.057533	정확도: 97.73%
22	검증 세트 손실: 8.772380	최선의 손실: 0.057533	정확도: 74.24%
23	검증 세트 손실: 1.675194	최선의 손실: 0.057533	정확도: 22.20%
24	검증 세트 손실: 1.775376	최선의 손실: 0.057533	정확도: 18.92%
25	검증 세트 손실: 1.644954	최선의 손실: 0.057533	정확도: 18.92%
26	검증 세트 손실: 1.634844	최선의 손실: 0.057533	정확도: 19.27%
27	검증 세트 손실: 1.640786	최선의 손실: 0.057533	정확도: 19.47%
조기 종료!
[CV]  n_neurons=70, learning_rate=0.02, batch_size=100, activation=<function elu at 0x7f8ec4ceef28>, total=   7.0s
[CV] n_neurons=70, learning_rate=0.02, batch_size=100, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.120756	최선의 손실: 0.120756	정확도: 96.33%
1	검증 세트 손실: 0.134354	최선의 손실: 0.120756	정확도: 97.50%
2	검증 세트 손실: 0.178365	최선의 손실: 0.120756	정확도: 95.93%
3	검증 세트 손실: 0.064231	최선의 손실: 0.064231	정확도: 98.51%
4	검증 세트 손실: 0.090468	최선의 손실: 0.064231	정확도: 98.05%
5	검증 세트 손실: 0.089283	최선의 손실: 0.064231	정확도: 97.97%
6	검증 세트 손실: 0.063750	최선의 손실: 0.063750	정확도: 98.55%
7	검증 세트 손실: 0.138512	최선의 손실: 0.063750	정확도: 98.32%
8	검증 세트 손실: 0.825524	최선의 손실: 0.063750	정확도: 94.18%
9	검증 세트 손실: 0.396089	최선의 손실: 0.063750	정확도: 92.14%
10	검증 세트 손실: 0.261599	최선의 손실: 0.063750	정확도: 94.14%
11	검증 세트 손실: 0.171289	최선의 손실: 0.063750	정확도: 96.01%
12	검증 세트 손실: 0.121224	최선의 손실: 0.063750	정확도: 97.34%
13	검증 세트 손실: 0.148863	최선의 손실: 0.063750	정확도: 97.11%
14	검증 세트 손실: 0.108797	최선의 손실: 0.063750	정확도: 97.50%
15	검증 세트 손실: 0.098000	최선의 손실: 0.063750	정확도: 97.81%
16	검증 세트 손실: 0.102723	최선의 손실: 0.063750	정확도: 97.81%
17	검증 세트 손실: 0.099556	최선의 손실: 0.063750	정확도: 97.85%
18	검증 세트 손실: 0.143722	최선의 손실: 0.063750	정확도: 97.89%
19	검증 세트 손실: 0.140191	최선의 손실: 0.063750	정확도: 97.62%
20	검증 세트 손실: 0.529107	최선의 손실: 0.063750	정확도: 94.88%
21	검증 세트 손실: 0.103748	최선의 손실: 0.063750	정확도: 98.08%
22	검증 세트 손실: 0.121067	최선의 손실: 0.063750	정확도: 97.19%
23	검증 세트 손실: 0.091932	최선의 손실: 0.063750	정확도: 98.16%
24	검증 세트 손실: 0.152030	최선의 손실: 0.063750	정확도: 98.05%
25	검증 세트 손실: 0.118690	최선의 손실: 0.063750	정확도: 98.20%
26	검증 세트 손실: 0.123812	최선의 손실: 0.063750	정확도: 98.36%
27	검증 세트 손실: 0.108752	최선의 손실: 0.063750	정확도: 98.36%
조기 종료!
[CV]  n_neurons=70, learning_rate=0.02, batch_size=100, activation=<function elu at 0x7f8ec4ceef28>, total=   7.1s
[CV] n_neurons=30, learning_rate=0.02, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 
0	검증 세트 손실: 0.124028	최선의 손실: 0.124028	정확도: 96.99%
1	검증 세트 손실: 0.105041	최선의 손실: 0.105041	정확도: 97.19%
2	검증 세트 손실: 0.086250	최선의 손실: 0.086250	정확도: 97.65%
3	검증 세트 손실: 0.094049	최선의 손실: 0.086250	정확도: 97.50%
4	검증 세트 손실: 0.087575	최선의 손실: 0.086250	정확도: 97.85%
5	검증 세트 손실: 0.077451	최선의 손실: 0.077451	정확도: 97.93%
6	검증 세트 손실: 0.415449	최선의 손실: 0.077451	정확도: 93.67%
7	검증 세트 손실: 0.160814	최선의 손실: 0.077451	정확도: 96.87%
8	검증 세트 손실: 0.162500	최선의 손실: 0.077451	정확도: 97.54%
9	검증 세트 손실: 0.266064	최선의 손실: 0.077451	정확도: 97.58%
10	검증 세트 손실: 0.299668	최선의 손실: 0.077451	정확도: 97.69%
11	검증 세트 손실: 0.338111	최선의 손실: 0.077451	정확도: 97.65%
12	검증 세트 손실: 0.379714	최선의 손실: 0.077451	정확도: 97.42%
13	검증 세트 손실: 0.377035	최선의 손실: 0.077451	정확도: 97.54%
14	검증 세트 손실: 0.484574	최선의 손실: 0.077451	정확도: 97.46%
15	검증 세트 손실: 0.194351	최선의 손실: 0.077451	정확도: 97.22%
16	검증 세트 손실: 0.238746	최선의 손실: 0.077451	정확도: 97.89%
17	검증 세트 손실: 0.337602	최선의 손실: 0.077451	정확도: 97.81%
18	검증 세트 손실: 0.592396	최선의 손실: 0.077451	정확도: 97.65%
19	검증 세트 손실: 0.304590	최선의 손실: 0.077451	정확도: 97.69%
20	검증 세트 손실: 0.350255	최선의 손실: 0.077451	정확도: 97.89%
21	검증 세트 손실: 0.319910	최선의 손실: 0.077451	정확도: 98.28%
22	검증 세트 손실: 0.418130	최선의 손실: 0.077451	정확도: 97.97%
23	검증 세트 손실: 0.247930	최선의 손실: 0.077451	정확도: 98.40%
24	검증 세트 손실: 0.396137	최선의 손실: 0.077451	정확도: 97.65%
25	검증 세트 손실: 0.480483	최선의 손실: 0.077451	정확도: 95.54%
26	검증 세트 손실: 1.306810	최선의 손실: 0.077451	정확도: 94.29%
조기 종료!
[CV]  n_neurons=30, learning_rate=0.02, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total=   4.7s
[CV] n_neurons=30, learning_rate=0.02, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 
0	검증 세트 손실: 0.158430	최선의 손실: 0.158430	정확도: 96.44%
1	검증 세트 손실: 0.085704	최선의 손실: 0.085704	정확도: 97.77%
2	검증 세트 손실: 0.108427	최선의 손실: 0.085704	정확도: 97.03%
3	검증 세트 손실: 0.076443	최선의 손실: 0.076443	정확도: 98.01%
4	검증 세트 손실: 0.071128	최선의 손실: 0.071128	정확도: 98.16%
5	검증 세트 손실: 0.123939	최선의 손실: 0.071128	정확도: 97.34%
6	검증 세트 손실: 0.126308	최선의 손실: 0.071128	정확도: 96.29%
7	검증 세트 손실: 0.108919	최선의 손실: 0.071128	정확도: 96.91%
8	검증 세트 손실: 0.081721	최선의 손실: 0.071128	정확도: 97.81%
9	검증 세트 손실: 0.119417	최선의 손실: 0.071128	정확도: 97.26%
10	검증 세트 손실: 0.087401	최선의 손실: 0.071128	정확도: 97.93%
11	검증 세트 손실: 0.082822	최선의 손실: 0.071128	정확도: 97.65%
12	검증 세트 손실: 0.139534	최선의 손실: 0.071128	정확도: 97.77%
13	검증 세트 손실: 0.075277	최선의 손실: 0.071128	정확도: 98.12%
14	검증 세트 손실: 0.095059	최선의 손실: 0.071128	정확도: 98.05%
15	검증 세트 손실: 0.083915	최선의 손실: 0.071128	정확도: 98.36%
16	검증 세트 손실: 0.097499	최선의 손실: 0.071128	정확도: 97.62%
17	검증 세트 손실: 0.091903	최선의 손실: 0.071128	정확도: 98.01%
18	검증 세트 손실: 0.578454	최선의 손실: 0.071128	정확도: 93.39%
19	검증 세트 손실: 0.104725	최선의 손실: 0.071128	정확도: 97.81%
20	검증 세트 손실: 0.113461	최선의 손실: 0.071128	정확도: 97.54%
21	검증 세트 손실: 0.138661	최선의 손실: 0.071128	정확도: 97.65%
22	검증 세트 손실: 0.160091	최선의 손실: 0.071128	정확도: 97.50%
23	검증 세트 손실: 0.190161	최선의 손실: 0.071128	정확도: 97.38%
24	검증 세트 손실: 0.153419	최선의 손실: 0.071128	정확도: 97.89%
25	검증 세트 손실: 0.177787	최선의 손실: 0.071128	정확도: 97.93%
조기 종료!
[CV]  n_neurons=30, learning_rate=0.02, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total=   4.6s
[CV] n_neurons=30, learning_rate=0.02, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 
0	검증 세트 손실: 0.104343	최선의 손실: 0.104343	정확도: 97.50%
1	검증 세트 손실: 0.091037	최선의 손실: 0.091037	정확도: 97.58%
2	검증 세트 손실: 0.224616	최선의 손실: 0.091037	정확도: 96.29%
3	검증 세트 손실: 0.436669	최선의 손실: 0.091037	정확도: 95.66%
4	검증 세트 손실: 0.113760	최선의 손실: 0.091037	정확도: 96.83%
5	검증 세트 손실: 0.079982	최선의 손실: 0.079982	정확도: 97.97%
6	검증 세트 손실: 0.073724	최선의 손실: 0.073724	정확도: 97.93%
7	검증 세트 손실: 0.070780	최선의 손실: 0.070780	정확도: 98.24%
8	검증 세트 손실: 0.086831	최선의 손실: 0.070780	정확도: 97.54%
9	검증 세트 손실: 0.065515	최선의 손실: 0.065515	정확도: 98.12%
10	검증 세트 손실: 0.086769	최선의 손실: 0.065515	정확도: 97.62%
11	검증 세트 손실: 0.073929	최선의 손실: 0.065515	정확도: 97.93%
12	검증 세트 손실: 0.065510	최선의 손실: 0.065510	정확도: 98.44%
13	검증 세트 손실: 0.078231	최선의 손실: 0.065510	정확도: 98.16%
14	검증 세트 손실: 0.072493	최선의 손실: 0.065510	정확도: 98.05%
15	검증 세트 손실: 0.096357	최선의 손실: 0.065510	정확도: 97.77%
16	검증 세트 손실: 0.104474	최선의 손실: 0.065510	정확도: 97.73%
17	검증 세트 손실: 0.088071	최선의 손실: 0.065510	정확도: 97.77%
18	검증 세트 손실: 0.085734	최선의 손실: 0.065510	정확도: 98.24%
19	검증 세트 손실: 0.092710	최선의 손실: 0.065510	정확도: 98.08%
20	검증 세트 손실: 0.076570	최선의 손실: 0.065510	정확도: 98.05%
21	검증 세트 손실: 0.077357	최선의 손실: 0.065510	정확도: 98.36%
22	검증 세트 손실: 0.089391	최선의 손실: 0.065510	정확도: 98.32%
23	검증 세트 손실: 0.078522	최선의 손실: 0.065510	정확도: 98.05%
24	검증 세트 손실: 0.141950	최선의 손실: 0.065510	정확도: 97.77%
25	검증 세트 손실: 0.098782	최선의 손실: 0.065510	정확도: 97.81%
26	검증 세트 손실: 0.118327	최선의 손실: 0.065510	정확도: 98.08%
27	검증 세트 손실: 5.636372	최선의 손실: 0.065510	정확도: 87.84%
28	검증 세트 손실: 1.696772	최선의 손실: 0.065510	정확도: 89.99%
29	검증 세트 손실: 0.314153	최선의 손실: 0.065510	정확도: 96.25%
30	검증 세트 손실: 0.242097	최선의 손실: 0.065510	정확도: 96.72%
31	검증 세트 손실: 0.178663	최선의 손실: 0.065510	정확도: 96.99%
32	검증 세트 손실: 0.180681	최선의 손실: 0.065510	정확도: 97.46%
33	검증 세트 손실: 0.159723	최선의 손실: 0.065510	정확도: 97.34%
조기 종료!
[CV]  n_neurons=30, learning_rate=0.02, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total=   5.9s
[CV] n_neurons=100, learning_rate=0.1, batch_size=10, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 2.087434	최선의 손실: 2.087434	정확도: 19.27%
1	검증 세트 손실: 1.908950	최선의 손실: 1.908950	정확도: 22.01%
2	검증 세트 손실: 2.399851	최선의 손실: 1.908950	정확도: 19.27%
3	검증 세트 손실: 2.329918	최선의 손실: 1.908950	정확도: 22.01%
4	검증 세트 손실: 2.813124	최선의 손실: 1.908950	정확도: 18.73%
5	검증 세트 손실: 1.788857	최선의 손실: 1.788857	정확도: 19.27%
6	검증 세트 손실: 2.586871	최선의 손실: 1.788857	정확도: 18.73%
7	검증 세트 손실: 2.335348	최선의 손실: 1.788857	정확도: 18.73%
8	검증 세트 손실: 2.733963	최선의 손실: 1.788857	정확도: 19.08%
9	검증 세트 손실: 3.051122	최선의 손실: 1.788857	정확도: 22.01%
10	검증 세트 손실: 2.424796	최선의 손실: 1.788857	정확도: 19.27%
11	검증 세트 손실: 2.792954	최선의 손실: 1.788857	정확도: 19.08%
12	검증 세트 손실: 2.119969	최선의 손실: 1.788857	정확도: 19.08%
13	검증 세트 손실: 1.997621	최선의 손실: 1.788857	정확도: 19.27%
14	검증 세트 손실: 4.296135	최선의 손실: 1.788857	정확도: 18.73%
15	검증 세트 손실: 2.671153	최선의 손실: 1.788857	정확도: 22.01%
16	검증 세트 손실: 3.082329	최선의 손실: 1.788857	정확도: 20.91%
17	검증 세트 손실: 3.032700	최선의 손실: 1.788857	정확도: 20.91%
18	검증 세트 손실: 2.500189	최선의 손실: 1.788857	정확도: 20.91%
19	검증 세트 손실: 3.373904	최선의 손실: 1.788857	정확도: 22.01%
20	검증 세트 손실: 3.018165	최선의 손실: 1.788857	정확도: 20.91%
21	검증 세트 손실: 2.359832	최선의 손실: 1.788857	정확도: 20.91%
22	검증 세트 손실: 1.775837	최선의 손실: 1.775837	정확도: 22.01%
23	검증 세트 손실: 2.021168	최선의 손실: 1.775837	정확도: 20.91%
24	검증 세트 손실: 2.938191	최선의 손실: 1.775837	정확도: 19.08%
25	검증 세트 손실: 3.343242	최선의 손실: 1.775837	정확도: 19.27%
26	검증 세트 손실: 2.519327	최선의 손실: 1.775837	정확도: 20.91%
27	검증 세트 손실: 2.366913	최선의 손실: 1.775837	정확도: 19.08%
28	검증 세트 손실: 3.581156	최선의 손실: 1.775837	정확도: 19.08%
29	검증 세트 손실: 3.505234	최선의 손실: 1.775837	정확도: 20.91%
30	검증 세트 손실: 2.071998	최선의 손실: 1.775837	정확도: 22.01%
31	검증 세트 손실: 3.687669	최선의 손실: 1.775837	정확도: 19.08%
32	검증 세트 손실: 2.071436	최선의 손실: 1.775837	정확도: 20.91%
33	검증 세트 손실: 2.781656	최선의 손실: 1.775837	정확도: 19.08%
34	검증 세트 손실: 1.631321	최선의 손실: 1.631321	정확도: 22.01%
35	검증 세트 손실: 2.686703	최선의 손실: 1.631321	정확도: 18.73%
36	검증 세트 손실: 3.073051	최선의 손실: 1.631321	정확도: 22.01%
37	검증 세트 손실: 2.643429	최선의 손실: 1.631321	정확도: 20.91%
38	검증 세트 손실: 2.137609	최선의 손실: 1.631321	정확도: 19.08%
39	검증 세트 손실: 3.021153	최선의 손실: 1.631321	정확도: 19.08%
40	검증 세트 손실: 2.709573	최선의 손실: 1.631321	정확도: 18.73%
41	검증 세트 손실: 2.258729	최선의 손실: 1.631321	정확도: 19.27%
42	검증 세트 손실: 3.737108	최선의 손실: 1.631321	정확도: 22.01%
43	검증 세트 손실: 2.650852	최선의 손실: 1.631321	정확도: 19.27%
44	검증 세트 손실: 2.797873	최선의 손실: 1.631321	정확도: 19.08%
45	검증 세트 손실: 2.693038	최선의 손실: 1.631321	정확도: 18.73%
46	검증 세트 손실: 3.000969	최선의 손실: 1.631321	정확도: 18.73%
47	검증 세트 손실: 3.582025	최선의 손실: 1.631321	정확도: 19.27%
48	검증 세트 손실: 3.139403	최선의 손실: 1.631321	정확도: 18.73%
49	검증 세트 손실: 3.971894	최선의 손실: 1.631321	정확도: 19.27%
50	검증 세트 손실: 2.952584	최선의 손실: 1.631321	정확도: 19.27%
51	검증 세트 손실: 2.712203	최선의 손실: 1.631321	정확도: 22.01%
52	검증 세트 손실: 3.130972	최선의 손실: 1.631321	정확도: 19.27%
53	검증 세트 손실: 2.222214	최선의 손실: 1.631321	정확도: 19.08%
54	검증 세트 손실: 2.964400	최선의 손실: 1.631321	정확도: 19.27%
55	검증 세트 손실: 3.681787	최선의 손실: 1.631321	정확도: 19.27%
조기 종료!
[CV]  n_neurons=100, learning_rate=0.1, batch_size=10, activation=<function elu at 0x7f8ec4ceef28>, total= 1.1min
[CV] n_neurons=100, learning_rate=0.1, batch_size=10, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 1.666739	최선의 손실: 1.666739	정확도: 19.08%
1	검증 세트 손실: 2.039531	최선의 손실: 1.666739	정확도: 20.91%
2	검증 세트 손실: 1.904579	최선의 손실: 1.666739	정확도: 22.01%
3	검증 세트 손실: 2.727735	최선의 손실: 1.666739	정확도: 22.01%
4	검증 세트 손실: 1.837169	최선의 손실: 1.666739	정확도: 22.01%
5	검증 세트 손실: 2.607653	최선의 손실: 1.666739	정확도: 18.73%
6	검증 세트 손실: 2.757694	최선의 손실: 1.666739	정확도: 18.73%
7	검증 세트 손실: 2.429045	최선의 손실: 1.666739	정확도: 19.08%
8	검증 세트 손실: 3.118255	최선의 손실: 1.666739	정확도: 19.08%
9	검증 세트 손실: 2.238760	최선의 손실: 1.666739	정확도: 19.27%
10	검증 세트 손실: 2.540496	최선의 손실: 1.666739	정확도: 20.91%
11	검증 세트 손실: 4.024342	최선의 손실: 1.666739	정확도: 19.08%
12	검증 세트 손실: 2.217903	최선의 손실: 1.666739	정확도: 20.91%
13	검증 세트 손실: 2.776817	최선의 손실: 1.666739	정확도: 22.01%
14	검증 세트 손실: 2.959257	최선의 손실: 1.666739	정확도: 20.91%
15	검증 세트 손실: 2.762816	최선의 손실: 1.666739	정확도: 20.91%
16	검증 세트 손실: 2.245259	최선의 손실: 1.666739	정확도: 22.01%
17	검증 세트 손실: 2.643824	최선의 손실: 1.666739	정확도: 19.08%
18	검증 세트 손실: 3.454876	최선의 손실: 1.666739	정확도: 22.01%
19	검증 세트 손실: 3.536183	최선의 손실: 1.666739	정확도: 19.27%
20	검증 세트 손실: 2.250038	최선의 손실: 1.666739	정확도: 18.73%
21	검증 세트 손실: 2.961766	최선의 손실: 1.666739	정확도: 22.01%
조기 종료!
[CV]  n_neurons=100, learning_rate=0.1, batch_size=10, activation=<function elu at 0x7f8ec4ceef28>, total=  25.8s
[CV] n_neurons=100, learning_rate=0.1, batch_size=10, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 1.752184	최선의 손실: 1.752184	정확도: 20.91%
1	검증 세트 손실: 2.232301	최선의 손실: 1.752184	정확도: 22.01%
2	검증 세트 손실: 2.635562	최선의 손실: 1.752184	정확도: 19.08%
3	검증 세트 손실: 3.032478	최선의 손실: 1.752184	정확도: 22.01%
4	검증 세트 손실: 2.674482	최선의 손실: 1.752184	정확도: 20.91%
5	검증 세트 손실: 3.170716	최선의 손실: 1.752184	정확도: 20.91%
6	검증 세트 손실: 2.329651	최선의 손실: 1.752184	정확도: 20.91%
7	검증 세트 손실: 2.229480	최선의 손실: 1.752184	정확도: 19.27%
8	검증 세트 손실: 2.274400	최선의 손실: 1.752184	정확도: 22.01%
9	검증 세트 손실: 2.208699	최선의 손실: 1.752184	정확도: 22.01%
10	검증 세트 손실: 2.130490	최선의 손실: 1.752184	정확도: 18.73%
11	검증 세트 손실: 2.541695	최선의 손실: 1.752184	정확도: 19.08%
12	검증 세트 손실: 4.161201	최선의 손실: 1.752184	정확도: 20.91%
13	검증 세트 손실: 2.705544	최선의 손실: 1.752184	정확도: 22.01%
14	검증 세트 손실: 2.812274	최선의 손실: 1.752184	정확도: 19.27%
15	검증 세트 손실: 2.892021	최선의 손실: 1.752184	정확도: 18.73%
16	검증 세트 손실: 2.830200	최선의 손실: 1.752184	정확도: 20.91%
17	검증 세트 손실: 2.845695	최선의 손실: 1.752184	정확도: 20.91%
18	검증 세트 손실: 3.050031	최선의 손실: 1.752184	정확도: 20.91%
19	검증 세트 손실: 1.988322	최선의 손실: 1.752184	정확도: 22.01%
20	검증 세트 손실: 2.268836	최선의 손실: 1.752184	정확도: 19.08%
21	검증 세트 손실: 3.946499	최선의 손실: 1.752184	정확도: 19.27%
조기 종료!
[CV]  n_neurons=100, learning_rate=0.1, batch_size=10, activation=<function elu at 0x7f8ec4ceef28>, total=  25.6s
[CV] n_neurons=90, learning_rate=0.1, batch_size=100, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 3.830313	최선의 손실: 3.830313	정확도: 19.08%
1	검증 세트 손실: 1.650776	최선의 손실: 1.650776	정확도: 22.01%
2	검증 세트 손실: 1.617856	최선의 손실: 1.617856	정확도: 19.08%
3	검증 세트 손실: 1.650861	최선의 손실: 1.617856	정확도: 19.08%
4	검증 세트 손실: 1.683475	최선의 손실: 1.617856	정확도: 19.27%
5	검증 세트 손실: 1.649877	최선의 손실: 1.617856	정확도: 18.73%
6	검증 세트 손실: 1.639223	최선의 손실: 1.617856	정확도: 19.27%
7	검증 세트 손실: 1.632789	최선의 손실: 1.617856	정확도: 19.08%
8	검증 세트 손실: 1.708920	최선의 손실: 1.617856	정확도: 19.27%
9	검증 세트 손실: 1.831940	최선의 손실: 1.617856	정확도: 19.08%
10	검증 세트 손실: 1.676429	최선의 손실: 1.617856	정확도: 19.08%
11	검증 세트 손실: 1.683612	최선의 손실: 1.617856	정확도: 18.73%
12	검증 세트 손실: 1.693113	최선의 손실: 1.617856	정확도: 19.08%
13	검증 세트 손실: 1.672475	최선의 손실: 1.617856	정확도: 22.01%
14	검증 세트 손실: 1.727265	최선의 손실: 1.617856	정확도: 19.08%
15	검증 세트 손실: 1.654443	최선의 손실: 1.617856	정확도: 22.01%
16	검증 세트 손실: 1.699802	최선의 손실: 1.617856	정확도: 18.73%
17	검증 세트 손실: 1.705097	최선의 손실: 1.617856	정확도: 18.73%
18	검증 세트 손실: 1.749858	최선의 손실: 1.617856	정확도: 20.91%
19	검증 세트 손실: 1.812719	최선의 손실: 1.617856	정확도: 20.91%
20	검증 세트 손실: 1.623283	최선의 손실: 1.617856	정확도: 19.08%
21	검증 세트 손실: 1.690679	최선의 손실: 1.617856	정확도: 22.01%
22	검증 세트 손실: 1.661573	최선의 손실: 1.617856	정확도: 19.27%
23	검증 세트 손실: 1.762110	최선의 손실: 1.617856	정확도: 22.01%
조기 종료!
[CV]  n_neurons=90, learning_rate=0.1, batch_size=100, activation=<function elu at 0x7f8ec4ceef28>, total=   7.3s
[CV] n_neurons=90, learning_rate=0.1, batch_size=100, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.323893	최선의 손실: 0.323893	정확도: 91.16%
1	검증 세트 손실: 0.176155	최선의 손실: 0.176155	정확도: 95.23%
2	검증 세트 손실: 0.135404	최선의 손실: 0.135404	정확도: 96.25%
3	검증 세트 손실: 0.154597	최선의 손실: 0.135404	정확도: 95.82%
4	검증 세트 손실: 0.132032	최선의 손실: 0.132032	정확도: 96.01%
5	검증 세트 손실: 0.198237	최선의 손실: 0.132032	정확도: 94.45%
6	검증 세트 손실: 0.179919	최선의 손실: 0.132032	정확도: 95.15%
7	검증 세트 손실: 0.112613	최선의 손실: 0.112613	정확도: 97.07%
8	검증 세트 손실: 0.127910	최선의 손실: 0.112613	정확도: 97.03%
9	검증 세트 손실: 0.179741	최선의 손실: 0.112613	정확도: 95.31%
10	검증 세트 손실: 0.097553	최선의 손실: 0.097553	정확도: 97.38%
11	검증 세트 손실: 0.093191	최선의 손실: 0.093191	정확도: 97.73%
12	검증 세트 손실: 0.112318	최선의 손실: 0.093191	정확도: 97.26%
13	검증 세트 손실: 0.095564	최선의 손실: 0.093191	정확도: 97.38%
14	검증 세트 손실: 0.253895	최선의 손실: 0.093191	정확도: 91.75%
15	검증 세트 손실: 0.140040	최선의 손실: 0.093191	정확도: 96.95%
16	검증 세트 손실: 3837240.750000	최선의 손실: 0.093191	정확도: 22.01%
17	검증 세트 손실: 1.638530	최선의 손실: 0.093191	정확도: 20.91%
18	검증 세트 손실: 1.658970	최선의 손실: 0.093191	정확도: 22.01%
19	검증 세트 손실: 1.640542	최선의 손실: 0.093191	정확도: 20.91%
20	검증 세트 손실: 1.624574	최선의 손실: 0.093191	정확도: 20.91%
21	검증 세트 손실: 1.679665	최선의 손실: 0.093191	정확도: 18.73%
22	검증 세트 손실: 1.623782	최선의 손실: 0.093191	정확도: 19.08%
23	검증 세트 손실: 1.680036	최선의 손실: 0.093191	정확도: 22.01%
24	검증 세트 손실: 1.695089	최선의 손실: 0.093191	정확도: 20.91%
25	검증 세트 손실: 1.652078	최선의 손실: 0.093191	정확도: 20.91%
26	검증 세트 손실: 1.613163	최선의 손실: 0.093191	정확도: 22.01%
27	검증 세트 손실: 1.611891	최선의 손실: 0.093191	정확도: 20.91%
28	검증 세트 손실: 1.768672	최선의 손실: 0.093191	정확도: 19.08%
29	검증 세트 손실: 1.630288	최선의 손실: 0.093191	정확도: 22.01%
30	검증 세트 손실: 1.685753	최선의 손실: 0.093191	정확도: 19.27%
31	검증 세트 손실: 1.760716	최선의 손실: 0.093191	정확도: 18.73%
32	검증 세트 손실: 1.724452	최선의 손실: 0.093191	정확도: 20.91%
조기 종료!
[CV]  n_neurons=90, learning_rate=0.1, batch_size=100, activation=<function elu at 0x7f8ec4ceef28>, total=   9.9s
[CV] n_neurons=90, learning_rate=0.1, batch_size=100, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 1.161498	최선의 손실: 1.161498	정확도: 63.25%
1	검증 세트 손실: 1.106220	최선의 손실: 1.106220	정확도: 57.94%
2	검증 세트 손실: 0.613850	최선의 손실: 0.613850	정확도: 69.94%
3	검증 세트 손실: 0.393908	최선의 손실: 0.393908	정확도: 87.61%
4	검증 세트 손실: 0.469406	최선의 손실: 0.393908	정확도: 85.73%
5	검증 세트 손실: 0.615940	최선의 손실: 0.393908	정확도: 73.57%
6	검증 세트 손실: 0.594170	최선의 손실: 0.393908	정확도: 74.63%
7	검증 세트 손실: 0.448402	최선의 손실: 0.393908	정확도: 85.38%
8	검증 세트 손실: 0.413376	최선의 손실: 0.393908	정확도: 87.65%
9	검증 세트 손실: 0.483879	최선의 손실: 0.393908	정확도: 86.32%
10	검증 세트 손실: 0.522526	최선의 손실: 0.393908	정확도: 90.30%
11	검증 세트 손실: 0.427490	최선의 손실: 0.393908	정확도: 90.93%
12	검증 세트 손실: 0.401578	최선의 손실: 0.393908	정확도: 92.10%
13	검증 세트 손실: 0.790456	최선의 손실: 0.393908	정확도: 75.29%
14	검증 세트 손실: 1.691996	최선의 손실: 0.393908	정확도: 19.08%
15	검증 세트 손실: 1.686038	최선의 손실: 0.393908	정확도: 20.91%
16	검증 세트 손실: 1.669205	최선의 손실: 0.393908	정확도: 18.73%
17	검증 세트 손실: 1.656164	최선의 손실: 0.393908	정확도: 20.91%
18	검증 세트 손실: 1.700728	최선의 손실: 0.393908	정확도: 18.73%
19	검증 세트 손실: 1.649013	최선의 손실: 0.393908	정확도: 18.73%
20	검증 세트 손실: 1.659578	최선의 손실: 0.393908	정확도: 20.91%
21	검증 세트 손실: 1.735483	최선의 손실: 0.393908	정확도: 22.01%
22	검증 세트 손실: 1.628036	최선의 손실: 0.393908	정확도: 18.73%
23	검증 세트 손실: 1.744426	최선의 손실: 0.393908	정확도: 22.01%
24	검증 세트 손실: 1.620579	최선의 손실: 0.393908	정확도: 22.01%
조기 종료!
[CV]  n_neurons=90, learning_rate=0.1, batch_size=100, activation=<function elu at 0x7f8ec4ceef28>, total=   7.6s
[CV] n_neurons=50, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 
0	검증 세트 손실: 1.807269	최선의 손실: 1.807269	정확도: 22.01%
1	검증 세트 손실: 0.911535	최선의 손실: 0.911535	정확도: 66.42%
2	검증 세트 손실: 0.710055	최선의 손실: 0.710055	정확도: 76.19%
3	검증 세트 손실: 0.404699	최선의 손실: 0.404699	정확도: 86.43%
4	검증 세트 손실: 0.352462	최선의 손실: 0.352462	정확도: 89.41%
5	검증 세트 손실: 0.289252	최선의 손실: 0.289252	정확도: 91.24%
6	검증 세트 손실: 0.259428	최선의 손실: 0.259428	정확도: 92.14%
7	검증 세트 손실: 0.245226	최선의 손실: 0.245226	정확도: 93.28%
8	검증 세트 손실: 0.267662	최선의 손실: 0.245226	정확도: 91.91%
9	검증 세트 손실: 0.217012	최선의 손실: 0.217012	정확도: 94.02%
10	검증 세트 손실: 0.284637	최선의 손실: 0.217012	정확도: 91.67%
11	검증 세트 손실: 0.200155	최선의 손실: 0.200155	정확도: 94.53%
12	검증 세트 손실: 0.205396	최선의 손실: 0.200155	정확도: 94.06%
13	검증 세트 손실: 0.165258	최선의 손실: 0.165258	정확도: 95.70%
14	검증 세트 손실: 0.268083	최선의 손실: 0.165258	정확도: 92.53%
15	검증 세트 손실: 0.222046	최선의 손실: 0.165258	정확도: 94.68%
16	검증 세트 손실: 0.190499	최선의 손실: 0.165258	정확도: 94.96%
17	검증 세트 손실: 0.183101	최선의 손실: 0.165258	정확도: 95.50%
18	검증 세트 손실: 0.182017	최선의 손실: 0.165258	정확도: 95.27%
19	검증 세트 손실: 0.165296	최선의 손실: 0.165258	정확도: 96.01%
20	검증 세트 손실: 0.183133	최선의 손실: 0.165258	정확도: 95.31%
21	검증 세트 손실: 0.170318	최선의 손실: 0.165258	정확도: 95.58%
22	검증 세트 손실: 0.143872	최선의 손실: 0.143872	정확도: 96.40%
23	검증 세트 손실: 0.181190	최선의 손실: 0.143872	정확도: 96.09%
24	검증 세트 손실: 0.153716	최선의 손실: 0.143872	정확도: 96.29%
25	검증 세트 손실: 0.138413	최선의 손실: 0.138413	정확도: 96.17%
26	검증 세트 손실: 0.142351	최선의 손실: 0.138413	정확도: 96.44%
27	검증 세트 손실: 0.151613	최선의 손실: 0.138413	정확도: 96.79%
28	검증 세트 손실: 0.142824	최선의 손실: 0.138413	정확도: 96.33%
29	검증 세트 손실: 0.178391	최선의 손실: 0.138413	정확도: 96.21%
30	검증 세트 손실: 0.164442	최선의 손실: 0.138413	정확도: 96.40%
31	검증 세트 손실: 146359.328125	최선의 손실: 0.138413	정확도: 19.27%
32	검증 세트 손실: 39845.687500	최선의 손실: 0.138413	정확도: 32.72%
33	검증 세트 손실: 49817.398438	최선의 손실: 0.138413	정확도: 18.73%
34	검증 세트 손실: 2817.191650	최선의 손실: 0.138413	정확도: 52.89%
35	검증 세트 손실: 629.332947	최선의 손실: 0.138413	정확도: 64.82%
36	검증 세트 손실: 470.566895	최선의 손실: 0.138413	정확도: 67.08%
37	검증 세트 손실: 289.060455	최선의 손실: 0.138413	정확도: 70.29%
38	검증 세트 손실: 354.870422	최선의 손실: 0.138413	정확도: 67.90%
39	검증 세트 손실: 571.651794	최선의 손실: 0.138413	정확도: 54.93%
40	검증 세트 손실: 367.481293	최선의 손실: 0.138413	정확도: 72.05%
41	검증 세트 손실: 232.462540	최선의 손실: 0.138413	정확도: 74.16%
42	검증 세트 손실: 221.746948	최선의 손실: 0.138413	정확도: 74.04%
43	검증 세트 손실: 317.330841	최선의 손실: 0.138413	정확도: 66.93%
44	검증 세트 손실: 416.549988	최선의 손실: 0.138413	정확도: 70.88%
45	검증 세트 손실: 209.800720	최선의 손실: 0.138413	정확도: 74.04%
46	검증 세트 손실: 291.509277	최선의 손실: 0.138413	정확도: 64.11%
조기 종료!
[CV]  n_neurons=50, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total=   6.1s
[CV] n_neurons=50, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 
0	검증 세트 손실: 20.778124	최선의 손실: 20.778124	정확도: 23.46%
1	검증 세트 손실: 0.841452	최선의 손실: 0.841452	정확도: 60.20%
2	검증 세트 손실: 38.603653	최선의 손실: 0.841452	정확도: 19.51%
3	검증 세트 손실: 46.469101	최선의 손실: 0.841452	정확도: 38.31%
4	검증 세트 손실: 56.912247	최선의 손실: 0.841452	정확도: 41.75%
5	검증 세트 손실: 65.621674	최선의 손실: 0.841452	정확도: 25.06%
6	검증 세트 손실: 52.181984	최선의 손실: 0.841452	정확도: 29.05%
7	검증 세트 손실: 16.714733	최선의 손실: 0.841452	정확도: 39.72%
8	검증 세트 손실: 38.031467	최선의 손실: 0.841452	정확도: 38.19%
9	검증 세트 손실: 66.451088	최선의 손실: 0.841452	정확도: 20.91%
10	검증 세트 손실: 250.794937	최선의 손실: 0.841452	정확도: 30.57%
11	검증 세트 손실: 274.370941	최선의 손실: 0.841452	정확도: 41.32%
12	검증 세트 손실: 139.683319	최선의 손실: 0.841452	정확도: 37.22%
13	검증 세트 손실: 257.156525	최선의 손실: 0.841452	정확도: 38.70%
14	검증 세트 손실: 58.699226	최선의 손실: 0.841452	정확도: 39.80%
15	검증 세트 손실: 9.395611	최선의 손실: 0.841452	정확도: 52.81%
16	검증 세트 손실: 2.514303	최선의 손실: 0.841452	정확도: 57.66%
17	검증 세트 손실: 1.732949	최선의 손실: 0.841452	정확도: 58.17%
18	검증 세트 손실: 1.582303	최선의 손실: 0.841452	정확도: 62.39%
19	검증 세트 손실: 1.452186	최선의 손실: 0.841452	정확도: 60.16%
20	검증 세트 손실: 1.944729	최선의 손실: 0.841452	정확도: 53.32%
21	검증 세트 손실: 1.658557	최선의 손실: 0.841452	정확도: 57.31%
22	검증 세트 손실: 1.190262	최선의 손실: 0.841452	정확도: 64.74%
조기 종료!
[CV]  n_neurons=50, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total=   3.2s
[CV] n_neurons=50, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 
0	검증 세트 손실: 1.287868	최선의 손실: 1.287868	정확도: 36.59%
1	검증 세트 손실: 0.790487	최선의 손실: 0.790487	정확도: 77.37%
2	검증 세트 손실: 0.254012	최선의 손실: 0.254012	정확도: 92.89%
3	검증 세트 손실: 0.162328	최선의 손실: 0.162328	정확도: 95.54%
4	검증 세트 손실: 0.143176	최선의 손실: 0.143176	정확도: 95.93%
5	검증 세트 손실: 0.135789	최선의 손실: 0.135789	정확도: 96.52%
6	검증 세트 손실: 0.114483	최선의 손실: 0.114483	정확도: 96.95%
7	검증 세트 손실: 0.120295	최선의 손실: 0.114483	정확도: 97.03%
8	검증 세트 손실: 0.140572	최선의 손실: 0.114483	정확도: 96.21%
9	검증 세트 손실: 0.118083	최선의 손실: 0.114483	정확도: 96.95%
10	검증 세트 손실: 0.108246	최선의 손실: 0.108246	정확도: 96.76%
11	검증 세트 손실: 0.106903	최선의 손실: 0.106903	정확도: 97.22%
12	검증 세트 손실: 0.116481	최선의 손실: 0.106903	정확도: 96.83%
13	검증 세트 손실: 0.102811	최선의 손실: 0.102811	정확도: 97.19%
14	검증 세트 손실: 1104.990967	최선의 손실: 0.102811	정확도: 13.53%
15	검증 세트 손실: 37721.363281	최선의 손실: 0.102811	정확도: 20.91%
16	검증 세트 손실: 10684.943359	최선의 손실: 0.102811	정확도: 19.00%
17	검증 세트 손실: 2338.797363	최선의 손실: 0.102811	정확도: 29.91%
18	검증 세트 손실: 613.114563	최선의 손실: 0.102811	정확도: 26.62%
19	검증 세트 손실: 78.562546	최선의 손실: 0.102811	정확도: 50.31%
20	검증 세트 손실: 71.951393	최선의 손실: 0.102811	정확도: 37.41%
21	검증 세트 손실: 104.248756	최선의 손실: 0.102811	정확도: 46.52%
22	검증 세트 손실: 29.271074	최선의 손실: 0.102811	정확도: 43.28%
23	검증 세트 손실: 44.263405	최선의 손실: 0.102811	정확도: 41.05%
24	검증 세트 손실: 20.849890	최선의 손실: 0.102811	정확도: 59.97%
25	검증 세트 손실: 13.023427	최선의 손실: 0.102811	정확도: 62.67%
26	검증 세트 손실: 25.583759	최선의 손실: 0.102811	정확도: 50.27%
27	검증 세트 손실: 19.600494	최선의 손실: 0.102811	정확도: 49.02%
28	검증 세트 손실: 15.171478	최선의 손실: 0.102811	정확도: 48.94%
29	검증 세트 손실: 17.203144	최선의 손실: 0.102811	정확도: 55.67%
30	검증 세트 손실: 73.088692	최선의 손실: 0.102811	정확도: 38.39%
31	검증 세트 손실: 15.996584	최선의 손실: 0.102811	정확도: 65.72%
32	검증 세트 손실: 35.748741	최선의 손실: 0.102811	정확도: 46.76%
33	검증 세트 손실: 16.192059	최선의 손실: 0.102811	정확도: 60.91%
34	검증 세트 손실: 9.493767	최선의 손실: 0.102811	정확도: 70.37%
조기 종료!
[CV]  n_neurons=50, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total=   4.7s
[CV] n_neurons=140, learning_rate=0.02, batch_size=500, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.258346	최선의 손실: 0.258346	정확도: 92.92%
1	검증 세트 손실: 0.115569	최선의 손실: 0.115569	정확도: 96.13%
2	검증 세트 손실: 0.093414	최선의 손실: 0.093414	정확도: 96.83%
3	검증 세트 손실: 0.082853	최선의 손실: 0.082853	정확도: 97.62%
4	검증 세트 손실: 0.082376	최선의 손실: 0.082376	정확도: 97.58%
5	검증 세트 손실: 0.098352	최선의 손실: 0.082376	정확도: 97.38%
6	검증 세트 손실: 0.080265	최선의 손실: 0.080265	정확도: 97.69%
7	검증 세트 손실: 0.060859	최선의 손실: 0.060859	정확도: 98.24%
8	검증 세트 손실: 0.076406	최선의 손실: 0.060859	정확도: 97.81%
9	검증 세트 손실: 0.050390	최선의 손실: 0.050390	정확도: 98.28%
10	검증 세트 손실: 0.063549	최선의 손실: 0.050390	정확도: 98.36%
11	검증 세트 손실: 0.041948	최선의 손실: 0.041948	정확도: 98.71%
12	검증 세트 손실: 0.055138	최선의 손실: 0.041948	정확도: 98.55%
13	검증 세트 손실: 0.063095	최선의 손실: 0.041948	정확도: 98.28%
14	검증 세트 손실: 0.057324	최선의 손실: 0.041948	정확도: 98.36%
15	검증 세트 손실: 0.067169	최선의 손실: 0.041948	정확도: 98.24%
16	검증 세트 손실: 0.051719	최선의 손실: 0.041948	정확도: 98.55%
17	검증 세트 손실: 0.077193	최선의 손실: 0.041948	정확도: 98.32%
18	검증 세트 손실: 0.058704	최선의 손실: 0.041948	정확도: 98.59%
19	검증 세트 손실: 0.064403	최선의 손실: 0.041948	정확도: 98.59%
20	검증 세트 손실: 0.062971	최선의 손실: 0.041948	정확도: 98.63%
21	검증 세트 손실: 0.066842	최선의 손실: 0.041948	정확도: 98.59%
22	검증 세트 손실: 0.050229	최선의 손실: 0.041948	정확도: 98.91%
23	검증 세트 손실: 0.056101	최선의 손실: 0.041948	정확도: 98.75%
24	검증 세트 손실: 0.057269	최선의 손실: 0.041948	정확도: 98.71%
25	검증 세트 손실: 0.051091	최선의 손실: 0.041948	정확도: 98.83%
26	검증 세트 손실: 0.067612	최선의 손실: 0.041948	정확도: 98.67%
27	검증 세트 손실: 0.048603	최선의 손실: 0.041948	정확도: 98.79%
28	검증 세트 손실: 0.072469	최선의 손실: 0.041948	정확도: 98.67%
29	검증 세트 손실: 0.054817	최선의 손실: 0.041948	정확도: 98.98%
30	검증 세트 손실: 0.069431	최선의 손실: 0.041948	정확도: 98.67%
31	검증 세트 손실: 0.066136	최선의 손실: 0.041948	정확도: 98.48%
32	검증 세트 손실: 0.062417	최선의 손실: 0.041948	정확도: 98.75%
조기 종료!
[CV]  n_neurons=140, learning_rate=0.02, batch_size=500, activation=<function elu at 0x7f8ec4ceef28>, total=   8.5s
[CV] n_neurons=140, learning_rate=0.02, batch_size=500, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.195872	최선의 손실: 0.195872	정확도: 94.41%
1	검증 세트 손실: 0.101573	최선의 손실: 0.101573	정확도: 96.87%
2	검증 세트 손실: 0.073405	최선의 손실: 0.073405	정확도: 97.62%
3	검증 세트 손실: 0.072313	최선의 손실: 0.072313	정확도: 97.77%
4	검증 세트 손실: 0.081940	최선의 손실: 0.072313	정확도: 97.62%
5	검증 세트 손실: 0.068814	최선의 손실: 0.068814	정확도: 97.97%
6	검증 세트 손실: 0.055325	최선의 손실: 0.055325	정확도: 98.20%
7	검증 세트 손실: 0.052300	최선의 손실: 0.052300	정확도: 98.51%
8	검증 세트 손실: 0.072461	최선의 손실: 0.052300	정확도: 98.01%
9	검증 세트 손실: 0.057561	최선의 손실: 0.052300	정확도: 98.51%
10	검증 세트 손실: 0.070066	최선의 손실: 0.052300	정확도: 98.32%
11	검증 세트 손실: 0.059997	최선의 손실: 0.052300	정확도: 98.51%
12	검증 세트 손실: 0.068310	최선의 손실: 0.052300	정확도: 98.48%
13	검증 세트 손실: 0.061924	최선의 손실: 0.052300	정확도: 98.32%
14	검증 세트 손실: 0.082505	최선의 손실: 0.052300	정확도: 98.24%
15	검증 세트 손실: 0.055486	최선의 손실: 0.052300	정확도: 98.63%
16	검증 세트 손실: 0.073439	최선의 손실: 0.052300	정확도: 98.48%
17	검증 세트 손실: 0.076521	최선의 손실: 0.052300	정확도: 98.20%
18	검증 세트 손실: 0.076692	최선의 손실: 0.052300	정확도: 98.48%
19	검증 세트 손실: 0.050850	최선의 손실: 0.050850	정확도: 98.87%
20	검증 세트 손실: 0.059829	최선의 손실: 0.050850	정확도: 98.71%
21	검증 세트 손실: 0.091174	최선의 손실: 0.050850	정확도: 98.36%
22	검증 세트 손실: 0.094306	최선의 손실: 0.050850	정확도: 98.12%
23	검증 세트 손실: 0.060996	최선의 손실: 0.050850	정확도: 98.79%
24	검증 세트 손실: 0.064586	최선의 손실: 0.050850	정확도: 98.55%
25	검증 세트 손실: 0.054206	최선의 손실: 0.050850	정확도: 98.71%
26	검증 세트 손실: 0.065694	최선의 손실: 0.050850	정확도: 98.67%
27	검증 세트 손실: 0.066808	최선의 손실: 0.050850	정확도: 98.75%
28	검증 세트 손실: 0.070468	최선의 손실: 0.050850	정확도: 98.71%
29	검증 세트 손실: 0.074899	최선의 손실: 0.050850	정확도: 98.71%
30	검증 세트 손실: 0.071318	최선의 손실: 0.050850	정확도: 98.59%
31	검증 세트 손실: 0.055325	최선의 손실: 0.050850	정확도: 98.79%
32	검증 세트 손실: 0.054561	최선의 손실: 0.050850	정확도: 98.79%
33	검증 세트 손실: 0.061971	최선의 손실: 0.050850	정확도: 98.91%
34	검증 세트 손실: 0.055827	최선의 손실: 0.050850	정확도: 98.87%
35	검증 세트 손실: 0.070484	최선의 손실: 0.050850	정확도: 98.67%
36	검증 세트 손실: 0.103618	최선의 손실: 0.050850	정확도: 98.51%
37	검증 세트 손실: 0.105434	최선의 손실: 0.050850	정확도: 98.40%
38	검증 세트 손실: 0.077507	최선의 손실: 0.050850	정확도: 98.79%
39	검증 세트 손실: 0.068305	최선의 손실: 0.050850	정확도: 98.59%
40	검증 세트 손실: 0.089939	최선의 손실: 0.050850	정확도: 98.63%
조기 종료!
[CV]  n_neurons=140, learning_rate=0.02, batch_size=500, activation=<function elu at 0x7f8ec4ceef28>, total=  10.2s
[CV] n_neurons=140, learning_rate=0.02, batch_size=500, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.196188	최선의 손실: 0.196188	정확도: 95.04%
1	검증 세트 손실: 0.106764	최선의 손실: 0.106764	정확도: 96.44%
2	검증 세트 손실: 0.080421	최선의 손실: 0.080421	정확도: 97.34%
3	검증 세트 손실: 0.070176	최선의 손실: 0.070176	정확도: 97.93%
4	검증 세트 손실: 0.060331	최선의 손실: 0.060331	정확도: 98.24%
5	검증 세트 손실: 0.058828	최선의 손실: 0.058828	정확도: 98.28%
6	검증 세트 손실: 0.085333	최선의 손실: 0.058828	정확도: 97.81%
7	검증 세트 손실: 0.082869	최선의 손실: 0.058828	정확도: 97.62%
8	검증 세트 손실: 0.074095	최선의 손실: 0.058828	정확도: 97.81%
9	검증 세트 손실: 0.063897	최선의 손실: 0.058828	정확도: 98.32%
10	검증 세트 손실: 0.088539	최선의 손실: 0.058828	정확도: 98.08%
11	검증 세트 손실: 0.087619	최선의 손실: 0.058828	정확도: 98.87%
12	검증 세트 손실: 0.064403	최선의 손실: 0.058828	정확도: 98.75%
13	검증 세트 손실: 0.093617	최선의 손실: 0.058828	정확도: 98.51%
14	검증 세트 손실: 0.128280	최선의 손실: 0.058828	정확도: 98.20%
15	검증 세트 손실: 0.148228	최선의 손실: 0.058828	정확도: 98.63%
16	검증 세트 손실: 0.131943	최선의 손실: 0.058828	정확도: 97.93%
17	검증 세트 손실: 0.161355	최선의 손실: 0.058828	정확도: 98.67%
18	검증 세트 손실: 0.141140	최선의 손실: 0.058828	정확도: 98.98%
19	검증 세트 손실: 0.104495	최선의 손실: 0.058828	정확도: 98.79%
20	검증 세트 손실: 0.164517	최선의 손실: 0.058828	정확도: 98.63%
21	검증 세트 손실: 0.151339	최선의 손실: 0.058828	정확도: 98.67%
22	검증 세트 손실: 0.224617	최선의 손실: 0.058828	정확도: 98.75%
23	검증 세트 손실: 0.090235	최선의 손실: 0.058828	정확도: 98.91%
24	검증 세트 손실: 0.073771	최선의 손실: 0.058828	정확도: 98.91%
25	검증 세트 손실: 0.210827	최선의 손실: 0.058828	정확도: 98.28%
26	검증 세트 손실: 0.136752	최선의 손실: 0.058828	정확도: 98.55%
조기 종료!
[CV]  n_neurons=140, learning_rate=0.02, batch_size=500, activation=<function elu at 0x7f8ec4ceef28>, total=   6.9s
[CV] n_neurons=30, learning_rate=0.01, batch_size=100, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 0.101546	최선의 손실: 0.101546	정확도: 97.03%
1	검증 세트 손실: 0.082136	최선의 손실: 0.082136	정확도: 97.97%
2	검증 세트 손실: 0.072097	최선의 손실: 0.072097	정확도: 97.77%
3	검증 세트 손실: 0.076751	최선의 손실: 0.072097	정확도: 97.77%
4	검증 세트 손실: 0.086610	최선의 손실: 0.072097	정확도: 98.01%
5	검증 세트 손실: 0.109313	최선의 손실: 0.072097	정확도: 97.38%
6	검증 세트 손실: 0.084512	최선의 손실: 0.072097	정확도: 97.81%
7	검증 세트 손실: 0.053906	최선의 손실: 0.053906	정확도: 98.51%
8	검증 세트 손실: 0.072115	최선의 손실: 0.053906	정확도: 98.32%
9	검증 세트 손실: 0.049249	최선의 손실: 0.049249	정확도: 98.67%
10	검증 세트 손실: 0.053867	최선의 손실: 0.049249	정확도: 98.67%
11	검증 세트 손실: 0.073971	최선의 손실: 0.049249	정확도: 98.51%
12	검증 세트 손실: 0.085170	최선의 손실: 0.049249	정확도: 97.89%
13	검증 세트 손실: 0.055490	최선의 손실: 0.049249	정확도: 98.40%
14	검증 세트 손실: 0.091008	최선의 손실: 0.049249	정확도: 98.01%
15	검증 세트 손실: 0.086047	최선의 손실: 0.049249	정확도: 98.51%
16	검증 세트 손실: 0.077619	최선의 손실: 0.049249	정확도: 98.08%
17	검증 세트 손실: 0.071642	최선의 손실: 0.049249	정확도: 98.32%
18	검증 세트 손실: 0.074711	최선의 손실: 0.049249	정확도: 98.48%
19	검증 세트 손실: 0.075567	최선의 손실: 0.049249	정확도: 98.16%
20	검증 세트 손실: 0.081512	최선의 손실: 0.049249	정확도: 98.71%
21	검증 세트 손실: 0.090575	최선의 손실: 0.049249	정확도: 98.67%
22	검증 세트 손실: 0.078730	최선의 손실: 0.049249	정확도: 98.44%
23	검증 세트 손실: 0.068170	최선의 손실: 0.049249	정확도: 98.67%
24	검증 세트 손실: 0.084520	최선의 손실: 0.049249	정확도: 98.83%
25	검증 세트 손실: 0.097886	최선의 손실: 0.049249	정확도: 98.44%
26	검증 세트 손실: 0.078767	최선의 손실: 0.049249	정확도: 98.40%
27	검증 세트 손실: 0.098270	최선의 손실: 0.049249	정확도: 98.12%
28	검증 세트 손실: 0.102802	최선의 손실: 0.049249	정확도: 98.55%
29	검증 세트 손실: 0.093235	최선의 손실: 0.049249	정확도: 98.05%
30	검증 세트 손실: 0.188131	최선의 손실: 0.049249	정확도: 98.08%
조기 종료!
[CV]  n_neurons=30, learning_rate=0.01, batch_size=100, activation=<function relu at 0x7f8ec4c8c510>, total=   4.9s
[CV] n_neurons=30, learning_rate=0.01, batch_size=100, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 0.117540	최선의 손실: 0.117540	정확도: 96.29%
1	검증 세트 손실: 0.087592	최선의 손실: 0.087592	정확도: 97.46%
2	검증 세트 손실: 0.068490	최선의 손실: 0.068490	정확도: 97.97%
3	검증 세트 손실: 0.064289	최선의 손실: 0.064289	정확도: 98.20%
4	검증 세트 손실: 0.067965	최선의 손실: 0.064289	정확도: 98.08%
5	검증 세트 손실: 0.063595	최선의 손실: 0.063595	정확도: 98.12%
6	검증 세트 손실: 0.053204	최선의 손실: 0.053204	정확도: 98.59%
7	검증 세트 손실: 0.054387	최선의 손실: 0.053204	정확도: 98.28%
8	검증 세트 손실: 0.060520	최선의 손실: 0.053204	정확도: 98.40%
9	검증 세트 손실: 0.063563	최선의 손실: 0.053204	정확도: 98.28%
10	검증 세트 손실: 0.061216	최선의 손실: 0.053204	정확도: 98.55%
11	검증 세트 손실: 0.063242	최선의 손실: 0.053204	정확도: 98.40%
12	검증 세트 손실: 0.047236	최선의 손실: 0.047236	정확도: 98.63%
13	검증 세트 손실: 0.063282	최선의 손실: 0.047236	정확도: 98.63%
14	검증 세트 손실: 0.076994	최선의 손실: 0.047236	정확도: 98.40%
15	검증 세트 손실: 0.053452	최선의 손실: 0.047236	정확도: 98.83%
16	검증 세트 손실: 0.048381	최선의 손실: 0.047236	정확도: 98.79%
17	검증 세트 손실: 0.062976	최선의 손실: 0.047236	정확도: 98.48%
18	검증 세트 손실: 0.052734	최선의 손실: 0.047236	정확도: 98.75%
19	검증 세트 손실: 0.074565	최선의 손실: 0.047236	정확도: 98.20%
20	검증 세트 손실: 0.075304	최선의 손실: 0.047236	정확도: 98.48%
21	검증 세트 손실: 0.058000	최선의 손실: 0.047236	정확도: 98.67%
22	검증 세트 손실: 0.057406	최선의 손실: 0.047236	정확도: 98.55%
23	검증 세트 손실: 0.107294	최선의 손실: 0.047236	정확도: 98.12%
24	검증 세트 손실: 0.085174	최선의 손실: 0.047236	정확도: 98.67%
25	검증 세트 손실: 0.062431	최선의 손실: 0.047236	정확도: 98.83%
26	검증 세트 손실: 0.089923	최선의 손실: 0.047236	정확도: 98.59%
27	검증 세트 손실: 0.064975	최선의 손실: 0.047236	정확도: 98.75%
28	검증 세트 손실: 0.081977	최선의 손실: 0.047236	정확도: 98.40%
29	검증 세트 손실: 0.112734	최선의 손실: 0.047236	정확도: 98.28%
30	검증 세트 손실: 0.075127	최선의 손실: 0.047236	정확도: 98.55%
31	검증 세트 손실: 0.070647	최선의 손실: 0.047236	정확도: 98.71%
32	검증 세트 손실: 0.088370	최선의 손실: 0.047236	정확도: 98.36%
33	검증 세트 손실: 0.090565	최선의 손실: 0.047236	정확도: 98.40%
조기 종료!
[CV]  n_neurons=30, learning_rate=0.01, batch_size=100, activation=<function relu at 0x7f8ec4c8c510>, total=   5.3s
[CV] n_neurons=30, learning_rate=0.01, batch_size=100, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 0.080869	최선의 손실: 0.080869	정확도: 97.65%
1	검증 세트 손실: 0.084524	최선의 손실: 0.080869	정확도: 97.54%
2	검증 세트 손실: 0.074250	최선의 손실: 0.074250	정확도: 97.77%
3	검증 세트 손실: 0.069767	최선의 손실: 0.069767	정확도: 98.01%
4	검증 세트 손실: 0.057988	최선의 손실: 0.057988	정확도: 98.24%
5	검증 세트 손실: 0.053651	최선의 손실: 0.053651	정확도: 98.63%
6	검증 세트 손실: 0.056923	최선의 손실: 0.053651	정확도: 98.44%
7	검증 세트 손실: 0.070807	최선의 손실: 0.053651	정확도: 98.24%
8	검증 세트 손실: 0.069595	최선의 손실: 0.053651	정확도: 98.24%
9	검증 세트 손실: 0.048992	최선의 손실: 0.048992	정확도: 98.55%
10	검증 세트 손실: 0.078665	최선의 손실: 0.048992	정확도: 98.40%
11	검증 세트 손실: 0.104213	최선의 손실: 0.048992	정확도: 97.50%
12	검증 세트 손실: 0.087808	최선의 손실: 0.048992	정확도: 98.44%
13	검증 세트 손실: 0.067442	최선의 손실: 0.048992	정확도: 98.44%
14	검증 세트 손실: 0.046367	최선의 손실: 0.046367	정확도: 98.71%
15	검증 세트 손실: 0.063746	최선의 손실: 0.046367	정확도: 98.44%
16	검증 세트 손실: 0.098996	최선의 손실: 0.046367	정확도: 97.85%
17	검증 세트 손실: 0.057366	최선의 손실: 0.046367	정확도: 98.79%
18	검증 세트 손실: 0.053537	최선의 손실: 0.046367	정확도: 98.59%
19	검증 세트 손실: 0.058873	최선의 손실: 0.046367	정확도: 98.67%
20	검증 세트 손실: 0.055933	최선의 손실: 0.046367	정확도: 98.51%
21	검증 세트 손실: 0.088518	최선의 손실: 0.046367	정확도: 98.12%
22	검증 세트 손실: 0.058719	최선의 손실: 0.046367	정확도: 98.79%
23	검증 세트 손실: 0.069045	최선의 손실: 0.046367	정확도: 98.48%
24	검증 세트 손실: 0.068237	최선의 손실: 0.046367	정확도: 98.94%
25	검증 세트 손실: 0.059698	최선의 손실: 0.046367	정확도: 98.55%
26	검증 세트 손실: 0.074621	최선의 손실: 0.046367	정확도: 98.48%
27	검증 세트 손실: 0.070647	최선의 손실: 0.046367	정확도: 98.71%
28	검증 세트 손실: 0.080725	최선의 손실: 0.046367	정확도: 98.63%
29	검증 세트 손실: 0.081091	최선의 손실: 0.046367	정확도: 98.75%
30	검증 세트 손실: 0.082911	최선의 손실: 0.046367	정확도: 98.87%
31	검증 세트 손실: 0.086343	최선의 손실: 0.046367	정확도: 98.87%
32	검증 세트 손실: 0.103251	최선의 손실: 0.046367	정확도: 98.79%
33	검증 세트 손실: 0.088668	최선의 손실: 0.046367	정확도: 98.67%
34	검증 세트 손실: 0.109706	최선의 손실: 0.046367	정확도: 98.12%
35	검증 세트 손실: 0.145077	최선의 손실: 0.046367	정확도: 98.20%
조기 종료!
[CV]  n_neurons=30, learning_rate=0.01, batch_size=100, activation=<function relu at 0x7f8ec4c8c510>, total=   5.5s
[CV] n_neurons=50, learning_rate=0.05, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 
0	검증 세트 손실: 0.212875	최선의 손실: 0.212875	정확도: 95.23%
1	검증 세트 손실: 0.113960	최선의 손실: 0.113960	정확도: 96.79%
2	검증 세트 손실: 0.097396	최선의 손실: 0.097396	정확도: 97.34%
3	검증 세트 손실: 0.080144	최선의 손실: 0.080144	정확도: 97.58%
4	검증 세트 손실: 0.074924	최선의 손실: 0.074924	정확도: 97.69%
5	검증 세트 손실: 0.067560	최선의 손실: 0.067560	정확도: 97.85%
6	검증 세트 손실: 0.072236	최선의 손실: 0.067560	정확도: 97.73%
7	검증 세트 손실: 0.074215	최선의 손실: 0.067560	정확도: 97.97%
8	검증 세트 손실: 0.088533	최선의 손실: 0.067560	정확도: 97.85%
9	검증 세트 손실: 0.074745	최선의 손실: 0.067560	정확도: 98.20%
10	검증 세트 손실: 0.077253	최선의 손실: 0.067560	정확도: 98.01%
11	검증 세트 손실: 0.090083	최선의 손실: 0.067560	정확도: 97.93%
12	검증 세트 손실: 0.074602	최선의 손실: 0.067560	정확도: 98.05%
13	검증 세트 손실: 0.085689	최선의 손실: 0.067560	정확도: 97.93%
14	검증 세트 손실: 0.089099	최선의 손실: 0.067560	정확도: 97.85%
15	검증 세트 손실: 0.103719	최선의 손실: 0.067560	정확도: 97.42%
16	검증 세트 손실: 0.080579	최선의 손실: 0.067560	정확도: 97.81%
17	검증 세트 손실: 0.087162	최선의 손실: 0.067560	정확도: 97.65%
18	검증 세트 손실: 0.082101	최선의 손실: 0.067560	정확도: 98.16%
19	검증 세트 손실: 0.084787	최선의 손실: 0.067560	정확도: 97.93%
20	검증 세트 손실: 0.096990	최선의 손실: 0.067560	정확도: 97.65%
21	검증 세트 손실: 0.103908	최선의 손실: 0.067560	정확도: 97.69%
22	검증 세트 손실: 0.109099	최선의 손실: 0.067560	정확도: 97.69%
23	검증 세트 손실: 0.102675	최선의 손실: 0.067560	정확도: 97.77%
24	검증 세트 손실: 0.101835	최선의 손실: 0.067560	정확도: 98.05%
25	검증 세트 손실: 0.110644	최선의 손실: 0.067560	정확도: 97.65%
26	검증 세트 손실: 0.100249	최선의 손실: 0.067560	정확도: 97.89%
조기 종료!
[CV]  n_neurons=50, learning_rate=0.05, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total=   3.8s
[CV] n_neurons=50, learning_rate=0.05, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 
0	검증 세트 손실: 0.213180	최선의 손실: 0.213180	정확도: 93.59%
1	검증 세트 손실: 0.124260	최선의 손실: 0.124260	정확도: 96.17%
2	검증 세트 손실: 0.085883	최선의 손실: 0.085883	정확도: 97.15%
3	검증 세트 손실: 0.092605	최선의 손실: 0.085883	정확도: 97.30%
4	검증 세트 손실: 0.089042	최선의 손실: 0.085883	정확도: 97.38%
5	검증 세트 손실: 0.078863	최선의 손실: 0.078863	정확도: 97.46%
6	검증 세트 손실: 0.082750	최선의 손실: 0.078863	정확도: 97.42%
7	검증 세트 손실: 0.083143	최선의 손실: 0.078863	정확도: 97.77%
8	검증 세트 손실: 0.107170	최선의 손실: 0.078863	정확도: 96.87%
9	검증 세트 손실: 0.069031	최선의 손실: 0.069031	정확도: 97.85%
10	검증 세트 손실: 0.077893	최선의 손실: 0.069031	정확도: 97.85%
11	검증 세트 손실: 0.085357	최선의 손실: 0.069031	정확도: 97.46%
12	검증 세트 손실: 0.084824	최선의 손실: 0.069031	정확도: 97.62%
13	검증 세트 손실: 0.079653	최선의 손실: 0.069031	정확도: 97.97%
14	검증 세트 손실: 0.073391	최선의 손실: 0.069031	정확도: 97.93%
15	검증 세트 손실: 0.078991	최선의 손실: 0.069031	정확도: 97.65%
16	검증 세트 손실: 0.078874	최선의 손실: 0.069031	정확도: 98.01%
17	검증 세트 손실: 0.103181	최선의 손실: 0.069031	정확도: 97.69%
18	검증 세트 손실: 0.070365	최선의 손실: 0.069031	정확도: 97.93%
19	검증 세트 손실: 0.081235	최선의 손실: 0.069031	정확도: 97.81%
20	검증 세트 손실: 0.126838	최선의 손실: 0.069031	정확도: 97.38%
21	검증 세트 손실: 0.095968	최선의 손실: 0.069031	정확도: 97.69%
22	검증 세트 손실: 0.078708	최선의 손실: 0.069031	정확도: 98.28%
23	검증 세트 손실: 0.088696	최선의 손실: 0.069031	정확도: 98.05%
24	검증 세트 손실: 0.091864	최선의 손실: 0.069031	정확도: 97.77%
25	검증 세트 손실: 0.080878	최선의 손실: 0.069031	정확도: 98.28%
26	검증 세트 손실: 0.103983	최선의 손실: 0.069031	정확도: 98.05%
27	검증 세트 손실: 0.103126	최선의 손실: 0.069031	정확도: 98.32%
28	검증 세트 손실: 0.101387	최선의 손실: 0.069031	정확도: 98.32%
29	검증 세트 손실: 0.106423	최선의 손실: 0.069031	정확도: 98.01%
30	검증 세트 손실: 0.072576	최선의 손실: 0.069031	정확도: 98.24%
조기 종료!
[CV]  n_neurons=50, learning_rate=0.05, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total=   4.2s
[CV] n_neurons=50, learning_rate=0.05, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 
0	검증 세트 손실: 0.166428	최선의 손실: 0.166428	정확도: 95.43%
1	검증 세트 손실: 0.121890	최선의 손실: 0.121890	정확도: 96.72%
2	검증 세트 손실: 0.095715	최선의 손실: 0.095715	정확도: 97.34%
3	검증 세트 손실: 0.097156	최선의 손실: 0.095715	정확도: 97.15%
4	검증 세트 손실: 0.092978	최선의 손실: 0.092978	정확도: 97.34%
5	검증 세트 손실: 0.077669	최선의 손실: 0.077669	정확도: 97.93%
6	검증 세트 손실: 0.079195	최선의 손실: 0.077669	정확도: 97.58%
7	검증 세트 손실: 0.120522	최선의 손실: 0.077669	정확도: 96.60%
8	검증 세트 손실: 0.091598	최선의 손실: 0.077669	정확도: 98.05%
9	검증 세트 손실: 0.069478	최선의 손실: 0.069478	정확도: 98.12%
10	검증 세트 손실: 0.077665	최선의 손실: 0.069478	정확도: 98.20%
11	검증 세트 손실: 0.112279	최선의 손실: 0.069478	정확도: 97.11%
12	검증 세트 손실: 0.073951	최선의 손실: 0.069478	정확도: 98.44%
13	검증 세트 손실: 0.080725	최선의 손실: 0.069478	정확도: 98.32%
14	검증 세트 손실: 0.085754	최선의 손실: 0.069478	정확도: 98.28%
15	검증 세트 손실: 0.086104	최선의 손실: 0.069478	정확도: 98.71%
16	검증 세트 손실: 0.071641	최선의 손실: 0.069478	정확도: 98.32%
17	검증 세트 손실: 0.076974	최선의 손실: 0.069478	정확도: 98.16%
18	검증 세트 손실: 0.077270	최선의 손실: 0.069478	정확도: 98.51%
19	검증 세트 손실: 0.075749	최선의 손실: 0.069478	정확도: 98.67%
20	검증 세트 손실: 0.075004	최선의 손실: 0.069478	정확도: 98.55%
21	검증 세트 손실: 0.088684	최선의 손실: 0.069478	정확도: 98.55%
22	검증 세트 손실: 0.073580	최선의 손실: 0.069478	정확도: 98.36%
23	검증 세트 손실: 0.085322	최선의 손실: 0.069478	정확도: 98.44%
24	검증 세트 손실: 0.094158	최선의 손실: 0.069478	정확도: 98.24%
25	검증 세트 손실: 0.083997	최선의 손실: 0.069478	정확도: 97.97%
26	검증 세트 손실: 0.086031	최선의 손실: 0.069478	정확도: 98.55%
27	검증 세트 손실: 0.116207	최선의 손실: 0.069478	정확도: 98.05%
28	검증 세트 손실: 0.108292	최선의 손실: 0.069478	정확도: 98.28%
29	검증 세트 손실: 0.119581	최선의 손실: 0.069478	정확도: 98.40%
30	검증 세트 손실: 0.080126	최선의 손실: 0.069478	정확도: 98.44%
조기 종료!
[CV]  n_neurons=50, learning_rate=0.05, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total=   4.2s
[CV] n_neurons=70, learning_rate=0.02, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 
0	검증 세트 손실: 0.104764	최선의 손실: 0.104764	정확도: 96.91%
1	검증 세트 손실: 0.110970	최선의 손실: 0.104764	정확도: 96.76%
2	검증 세트 손실: 0.115587	최선의 손실: 0.104764	정확도: 96.79%
3	검증 세트 손실: 0.116857	최선의 손실: 0.104764	정확도: 97.62%
4	검증 세트 손실: 0.123063	최선의 손실: 0.104764	정확도: 98.32%
5	검증 세트 손실: 0.952959	최선의 손실: 0.104764	정확도: 95.47%
6	검증 세트 손실: 0.451843	최선의 손실: 0.104764	정확도: 97.22%
7	검증 세트 손실: 0.316619	최선의 손실: 0.104764	정확도: 97.62%
8	검증 세트 손실: 0.338952	최선의 손실: 0.104764	정확도: 97.73%
9	검증 세트 손실: 0.365099	최선의 손실: 0.104764	정확도: 97.73%
10	검증 세트 손실: 0.302474	최선의 손실: 0.104764	정확도: 97.85%
11	검증 세트 손실: 0.300077	최선의 손실: 0.104764	정확도: 98.16%
12	검증 세트 손실: 0.330472	최선의 손실: 0.104764	정확도: 97.77%
13	검증 세트 손실: 0.297387	최선의 손실: 0.104764	정확도: 98.01%
14	검증 세트 손실: 0.390530	최선의 손실: 0.104764	정확도: 98.01%
15	검증 세트 손실: 0.370889	최선의 손실: 0.104764	정확도: 97.81%
16	검증 세트 손실: 0.382760	최선의 손실: 0.104764	정확도: 97.38%
17	검증 세트 손실: 0.489265	최선의 손실: 0.104764	정확도: 98.05%
18	검증 세트 손실: 0.457509	최선의 손실: 0.104764	정확도: 97.77%
19	검증 세트 손실: 0.555101	최선의 손실: 0.104764	정확도: 97.97%
20	검증 세트 손실: 0.411939	최선의 손실: 0.104764	정확도: 97.81%
21	검증 세트 손실: 0.248465	최선의 손실: 0.104764	정확도: 98.20%
조기 종료!
[CV]  n_neurons=70, learning_rate=0.02, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total=   5.9s
[CV] n_neurons=70, learning_rate=0.02, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 
0	검증 세트 손실: 0.121848	최선의 손실: 0.121848	정확도: 97.03%
1	검증 세트 손실: 0.106237	최선의 손실: 0.106237	정확도: 97.11%
2	검증 세트 손실: 29.268187	최선의 손실: 0.106237	정확도: 74.20%
3	검증 세트 손실: 0.971927	최선의 손실: 0.106237	정확도: 95.04%
4	검증 세트 손실: 0.813555	최선의 손실: 0.106237	정확도: 96.17%
5	검증 세트 손실: 0.823636	최선의 손실: 0.106237	정확도: 95.19%
6	검증 세트 손실: 0.744390	최선의 손실: 0.106237	정확도: 95.97%
7	검증 세트 손실: 0.296253	최선의 손실: 0.106237	정확도: 96.68%
8	검증 세트 손실: 0.440452	최선의 손실: 0.106237	정확도: 97.07%
9	검증 세트 손실: 0.358504	최선의 손실: 0.106237	정확도: 96.72%
10	검증 세트 손실: 0.463130	최선의 손실: 0.106237	정확도: 97.30%
11	검증 세트 손실: 0.406218	최선의 손실: 0.106237	정확도: 97.15%
12	검증 세트 손실: 0.403257	최선의 손실: 0.106237	정확도: 96.79%
13	검증 세트 손실: 0.490214	최선의 손실: 0.106237	정확도: 97.11%
14	검증 세트 손실: 0.533155	최선의 손실: 0.106237	정확도: 96.99%
15	검증 세트 손실: 0.461475	최선의 손실: 0.106237	정확도: 97.11%
16	검증 세트 손실: 0.186743	최선의 손실: 0.106237	정확도: 97.22%
17	검증 세트 손실: 0.355679	최선의 손실: 0.106237	정확도: 97.54%
18	검증 세트 손실: 0.415325	최선의 손실: 0.106237	정확도: 97.58%
19	검증 세트 손실: 0.402398	최선의 손실: 0.106237	정확도: 97.62%
20	검증 세트 손실: 0.425782	최선의 손실: 0.106237	정확도: 97.46%
21	검증 세트 손실: 0.724683	최선의 손실: 0.106237	정확도: 97.97%
22	검증 세트 손실: 0.431599	최선의 손실: 0.106237	정확도: 97.93%
조기 종료!
[CV]  n_neurons=70, learning_rate=0.02, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total=   6.1s
[CV] n_neurons=70, learning_rate=0.02, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 
0	검증 세트 손실: 0.147452	최선의 손실: 0.147452	정확도: 96.56%
1	검증 세트 손실: 0.131744	최선의 손실: 0.131744	정확도: 96.52%
2	검증 세트 손실: 49.168221	최선의 손실: 0.131744	정확도: 72.75%
3	검증 세트 손실: 0.826743	최선의 손실: 0.131744	정확도: 91.16%
4	검증 세트 손실: 0.480151	최선의 손실: 0.131744	정확도: 93.75%
5	검증 세트 손실: 0.258057	최선의 손실: 0.131744	정확도: 94.57%
6	검증 세트 손실: 0.244983	최선의 손실: 0.131744	정확도: 95.47%
7	검증 세트 손실: 0.196643	최선의 손실: 0.131744	정확도: 96.25%
8	검증 세트 손실: 0.204151	최선의 손실: 0.131744	정확도: 96.21%
9	검증 세트 손실: 0.149058	최선의 손실: 0.131744	정확도: 96.76%
10	검증 세트 손실: 0.188256	최선의 손실: 0.131744	정확도: 95.82%
11	검증 세트 손실: 0.125892	최선의 손실: 0.125892	정확도: 96.91%
12	검증 세트 손실: 0.141992	최선의 손실: 0.125892	정확도: 96.83%
13	검증 세트 손실: 0.121019	최선의 손실: 0.121019	정확도: 96.99%
14	검증 세트 손실: 0.138222	최선의 손실: 0.121019	정확도: 96.95%
15	검증 세트 손실: 0.140306	최선의 손실: 0.121019	정확도: 97.42%
16	검증 세트 손실: 0.150200	최선의 손실: 0.121019	정확도: 97.07%
17	검증 세트 손실: 0.109025	최선의 손실: 0.109025	정확도: 97.42%
18	검증 세트 손실: 0.104251	최선의 손실: 0.104251	정확도: 97.58%
19	검증 세트 손실: 0.121654	최선의 손실: 0.104251	정확도: 97.42%
20	검증 세트 손실: 0.112447	최선의 손실: 0.104251	정확도: 97.81%
21	검증 세트 손실: 0.123894	최선의 손실: 0.104251	정확도: 97.69%
22	검증 세트 손실: 0.099557	최선의 손실: 0.099557	정확도: 97.89%
23	검증 세트 손실: 0.159849	최선의 손실: 0.099557	정확도: 96.91%
24	검증 세트 손실: 0.148704	최선의 손실: 0.099557	정확도: 97.15%
25	검증 세트 손실: 0.125386	최선의 손실: 0.099557	정확도: 97.73%
26	검증 세트 손실: 0.134735	최선의 손실: 0.099557	정확도: 97.42%
27	검증 세트 손실: 0.080927	최선의 손실: 0.080927	정확도: 98.08%
28	검증 세트 손실: 0.105084	최선의 손실: 0.080927	정확도: 98.05%
29	검증 세트 손실: 0.144913	최선의 손실: 0.080927	정확도: 98.01%
30	검증 세트 손실: 0.153863	최선의 손실: 0.080927	정확도: 98.20%
31	검증 세트 손실: 0.173227	최선의 손실: 0.080927	정확도: 96.44%
32	검증 세트 손실: 0.148350	최선의 손실: 0.080927	정확도: 97.54%
33	검증 세트 손실: 53.899048	최선의 손실: 0.080927	정확도: 93.47%
34	검증 세트 손실: 8.181740	최선의 손실: 0.080927	정확도: 93.43%
35	검증 세트 손실: 1.644172	최선의 손실: 0.080927	정확도: 96.52%
36	검증 세트 손실: 5.560501	최선의 손실: 0.080927	정확도: 89.01%
37	검증 세트 손실: 2.844989	최선의 손실: 0.080927	정확도: 95.39%
38	검증 세트 손실: 1.567148	최선의 손실: 0.080927	정확도: 97.03%
39	검증 세트 손실: 0.928165	최선의 손실: 0.080927	정확도: 96.91%
40	검증 세트 손실: 1.197466	최선의 손실: 0.080927	정확도: 96.83%
41	검증 세트 손실: 1.261754	최선의 손실: 0.080927	정확도: 97.11%
42	검증 세트 손실: 0.942041	최선의 손실: 0.080927	정확도: 97.34%
43	검증 세트 손실: 0.874590	최선의 손실: 0.080927	정확도: 97.15%
44	검증 세트 손실: 3.794028	최선의 손실: 0.080927	정확도: 94.06%
45	검증 세트 손실: 2.195916	최선의 손실: 0.080927	정확도: 96.87%
46	검증 세트 손실: 2.110135	최선의 손실: 0.080927	정확도: 97.03%
47	검증 세트 손실: 1.546300	최선의 손실: 0.080927	정확도: 97.07%
48	검증 세트 손실: 1.424338	최선의 손실: 0.080927	정확도: 97.19%
조기 종료!
[CV]  n_neurons=70, learning_rate=0.02, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total=  12.3s
[CV] n_neurons=90, learning_rate=0.01, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 
0	검증 세트 손실: 0.475466	최선의 손실: 0.475466	정확도: 93.59%
1	검증 세트 손실: 0.302092	최선의 손실: 0.302092	정확도: 96.01%
2	검증 세트 손실: 10.128198	최선의 손실: 0.302092	정확도: 92.73%
3	검증 세트 손실: 5.049921	최선의 손실: 0.302092	정확도: 90.19%
4	검증 세트 손실: 1.259876	최선의 손실: 0.302092	정확도: 96.83%
5	검증 세트 손실: 0.825007	최선의 손실: 0.302092	정확도: 93.75%
6	검증 세트 손실: 8.117816	최선의 손실: 0.302092	정확도: 97.30%
7	검증 세트 손실: 3.077305	최선의 손실: 0.302092	정확도: 97.58%
8	검증 세트 손실: 8.266293	최선의 손실: 0.302092	정확도: 94.33%
9	검증 세트 손실: 1.739522	최선의 손실: 0.302092	정확도: 97.46%
10	검증 세트 손실: 130.548615	최선의 손실: 0.302092	정확도: 87.26%
11	검증 세트 손실: 4.166711	최선의 손실: 0.302092	정확도: 96.91%
12	검증 세트 손실: 9.805109	최선의 손실: 0.302092	정확도: 88.12%
13	검증 세트 손실: 8.978096	최선의 손실: 0.302092	정확도: 97.34%
14	검증 세트 손실: 2.830909	최선의 손실: 0.302092	정확도: 97.89%
15	검증 세트 손실: 8.124592	최선의 손실: 0.302092	정확도: 96.29%
16	검증 세트 손실: 30.275734	최선의 손실: 0.302092	정확도: 94.53%
17	검증 세트 손실: 16.806889	최선의 손실: 0.302092	정확도: 97.15%
18	검증 세트 손실: 10.392700	최선의 손실: 0.302092	정확도: 97.15%
19	검증 세트 손실: 76.933311	최선의 손실: 0.302092	정확도: 97.19%
20	검증 세트 손실: 8.496105	최선의 손실: 0.302092	정확도: 97.85%
21	검증 세트 손실: 54.145645	최선의 손실: 0.302092	정확도: 96.52%
22	검증 세트 손실: 9.423366	최선의 손실: 0.302092	정확도: 97.85%
조기 종료!
[CV]  n_neurons=90, learning_rate=0.01, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total=  28.6s
[CV] n_neurons=90, learning_rate=0.01, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 
0	검증 세트 손실: 0.322664	최선의 손실: 0.322664	정확도: 95.27%
1	검증 세트 손실: 0.239424	최선의 손실: 0.239424	정확도: 96.44%
2	검증 세트 손실: 4.080631	최선의 손실: 0.239424	정확도: 86.63%
3	검증 세트 손실: 2.127025	최선의 손실: 0.239424	정확도: 95.27%
4	검증 세트 손실: 1224.474976	최선의 손실: 0.239424	정확도: 81.51%
5	검증 세트 손실: 11.318857	최선의 손실: 0.239424	정확도: 94.10%
6	검증 세트 손실: 7.605726	최선의 손실: 0.239424	정확도: 95.97%
7	검증 세트 손실: 9.102454	최선의 손실: 0.239424	정확도: 95.58%
8	검증 세트 손실: 5.329578	최선의 손실: 0.239424	정확도: 96.29%
9	검증 세트 손실: 4.898393	최선의 손실: 0.239424	정확도: 97.19%
10	검증 세트 손실: 5.767895	최선의 손실: 0.239424	정확도: 92.42%
11	검증 세트 손실: 38.172001	최선의 손실: 0.239424	정확도: 96.60%
12	검증 세트 손실: 24.067675	최선의 손실: 0.239424	정확도: 96.83%
13	검증 세트 손실: 27.473158	최선의 손실: 0.239424	정확도: 96.17%
14	검증 세트 손실: 13.990355	최선의 손실: 0.239424	정확도: 96.87%
15	검증 세트 손실: 65.843689	최선의 손실: 0.239424	정확도: 94.92%
16	검증 세트 손실: 42.763481	최선의 손실: 0.239424	정확도: 86.16%
17	검증 세트 손실: 21.726654	최선의 손실: 0.239424	정확도: 95.35%
18	검증 세트 손실: 19.359486	최선의 손실: 0.239424	정확도: 97.46%
19	검증 세트 손실: 16.141985	최선의 손실: 0.239424	정확도: 97.46%
20	검증 세트 손실: 1991.519165	최선의 손실: 0.239424	정확도: 88.15%
21	검증 세트 손실: 84.043564	최선의 손실: 0.239424	정확도: 97.50%
22	검증 세트 손실: 73.727104	최선의 손실: 0.239424	정확도: 96.95%
조기 종료!
[CV]  n_neurons=90, learning_rate=0.01, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total=  28.6s
[CV] n_neurons=90, learning_rate=0.01, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 
0	검증 세트 손실: 0.188516	최선의 손실: 0.188516	정확도: 94.92%
1	검증 세트 손실: 10.295843	최선의 손실: 0.188516	정확도: 93.63%
2	검증 세트 손실: 0.635980	최선의 손실: 0.188516	정확도: 94.25%
3	검증 세트 손실: 0.334137	최선의 손실: 0.188516	정확도: 95.43%
4	검증 세트 손실: 0.229747	최선의 손실: 0.188516	정확도: 96.05%
5	검증 세트 손실: 3.329450	최선의 손실: 0.188516	정확도: 96.05%
6	검증 세트 손실: 3.178295	최선의 손실: 0.188516	정확도: 95.74%
7	검증 세트 손실: 1.098882	최선의 손실: 0.188516	정확도: 94.64%
8	검증 세트 손실: 195.374496	최선의 손실: 0.188516	정확도: 86.04%
9	검증 세트 손실: 14.428573	최선의 손실: 0.188516	정확도: 96.52%
10	검증 세트 손실: 7.824399	최선의 손실: 0.188516	정확도: 96.21%
11	검증 세트 손실: 26.915749	최선의 손실: 0.188516	정확도: 96.52%
12	검증 세트 손실: 10.239435	최선의 손실: 0.188516	정확도: 97.03%
13	검증 세트 손실: 11.052656	최선의 손실: 0.188516	정확도: 95.07%
14	검증 세트 손실: 103.122841	최선의 손실: 0.188516	정확도: 89.33%
15	검증 세트 손실: 19.128649	최선의 손실: 0.188516	정확도: 97.22%
16	검증 세트 손실: 25.325024	최선의 손실: 0.188516	정확도: 96.48%
17	검증 세트 손실: 39.080345	최선의 손실: 0.188516	정확도: 94.53%
18	검증 세트 손실: 10.191827	최선의 손실: 0.188516	정확도: 97.85%
19	검증 세트 손실: 10.222118	최선의 손실: 0.188516	정확도: 97.93%
20	검증 세트 손실: 18.783682	최선의 손실: 0.188516	정확도: 96.79%
21	검증 세트 손실: 35.674007	최선의 손실: 0.188516	정확도: 97.34%
조기 종료!
[CV]  n_neurons=90, learning_rate=0.01, batch_size=10, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total=  27.4s
[CV] n_neurons=160, learning_rate=0.1, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 
0	검증 세트 손실: 229.776566	최선의 손실: 229.776566	정확도: 79.48%
1	검증 세트 손실: 20.699251	최선의 손실: 20.699251	정확도: 86.59%
2	검증 세트 손실: 17.141878	최선의 손실: 17.141878	정확도: 88.58%
3	검증 세트 손실: 7.321049	최선의 손실: 7.321049	정확도: 95.27%
4	검증 세트 손실: 6.495243	최선의 손실: 6.495243	정확도: 95.82%
5	검증 세트 손실: 6.825683	최선의 손실: 6.495243	정확도: 95.58%
6	검증 세트 손실: 8.297174	최선의 손실: 6.495243	정확도: 94.64%
7	검증 세트 손실: 538466304.000000	최선의 손실: 6.495243	정확도: 20.91%
8	검증 세트 손실: 1529012.125000	최선의 손실: 6.495243	정확도: 80.73%
9	검증 세트 손실: 623438.562500	최선의 손실: 6.495243	정확도: 88.00%
10	검증 세트 손실: 266087.625000	최선의 손실: 6.495243	정확도: 92.42%
11	검증 세트 손실: 337267.781250	최선의 손실: 6.495243	정확도: 90.11%
12	검증 세트 손실: 342276.218750	최선의 손실: 6.495243	정확도: 88.90%
13	검증 세트 손실: 184370.015625	최선의 손실: 6.495243	정확도: 94.45%
14	검증 세트 손실: 181424.718750	최선의 손실: 6.495243	정확도: 94.80%
15	검증 세트 손실: 176432.640625	최선의 손실: 6.495243	정확도: 93.75%
16	검증 세트 손실: 222241.796875	최선의 손실: 6.495243	정확도: 92.53%
17	검증 세트 손실: 269230.437500	최선의 손실: 6.495243	정확도: 90.50%
18	검증 세트 손실: 132893.265625	최선의 손실: 6.495243	정확도: 95.39%
19	검증 세트 손실: 140754.015625	최선의 손실: 6.495243	정확도: 94.88%
20	검증 세트 손실: 102696.468750	최선의 손실: 6.495243	정확도: 94.88%
21	검증 세트 손실: 123749.492188	최선의 손실: 6.495243	정확도: 94.06%
22	검증 세트 손실: 69386.281250	최선의 손실: 6.495243	정확도: 97.03%
23	검증 세트 손실: 113141.664062	최선의 손실: 6.495243	정확도: 94.92%
24	검증 세트 손실: 104763.382812	최선의 손실: 6.495243	정확도: 95.70%
25	검증 세트 손실: 62012.835938	최선의 손실: 6.495243	정확도: 96.09%
조기 종료!
[CV]  n_neurons=160, learning_rate=0.1, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total=  14.5s
[CV] n_neurons=160, learning_rate=0.1, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 
0	검증 세트 손실: 21.073196	최선의 손실: 21.073196	정확도: 95.62%
1	검증 세트 손실: 21.004370	최선의 손실: 21.004370	정확도: 94.45%
2	검증 세트 손실: 9.828447	최선의 손실: 9.828447	정확도: 95.86%
3	검증 세트 손실: 10.499786	최선의 손실: 9.828447	정확도: 94.25%
4	검증 세트 손실: 5.722643	최선의 손실: 5.722643	정확도: 95.35%
5	검증 세트 손실: 11.052079	최선의 손실: 5.722643	정확도: 94.57%
6	검증 세트 손실: 7.833131	최선의 손실: 5.722643	정확도: 95.62%
7	검증 세트 손실: 4.466578	최선의 손실: 4.466578	정확도: 96.91%
8	검증 세트 손실: 7.031312	최선의 손실: 4.466578	정확도: 97.34%
9	검증 세트 손실: 8.615594	최선의 손실: 4.466578	정확도: 97.77%
10	검증 세트 손실: 12.335620	최선의 손실: 4.466578	정확도: 97.54%
11	검증 세트 손실: 3.977342	최선의 손실: 3.977342	정확도: 97.30%
12	검증 세트 손실: 42.028915	최선의 손실: 3.977342	정확도: 91.28%
13	검증 세트 손실: 7242921.500000	최선의 손실: 3.977342	정확도: 66.54%
14	검증 세트 손실: 1070739.250000	최선의 손실: 3.977342	정확도: 88.19%
15	검증 세트 손실: 318424.156250	최선의 손실: 3.977342	정확도: 94.33%
16	검증 세트 손실: 288400.718750	최선의 손실: 3.977342	정확도: 94.02%
17	검증 세트 손실: 326722.187500	최선의 손실: 3.977342	정확도: 93.59%
18	검증 세트 손실: 192223.671875	최선의 손실: 3.977342	정확도: 95.70%
19	검증 세트 손실: 175696.234375	최선의 손실: 3.977342	정확도: 94.88%
20	검증 세트 손실: 152586.484375	최선의 손실: 3.977342	정확도: 95.62%
21	검증 세트 손실: 195839.125000	최선의 손실: 3.977342	정확도: 94.49%
22	검증 세트 손실: 244862.031250	최선의 손실: 3.977342	정확도: 93.67%
23	검증 세트 손실: 121826.914062	최선의 손실: 3.977342	정확도: 96.56%
24	검증 세트 손실: 426404.468750	최선의 손실: 3.977342	정확도: 92.61%
25	검증 세트 손실: 586206.625000	최선의 손실: 3.977342	정확도: 95.15%
26	검증 세트 손실: 169520.093750	최선의 손실: 3.977342	정확도: 96.36%
27	검증 세트 손실: 258327.968750	최선의 손실: 3.977342	정확도: 91.52%
28	검증 세트 손실: 88482.695312	최선의 손실: 3.977342	정확도: 96.64%
29	검증 세트 손실: 92769.328125	최선의 손실: 3.977342	정확도: 96.40%
30	검증 세트 손실: 73152.312500	최선의 손실: 3.977342	정확도: 96.68%
31	검증 세트 손실: 4868630.500000	최선의 손실: 3.977342	정확도: 75.92%
32	검증 세트 손실: 295372.562500	최선의 손실: 3.977342	정확도: 96.44%
조기 종료!
[CV]  n_neurons=160, learning_rate=0.1, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total=  17.4s
[CV] n_neurons=160, learning_rate=0.1, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 
0	검증 세트 손실: 25.031332	최선의 손실: 25.031332	정확도: 92.30%
1	검증 세트 손실: 7.950551	최선의 손실: 7.950551	정확도: 96.17%
2	검증 세트 손실: 10.695778	최선의 손실: 7.950551	정확도: 94.06%
3	검증 세트 손실: 5.013413	최선의 손실: 5.013413	정확도: 95.54%
4	검증 세트 손실: 19.368286	최선의 손실: 5.013413	정확도: 95.82%
5	검증 세트 손실: 5.899230	최선의 손실: 5.013413	정확도: 95.00%
6	검증 세트 손실: 3.887156	최선의 손실: 3.887156	정확도: 96.40%
7	검증 세트 손실: 2.915875	최선의 손실: 2.915875	정확도: 96.40%
8	검증 세트 손실: 2.438939	최선의 손실: 2.438939	정확도: 96.48%
9	검증 세트 손실: 1.821742	최선의 손실: 1.821742	정확도: 95.11%
10	검증 세트 손실: 2.350601	최선의 손실: 1.821742	정확도: 97.03%
11	검증 세트 손실: 1.594784	최선의 손실: 1.594784	정확도: 96.99%
12	검증 세트 손실: 2.739270	최선의 손실: 1.594784	정확도: 97.03%
13	검증 세트 손실: 1.659018	최선의 손실: 1.594784	정확도: 96.87%
14	검증 세트 손실: 229213136.000000	최선의 손실: 1.594784	정확도: 20.88%
15	검증 세트 손실: 1176500.750000	최선의 손실: 1.594784	정확도: 87.53%
16	검증 세트 손실: 520692.687500	최선의 손실: 1.594784	정확도: 91.09%
17	검증 세트 손실: 538571.062500	최선의 손실: 1.594784	정확도: 88.70%
18	검증 세트 손실: 518620.125000	최선의 손실: 1.594784	정확도: 90.30%
19	검증 세트 손실: 359306.968750	최선의 손실: 1.594784	정확도: 93.47%
20	검증 세트 손실: 403564.500000	최선의 손실: 1.594784	정확도: 91.13%
21	검증 세트 손실: 293534.312500	최선의 손실: 1.594784	정확도: 92.92%
22	검증 세트 손실: 363580.656250	최선의 손실: 1.594784	정확도: 90.66%
23	검증 세트 손실: 214087.906250	최선의 손실: 1.594784	정확도: 95.00%
24	검증 세트 손실: 178531.484375	최선의 손실: 1.594784	정확도: 94.64%
25	검증 세트 손실: 125044.140625	최선의 손실: 1.594784	정확도: 96.25%
26	검증 세트 손실: 142592.296875	최선의 손실: 1.594784	정확도: 95.19%
27	검증 세트 손실: 100110.757812	최선의 손실: 1.594784	정확도: 96.05%
28	검증 세트 손실: 133092.531250	최선의 손실: 1.594784	정확도: 95.54%
29	검증 세트 손실: 120479.914062	최선의 손실: 1.594784	정확도: 95.90%
30	검증 세트 손실: 169424.984375	최선의 손실: 1.594784	정확도: 94.21%
31	검증 세트 손실: 135970.203125	최선의 손실: 1.594784	정확도: 95.39%
32	검증 세트 손실: 190387.937500	최선의 손실: 1.594784	정확도: 94.88%
조기 종료!
[CV]  n_neurons=160, learning_rate=0.1, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total=  18.0s
[CV] n_neurons=50, learning_rate=0.02, batch_size=100, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.128125	최선의 손실: 0.128125	정확도: 96.21%
1	검증 세트 손실: 0.076847	최선의 손실: 0.076847	정확도: 97.77%
2	검증 세트 손실: 0.081225	최선의 손실: 0.076847	정확도: 98.01%
3	검증 세트 손실: 0.259084	최선의 손실: 0.076847	정확도: 94.53%
4	검증 세트 손실: 0.092201	최선의 손실: 0.076847	정확도: 97.46%
5	검증 세트 손실: 0.080498	최선의 손실: 0.076847	정확도: 98.01%
6	검증 세트 손실: 0.071261	최선의 손실: 0.071261	정확도: 98.20%
7	검증 세트 손실: 0.077360	최선의 손실: 0.071261	정확도: 97.77%
8	검증 세트 손실: 0.075587	최선의 손실: 0.071261	정확도: 98.48%
9	검증 세트 손실: 0.084049	최선의 손실: 0.071261	정확도: 97.93%
10	검증 세트 손실: 0.083736	최선의 손실: 0.071261	정확도: 98.32%
11	검증 세트 손실: 0.081517	최선의 손실: 0.071261	정확도: 98.28%
12	검증 세트 손실: 0.154429	최선의 손실: 0.071261	정확도: 98.05%
13	검증 세트 손실: 0.094747	최선의 손실: 0.071261	정확도: 97.97%
14	검증 세트 손실: 0.087996	최선의 손실: 0.071261	정확도: 98.24%
15	검증 세트 손실: 0.100009	최선의 손실: 0.071261	정확도: 98.16%
16	검증 세트 손실: 0.127307	최선의 손실: 0.071261	정확도: 98.20%
17	검증 세트 손실: 0.124522	최선의 손실: 0.071261	정확도: 98.20%
18	검증 세트 손실: 0.154355	최선의 손실: 0.071261	정확도: 97.77%
19	검증 세트 손실: 0.181520	최선의 손실: 0.071261	정확도: 97.22%
20	검증 세트 손실: 2.379292	최선의 손실: 0.071261	정확도: 23.06%
21	검증 세트 손실: 1.633029	최선의 손실: 0.071261	정확도: 19.27%
22	검증 세트 손실: 1.680514	최선의 손실: 0.071261	정확도: 18.73%
23	검증 세트 손실: 1.614563	최선의 손실: 0.071261	정확도: 18.73%
24	검증 세트 손실: 1.652274	최선의 손실: 0.071261	정확도: 22.01%
25	검증 세트 손실: 1.642487	최선의 손실: 0.071261	정확도: 19.08%
26	검증 세트 손실: 1.619384	최선의 손실: 0.071261	정확도: 18.73%
27	검증 세트 손실: 1.628378	최선의 손실: 0.071261	정확도: 22.01%
조기 종료!
[CV]  n_neurons=50, learning_rate=0.02, batch_size=100, activation=<function elu at 0x7f8ec4ceef28>, total=   5.6s
[CV] n_neurons=50, learning_rate=0.02, batch_size=100, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.097519	최선의 손실: 0.097519	정확도: 97.38%
1	검증 세트 손실: 0.073545	최선의 손실: 0.073545	정확도: 97.93%
2	검증 세트 손실: 0.081690	최선의 손실: 0.073545	정확도: 98.12%
3	검증 세트 손실: 0.091164	최선의 손실: 0.073545	정확도: 97.19%
4	검증 세트 손실: 0.090690	최선의 손실: 0.073545	정확도: 98.20%
5	검증 세트 손실: 0.075847	최선의 손실: 0.073545	정확도: 98.28%
6	검증 세트 손실: 0.161183	최선의 손실: 0.073545	정확도: 95.58%
7	검증 세트 손실: 1.242745	최선의 손실: 0.073545	정확도: 40.70%
8	검증 세트 손실: 1.626086	최선의 손실: 0.073545	정확도: 19.27%
9	검증 세트 손실: 1.644277	최선의 손실: 0.073545	정확도: 22.01%
10	검증 세트 손실: 1.616003	최선의 손실: 0.073545	정확도: 19.27%
11	검증 세트 손실: 1.639876	최선의 손실: 0.073545	정확도: 19.27%
12	검증 세트 손실: 1.612612	최선의 손실: 0.073545	정확도: 22.01%
13	검증 세트 손실: 1.619093	최선의 손실: 0.073545	정확도: 18.73%
14	검증 세트 손실: 1.622101	최선의 손실: 0.073545	정확도: 20.91%
15	검증 세트 손실: 1.612316	최선의 손실: 0.073545	정확도: 19.08%
16	검증 세트 손실: 1.621943	최선의 손실: 0.073545	정확도: 18.73%
17	검증 세트 손실: 1.621764	최선의 손실: 0.073545	정확도: 20.91%
18	검증 세트 손실: 1.650773	최선의 손실: 0.073545	정확도: 22.01%
19	검증 세트 손실: 1.627065	최선의 손실: 0.073545	정확도: 20.91%
20	검증 세트 손실: 1.635777	최선의 손실: 0.073545	정확도: 19.27%
21	검증 세트 손실: 1.706719	최선의 손실: 0.073545	정확도: 22.01%
22	검증 세트 손실: 1.654456	최선의 손실: 0.073545	정확도: 19.27%
조기 종료!
[CV]  n_neurons=50, learning_rate=0.02, batch_size=100, activation=<function elu at 0x7f8ec4ceef28>, total=   4.6s
[CV] n_neurons=50, learning_rate=0.02, batch_size=100, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.093366	최선의 손실: 0.093366	정확도: 97.62%
1	검증 세트 손실: 0.074509	최선의 손실: 0.074509	정확도: 98.16%
2	검증 세트 손실: 0.081435	최선의 손실: 0.074509	정확도: 97.73%
3	검증 세트 손실: 0.080707	최선의 손실: 0.074509	정확도: 98.28%
4	검증 세트 손실: 0.233169	최선의 손실: 0.074509	정확도: 94.25%
5	검증 세트 손실: 0.730965	최선의 손실: 0.074509	정확도: 68.53%
6	검증 세트 손실: 0.226025	최선의 손실: 0.074509	정확도: 93.98%
7	검증 세트 손실: 0.144147	최선의 손실: 0.074509	정확도: 96.44%
8	검증 세트 손실: 0.240434	최선의 손실: 0.074509	정확도: 93.71%
9	검증 세트 손실: 0.111681	최선의 손실: 0.074509	정확도: 96.95%
10	검증 세트 손실: 0.130078	최선의 손실: 0.074509	정확도: 97.15%
11	검증 세트 손실: 0.114416	최선의 손실: 0.074509	정확도: 97.07%
12	검증 세트 손실: 0.106231	최선의 손실: 0.074509	정확도: 97.46%
13	검증 세트 손실: 0.115389	최선의 손실: 0.074509	정확도: 97.22%
14	검증 세트 손실: 1.350455	최선의 손실: 0.074509	정확도: 42.22%
15	검증 세트 손실: 1.169615	최선의 손실: 0.074509	정확도: 38.98%
16	검증 세트 손실: 0.762143	최선의 손실: 0.074509	정확도: 60.48%
17	검증 세트 손실: 0.738644	최선의 손실: 0.074509	정확도: 56.96%
18	검증 세트 손실: 0.741815	최선의 손실: 0.074509	정확도: 59.46%
19	검증 세트 손실: 0.548005	최선의 손실: 0.074509	정확도: 76.08%
20	검증 세트 손실: 0.486599	최선의 손실: 0.074509	정확도: 88.39%
21	검증 세트 손실: 0.279082	최선의 손실: 0.074509	정확도: 93.90%
22	검증 세트 손실: 0.207288	최선의 손실: 0.074509	정확도: 95.62%
조기 종료!
[CV]  n_neurons=50, learning_rate=0.02, batch_size=100, activation=<function elu at 0x7f8ec4ceef28>, total=   4.6s
[CV] n_neurons=10, learning_rate=0.02, batch_size=100, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 0.105743	최선의 손실: 0.105743	정확도: 96.99%
1	검증 세트 손실: 0.116263	최선의 손실: 0.105743	정확도: 96.68%
2	검증 세트 손실: 0.129429	최선의 손실: 0.105743	정확도: 96.91%
3	검증 세트 손실: 0.120343	최선의 손실: 0.105743	정확도: 96.36%
4	검증 세트 손실: 0.117303	최선의 손실: 0.105743	정확도: 97.07%
5	검증 세트 손실: 0.128803	최선의 손실: 0.105743	정확도: 97.07%
6	검증 세트 손실: 0.133219	최선의 손실: 0.105743	정확도: 96.44%
7	검증 세트 손실: 0.135619	최선의 손실: 0.105743	정확도: 96.72%
8	검증 세트 손실: 0.134518	최선의 손실: 0.105743	정확도: 96.79%
9	검증 세트 손실: 0.109813	최선의 손실: 0.105743	정확도: 97.62%
10	검증 세트 손실: 0.128924	최선의 손실: 0.105743	정확도: 97.34%
11	검증 세트 손실: 0.158304	최선의 손실: 0.105743	정확도: 96.79%
12	검증 세트 손실: 0.123416	최선의 손실: 0.105743	정확도: 96.83%
13	검증 세트 손실: 0.135163	최선의 손실: 0.105743	정확도: 96.33%
14	검증 세트 손실: 0.145279	최선의 손실: 0.105743	정확도: 96.68%
15	검증 세트 손실: 0.120019	최선의 손실: 0.105743	정확도: 97.11%
16	검증 세트 손실: 0.120676	최선의 손실: 0.105743	정확도: 96.99%
17	검증 세트 손실: 0.126129	최선의 손실: 0.105743	정확도: 97.15%
18	검증 세트 손실: 0.117159	최선의 손실: 0.105743	정확도: 97.42%
19	검증 세트 손실: 0.116228	최선의 손실: 0.105743	정확도: 97.42%
20	검증 세트 손실: 0.127836	최선의 손실: 0.105743	정확도: 96.91%
21	검증 세트 손실: 0.121806	최선의 손실: 0.105743	정확도: 97.34%
조기 종료!
[CV]  n_neurons=10, learning_rate=0.02, batch_size=100, activation=<function relu at 0x7f8ec4c8c510>, total=   3.0s
[CV] n_neurons=10, learning_rate=0.02, batch_size=100, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 0.205078	최선의 손실: 0.205078	정확도: 94.41%
1	검증 세트 손실: 0.177834	최선의 손실: 0.177834	정확도: 95.27%
2	검증 세트 손실: 0.175616	최선의 손실: 0.175616	정확도: 95.35%
3	검증 세트 손실: 0.173348	최선의 손실: 0.173348	정확도: 95.47%
4	검증 세트 손실: 0.148174	최선의 손실: 0.148174	정확도: 95.47%
5	검증 세트 손실: 0.147101	최선의 손실: 0.147101	정확도: 95.86%
6	검증 세트 손실: 0.133235	최선의 손실: 0.133235	정확도: 96.36%
7	검증 세트 손실: 0.122361	최선의 손실: 0.122361	정확도: 96.33%
8	검증 세트 손실: 0.120778	최선의 손실: 0.120778	정확도: 96.56%
9	검증 세트 손실: 0.127373	최선의 손실: 0.120778	정확도: 96.44%
10	검증 세트 손실: 0.133204	최선의 손실: 0.120778	정확도: 96.36%
11	검증 세트 손실: 0.133598	최선의 손실: 0.120778	정확도: 96.64%
12	검증 세트 손실: 0.139547	최선의 손실: 0.120778	정확도: 96.29%
13	검증 세트 손실: 0.127319	최선의 손실: 0.120778	정확도: 96.01%
14	검증 세트 손실: 0.129422	최선의 손실: 0.120778	정확도: 96.95%
15	검증 세트 손실: 0.125028	최선의 손실: 0.120778	정확도: 96.36%
16	검증 세트 손실: 0.129063	최선의 손실: 0.120778	정확도: 96.36%
17	검증 세트 손실: 0.137604	최선의 손실: 0.120778	정확도: 96.33%
18	검증 세트 손실: 0.135213	최선의 손실: 0.120778	정확도: 96.17%
19	검증 세트 손실: 0.132013	최선의 손실: 0.120778	정확도: 96.48%
20	검증 세트 손실: 0.125327	최선의 손실: 0.120778	정확도: 96.36%
21	검증 세트 손실: 0.138782	최선의 손실: 0.120778	정확도: 96.25%
22	검증 세트 손실: 0.165192	최선의 손실: 0.120778	정확도: 95.70%
23	검증 세트 손실: 0.123123	최선의 손실: 0.120778	정확도: 96.83%
24	검증 세트 손실: 0.156955	최선의 손실: 0.120778	정확도: 96.48%
25	검증 세트 손실: 0.132729	최선의 손실: 0.120778	정확도: 96.40%
26	검증 세트 손실: 0.136676	최선의 손실: 0.120778	정확도: 96.56%
27	검증 세트 손실: 0.163499	최선의 손실: 0.120778	정확도: 96.13%
28	검증 세트 손실: 0.157212	최선의 손실: 0.120778	정확도: 96.13%
29	검증 세트 손실: 0.145529	최선의 손실: 0.120778	정확도: 96.52%
조기 종료!
[CV]  n_neurons=10, learning_rate=0.02, batch_size=100, activation=<function relu at 0x7f8ec4c8c510>, total=   3.8s
[CV] n_neurons=10, learning_rate=0.02, batch_size=100, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 0.126185	최선의 손실: 0.126185	정확도: 96.40%
1	검증 세트 손실: 0.159818	최선의 손실: 0.126185	정확도: 95.62%
2	검증 세트 손실: 0.133942	최선의 손실: 0.126185	정확도: 96.09%
3	검증 세트 손실: 0.121002	최선의 손실: 0.121002	정확도: 96.64%
4	검증 세트 손실: 0.125002	최선의 손실: 0.121002	정확도: 96.95%
5	검증 세트 손실: 0.118410	최선의 손실: 0.118410	정확도: 96.91%
6	검증 세트 손실: 0.102481	최선의 손실: 0.102481	정확도: 97.15%
7	검증 세트 손실: 0.125537	최선의 손실: 0.102481	정확도: 96.91%
8	검증 세트 손실: 0.114726	최선의 손실: 0.102481	정확도: 97.07%
9	검증 세트 손실: 0.109566	최선의 손실: 0.102481	정확도: 96.79%
10	검증 세트 손실: 0.109199	최선의 손실: 0.102481	정확도: 96.56%
11	검증 세트 손실: 0.116124	최선의 손실: 0.102481	정확도: 96.83%
12	검증 세트 손실: 0.149495	최선의 손실: 0.102481	정확도: 96.56%
13	검증 세트 손실: 0.109874	최선의 손실: 0.102481	정확도: 97.03%
14	검증 세트 손실: 0.120062	최선의 손실: 0.102481	정확도: 96.95%
15	검증 세트 손실: 0.106172	최선의 손실: 0.102481	정확도: 97.38%
16	검증 세트 손실: 0.126584	최선의 손실: 0.102481	정확도: 96.76%
17	검증 세트 손실: 0.089111	최선의 손실: 0.089111	정확도: 97.50%
18	검증 세트 손실: 0.122468	최선의 손실: 0.089111	정확도: 97.54%
19	검증 세트 손실: 0.134081	최선의 손실: 0.089111	정확도: 96.56%
20	검증 세트 손실: 0.123148	최선의 손실: 0.089111	정확도: 96.79%
21	검증 세트 손실: 0.132268	최선의 손실: 0.089111	정확도: 96.99%
22	검증 세트 손실: 0.106595	최선의 손실: 0.089111	정확도: 97.38%
23	검증 세트 손실: 0.103340	최선의 손실: 0.089111	정확도: 97.26%
24	검증 세트 손실: 0.087171	최선의 손실: 0.087171	정확도: 97.46%
25	검증 세트 손실: 0.099652	최선의 손실: 0.087171	정확도: 97.81%
26	검증 세트 손실: 0.139918	최선의 손실: 0.087171	정확도: 95.47%
27	검증 세트 손실: 0.090692	최선의 손실: 0.087171	정확도: 97.62%
28	검증 세트 손실: 0.093938	최선의 손실: 0.087171	정확도: 97.54%
29	검증 세트 손실: 0.121995	최선의 손실: 0.087171	정확도: 97.73%
30	검증 세트 손실: 0.140460	최선의 손실: 0.087171	정확도: 97.34%
31	검증 세트 손실: 0.091696	최선의 손실: 0.087171	정확도: 97.69%
32	검증 세트 손실: 0.123331	최선의 손실: 0.087171	정확도: 97.69%
33	검증 세트 손실: 0.095594	최선의 손실: 0.087171	정확도: 97.46%
34	검증 세트 손실: 0.124214	최선의 손실: 0.087171	정확도: 97.07%
35	검증 세트 손실: 0.130664	최선의 손실: 0.087171	정확도: 97.22%
36	검증 세트 손실: 0.107884	최선의 손실: 0.087171	정확도: 97.30%
37	검증 세트 손실: 0.118614	최선의 손실: 0.087171	정확도: 97.58%
38	검증 세트 손실: 0.107883	최선의 손실: 0.087171	정확도: 97.69%
39	검증 세트 손실: 0.126352	최선의 손실: 0.087171	정확도: 97.34%
40	검증 세트 손실: 0.103935	최선의 손실: 0.087171	정확도: 97.69%
41	검증 세트 손실: 0.090888	최선의 손실: 0.087171	정확도: 97.89%
42	검증 세트 손실: 0.102644	최선의 손실: 0.087171	정확도: 97.65%
43	검증 세트 손실: 0.098611	최선의 손실: 0.087171	정확도: 97.69%
44	검증 세트 손실: 0.114765	최선의 손실: 0.087171	정확도: 97.30%
45	검증 세트 손실: 0.116323	최선의 손실: 0.087171	정확도: 97.38%
조기 종료!
[CV]  n_neurons=10, learning_rate=0.02, batch_size=100, activation=<function relu at 0x7f8ec4c8c510>, total=   5.7s
[CV] n_neurons=30, learning_rate=0.02, batch_size=10, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 0.164784	최선의 손실: 0.164784	정확도: 95.90%
1	검증 세트 손실: 0.393070	최선의 손실: 0.164784	정확도: 88.98%
2	검증 세트 손실: 0.193971	최선의 손실: 0.164784	정확도: 95.39%
3	검증 세트 손실: 0.382710	최선의 손실: 0.164784	정확도: 95.27%
4	검증 세트 손실: 0.172598	최선의 손실: 0.164784	정확도: 95.62%
5	검증 세트 손실: 0.220875	최선의 손실: 0.164784	정확도: 94.49%
6	검증 세트 손실: 0.261813	최선의 손실: 0.164784	정확도: 94.61%
7	검증 세트 손실: 0.569741	최선의 손실: 0.164784	정확도: 81.47%
8	검증 세트 손실: 0.646094	최선의 손실: 0.164784	정확도: 72.13%
9	검증 세트 손실: 0.626084	최선의 손실: 0.164784	정확도: 73.61%
10	검증 세트 손실: 1.148254	최선의 손실: 0.164784	정확도: 45.62%
11	검증 세트 손실: 1.605580	최선의 손실: 0.164784	정확도: 22.44%
12	검증 세트 손실: 1.602822	최선의 손실: 0.164784	정확도: 22.40%
13	검증 세트 손실: 1.606532	최선의 손실: 0.164784	정확도: 19.08%
14	검증 세트 손실: 1.604871	최선의 손실: 0.164784	정확도: 22.40%
15	검증 세트 손실: 1.603492	최선의 손실: 0.164784	정확도: 22.40%
16	검증 세트 손실: 1.602391	최선의 손실: 0.164784	정확도: 22.40%
17	검증 세트 손실: 1.605263	최선의 손실: 0.164784	정확도: 19.66%
18	검증 세트 손실: 1.608718	최선의 손실: 0.164784	정확도: 22.40%
19	검증 세트 손실: 1.604215	최선의 손실: 0.164784	정확도: 19.08%
20	검증 세트 손실: 1.605054	최선의 손실: 0.164784	정확도: 21.31%
21	검증 세트 손실: 1.611725	최선의 손실: 0.164784	정확도: 19.66%
조기 종료!
[CV]  n_neurons=30, learning_rate=0.02, batch_size=10, activation=<function relu at 0x7f8ec4c8c510>, total=  17.4s
[CV] n_neurons=30, learning_rate=0.02, batch_size=10, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 0.322729	최선의 손실: 0.322729	정확도: 92.22%
1	검증 세트 손실: 0.175447	최선의 손실: 0.175447	정확도: 95.19%
2	검증 세트 손실: 0.488897	최선의 손실: 0.175447	정확도: 74.86%
3	검증 세트 손실: 0.921867	최선의 손실: 0.175447	정확도: 63.92%
4	검증 세트 손실: 0.650850	최선의 손실: 0.175447	정확도: 80.06%
5	검증 세트 손실: 0.497511	최선의 손실: 0.175447	정확도: 87.92%
6	검증 세트 손실: 0.672267	최선의 손실: 0.175447	정확도: 73.22%
7	검증 세트 손실: 0.392059	최선의 손실: 0.175447	정확도: 91.13%
8	검증 세트 손실: 0.329278	최선의 손실: 0.175447	정확도: 95.07%
9	검증 세트 손실: 0.444679	최선의 손실: 0.175447	정확도: 89.13%
10	검증 세트 손실: 0.353014	최선의 손실: 0.175447	정확도: 92.46%
11	검증 세트 손실: 0.367487	최선의 손실: 0.175447	정확도: 91.24%
12	검증 세트 손실: 0.330715	최선의 손실: 0.175447	정확도: 94.88%
13	검증 세트 손실: 0.555855	최선의 손실: 0.175447	정확도: 89.21%
14	검증 세트 손실: 0.504962	최선의 손실: 0.175447	정확도: 87.96%
15	검증 세트 손실: 0.350783	최선의 손실: 0.175447	정확도: 94.92%
16	검증 세트 손실: 0.461362	최선의 손실: 0.175447	정확도: 87.18%
17	검증 세트 손실: 0.398294	최선의 손실: 0.175447	정확도: 93.94%
18	검증 세트 손실: 0.368053	최선의 손실: 0.175447	정확도: 96.60%
19	검증 세트 손실: 0.443209	최선의 손실: 0.175447	정확도: 90.54%
20	검증 세트 손실: 0.411704	최선의 손실: 0.175447	정확도: 93.35%
21	검증 세트 손실: 0.712801	최선의 손실: 0.175447	정확도: 82.02%
22	검증 세트 손실: 0.437240	최선의 손실: 0.175447	정확도: 90.81%
조기 종료!
[CV]  n_neurons=30, learning_rate=0.02, batch_size=10, activation=<function relu at 0x7f8ec4c8c510>, total=  18.3s
[CV] n_neurons=30, learning_rate=0.02, batch_size=10, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 0.207515	최선의 손실: 0.207515	정확도: 94.96%
1	검증 세트 손실: 0.176637	최선의 손실: 0.176637	정확도: 95.66%
2	검증 세트 손실: 0.335180	최선의 손실: 0.176637	정확도: 90.81%
3	검증 세트 손실: 0.293437	최선의 손실: 0.176637	정확도: 92.30%
4	검증 세트 손실: 0.170755	최선의 손실: 0.170755	정확도: 95.39%
5	검증 세트 손실: 0.489114	최선의 손실: 0.170755	정확도: 76.39%
6	검증 세트 손실: 0.446404	최선의 손실: 0.170755	정확도: 85.65%
7	검증 세트 손실: 0.296574	최선의 손실: 0.170755	정확도: 93.04%
8	검증 세트 손실: 0.229575	최선의 손실: 0.170755	정확도: 95.39%
9	검증 세트 손실: 0.283897	최선의 손실: 0.170755	정확도: 93.28%
10	검증 세트 손실: 0.222595	최선의 손실: 0.170755	정확도: 94.18%
11	검증 세트 손실: 0.390861	최선의 손실: 0.170755	정확도: 89.80%
12	검증 세트 손실: 0.541708	최선의 손실: 0.170755	정확도: 75.10%
13	검증 세트 손실: 0.511386	최선의 손실: 0.170755	정확도: 77.37%
14	검증 세트 손실: 0.408998	최선의 손실: 0.170755	정확도: 84.21%
15	검증 세트 손실: 1.193759	최선의 손실: 0.170755	정확도: 41.99%
16	검증 세트 손실: 1.173714	최선의 손실: 0.170755	정확도: 42.57%
17	검증 세트 손실: 1.178119	최선의 손실: 0.170755	정확도: 38.51%
18	검증 세트 손실: 1.158817	최선의 손실: 0.170755	정확도: 42.34%
19	검증 세트 손실: 1.161195	최선의 손실: 0.170755	정확도: 39.41%
20	검증 세트 손실: 1.155494	최선의 손실: 0.170755	정확도: 42.73%
21	검증 세트 손실: 1.167830	최선의 손실: 0.170755	정확도: 42.73%
22	검증 세트 손실: 1.159312	최선의 손실: 0.170755	정확도: 39.41%
23	검증 세트 손실: 1.166471	최선의 손실: 0.170755	정확도: 42.73%
24	검증 세트 손실: 1.156795	최선의 손실: 0.170755	정확도: 42.73%
25	검증 세트 손실: 1.150899	최선의 손실: 0.170755	정확도: 42.73%
조기 종료!
[CV]  n_neurons=30, learning_rate=0.02, batch_size=10, activation=<function relu at 0x7f8ec4c8c510>, total=  20.3s
[CV] n_neurons=120, learning_rate=0.01, batch_size=100, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 0.075344	최선의 손실: 0.075344	정확도: 97.65%
1	검증 세트 손실: 0.073830	최선의 손실: 0.073830	정확도: 98.08%
2	검증 세트 손실: 0.059857	최선의 손실: 0.059857	정확도: 98.44%
3	검증 세트 손실: 0.094209	최선의 손실: 0.059857	정확도: 98.20%
4	검증 세트 손실: 0.075635	최선의 손실: 0.059857	정확도: 98.28%
5	검증 세트 손실: 0.084996	최선의 손실: 0.059857	정확도: 98.12%
6	검증 세트 손실: 0.294046	최선의 손실: 0.059857	정확도: 97.46%
7	검증 세트 손실: 0.165618	최선의 손실: 0.059857	정확도: 96.95%
8	검증 세트 손실: 0.098870	최선의 손실: 0.059857	정확도: 97.34%
9	검증 세트 손실: 0.065961	최선의 손실: 0.059857	정확도: 98.32%
10	검증 세트 손실: 0.073386	최선의 손실: 0.059857	정확도: 98.40%
11	검증 세트 손실: 0.164333	최선의 손실: 0.059857	정확도: 96.05%
12	검증 세트 손실: 0.123105	최선의 손실: 0.059857	정확도: 98.32%
13	검증 세트 손실: 0.146339	최선의 손실: 0.059857	정확도: 97.34%
14	검증 세트 손실: 0.114013	최선의 손실: 0.059857	정확도: 98.16%
15	검증 세트 손실: 0.114416	최선의 손실: 0.059857	정확도: 97.77%
16	검증 세트 손실: 0.077662	최선의 손실: 0.059857	정확도: 98.36%
17	검증 세트 손실: 0.110555	최선의 손실: 0.059857	정확도: 98.28%
18	검증 세트 손실: 0.118245	최선의 손실: 0.059857	정확도: 98.36%
19	검증 세트 손실: 0.075816	최선의 손실: 0.059857	정확도: 98.48%
20	검증 세트 손실: 0.077546	최선의 손실: 0.059857	정확도: 98.40%
21	검증 세트 손실: 0.116682	최선의 손실: 0.059857	정확도: 98.16%
22	검증 세트 손실: 2.854653	최선의 손실: 0.059857	정확도: 80.81%
23	검증 세트 손실: 0.140482	최선의 손실: 0.059857	정확도: 98.83%
조기 종료!
[CV]  n_neurons=120, learning_rate=0.01, batch_size=100, activation=<function relu at 0x7f8ec4c8c510>, total=   8.7s
[CV] n_neurons=120, learning_rate=0.01, batch_size=100, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 0.098573	최선의 손실: 0.098573	정확도: 97.65%
1	검증 세트 손실: 0.068084	최선의 손실: 0.068084	정확도: 98.16%
2	검증 세트 손실: 0.067996	최선의 손실: 0.067996	정확도: 98.12%
3	검증 세트 손실: 0.057274	최선의 손실: 0.057274	정확도: 98.20%
4	검증 세트 손실: 0.044082	최선의 손실: 0.044082	정확도: 98.51%
5	검증 세트 손실: 0.049112	최선의 손실: 0.044082	정확도: 98.71%
6	검증 세트 손실: 1.106520	최선의 손실: 0.044082	정확도: 88.98%
7	검증 세트 손실: 0.076707	최선의 손실: 0.044082	정확도: 97.85%
8	검증 세트 손실: 0.066381	최선의 손실: 0.044082	정확도: 98.44%
9	검증 세트 손실: 0.071855	최선의 손실: 0.044082	정확도: 98.40%
10	검증 세트 손실: 0.062106	최선의 손실: 0.044082	정확도: 98.55%
11	검증 세트 손실: 0.077370	최선의 손실: 0.044082	정확도: 98.48%
12	검증 세트 손실: 0.095278	최선의 손실: 0.044082	정확도: 98.16%
13	검증 세트 손실: 0.063336	최선의 손실: 0.044082	정확도: 98.51%
14	검증 세트 손실: 0.069274	최선의 손실: 0.044082	정확도: 98.83%
15	검증 세트 손실: 0.075871	최선의 손실: 0.044082	정확도: 98.48%
16	검증 세트 손실: 0.080395	최선의 손실: 0.044082	정확도: 98.67%
17	검증 세트 손실: 0.073136	최선의 손실: 0.044082	정확도: 98.55%
18	검증 세트 손실: 0.071227	최선의 손실: 0.044082	정확도: 98.83%
19	검증 세트 손실: 0.138496	최선의 손실: 0.044082	정확도: 98.20%
20	검증 세트 손실: 0.103102	최선의 손실: 0.044082	정확도: 98.63%
21	검증 세트 손실: 0.130320	최선의 손실: 0.044082	정확도: 98.83%
22	검증 세트 손실: 0.428272	최선의 손실: 0.044082	정확도: 97.93%
23	검증 세트 손실: 0.347639	최선의 손실: 0.044082	정확도: 98.55%
24	검증 세트 손실: 0.101881	최선의 손실: 0.044082	정확도: 98.71%
25	검증 세트 손실: 0.052243	최선의 손실: 0.044082	정확도: 99.02%
조기 종료!
[CV]  n_neurons=120, learning_rate=0.01, batch_size=100, activation=<function relu at 0x7f8ec4c8c510>, total=   9.3s
[CV] n_neurons=120, learning_rate=0.01, batch_size=100, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 0.078001	최선의 손실: 0.078001	정확도: 97.85%
1	검증 세트 손실: 0.072618	최선의 손실: 0.072618	정확도: 98.05%
2	검증 세트 손실: 0.070087	최선의 손실: 0.070087	정확도: 98.08%
3	검증 세트 손실: 0.071379	최선의 손실: 0.070087	정확도: 98.16%
4	검증 세트 손실: 0.075052	최선의 손실: 0.070087	정확도: 97.58%
5	검증 세트 손실: 0.119483	최선의 손실: 0.070087	정확도: 97.65%
6	검증 세트 손실: 0.095994	최선의 손실: 0.070087	정확도: 97.69%
7	검증 세트 손실: 0.065574	최선의 손실: 0.065574	정확도: 98.59%
8	검증 세트 손실: 0.074721	최선의 손실: 0.065574	정확도: 98.16%
9	검증 세트 손실: 0.057990	최선의 손실: 0.057990	정확도: 98.55%
10	검증 세트 손실: 0.107921	최선의 손실: 0.057990	정확도: 98.63%
11	검증 세트 손실: 0.058926	최선의 손실: 0.057990	정확도: 98.87%
12	검증 세트 손실: 0.162880	최선의 손실: 0.057990	정확도: 97.26%
13	검증 세트 손실: 0.067843	최선의 손실: 0.057990	정확도: 98.71%
14	검증 세트 손실: 0.130447	최선의 손실: 0.057990	정확도: 98.71%
15	검증 세트 손실: 0.062617	최선의 손실: 0.057990	정확도: 98.59%
16	검증 세트 손실: 0.085667	최선의 손실: 0.057990	정확도: 98.55%
17	검증 세트 손실: 0.064317	최선의 손실: 0.057990	정확도: 98.83%
18	검증 세트 손실: 0.058387	최선의 손실: 0.057990	정확도: 98.75%
19	검증 세트 손실: 0.067949	최선의 손실: 0.057990	정확도: 98.83%
20	검증 세트 손실: 0.184325	최선의 손실: 0.057990	정확도: 97.42%
21	검증 세트 손실: 0.121191	최선의 손실: 0.057990	정확도: 98.36%
22	검증 세트 손실: 0.155771	최선의 손실: 0.057990	정확도: 96.79%
23	검증 세트 손실: 0.122737	최선의 손실: 0.057990	정확도: 96.99%
24	검증 세트 손실: 0.103095	최선의 손실: 0.057990	정확도: 98.55%
25	검증 세트 손실: 0.080420	최선의 손실: 0.057990	정확도: 98.79%
26	검증 세트 손실: 0.051451	최선의 손실: 0.051451	정확도: 98.71%
27	검증 세트 손실: 0.057824	최선의 손실: 0.051451	정확도: 98.98%
28	검증 세트 손실: 0.068738	최선의 손실: 0.051451	정확도: 99.18%
29	검증 세트 손실: 0.076596	최선의 손실: 0.051451	정확도: 99.10%
30	검증 세트 손실: 0.063843	최선의 손실: 0.051451	정확도: 99.10%
31	검증 세트 손실: 0.066339	최선의 손실: 0.051451	정확도: 98.87%
32	검증 세트 손실: 0.090036	최선의 손실: 0.051451	정확도: 98.87%
33	검증 세트 손실: 0.082966	최선의 손실: 0.051451	정확도: 98.08%
34	검증 세트 손실: 0.115264	최선의 손실: 0.051451	정확도: 98.36%
35	검증 세트 손실: 0.198582	최선의 손실: 0.051451	정확도: 97.97%
36	검증 세트 손실: 0.122167	최선의 손실: 0.051451	정확도: 98.63%
37	검증 세트 손실: 0.078618	최선의 손실: 0.051451	정확도: 98.83%
38	검증 세트 손실: 0.088503	최선의 손실: 0.051451	정확도: 98.98%
39	검증 세트 손실: 0.169790	최선의 손실: 0.051451	정확도: 99.06%
40	검증 세트 손실: 0.340368	최선의 손실: 0.051451	정확도: 98.24%
41	검증 세트 손실: 0.140925	최선의 손실: 0.051451	정확도: 97.65%
42	검증 세트 손실: 0.300344	최선의 손실: 0.051451	정확도: 95.11%
43	검증 세트 손실: 0.150650	최선의 손실: 0.051451	정확도: 97.11%
44	검증 세트 손실: 0.688458	최선의 손실: 0.051451	정확도: 86.16%
45	검증 세트 손실: 0.196016	최선의 손실: 0.051451	정확도: 97.65%
46	검증 세트 손실: 0.180504	최선의 손실: 0.051451	정확도: 95.23%
47	검증 세트 손실: 0.460098	최선의 손실: 0.051451	정확도: 97.58%
조기 종료!
[CV]  n_neurons=120, learning_rate=0.01, batch_size=100, activation=<function relu at 0x7f8ec4c8c510>, total=  16.9s
[CV] n_neurons=120, learning_rate=0.01, batch_size=10, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 0.201966	최선의 손실: 0.201966	정확도: 94.57%
1	검증 세트 손실: 0.234719	최선의 손실: 0.201966	정확도: 94.10%
2	검증 세트 손실: 0.445972	최선의 손실: 0.201966	정확도: 83.58%
3	검증 세트 손실: 1.192057	최선의 손실: 0.201966	정확도: 44.29%
4	검증 세트 손실: 0.567835	최선의 손실: 0.201966	정확도: 74.00%
5	검증 세트 손실: 0.680432	최선의 손실: 0.201966	정확도: 72.36%
6	검증 세트 손실: 0.499933	최선의 손실: 0.201966	정확도: 75.06%
7	검증 세트 손실: 0.282034	최선의 손실: 0.201966	정확도: 94.96%
8	검증 세트 손실: 0.460329	최선의 손실: 0.201966	정확도: 86.59%
9	검증 세트 손실: 0.466551	최선의 손실: 0.201966	정확도: 77.09%
10	검증 세트 손실: 0.535966	최선의 손실: 0.201966	정확도: 94.18%
11	검증 세트 손실: 0.792121	최선의 손실: 0.201966	정확도: 59.23%
12	검증 세트 손실: 0.845066	최선의 손실: 0.201966	정확도: 61.85%
13	검증 세트 손실: 1.231377	최선의 손실: 0.201966	정확도: 53.87%
14	검증 세트 손실: 1.029100	최선의 손실: 0.201966	정확도: 40.23%
15	검증 세트 손실: 1.028726	최선의 손실: 0.201966	정확도: 39.84%
16	검증 세트 손실: 1.027991	최선의 손실: 0.201966	정확도: 39.84%
17	검증 세트 손실: 1.029007	최선의 손실: 0.201966	정확도: 38.90%
18	검증 세트 손실: 1.029122	최선의 손실: 0.201966	정확도: 40.23%
19	검증 세트 손실: 1.031220	최선의 손실: 0.201966	정확도: 39.29%
20	검증 세트 손실: 1.024060	최선의 손실: 0.201966	정확도: 39.29%
21	검증 세트 손실: 1.029693	최선의 손실: 0.201966	정확도: 39.84%
조기 종료!
[CV]  n_neurons=120, learning_rate=0.01, batch_size=10, activation=<function relu at 0x7f8ec4c8c510>, total=  28.5s
[CV] n_neurons=120, learning_rate=0.01, batch_size=10, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 0.171695	최선의 손실: 0.171695	정확도: 96.21%
1	검증 세트 손실: 1.612393	최선의 손실: 0.171695	정확도: 19.27%
2	검증 세트 손실: 1.609583	최선의 손실: 0.171695	정확도: 22.01%
3	검증 세트 손실: 1.614159	최선의 손실: 0.171695	정확도: 22.01%
4	검증 세트 손실: 1.611102	최선의 손실: 0.171695	정확도: 22.01%
5	검증 세트 손실: 1.608539	최선의 손실: 0.171695	정확도: 22.01%
6	검증 세트 손실: 1.614227	최선의 손실: 0.171695	정확도: 19.08%
7	검증 세트 손실: 1.610501	최선의 손실: 0.171695	정확도: 22.01%
8	검증 세트 손실: 1.608937	최선의 손실: 0.171695	정확도: 22.01%
9	검증 세트 손실: 1.607984	최선의 손실: 0.171695	정확도: 22.01%
10	검증 세트 손실: 1.611025	최선의 손실: 0.171695	정확도: 22.01%
11	검증 세트 손실: 1.610161	최선의 손실: 0.171695	정확도: 22.01%
12	검증 세트 손실: 1.609380	최선의 손실: 0.171695	정확도: 22.01%
13	검증 세트 손실: 1.610887	최선의 손실: 0.171695	정확도: 19.27%
14	검증 세트 손실: 1.608783	최선의 손실: 0.171695	정확도: 22.01%
15	검증 세트 손실: 1.609201	최선의 손실: 0.171695	정확도: 22.01%
16	검증 세트 손실: 1.610897	최선의 손실: 0.171695	정확도: 22.01%
17	검증 세트 손실: 1.611614	최선의 손실: 0.171695	정확도: 18.73%
18	검증 세트 손실: 1.610137	최선의 손실: 0.171695	정확도: 22.01%
19	검증 세트 손실: 1.609074	최선의 손실: 0.171695	정확도: 22.01%
20	검증 세트 손실: 1.609576	최선의 손실: 0.171695	정확도: 22.01%
21	검증 세트 손실: 1.612212	최선의 손실: 0.171695	정확도: 22.01%
조기 종료!
[CV]  n_neurons=120, learning_rate=0.01, batch_size=10, activation=<function relu at 0x7f8ec4c8c510>, total=  28.4s
[CV] n_neurons=120, learning_rate=0.01, batch_size=10, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 0.158174	최선의 손실: 0.158174	정확도: 96.44%
1	검증 세트 손실: 0.135459	최선의 손실: 0.135459	정확도: 96.79%
2	검증 세트 손실: 0.165871	최선의 손실: 0.135459	정확도: 95.50%
3	검증 세트 손실: 0.302005	최선의 손실: 0.135459	정확도: 95.43%
4	검증 세트 손실: 1.278549	최선의 손실: 0.135459	정확도: 36.79%
5	검증 세트 손실: 1.225286	최선의 손실: 0.135459	정확도: 40.07%
6	검증 세트 손실: 1.175152	최선의 손실: 0.135459	정확도: 40.07%
7	검증 세트 손실: 1.565100	최선의 손실: 0.135459	정확도: 40.30%
8	검증 세트 손실: 1.312375	최선의 손실: 0.135459	정확도: 40.58%
9	검증 세트 손실: 1.134378	최선의 손실: 0.135459	정확도: 40.03%
10	검증 세트 손실: 1.133411	최선의 손실: 0.135459	정확도: 40.30%
11	검증 세트 손실: 1.153915	최선의 손실: 0.135459	정확도: 40.54%
12	검증 세트 손실: 1.305280	최선의 손실: 0.135459	정확도: 42.34%
13	검증 세트 손실: 0.843906	최선의 손실: 0.135459	정확도: 58.44%
14	검증 세트 손실: 1.220675	최선의 손실: 0.135459	정확도: 42.34%
15	검증 세트 손실: 1.317513	최선의 손실: 0.135459	정확도: 40.62%
16	검증 세트 손실: 1.238394	최선의 손실: 0.135459	정확도: 40.19%
17	검증 세트 손실: 1.390628	최선의 손실: 0.135459	정확도: 39.68%
18	검증 세트 손실: 1.660865	최선의 손실: 0.135459	정확도: 40.27%
19	검증 세트 손실: 2.691817	최선의 손실: 0.135459	정확도: 39.84%
20	검증 세트 손실: 1.434890	최선의 손실: 0.135459	정확도: 29.48%
21	검증 세트 손실: 1.410185	최선의 손실: 0.135459	정확도: 30.81%
22	검증 세트 손실: 1.415740	최선의 손실: 0.135459	정확도: 30.30%
조기 종료!
[CV]  n_neurons=120, learning_rate=0.01, batch_size=10, activation=<function relu at 0x7f8ec4c8c510>, total=  29.7s
[CV] n_neurons=100, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 
0	검증 세트 손실: 63.504795	최선의 손실: 63.504795	정확도: 67.12%
1	검증 세트 손실: 5.052154	최선의 손실: 5.052154	정확도: 89.17%
2	검증 세트 손실: 1.723089	최선의 손실: 1.723089	정확도: 92.96%
3	검증 세트 손실: 1.294373	최선의 손실: 1.294373	정확도: 94.49%
4	검증 세트 손실: 1.210073	최선의 손실: 1.210073	정확도: 94.02%
5	검증 세트 손실: 0.806669	최선의 손실: 0.806669	정확도: 94.68%
6	검증 세트 손실: 0.902203	최선의 손실: 0.806669	정확도: 93.32%
7	검증 세트 손실: 0.669576	최선의 손실: 0.669576	정확도: 96.13%
8	검증 세트 손실: 0.542437	최선의 손실: 0.542437	정확도: 95.43%
9	검증 세트 손실: 3.754392	최선의 손실: 0.542437	정확도: 91.71%
10	검증 세트 손실: 1.267429	최선의 손실: 0.542437	정확도: 95.70%
11	검증 세트 손실: 1.807939	최선의 손실: 0.542437	정확도: 96.60%
12	검증 세트 손실: 2.557299	최선의 손실: 0.542437	정확도: 95.43%
13	검증 세트 손실: 3.509970	최선의 손실: 0.542437	정확도: 95.27%
14	검증 세트 손실: 3.459355	최선의 손실: 0.542437	정확도: 95.74%
15	검증 세트 손실: 4.305189	최선의 손실: 0.542437	정확도: 95.07%
16	검증 세트 손실: 5.428687	최선의 손실: 0.542437	정확도: 96.56%
17	검증 세트 손실: 4.720324	최선의 손실: 0.542437	정확도: 96.68%
18	검증 세트 손실: 4.834424	최선의 손실: 0.542437	정확도: 96.99%
19	검증 세트 손실: 5.703214	최선의 손실: 0.542437	정확도: 96.76%
20	검증 세트 손실: 9.607757	최선의 손실: 0.542437	정확도: 91.52%
21	검증 세트 손실: 0.600676	최선의 손실: 0.542437	정확도: 96.33%
22	검증 세트 손실: 0.485585	최선의 손실: 0.485585	정확도: 95.00%
23	검증 세트 손실: 0.372879	최선의 손실: 0.372879	정확도: 97.19%
24	검증 세트 손실: 0.717935	최선의 손실: 0.372879	정확도: 93.78%
25	검증 세트 손실: 3.083488	최선의 손실: 0.372879	정확도: 90.70%
26	검증 세트 손실: 2.418745	최선의 손실: 0.372879	정확도: 95.47%
27	검증 세트 손실: 9806.400391	최선의 손실: 0.372879	정확도: 18.73%
28	검증 세트 손실: 148620160.000000	최선의 손실: 0.372879	정확도: 18.73%
29	검증 세트 손실: 1553446.000000	최선의 손실: 0.372879	정확도: 59.27%
30	검증 세트 손실: 158051.531250	최선의 손실: 0.372879	정확도: 81.35%
31	검증 세트 손실: 67265.742188	최선의 손실: 0.372879	정확도: 87.65%
32	검증 세트 손실: 52441.339844	최선의 손실: 0.372879	정확도: 88.74%
33	검증 세트 손실: 46493.886719	최선의 손실: 0.372879	정확도: 88.66%
34	검증 세트 손실: 37422.031250	최선의 손실: 0.372879	정확도: 89.01%
35	검증 세트 손실: 35695.710938	최선의 손실: 0.372879	정확도: 88.27%
36	검증 세트 손실: 28254.783203	최선의 손실: 0.372879	정확도: 89.44%
37	검증 세트 손실: 34913.843750	최선의 손실: 0.372879	정확도: 86.12%
38	검증 세트 손실: 21439.865234	최선의 손실: 0.372879	정확도: 90.81%
39	검증 세트 손실: 19290.638672	최선의 손실: 0.372879	정확도: 90.62%
40	검증 세트 손실: 17720.156250	최선의 손실: 0.372879	정확도: 91.24%
41	검증 세트 손실: 23895.902344	최선의 손실: 0.372879	정확도: 84.75%
42	검증 세트 손실: 22137.406250	최선의 손실: 0.372879	정확도: 87.10%
43	검증 세트 손실: 16311.849609	최선의 손실: 0.372879	정확도: 91.99%
44	검증 세트 손실: 17495.769531	최선의 손실: 0.372879	정확도: 92.77%
조기 종료!
[CV]  n_neurons=100, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total=   9.1s
[CV] n_neurons=100, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 
0	검증 세트 손실: 1046.745483	최선의 손실: 1046.745483	정확도: 51.56%
1	검증 세트 손실: 118.676224	최선의 손실: 118.676224	정확도: 70.25%
2	검증 세트 손실: 7.759680	최선의 손실: 7.759680	정확도: 91.83%
3	검증 세트 손실: 1.760084	최선의 손실: 1.760084	정확도: 94.29%
4	검증 세트 손실: 1.759238	최선의 손실: 1.759238	정확도: 94.64%
5	검증 세트 손실: 1.340536	최선의 손실: 1.340536	정확도: 94.37%
6	검증 세트 손실: 1.187283	최선의 손실: 1.187283	정확도: 94.72%
7	검증 세트 손실: 1.499387	최선의 손실: 1.187283	정확도: 92.61%
8	검증 세트 손실: 1.725356	최선의 손실: 1.187283	정확도: 91.59%
9	검증 세트 손실: 1.049225	최선의 손실: 1.049225	정확도: 95.39%
10	검증 세트 손실: 1.079078	최선의 손실: 1.049225	정확도: 95.27%
11	검증 세트 손실: 0.918480	최선의 손실: 0.918480	정확도: 94.61%
12	검증 세트 손실: 1.073662	최선의 손실: 0.918480	정확도: 93.32%
13	검증 세트 손실: 2.326349	최선의 손실: 0.918480	정확도: 94.57%
14	검증 세트 손실: 1.316089	최선의 손실: 0.918480	정확도: 94.41%
15	검증 세트 손실: 1.265519	최선의 손실: 0.918480	정확도: 93.98%
16	검증 세트 손실: 0.596224	최선의 손실: 0.596224	정확도: 96.56%
17	검증 세트 손실: 1.225945	최선의 손실: 0.596224	정확도: 93.78%
18	검증 세트 손실: 0.839632	최선의 손실: 0.596224	정확도: 94.10%
19	검증 세트 손실: 0.627583	최선의 손실: 0.596224	정확도: 96.17%
20	검증 세트 손실: 0.573615	최선의 손실: 0.573615	정확도: 96.48%
21	검증 세트 손실: 0.706544	최선의 손실: 0.573615	정확도: 95.39%
22	검증 세트 손실: 0.651824	최선의 손실: 0.573615	정확도: 96.36%
23	검증 세트 손실: 0.593484	최선의 손실: 0.573615	정확도: 95.04%
24	검증 세트 손실: 0.761043	최선의 손실: 0.573615	정확도: 95.00%
25	검증 세트 손실: 0.358924	최선의 손실: 0.358924	정확도: 96.44%
26	검증 세트 손실: 0.333070	최선의 손실: 0.333070	정확도: 96.56%
27	검증 세트 손실: 0.285043	최선의 손실: 0.285043	정확도: 96.79%
28	검증 세트 손실: 0.507448	최선의 손실: 0.285043	정확도: 95.70%
29	검증 세트 손실: 0.774901	최선의 손실: 0.285043	정확도: 92.03%
30	검증 세트 손실: 0.397582	최선의 손실: 0.285043	정확도: 96.52%
31	검증 세트 손실: 0.480633	최선의 손실: 0.285043	정확도: 96.79%
32	검증 세트 손실: 0.430192	최선의 손실: 0.285043	정확도: 96.40%
33	검증 세트 손실: 0.403741	최선의 손실: 0.285043	정확도: 97.15%
34	검증 세트 손실: 0.368596	최선의 손실: 0.285043	정확도: 97.26%
35	검증 세트 손실: 0.378595	최선의 손실: 0.285043	정확도: 96.99%
36	검증 세트 손실: 0.454858	최선의 손실: 0.285043	정확도: 96.48%
37	검증 세트 손실: 0.369779	최선의 손실: 0.285043	정확도: 97.03%
38	검증 세트 손실: 0.446258	최선의 손실: 0.285043	정확도: 95.54%
39	검증 세트 손실: 0.389079	최선의 손실: 0.285043	정확도: 97.34%
40	검증 세트 손실: 0.451859	최선의 손실: 0.285043	정확도: 96.01%
41	검증 세트 손실: 0.383268	최선의 손실: 0.285043	정확도: 96.95%
42	검증 세트 손실: 0.437539	최선의 손실: 0.285043	정확도: 96.56%
43	검증 세트 손실: 0.433877	최선의 손실: 0.285043	정확도: 96.29%
44	검증 세트 손실: 0.388926	최선의 손실: 0.285043	정확도: 97.50%
45	검증 세트 손실: 0.451208	최선의 손실: 0.285043	정확도: 96.40%
46	검증 세트 손실: 0.383426	최선의 손실: 0.285043	정확도: 96.56%
47	검증 세트 손실: 0.376542	최선의 손실: 0.285043	정확도: 96.68%
48	검증 세트 손실: 0.409561	최선의 손실: 0.285043	정확도: 96.72%
조기 종료!
[CV]  n_neurons=100, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total=   9.8s
[CV] n_neurons=100, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 
0	검증 세트 손실: 508.033661	최선의 손실: 508.033661	정확도: 35.65%
1	검증 세트 손실: 77.860954	최선의 손실: 77.860954	정확도: 76.66%
2	검증 세트 손실: 7.454078	최선의 손실: 7.454078	정확도: 89.37%
3	검증 세트 손실: 8.283775	최선의 손실: 7.454078	정확도: 80.38%
4	검증 세트 손실: 2.203256	최선의 손실: 2.203256	정확도: 95.39%
5	검증 세트 손실: 1.508655	최선의 손실: 1.508655	정확도: 94.96%
6	검증 세트 손실: 1.029555	최선의 손실: 1.029555	정확도: 95.39%
7	검증 세트 손실: 0.830592	최선의 손실: 0.830592	정확도: 94.84%
8	검증 세트 손실: 0.731862	최선의 손실: 0.731862	정확도: 95.50%
9	검증 세트 손실: 0.688742	최선의 손실: 0.688742	정확도: 95.43%
10	검증 세트 손실: 0.520653	최선의 손실: 0.520653	정확도: 96.44%
11	검증 세트 손실: 0.747843	최선의 손실: 0.520653	정확도: 94.92%
12	검증 세트 손실: 0.582237	최선의 손실: 0.520653	정확도: 94.49%
13	검증 세트 손실: 0.977322	최선의 손실: 0.520653	정확도: 94.37%
14	검증 세트 손실: 0.977657	최선의 손실: 0.520653	정확도: 92.69%
15	검증 세트 손실: 0.538623	최선의 손실: 0.520653	정확도: 96.33%
16	검증 세트 손실: 0.449942	최선의 손실: 0.449942	정확도: 96.87%
17	검증 세트 손실: 0.723675	최선의 손실: 0.449942	정확도: 91.44%
18	검증 세트 손실: 0.425682	최선의 손실: 0.425682	정확도: 96.48%
19	검증 세트 손실: 0.435550	최선의 손실: 0.425682	정확도: 96.40%
20	검증 세트 손실: 0.433513	최선의 손실: 0.425682	정확도: 96.09%
21	검증 세트 손실: 0.412725	최선의 손실: 0.412725	정확도: 96.44%
22	검증 세트 손실: 0.378843	최선의 손실: 0.378843	정확도: 97.26%
23	검증 세트 손실: 0.473851	최선의 손실: 0.378843	정확도: 94.37%
24	검증 세트 손실: 0.440041	최선의 손실: 0.378843	정확도: 96.05%
25	검증 세트 손실: 1.048303	최선의 손실: 0.378843	정확도: 92.10%
26	검증 세트 손실: 0.559052	최선의 손실: 0.378843	정확도: 96.29%
27	검증 세트 손실: 0.497070	최선의 손실: 0.378843	정확도: 95.97%
28	검증 세트 손실: 0.509400	최선의 손실: 0.378843	정확도: 95.62%
29	검증 세트 손실: 0.381642	최선의 손실: 0.378843	정확도: 97.19%
30	검증 세트 손실: 0.318084	최선의 손실: 0.318084	정확도: 96.76%
31	검증 세트 손실: 0.381882	최선의 손실: 0.318084	정확도: 95.47%
32	검증 세트 손실: 0.320674	최선의 손실: 0.318084	정확도: 97.22%
33	검증 세트 손실: 0.333089	최선의 손실: 0.318084	정확도: 95.50%
34	검증 세트 손실: 0.263068	최선의 손실: 0.263068	정확도: 96.79%
35	검증 세트 손실: 0.411878	최선의 손실: 0.263068	정확도: 96.79%
36	검증 세트 손실: 0.422032	최선의 손실: 0.263068	정확도: 97.11%
37	검증 세트 손실: 0.332708	최선의 손실: 0.263068	정확도: 97.34%
38	검증 세트 손실: 0.634995	최선의 손실: 0.263068	정확도: 94.21%
39	검증 세트 손실: 0.423280	최선의 손실: 0.263068	정확도: 96.40%
40	검증 세트 손실: 0.405578	최선의 손실: 0.263068	정확도: 95.74%
41	검증 세트 손실: 0.328063	최선의 손실: 0.263068	정확도: 97.22%
42	검증 세트 손실: 0.302149	최선의 손실: 0.263068	정확도: 97.22%
43	검증 세트 손실: 0.295138	최선의 손실: 0.263068	정확도: 97.07%
44	검증 세트 손실: 0.308027	최선의 손실: 0.263068	정확도: 97.07%
45	검증 세트 손실: 0.272290	최선의 손실: 0.263068	정확도: 97.46%
46	검증 세트 손실: 0.260330	최선의 손실: 0.260330	정확도: 97.54%
47	검증 세트 손실: 0.254518	최선의 손실: 0.254518	정확도: 97.73%
48	검증 세트 손실: 0.273957	최선의 손실: 0.254518	정확도: 96.95%
49	검증 세트 손실: 0.294691	최선의 손실: 0.254518	정확도: 97.22%
50	검증 세트 손실: 0.266778	최선의 손실: 0.254518	정확도: 97.89%
51	검증 세트 손실: 0.242479	최선의 손실: 0.242479	정확도: 97.77%
52	검증 세트 손실: 0.278007	최선의 손실: 0.242479	정확도: 97.50%
53	검증 세트 손실: 0.271276	최선의 손실: 0.242479	정확도: 97.50%
54	검증 세트 손실: 0.293423	최선의 손실: 0.242479	정확도: 96.91%
55	검증 세트 손실: 0.283898	최선의 손실: 0.242479	정확도: 97.62%
56	검증 세트 손실: 0.285030	최선의 손실: 0.242479	정확도: 97.38%
57	검증 세트 손실: 0.302241	최선의 손실: 0.242479	정확도: 97.22%
58	검증 세트 손실: 0.304259	최선의 손실: 0.242479	정확도: 96.79%
59	검증 세트 손실: 0.376649	최선의 손실: 0.242479	정확도: 96.99%
60	검증 세트 손실: 0.383960	최선의 손실: 0.242479	정확도: 96.79%
61	검증 세트 손실: 0.351119	최선의 손실: 0.242479	정확도: 97.26%
62	검증 세트 손실: 0.280588	최선의 손실: 0.242479	정확도: 97.58%
63	검증 세트 손실: 0.270688	최선의 손실: 0.242479	정확도: 97.85%
64	검증 세트 손실: 0.381684	최선의 손실: 0.242479	정확도: 96.60%
65	검증 세트 손실: 0.285757	최선의 손실: 0.242479	정확도: 97.46%
66	검증 세트 손실: 0.280456	최선의 손실: 0.242479	정확도: 97.26%
67	검증 세트 손실: 0.271998	최선의 손실: 0.242479	정확도: 97.58%
68	검증 세트 손실: 0.344882	최선의 손실: 0.242479	정확도: 97.54%
69	검증 세트 손실: 0.306499	최선의 손실: 0.242479	정확도: 96.95%
70	검증 세트 손실: 0.282075	최선의 손실: 0.242479	정확도: 97.69%
71	검증 세트 손실: 0.347276	최선의 손실: 0.242479	정확도: 97.30%
72	검증 세트 손실: 0.307301	최선의 손실: 0.242479	정확도: 97.42%
조기 종료!
[CV]  n_neurons=100, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total=  14.3s
[CV] n_neurons=140, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 
0	검증 세트 손실: 0.106298	최선의 손실: 0.106298	정확도: 96.76%
1	검증 세트 손실: 0.062642	최선의 손실: 0.062642	정확도: 98.28%
2	검증 세트 손실: 0.060083	최선의 손실: 0.060083	정확도: 98.05%
3	검증 세트 손실: 0.064581	최선의 손실: 0.060083	정확도: 98.28%
4	검증 세트 손실: 0.056122	최선의 손실: 0.056122	정확도: 98.20%
5	검증 세트 손실: 0.069689	최선의 손실: 0.056122	정확도: 98.32%
6	검증 세트 손실: 0.046615	최선의 손실: 0.046615	정확도: 98.67%
7	검증 세트 손실: 0.053433	최선의 손실: 0.046615	정확도: 98.83%
8	검증 세트 손실: 0.058376	최선의 손실: 0.046615	정확도: 98.51%
9	검증 세트 손실: 0.062615	최선의 손실: 0.046615	정확도: 98.63%
10	검증 세트 손실: 0.066868	최선의 손실: 0.046615	정확도: 98.40%
11	검증 세트 손실: 0.067680	최선의 손실: 0.046615	정확도: 98.51%
12	검증 세트 손실: 0.059356	최선의 손실: 0.046615	정확도: 98.87%
13	검증 세트 손실: 0.074744	최선의 손실: 0.046615	정확도: 98.44%
14	검증 세트 손실: 0.079049	최선의 손실: 0.046615	정확도: 98.59%
15	검증 세트 손실: 0.074987	최선의 손실: 0.046615	정확도: 98.59%
16	검증 세트 손실: 0.060130	최선의 손실: 0.046615	정확도: 98.67%
17	검증 세트 손실: 0.083335	최선의 손실: 0.046615	정확도: 98.36%
18	검증 세트 손실: 0.104511	최선의 손실: 0.046615	정확도: 98.83%
19	검증 세트 손실: 0.108278	최선의 손실: 0.046615	정확도: 98.20%
20	검증 세트 손실: 0.078940	최선의 손실: 0.046615	정확도: 98.32%
21	검증 세트 손실: 0.065107	최선의 손실: 0.046615	정확도: 98.87%
22	검증 세트 손실: 0.054712	최선의 손실: 0.046615	정확도: 98.71%
23	검증 세트 손실: 0.093591	최선의 손실: 0.046615	정확도: 98.12%
24	검증 세트 손실: 0.102512	최선의 손실: 0.046615	정확도: 98.44%
25	검증 세트 손실: 0.057025	최선의 손실: 0.046615	정확도: 98.87%
26	검증 세트 손실: 0.102751	최선의 손실: 0.046615	정확도: 98.63%
27	검증 세트 손실: 0.086250	최선의 손실: 0.046615	정확도: 98.48%
조기 종료!
[CV]  n_neurons=140, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total=   7.8s
[CV] n_neurons=140, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 
0	검증 세트 손실: 0.086457	최선의 손실: 0.086457	정확도: 97.30%
1	검증 세트 손실: 0.060466	최선의 손실: 0.060466	정확도: 98.32%
2	검증 세트 손실: 0.057832	최선의 손실: 0.057832	정확도: 98.40%
3	검증 세트 손실: 0.050015	최선의 손실: 0.050015	정확도: 98.44%
4	검증 세트 손실: 0.059918	최선의 손실: 0.050015	정확도: 98.59%
5	검증 세트 손실: 0.061310	최선의 손실: 0.050015	정확도: 98.05%
6	검증 세트 손실: 0.045503	최선의 손실: 0.045503	정확도: 98.67%
7	검증 세트 손실: 0.069905	최선의 손실: 0.045503	정확도: 98.05%
8	검증 세트 손실: 0.074877	최선의 손실: 0.045503	정확도: 98.16%
9	검증 세트 손실: 0.038914	최선의 손실: 0.038914	정확도: 98.79%
10	검증 세트 손실: 0.050341	최선의 손실: 0.038914	정확도: 98.71%
11	검증 세트 손실: 0.072224	최선의 손실: 0.038914	정확도: 98.75%
12	검증 세트 손실: 0.052401	최선의 손실: 0.038914	정확도: 98.91%
13	검증 세트 손실: 0.049612	최선의 손실: 0.038914	정확도: 98.55%
14	검증 세트 손실: 0.060295	최선의 손실: 0.038914	정확도: 98.79%
15	검증 세트 손실: 0.064208	최선의 손실: 0.038914	정확도: 98.67%
16	검증 세트 손실: 0.051375	최선의 손실: 0.038914	정확도: 99.22%
17	검증 세트 손실: 0.049331	최선의 손실: 0.038914	정확도: 98.94%
18	검증 세트 손실: 0.067461	최선의 손실: 0.038914	정확도: 98.94%
19	검증 세트 손실: 0.063362	최선의 손실: 0.038914	정확도: 98.91%
20	검증 세트 손실: 0.056202	최선의 손실: 0.038914	정확도: 98.83%
21	검증 세트 손실: 0.068848	최선의 손실: 0.038914	정확도: 99.10%
22	검증 세트 손실: 0.066839	최선의 손실: 0.038914	정확도: 98.94%
23	검증 세트 손실: 0.080844	최선의 손실: 0.038914	정확도: 98.98%
24	검증 세트 손실: 0.033566	최선의 손실: 0.033566	정확도: 99.22%
25	검증 세트 손실: 0.053485	최선의 손실: 0.033566	정확도: 98.98%
26	검증 세트 손실: 0.065793	최선의 손실: 0.033566	정확도: 98.91%
27	검증 세트 손실: 0.061346	최선의 손실: 0.033566	정확도: 98.79%
28	검증 세트 손실: 0.078744	최선의 손실: 0.033566	정확도: 98.79%
29	검증 세트 손실: 0.095004	최선의 손실: 0.033566	정확도: 98.94%
30	검증 세트 손실: 0.094228	최선의 손실: 0.033566	정확도: 98.59%
31	검증 세트 손실: 0.180432	최선의 손실: 0.033566	정확도: 98.48%
32	검증 세트 손실: 0.078169	최선의 손실: 0.033566	정확도: 98.98%
33	검증 세트 손실: 0.209027	최선의 손실: 0.033566	정확도: 90.89%
34	검증 세트 손실: 18.271706	최선의 손실: 0.033566	정확도: 94.41%
35	검증 세트 손실: 3.992936	최선의 손실: 0.033566	정확도: 97.34%
36	검증 세트 손실: 0.975922	최선의 손실: 0.033566	정확도: 97.77%
37	검증 세트 손실: 0.821661	최선의 손실: 0.033566	정확도: 98.05%
38	검증 세트 손실: 0.597372	최선의 손실: 0.033566	정확도: 98.24%
39	검증 세트 손실: 0.599902	최선의 손실: 0.033566	정확도: 97.65%
40	검증 세트 손실: 0.517793	최선의 손실: 0.033566	정확도: 98.36%
41	검증 세트 손실: 0.501182	최선의 손실: 0.033566	정확도: 98.32%
42	검증 세트 손실: 0.469662	최선의 손실: 0.033566	정확도: 98.24%
43	검증 세트 손실: 0.459965	최선의 손실: 0.033566	정확도: 98.48%
44	검증 세트 손실: 0.459645	최선의 손실: 0.033566	정확도: 98.16%
45	검증 세트 손실: 0.455448	최선의 손실: 0.033566	정확도: 98.40%
조기 종료!
[CV]  n_neurons=140, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total=  12.5s
[CV] n_neurons=140, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 
0	검증 세트 손실: 0.082524	최선의 손실: 0.082524	정확도: 97.50%
1	검증 세트 손실: 0.058572	최선의 손실: 0.058572	정확도: 98.36%
2	검증 세트 손실: 0.056426	최선의 손실: 0.056426	정확도: 98.24%
3	검증 세트 손실: 0.046784	최선의 손실: 0.046784	정확도: 98.48%
4	검증 세트 손실: 0.043390	최선의 손실: 0.043390	정확도: 98.51%
5	검증 세트 손실: 0.058186	최선의 손실: 0.043390	정확도: 98.40%
6	검증 세트 손실: 0.059133	최선의 손실: 0.043390	정확도: 98.40%
7	검증 세트 손실: 0.067209	최선의 손실: 0.043390	정확도: 98.32%
8	검증 세트 손실: 0.047232	최선의 손실: 0.043390	정확도: 98.71%
9	검증 세트 손실: 0.051077	최선의 손실: 0.043390	정확도: 98.75%
10	검증 세트 손실: 0.054516	최선의 손실: 0.043390	정확도: 98.63%
11	검증 세트 손실: 0.083684	최선의 손실: 0.043390	정확도: 98.05%
12	검증 세트 손실: 0.048853	최선의 손실: 0.043390	정확도: 98.87%
13	검증 세트 손실: 0.059731	최선의 손실: 0.043390	정확도: 98.67%
14	검증 세트 손실: 0.045459	최선의 손실: 0.043390	정확도: 98.91%
15	검증 세트 손실: 0.040755	최선의 손실: 0.040755	정확도: 99.18%
16	검증 세트 손실: 0.087764	최선의 손실: 0.040755	정확도: 98.79%
17	검증 세트 손실: 0.064897	최선의 손실: 0.040755	정확도: 98.83%
18	검증 세트 손실: 0.063251	최선의 손실: 0.040755	정확도: 98.67%
19	검증 세트 손실: 0.053084	최선의 손실: 0.040755	정확도: 98.91%
20	검증 세트 손실: 0.078288	최선의 손실: 0.040755	정확도: 98.48%
21	검증 세트 손실: 0.068242	최선의 손실: 0.040755	정확도: 98.87%
22	검증 세트 손실: 0.085484	최선의 손실: 0.040755	정확도: 98.71%
23	검증 세트 손실: 0.067786	최선의 손실: 0.040755	정확도: 98.75%
24	검증 세트 손실: 0.073786	최선의 손실: 0.040755	정확도: 98.51%
25	검증 세트 손실: 39.568306	최선의 손실: 0.040755	정확도: 63.37%
26	검증 세트 손실: 86.484024	최선의 손실: 0.040755	정확도: 51.92%
27	검증 세트 손실: 2.605725	최선의 손실: 0.040755	정확도: 87.41%
28	검증 세트 손실: 0.705630	최선의 손실: 0.040755	정확도: 93.51%
29	검증 세트 손실: 0.343942	최선의 손실: 0.040755	정확도: 95.62%
30	검증 세트 손실: 0.350043	최선의 손실: 0.040755	정확도: 95.47%
31	검증 세트 손실: 0.334493	최선의 손실: 0.040755	정확도: 93.94%
32	검증 세트 손실: 0.241222	최선의 손실: 0.040755	정확도: 95.90%
33	검증 세트 손실: 0.238252	최선의 손실: 0.040755	정확도: 95.66%
34	검증 세트 손실: 0.210346	최선의 손실: 0.040755	정확도: 96.33%
35	검증 세트 손실: 0.165647	최선의 손실: 0.040755	정확도: 96.99%
36	검증 세트 손실: 0.154940	최선의 손실: 0.040755	정확도: 96.95%
조기 종료!
[CV]  n_neurons=140, learning_rate=0.01, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total=  10.1s
[CV] n_neurons=30, learning_rate=0.05, batch_size=10, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 1.675113	최선의 손실: 1.675113	정확도: 18.73%
1	검증 세트 손실: 1.624442	최선의 손실: 1.624442	정확도: 20.91%
2	검증 세트 손실: 1.754289	최선의 손실: 1.624442	정확도: 18.73%
3	검증 세트 손실: 1.679264	최선의 손실: 1.624442	정확도: 19.27%
4	검증 세트 손실: 1.640295	최선의 손실: 1.624442	정확도: 22.01%
5	검증 세트 손실: 1.907819	최선의 손실: 1.624442	정확도: 19.08%
6	검증 세트 손실: 1.861127	최선의 손실: 1.624442	정확도: 22.01%
7	검증 세트 손실: 1.646454	최선의 손실: 1.624442	정확도: 19.27%
8	검증 세트 손실: 1.682898	최선의 손실: 1.624442	정확도: 22.01%
9	검증 세트 손실: 1.800020	최선의 손실: 1.624442	정확도: 18.73%
10	검증 세트 손실: 1.787576	최선의 손실: 1.624442	정확도: 22.01%
11	검증 세트 손실: 1.982575	최선의 손실: 1.624442	정확도: 22.01%
12	검증 세트 손실: 1.943093	최선의 손실: 1.624442	정확도: 20.91%
13	검증 세트 손실: 1.777603	최선의 손실: 1.624442	정확도: 19.27%
14	검증 세트 손실: 1.791737	최선의 손실: 1.624442	정확도: 19.08%
15	검증 세트 손실: 1.913679	최선의 손실: 1.624442	정확도: 22.01%
16	검증 세트 손실: 1.850441	최선의 손실: 1.624442	정확도: 19.08%
17	검증 세트 손실: 1.676424	최선의 손실: 1.624442	정확도: 20.91%
18	검증 세트 손실: 1.803297	최선의 손실: 1.624442	정확도: 22.01%
19	검증 세트 손실: 1.727336	최선의 손실: 1.624442	정확도: 22.01%
20	검증 세트 손실: 1.709795	최선의 손실: 1.624442	정확도: 18.73%
21	검증 세트 손실: 1.744466	최선의 손실: 1.624442	정확도: 18.73%
22	검증 세트 손실: 1.651262	최선의 손실: 1.624442	정확도: 20.91%
조기 종료!
[CV]  n_neurons=30, learning_rate=0.05, batch_size=10, activation=<function elu at 0x7f8ec4ceef28>, total=  18.2s
[CV] n_neurons=30, learning_rate=0.05, batch_size=10, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 1.823046	최선의 손실: 1.823046	정확도: 20.91%
1	검증 세트 손실: 1.680561	최선의 손실: 1.680561	정확도: 22.01%
2	검증 세트 손실: 1.646679	최선의 손실: 1.646679	정확도: 19.08%
3	검증 세트 손실: 1.725673	최선의 손실: 1.646679	정확도: 19.27%
4	검증 세트 손실: 1.825907	최선의 손실: 1.646679	정확도: 19.08%
5	검증 세트 손실: 1.658193	최선의 손실: 1.646679	정확도: 18.73%
6	검증 세트 손실: 1.851260	최선의 손실: 1.646679	정확도: 19.08%
7	검증 세트 손실: 1.647425	최선의 손실: 1.646679	정확도: 19.27%
8	검증 세트 손실: 1.898423	최선의 손실: 1.646679	정확도: 20.91%
9	검증 세트 손실: 1.914732	최선의 손실: 1.646679	정확도: 19.27%
10	검증 세트 손실: 1.686114	최선의 손실: 1.646679	정확도: 22.01%
11	검증 세트 손실: 1.647474	최선의 손실: 1.646679	정확도: 20.91%
12	검증 세트 손실: 1.853961	최선의 손실: 1.646679	정확도: 20.91%
13	검증 세트 손실: 1.669572	최선의 손실: 1.646679	정확도: 22.01%
14	검증 세트 손실: 1.703599	최선의 손실: 1.646679	정확도: 19.27%
15	검증 세트 손실: 1.998328	최선의 손실: 1.646679	정확도: 19.08%
16	검증 세트 손실: 1.656300	최선의 손실: 1.646679	정확도: 20.91%
17	검증 세트 손실: 1.947685	최선의 손실: 1.646679	정확도: 20.91%
18	검증 세트 손실: 2.143587	최선의 손실: 1.646679	정확도: 20.91%
19	검증 세트 손실: 1.900220	최선의 손실: 1.646679	정확도: 20.91%
20	검증 세트 손실: 1.930351	최선의 손실: 1.646679	정확도: 18.73%
21	검증 세트 손실: 1.900987	최선의 손실: 1.646679	정확도: 22.01%
22	검증 세트 손실: 1.750338	최선의 손실: 1.646679	정확도: 19.27%
23	검증 세트 손실: 2.205183	최선의 손실: 1.646679	정확도: 18.73%
조기 종료!
[CV]  n_neurons=30, learning_rate=0.05, batch_size=10, activation=<function elu at 0x7f8ec4ceef28>, total=  19.1s
[CV] n_neurons=30, learning_rate=0.05, batch_size=10, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 1.644496	최선의 손실: 1.644496	정확도: 19.27%
1	검증 세트 손실: 1.849557	최선의 손실: 1.644496	정확도: 19.08%
2	검증 세트 손실: 1.726734	최선의 손실: 1.644496	정확도: 18.73%
3	검증 세트 손실: 1.915495	최선의 손실: 1.644496	정확도: 19.08%
4	검증 세트 손실: 2.044655	최선의 손실: 1.644496	정확도: 19.08%
5	검증 세트 손실: 1.818795	최선의 손실: 1.644496	정확도: 19.27%
6	검증 세트 손실: 1.747826	최선의 손실: 1.644496	정확도: 19.08%
7	검증 세트 손실: 1.830650	최선의 손실: 1.644496	정확도: 18.73%
8	검증 세트 손실: 1.649762	최선의 손실: 1.644496	정확도: 22.01%
9	검증 세트 손실: 2.048925	최선의 손실: 1.644496	정확도: 22.01%
10	검증 세트 손실: 1.832475	최선의 손실: 1.644496	정확도: 18.73%
11	검증 세트 손실: 1.816110	최선의 손실: 1.644496	정확도: 19.27%
12	검증 세트 손실: 1.836797	최선의 손실: 1.644496	정확도: 18.73%
13	검증 세트 손실: 1.796182	최선의 손실: 1.644496	정확도: 19.08%
14	검증 세트 손실: 1.792562	최선의 손실: 1.644496	정확도: 22.01%
15	검증 세트 손실: 1.879795	최선의 손실: 1.644496	정확도: 20.91%
16	검증 세트 손실: 1.704598	최선의 손실: 1.644496	정확도: 18.73%
17	검증 세트 손실: 1.803578	최선의 손실: 1.644496	정확도: 19.08%
18	검증 세트 손실: 2.113098	최선의 손실: 1.644496	정확도: 19.08%
19	검증 세트 손실: 1.628994	최선의 손실: 1.628994	정확도: 19.27%
20	검증 세트 손실: 1.801368	최선의 손실: 1.628994	정확도: 19.27%
21	검증 세트 손실: 1.647704	최선의 손실: 1.628994	정확도: 22.01%
22	검증 세트 손실: 1.653073	최선의 손실: 1.628994	정확도: 20.91%
23	검증 세트 손실: 1.739612	최선의 손실: 1.628994	정확도: 22.01%
24	검증 세트 손실: 1.861977	최선의 손실: 1.628994	정확도: 22.01%
25	검증 세트 손실: 1.744549	최선의 손실: 1.628994	정확도: 19.27%
26	검증 세트 손실: 1.719067	최선의 손실: 1.628994	정확도: 19.08%
27	검증 세트 손실: 1.685107	최선의 손실: 1.628994	정확도: 22.01%
28	검증 세트 손실: 2.323920	최선의 손실: 1.628994	정확도: 19.08%
29	검증 세트 손실: 2.050604	최선의 손실: 1.628994	정확도: 18.73%
30	검증 세트 손실: 1.854670	최선의 손실: 1.628994	정확도: 19.27%
31	검증 세트 손실: 1.956273	최선의 손실: 1.628994	정확도: 18.73%
32	검증 세트 손실: 1.666341	최선의 손실: 1.628994	정확도: 19.08%
33	검증 세트 손실: 1.684591	최선의 손실: 1.628994	정확도: 20.91%
34	검증 세트 손실: 1.747720	최선의 손실: 1.628994	정확도: 19.08%
35	검증 세트 손실: 1.761388	최선의 손실: 1.628994	정확도: 22.01%
36	검증 세트 손실: 1.971676	최선의 손실: 1.628994	정확도: 22.01%
37	검증 세트 손실: 1.921871	최선의 손실: 1.628994	정확도: 22.01%
38	검증 세트 손실: 1.989987	최선의 손실: 1.628994	정확도: 18.73%
39	검증 세트 손실: 1.904658	최선의 손실: 1.628994	정확도: 19.08%
40	검증 세트 손실: 1.730788	최선의 손실: 1.628994	정확도: 19.08%
조기 종료!
[CV]  n_neurons=30, learning_rate=0.05, batch_size=10, activation=<function elu at 0x7f8ec4ceef28>, total=  32.7s
[CV] n_neurons=100, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 
0	검증 세트 손실: 0.157414	최선의 손실: 0.157414	정확도: 95.27%
1	검증 세트 손실: 978.903076	최선의 손실: 0.157414	정확도: 18.73%
2	검증 세트 손실: 9.070212	최선의 손실: 0.157414	정확도: 46.60%
3	검증 세트 손실: 2.248569	최선의 손실: 0.157414	정확도: 67.36%
4	검증 세트 손실: 1.798182	최선의 손실: 0.157414	정확도: 69.78%
5	검증 세트 손실: 4.502388	최선의 손실: 0.157414	정확도: 53.71%
6	검증 세트 손실: 1.355072	최선의 손실: 0.157414	정확도: 75.02%
7	검증 세트 손실: 0.942957	최선의 손실: 0.157414	정확도: 80.84%
8	검증 세트 손실: 1.216302	최선의 손실: 0.157414	정확도: 78.77%
9	검증 세트 손실: 0.909291	최선의 손실: 0.157414	정확도: 82.06%
10	검증 세트 손실: 0.908842	최선의 손실: 0.157414	정확도: 80.77%
11	검증 세트 손실: 0.660176	최선의 손실: 0.157414	정확도: 86.47%
12	검증 세트 손실: 0.524754	최선의 손실: 0.157414	정확도: 89.64%
13	검증 세트 손실: 0.491662	최선의 손실: 0.157414	정확도: 88.19%
14	검증 세트 손실: 0.476809	최선의 손실: 0.157414	정확도: 89.87%
15	검증 세트 손실: 0.990491	최선의 손실: 0.157414	정확도: 80.92%
16	검증 세트 손실: 2.099900	최선의 손실: 0.157414	정확도: 90.58%
17	검증 세트 손실: 0.424807	최선의 손실: 0.157414	정확도: 89.99%
18	검증 세트 손실: 0.564467	최선의 손실: 0.157414	정확도: 87.84%
19	검증 세트 손실: 10.939535	최선의 손실: 0.157414	정확도: 44.72%
20	검증 세트 손실: 0.499434	최선의 손실: 0.157414	정확도: 89.99%
21	검증 세트 손실: 0.503215	최선의 손실: 0.157414	정확도: 90.54%
조기 종료!
[CV]  n_neurons=100, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total=   7.5s
[CV] n_neurons=100, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 
0	검증 세트 손실: 0.141715	최선의 손실: 0.141715	정확도: 95.97%
1	검증 세트 손실: 0.213246	최선의 손실: 0.141715	정확도: 94.57%
2	검증 세트 손실: 0.163034	최선의 손실: 0.141715	정확도: 94.92%
3	검증 세트 손실: 6830.126465	최선의 손실: 0.141715	정확도: 20.52%
4	검증 세트 손실: 9.483843	최선의 손실: 0.141715	정확도: 85.11%
5	검증 세트 손실: 3.915693	최선의 손실: 0.141715	정확도: 86.36%
6	검증 세트 손실: 2.473406	최선의 손실: 0.141715	정확도: 86.67%
7	검증 세트 손실: 4.477513	최선의 손실: 0.141715	정확도: 77.99%
8	검증 세트 손실: 1.985460	최선의 손실: 0.141715	정확도: 87.45%
9	검증 세트 손실: 1.955487	최선의 손실: 0.141715	정확도: 90.77%
10	검증 세트 손실: 2.128275	최선의 손실: 0.141715	정확도: 88.00%
11	검증 세트 손실: 2.887089	최선의 손실: 0.141715	정확도: 82.96%
12	검증 세트 손실: 1.951568	최선의 손실: 0.141715	정확도: 90.11%
13	검증 세트 손실: 2.789868	최선의 손실: 0.141715	정확도: 82.60%
14	검증 세트 손실: 1.353006	최선의 손실: 0.141715	정확도: 92.53%
15	검증 세트 손실: 1.838794	최선의 손실: 0.141715	정확도: 85.18%
16	검증 세트 손실: 1.680750	최선의 손실: 0.141715	정확도: 88.82%
17	검증 세트 손실: 1.520696	최선의 손실: 0.141715	정확도: 92.10%
18	검증 세트 손실: 1.439293	최선의 손실: 0.141715	정확도: 92.26%
19	검증 세트 손실: 2.032712	최선의 손실: 0.141715	정확도: 92.30%
20	검증 세트 손실: 1.230209	최선의 손실: 0.141715	정확도: 92.53%
21	검증 세트 손실: 1.348697	최선의 손실: 0.141715	정확도: 91.91%
조기 종료!
[CV]  n_neurons=100, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total=   7.6s
[CV] n_neurons=100, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 
0	검증 세트 손실: 0.176284	최선의 손실: 0.176284	정확도: 95.15%
1	검증 세트 손실: 0.280130	최선의 손실: 0.176284	정확도: 93.94%
2	검증 세트 손실: 406.837738	최선의 손실: 0.176284	정확도: 26.08%
3	검증 세트 손실: 6.406219	최선의 손실: 0.176284	정확도: 71.27%
4	검증 세트 손실: 4.300102	최선의 손실: 0.176284	정확도: 72.87%
5	검증 세트 손실: 1.963602	최선의 손실: 0.176284	정확도: 79.59%
6	검증 세트 손실: 1.499174	최선의 손실: 0.176284	정확도: 81.47%
7	검증 세트 손실: 1.323041	최선의 손실: 0.176284	정확도: 83.42%
8	검증 세트 손실: 1.200879	최선의 손실: 0.176284	정확도: 82.80%
9	검증 세트 손실: 1.375555	최선의 손실: 0.176284	정확도: 78.54%
10	검증 세트 손실: 0.868348	최선의 손실: 0.176284	정확도: 88.51%
11	검증 세트 손실: 1.421240	최선의 손실: 0.176284	정확도: 83.74%
12	검증 세트 손실: 0.914606	최선의 손실: 0.176284	정확도: 87.37%
13	검증 세트 손실: 1.826244	최선의 손실: 0.176284	정확도: 84.44%
14	검증 세트 손실: 2.013771	최선의 손실: 0.176284	정확도: 78.03%
15	검증 세트 손실: 0.990790	최선의 손실: 0.176284	정확도: 87.72%
16	검증 세트 손실: 0.792205	최선의 손실: 0.176284	정확도: 86.55%
17	검증 세트 손실: 0.775267	최선의 손실: 0.176284	정확도: 87.72%
18	검증 세트 손실: 47723.910156	최선의 손실: 0.176284	정확도: 18.73%
19	검증 세트 손실: 356.327148	최선의 손실: 0.176284	정확도: 54.61%
20	검증 세트 손실: 234.051437	최선의 손실: 0.176284	정확도: 70.21%
21	검증 세트 손실: 132.854446	최선의 손실: 0.176284	정확도: 60.52%
조기 종료!
[CV]  n_neurons=100, learning_rate=0.05, batch_size=100, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total=   7.5s
[CV] n_neurons=100, learning_rate=0.02, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 
0	검증 세트 손실: 0.836267	최선의 손실: 0.836267	정확도: 88.58%
1	검증 세트 손실: 0.148278	최선의 손실: 0.148278	정확도: 95.54%
2	검증 세트 손실: 0.096579	최선의 손실: 0.096579	정확도: 97.34%
3	검증 세트 손실: 0.081980	최선의 손실: 0.081980	정확도: 97.50%
4	검증 세트 손실: 1.456338	최선의 손실: 0.081980	정확도: 73.92%
5	검증 세트 손실: 0.324469	최선의 손실: 0.081980	정확도: 91.44%
6	검증 세트 손실: 0.225403	최선의 손실: 0.081980	정확도: 93.82%
7	검증 세트 손실: 0.147738	최선의 손실: 0.081980	정확도: 95.93%
8	검증 세트 손실: 0.139093	최선의 손실: 0.081980	정확도: 96.40%
9	검증 세트 손실: 1.721742	최선의 손실: 0.081980	정확도: 95.97%
10	검증 세트 손실: 0.210029	최선의 손실: 0.081980	정확도: 95.86%
11	검증 세트 손실: 0.141892	최선의 손실: 0.081980	정확도: 96.83%
12	검증 세트 손실: 0.112585	최선의 손실: 0.081980	정확도: 96.76%
13	검증 세트 손실: 0.128034	최선의 손실: 0.081980	정확도: 96.36%
14	검증 세트 손실: 0.192407	최선의 손실: 0.081980	정확도: 96.48%
15	검증 세트 손실: 0.109096	최선의 손실: 0.081980	정확도: 97.42%
16	검증 세트 손실: 0.103622	최선의 손실: 0.081980	정확도: 97.38%
17	검증 세트 손실: 0.179908	최선의 손실: 0.081980	정확도: 96.40%
18	검증 세트 손실: 0.528444	최선의 손실: 0.081980	정확도: 97.19%
19	검증 세트 손실: 1.595581	최선의 손실: 0.081980	정확도: 97.69%
20	검증 세트 손실: 8.501369	최선의 손실: 0.081980	정확도: 93.59%
21	검증 세트 손실: 4.592917	최선의 손실: 0.081980	정확도: 94.53%
22	검증 세트 손실: 3.081390	최선의 손실: 0.081980	정확도: 93.75%
23	검증 세트 손실: 2.115669	최선의 손실: 0.081980	정확도: 95.62%
24	검증 세트 손실: 3.504742	최선의 손실: 0.081980	정확도: 93.24%
조기 종료!
[CV]  n_neurons=100, learning_rate=0.02, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total=  10.9s
[CV] n_neurons=100, learning_rate=0.02, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 
0	검증 세트 손실: 0.263095	최선의 손실: 0.263095	정확도: 96.01%
1	검증 세트 손실: 0.136195	최선의 손실: 0.136195	정확도: 96.09%
2	검증 세트 손실: 0.154422	최선의 손실: 0.136195	정확도: 95.54%
3	검증 세트 손실: 0.355536	최선의 손실: 0.136195	정확도: 94.57%
4	검증 세트 손실: 83.930191	최선의 손실: 0.136195	정확도: 54.53%
5	검증 세트 손실: 1.744786	최선의 손실: 0.136195	정확도: 92.61%
6	검증 세트 손실: 3.615491	최선의 손실: 0.136195	정확도: 88.04%
7	검증 세트 손실: 0.991760	최선의 손실: 0.136195	정확도: 94.45%
8	검증 세트 손실: 1.740187	최선의 손실: 0.136195	정확도: 92.73%
9	검증 세트 손실: 1.196644	최선의 손실: 0.136195	정확도: 94.10%
10	검증 세트 손실: 165.308197	최선의 손실: 0.136195	정확도: 49.30%
11	검증 세트 손실: 13.732984	최선의 손실: 0.136195	정확도: 90.70%
12	검증 세트 손실: 5.094893	최선의 손실: 0.136195	정확도: 94.76%
13	검증 세트 손실: 9.978399	최선의 손실: 0.136195	정확도: 89.91%
14	검증 세트 손실: 4.584772	최선의 손실: 0.136195	정확도: 94.33%
15	검증 세트 손실: 3.182966	최선의 손실: 0.136195	정확도: 95.39%
16	검증 세트 손실: 3.601617	최선의 손실: 0.136195	정확도: 92.85%
17	검증 세트 손실: 3.216586	최선의 손실: 0.136195	정확도: 93.67%
18	검증 세트 손실: 3.008424	최선의 손실: 0.136195	정확도: 94.88%
19	검증 세트 손실: 1.530130	최선의 손실: 0.136195	정확도: 96.01%
20	검증 세트 손실: 1.529864	최선의 손실: 0.136195	정확도: 96.44%
21	검증 세트 손실: 2.185052	최선의 손실: 0.136195	정확도: 95.86%
22	검증 세트 손실: 1.124366	최선의 손실: 0.136195	정확도: 95.97%
조기 종료!
[CV]  n_neurons=100, learning_rate=0.02, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total=  10.1s
[CV] n_neurons=100, learning_rate=0.02, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400> 
0	검증 세트 손실: 0.167140	최선의 손실: 0.167140	정확도: 95.27%
1	검증 세트 손실: 0.727413	최선의 손실: 0.167140	정확도: 92.81%
2	검증 세트 손실: 1.347072	최선의 손실: 0.167140	정확도: 94.72%
3	검증 세트 손실: 0.134592	최선의 손실: 0.134592	정확도: 96.36%
4	검증 세트 손실: 0.120858	최선의 손실: 0.120858	정확도: 97.22%
5	검증 세트 손실: 0.151599	최선의 손실: 0.120858	정확도: 96.44%
6	검증 세트 손실: 0.158023	최선의 손실: 0.120858	정확도: 96.60%
7	검증 세트 손실: 0.160928	최선의 손실: 0.120858	정확도: 97.07%
8	검증 세트 손실: 0.135218	최선의 손실: 0.120858	정확도: 97.58%
9	검증 세트 손실: 0.112320	최선의 손실: 0.112320	정확도: 97.54%
10	검증 세트 손실: 111.508469	최선의 손실: 0.112320	정확도: 17.71%
11	검증 세트 손실: 4.634261	최선의 손실: 0.112320	정확도: 66.50%
12	검증 세트 손실: 1.034088	최선의 손실: 0.112320	정확도: 80.73%
13	검증 세트 손실: 0.788938	최선의 손실: 0.112320	정확도: 86.04%
14	검증 세트 손실: 0.703921	최선의 손실: 0.112320	정확도: 87.72%
15	검증 세트 손실: 0.908712	최선의 손실: 0.112320	정확도: 85.57%
16	검증 세트 손실: 0.442157	최선의 손실: 0.112320	정확도: 93.71%
17	검증 세트 손실: 0.661416	최선의 손실: 0.112320	정확도: 85.46%
18	검증 세트 손실: 0.583134	최선의 손실: 0.112320	정확도: 93.39%
19	검증 세트 손실: 0.332413	최선의 손실: 0.112320	정확도: 95.43%
20	검증 세트 손실: 1.228956	최선의 손실: 0.112320	정확도: 90.93%
21	검증 세트 손실: 0.932863	최선의 손실: 0.112320	정확도: 91.52%
22	검증 세트 손실: 0.579647	최선의 손실: 0.112320	정확도: 92.92%
23	검증 세트 손실: 0.390184	최선의 손실: 0.112320	정확도: 94.53%
24	검증 세트 손실: 0.303948	최선의 손실: 0.112320	정확도: 95.31%
25	검증 세트 손실: 0.327582	최선의 손실: 0.112320	정확도: 93.71%
26	검증 세트 손실: 0.421843	최선의 손실: 0.112320	정확도: 93.32%
27	검증 세트 손실: 213.164459	최선의 손실: 0.112320	정확도: 87.57%
28	검증 세트 손실: 2.471107	최선의 손실: 0.112320	정확도: 87.22%
29	검증 세트 손실: 1.226172	최선의 손실: 0.112320	정확도: 80.18%
30	검증 세트 손실: 1.196105	최선의 손실: 0.112320	정확도: 93.16%
조기 종료!
[CV]  n_neurons=100, learning_rate=0.02, batch_size=50, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, total=  13.6s
[CV] n_neurons=70, learning_rate=0.05, batch_size=10, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 2.137889	최선의 손실: 2.137889	정확도: 19.27%
1	검증 세트 손실: 1.829909	최선의 손실: 1.829909	정확도: 22.01%
2	검증 세트 손실: 1.797175	최선의 손실: 1.797175	정확도: 18.73%
3	검증 세트 손실: 1.872716	최선의 손실: 1.797175	정확도: 19.08%
4	검증 세트 손실: 1.731649	최선의 손실: 1.731649	정확도: 19.27%
5	검증 세트 손실: 1.666483	최선의 손실: 1.666483	정확도: 19.08%
6	검증 세트 손실: 2.220948	최선의 손실: 1.666483	정확도: 19.27%
7	검증 세트 손실: 2.015727	최선의 손실: 1.666483	정확도: 19.08%
8	검증 세트 손실: 2.090927	최선의 손실: 1.666483	정확도: 19.08%
9	검증 세트 손실: 1.947276	최선의 손실: 1.666483	정확도: 22.01%
10	검증 세트 손실: 1.792381	최선의 손실: 1.666483	정확도: 19.08%
11	검증 세트 손실: 1.672827	최선의 손실: 1.666483	정확도: 19.08%
12	검증 세트 손실: 1.912346	최선의 손실: 1.666483	정확도: 18.73%
13	검증 세트 손실: 2.118673	최선의 손실: 1.666483	정확도: 19.08%
14	검증 세트 손실: 2.516825	최선의 손실: 1.666483	정확도: 20.91%
15	검증 세트 손실: 1.914143	최선의 손실: 1.666483	정확도: 22.01%
16	검증 세트 손실: 2.225626	최선의 손실: 1.666483	정확도: 18.73%
17	검증 세트 손실: 1.658233	최선의 손실: 1.658233	정확도: 20.91%
18	검증 세트 손실: 2.221774	최선의 손실: 1.658233	정확도: 19.08%
19	검증 세트 손실: 2.665048	최선의 손실: 1.658233	정확도: 22.01%
20	검증 세트 손실: 2.008373	최선의 손실: 1.658233	정확도: 22.01%
21	검증 세트 손실: 2.444499	최선의 손실: 1.658233	정확도: 20.91%
22	검증 세트 손실: 2.119730	최선의 손실: 1.658233	정확도: 22.01%
23	검증 세트 손실: 2.245321	최선의 손실: 1.658233	정확도: 19.27%
24	검증 세트 손실: 1.920225	최선의 손실: 1.658233	정확도: 20.91%
25	검증 세트 손실: 1.993324	최선의 손실: 1.658233	정확도: 20.91%
26	검증 세트 손실: 1.718372	최선의 손실: 1.658233	정확도: 19.08%
27	검증 세트 손실: 2.015469	최선의 손실: 1.658233	정확도: 18.73%
28	검증 세트 손실: 2.296116	최선의 손실: 1.658233	정확도: 19.08%
29	검증 세트 손실: 1.739967	최선의 손실: 1.658233	정확도: 20.91%
30	검증 세트 손실: 1.709734	최선의 손실: 1.658233	정확도: 18.73%
31	검증 세트 손실: 1.664722	최선의 손실: 1.658233	정확도: 20.91%
32	검증 세트 손실: 1.779048	최선의 손실: 1.658233	정확도: 22.01%
33	검증 세트 손실: 1.714502	최선의 손실: 1.658233	정확도: 19.08%
34	검증 세트 손실: 2.160548	최선의 손실: 1.658233	정확도: 19.08%
35	검증 세트 손실: 2.389713	최선의 손실: 1.658233	정확도: 19.27%
36	검증 세트 손실: 1.843754	최선의 손실: 1.658233	정확도: 18.73%
37	검증 세트 손실: 1.860699	최선의 손실: 1.658233	정확도: 19.08%
38	검증 세트 손실: 2.205716	최선의 손실: 1.658233	정확도: 19.08%
조기 종료!
[CV]  n_neurons=70, learning_rate=0.05, batch_size=10, activation=<function elu at 0x7f8ec4ceef28>, total=  40.0s
[CV] n_neurons=70, learning_rate=0.05, batch_size=10, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 1.843515	최선의 손실: 1.843515	정확도: 19.27%
1	검증 세트 손실: 1.861793	최선의 손실: 1.843515	정확도: 22.01%
2	검증 세트 손실: 2.011513	최선의 손실: 1.843515	정확도: 18.73%
3	검증 세트 손실: 2.016104	최선의 손실: 1.843515	정확도: 22.01%
4	검증 세트 손실: 1.970925	최선의 손실: 1.843515	정확도: 19.08%
5	검증 세트 손실: 1.647395	최선의 손실: 1.647395	정확도: 20.91%
6	검증 세트 손실: 1.701503	최선의 손실: 1.647395	정확도: 19.27%
7	검증 세트 손실: 2.395791	최선의 손실: 1.647395	정확도: 19.08%
8	검증 세트 손실: 1.941442	최선의 손실: 1.647395	정확도: 18.73%
9	검증 세트 손실: 1.963344	최선의 손실: 1.647395	정확도: 20.91%
10	검증 세트 손실: 1.835824	최선의 손실: 1.647395	정확도: 19.08%
11	검증 세트 손실: 1.930026	최선의 손실: 1.647395	정확도: 22.01%
12	검증 세트 손실: 1.885898	최선의 손실: 1.647395	정확도: 20.91%
13	검증 세트 손실: 2.390905	최선의 손실: 1.647395	정확도: 19.08%
14	검증 세트 손실: 1.961101	최선의 손실: 1.647395	정확도: 19.27%
15	검증 세트 손실: 1.962756	최선의 손실: 1.647395	정확도: 20.91%
16	검증 세트 손실: 1.886139	최선의 손실: 1.647395	정확도: 18.73%
17	검증 세트 손실: 1.892859	최선의 손실: 1.647395	정확도: 19.08%
18	검증 세트 손실: 1.981896	최선의 손실: 1.647395	정확도: 19.08%
19	검증 세트 손실: 1.750127	최선의 손실: 1.647395	정확도: 22.01%
20	검증 세트 손실: 2.134342	최선의 손실: 1.647395	정확도: 19.27%
21	검증 세트 손실: 1.879302	최선의 손실: 1.647395	정확도: 22.01%
22	검증 세트 손실: 2.148499	최선의 손실: 1.647395	정확도: 19.08%
23	검증 세트 손실: 2.088907	최선의 손실: 1.647395	정확도: 22.01%
24	검증 세트 손실: 1.838559	최선의 손실: 1.647395	정확도: 20.91%
25	검증 세트 손실: 1.905606	최선의 손실: 1.647395	정확도: 19.08%
26	검증 세트 손실: 2.406297	최선의 손실: 1.647395	정확도: 19.08%
조기 종료!
[CV]  n_neurons=70, learning_rate=0.05, batch_size=10, activation=<function elu at 0x7f8ec4ceef28>, total=  27.7s
[CV] n_neurons=70, learning_rate=0.05, batch_size=10, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 1.752011	최선의 손실: 1.752011	정확도: 20.91%
1	검증 세트 손실: 1.948996	최선의 손실: 1.752011	정확도: 19.27%
2	검증 세트 손실: 1.933385	최선의 손실: 1.752011	정확도: 19.08%
3	검증 세트 손실: 1.852088	최선의 손실: 1.752011	정확도: 19.27%
4	검증 세트 손실: 2.686836	최선의 손실: 1.752011	정확도: 19.08%
5	검증 세트 손실: 1.852322	최선의 손실: 1.752011	정확도: 20.91%
6	검증 세트 손실: 1.812496	최선의 손실: 1.752011	정확도: 22.01%
7	검증 세트 손실: 1.757772	최선의 손실: 1.752011	정확도: 19.08%
8	검증 세트 손실: 1.902279	최선의 손실: 1.752011	정확도: 19.27%
9	검증 세트 손실: 2.087055	최선의 손실: 1.752011	정확도: 19.27%
10	검증 세트 손실: 1.779781	최선의 손실: 1.752011	정확도: 18.73%
11	검증 세트 손실: 2.227393	최선의 손실: 1.752011	정확도: 19.27%
12	검증 세트 손실: 1.950020	최선의 손실: 1.752011	정확도: 20.91%
13	검증 세트 손실: 3.099459	최선의 손실: 1.752011	정확도: 19.08%
14	검증 세트 손실: 1.830344	최선의 손실: 1.752011	정확도: 22.01%
15	검증 세트 손실: 1.733784	최선의 손실: 1.733784	정확도: 20.91%
16	검증 세트 손실: 2.189534	최선의 손실: 1.733784	정확도: 18.73%
17	검증 세트 손실: 1.943922	최선의 손실: 1.733784	정확도: 18.73%
18	검증 세트 손실: 1.848899	최선의 손실: 1.733784	정확도: 19.08%
19	검증 세트 손실: 1.984283	최선의 손실: 1.733784	정확도: 18.73%
20	검증 세트 손실: 1.919438	최선의 손실: 1.733784	정확도: 19.27%
21	검증 세트 손실: 2.156086	최선의 손실: 1.733784	정확도: 22.01%
22	검증 세트 손실: 1.834820	최선의 손실: 1.733784	정확도: 19.27%
23	검증 세트 손실: 2.444076	최선의 손실: 1.733784	정확도: 19.08%
24	검증 세트 손실: 1.866027	최선의 손실: 1.733784	정확도: 19.27%
25	검증 세트 손실: 1.884747	최선의 손실: 1.733784	정확도: 22.01%
26	검증 세트 손실: 1.738111	최선의 손실: 1.733784	정확도: 18.73%
27	검증 세트 손실: 1.679296	최선의 손실: 1.679296	정확도: 20.91%
28	검증 세트 손실: 2.567140	최선의 손실: 1.679296	정확도: 19.08%
29	검증 세트 손실: 2.661166	최선의 손실: 1.679296	정확도: 20.91%
30	검증 세트 손실: 2.013063	최선의 손실: 1.679296	정확도: 19.27%
31	검증 세트 손실: 1.886540	최선의 손실: 1.679296	정확도: 22.01%
32	검증 세트 손실: 1.891881	최선의 손실: 1.679296	정확도: 19.08%
33	검증 세트 손실: 2.216810	최선의 손실: 1.679296	정확도: 22.01%
34	검증 세트 손실: 2.191178	최선의 손실: 1.679296	정확도: 19.27%
35	검증 세트 손실: 1.704169	최선의 손실: 1.679296	정확도: 19.08%
36	검증 세트 손실: 1.731653	최선의 손실: 1.679296	정확도: 19.27%
37	검증 세트 손실: 1.813348	최선의 손실: 1.679296	정확도: 22.01%
38	검증 세트 손실: 3.032766	최선의 손실: 1.679296	정확도: 18.73%
39	검증 세트 손실: 2.401290	최선의 손실: 1.679296	정확도: 19.27%
40	검증 세트 손실: 1.645941	최선의 손실: 1.645941	정확도: 19.08%
41	검증 세트 손실: 2.166194	최선의 손실: 1.645941	정확도: 22.01%
42	검증 세트 손실: 2.384703	최선의 손실: 1.645941	정확도: 22.01%
43	검증 세트 손실: 2.204781	최선의 손실: 1.645941	정확도: 20.91%
44	검증 세트 손실: 1.765177	최선의 손실: 1.645941	정확도: 18.73%
45	검증 세트 손실: 1.696825	최선의 손실: 1.645941	정확도: 18.73%
46	검증 세트 손실: 2.521089	최선의 손실: 1.645941	정확도: 20.91%
47	검증 세트 손실: 2.133252	최선의 손실: 1.645941	정확도: 19.08%
48	검증 세트 손실: 1.695984	최선의 손실: 1.645941	정확도: 22.01%
49	검증 세트 손실: 1.936505	최선의 손실: 1.645941	정확도: 19.08%
50	검증 세트 손실: 2.176909	최선의 손실: 1.645941	정확도: 18.73%
51	검증 세트 손실: 2.179087	최선의 손실: 1.645941	정확도: 19.27%
52	검증 세트 손실: 2.013386	최선의 손실: 1.645941	정확도: 20.91%
53	검증 세트 손실: 2.239873	최선의 손실: 1.645941	정확도: 19.27%
54	검증 세트 손실: 1.942735	최선의 손실: 1.645941	정확도: 20.91%
55	검증 세트 손실: 1.686158	최선의 손실: 1.645941	정확도: 20.91%
56	검증 세트 손실: 2.281741	최선의 손실: 1.645941	정확도: 19.08%
57	검증 세트 손실: 2.154370	최선의 손실: 1.645941	정확도: 22.01%
58	검증 세트 손실: 1.815147	최선의 손실: 1.645941	정확도: 19.27%
59	검증 세트 손실: 1.998514	최선의 손실: 1.645941	정확도: 19.27%
60	검증 세트 손실: 1.969455	최선의 손실: 1.645941	정확도: 19.08%
61	검증 세트 손실: 2.026055	최선의 손실: 1.645941	정확도: 19.27%
조기 종료!
[CV]  n_neurons=70, learning_rate=0.05, batch_size=10, activation=<function elu at 0x7f8ec4ceef28>, total= 1.1min
[CV] n_neurons=50, learning_rate=0.01, batch_size=500, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 0.103133	최선의 손실: 0.103133	정확도: 96.83%
1	검증 세트 손실: 0.062310	최선의 손실: 0.062310	정확도: 98.01%
2	검증 세트 손실: 0.067127	최선의 손실: 0.062310	정확도: 98.01%
3	검증 세트 손실: 0.067752	최선의 손실: 0.062310	정확도: 98.08%
4	검증 세트 손실: 0.052678	최선의 손실: 0.052678	정확도: 98.32%
5	검증 세트 손실: 0.050404	최선의 손실: 0.050404	정확도: 98.40%
6	검증 세트 손실: 0.047800	최선의 손실: 0.047800	정확도: 98.79%
7	검증 세트 손실: 0.051627	최선의 손실: 0.047800	정확도: 98.63%
8	검증 세트 손실: 0.042786	최선의 손실: 0.042786	정확도: 98.79%
9	검증 세트 손실: 0.051910	최선의 손실: 0.042786	정확도: 98.63%
10	검증 세트 손실: 0.052383	최선의 손실: 0.042786	정확도: 98.83%
11	검증 세트 손실: 0.054208	최선의 손실: 0.042786	정확도: 98.55%
12	검증 세트 손실: 0.055605	최선의 손실: 0.042786	정확도: 98.63%
13	검증 세트 손실: 0.058243	최선의 손실: 0.042786	정확도: 98.32%
14	검증 세트 손실: 0.054449	최선의 손실: 0.042786	정확도: 98.63%
15	검증 세트 손실: 0.103491	최선의 손실: 0.042786	정확도: 97.65%
16	검증 세트 손실: 0.046664	최선의 손실: 0.042786	정확도: 99.06%
17	검증 세트 손실: 0.061874	최선의 손실: 0.042786	정확도: 98.83%
18	검증 세트 손실: 0.063453	최선의 손실: 0.042786	정확도: 98.55%
19	검증 세트 손실: 0.064143	최선의 손실: 0.042786	정확도: 98.79%
20	검증 세트 손실: 0.085926	최선의 손실: 0.042786	정확도: 98.67%
21	검증 세트 손실: 0.066995	최선의 손실: 0.042786	정확도: 98.63%
22	검증 세트 손실: 0.071505	최선의 손실: 0.042786	정확도: 98.48%
23	검증 세트 손실: 0.076318	최선의 손실: 0.042786	정확도: 98.67%
24	검증 세트 손실: 0.068449	최선의 손실: 0.042786	정확도: 98.79%
25	검증 세트 손실: 0.066985	최선의 손실: 0.042786	정확도: 98.98%
26	검증 세트 손실: 0.064507	최선의 손실: 0.042786	정확도: 99.06%
27	검증 세트 손실: 0.069215	최선의 손실: 0.042786	정확도: 99.10%
28	검증 세트 손실: 0.069443	최선의 손실: 0.042786	정확도: 99.10%
29	검증 세트 손실: 0.070032	최선의 손실: 0.042786	정확도: 99.10%
조기 종료!
[CV]  n_neurons=50, learning_rate=0.01, batch_size=500, activation=<function relu at 0x7f8ec4c8c510>, total=   4.1s
[CV] n_neurons=50, learning_rate=0.01, batch_size=500, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 0.102200	최선의 손실: 0.102200	정확도: 96.60%
1	검증 세트 손실: 0.073656	최선의 손실: 0.073656	정확도: 97.85%
2	검증 세트 손실: 0.055486	최선의 손실: 0.055486	정확도: 98.08%
3	검증 세트 손실: 0.061788	최선의 손실: 0.055486	정확도: 98.24%
4	검증 세트 손실: 0.067512	최선의 손실: 0.055486	정확도: 98.32%
5	검증 세트 손실: 0.045744	최선의 손실: 0.045744	정확도: 98.36%
6	검증 세트 손실: 0.073225	최선의 손실: 0.045744	정확도: 98.12%
7	검증 세트 손실: 0.057333	최선의 손실: 0.045744	정확도: 98.36%
8	검증 세트 손실: 0.049836	최선의 손실: 0.045744	정확도: 98.59%
9	검증 세트 손실: 0.057928	최선의 손실: 0.045744	정확도: 98.59%
10	검증 세트 손실: 0.052565	최선의 손실: 0.045744	정확도: 98.59%
11	검증 세트 손실: 0.050716	최선의 손실: 0.045744	정확도: 98.63%
12	검증 세트 손실: 0.058732	최선의 손실: 0.045744	정확도: 98.44%
13	검증 세트 손실: 0.051241	최선의 손실: 0.045744	정확도: 98.55%
14	검증 세트 손실: 0.065893	최선의 손실: 0.045744	정확도: 98.44%
15	검증 세트 손실: 0.067208	최선의 손실: 0.045744	정확도: 98.40%
16	검증 세트 손실: 0.056171	최선의 손실: 0.045744	정확도: 98.44%
17	검증 세트 손실: 0.044505	최선의 손실: 0.044505	정확도: 98.83%
18	검증 세트 손실: 0.049979	최선의 손실: 0.044505	정확도: 98.91%
19	검증 세트 손실: 0.065124	최선의 손실: 0.044505	정확도: 98.79%
20	검증 세트 손실: 0.050391	최선의 손실: 0.044505	정확도: 98.91%
21	검증 세트 손실: 0.045792	최선의 손실: 0.044505	정확도: 98.98%
22	검증 세트 손실: 0.046056	최선의 손실: 0.044505	정확도: 98.98%
23	검증 세트 손실: 0.077483	최선의 손실: 0.044505	정확도: 98.59%
24	검증 세트 손실: 0.047800	최선의 손실: 0.044505	정확도: 99.02%
25	검증 세트 손실: 0.050856	최선의 손실: 0.044505	정확도: 98.94%
26	검증 세트 손실: 0.062638	최선의 손실: 0.044505	정확도: 98.79%
27	검증 세트 손실: 0.053903	최선의 손실: 0.044505	정확도: 99.02%
28	검증 세트 손실: 0.066323	최선의 손실: 0.044505	정확도: 98.83%
29	검증 세트 손실: 0.056546	최선의 손실: 0.044505	정확도: 98.59%
30	검증 세트 손실: 0.053804	최선의 손실: 0.044505	정확도: 98.71%
31	검증 세트 손실: 0.076923	최선의 손실: 0.044505	정확도: 98.87%
32	검증 세트 손실: 0.070938	최선의 손실: 0.044505	정확도: 98.87%
33	검증 세트 손실: 0.050773	최선의 손실: 0.044505	정확도: 99.10%
34	검증 세트 손실: 0.069816	최선의 손실: 0.044505	정확도: 98.94%
35	검증 세트 손실: 0.060871	최선의 손실: 0.044505	정확도: 98.87%
36	검증 세트 손실: 0.068617	최선의 손실: 0.044505	정확도: 98.63%
37	검증 세트 손실: 0.058134	최선의 손실: 0.044505	정확도: 98.67%
38	검증 세트 손실: 0.063458	최선의 손실: 0.044505	정확도: 98.83%
조기 종료!
[CV]  n_neurons=50, learning_rate=0.01, batch_size=500, activation=<function relu at 0x7f8ec4c8c510>, total=   5.0s
[CV] n_neurons=50, learning_rate=0.01, batch_size=500, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 0.088652	최선의 손실: 0.088652	정확도: 97.46%
1	검증 세트 손실: 0.063386	최선의 손실: 0.063386	정확도: 97.97%
2	검증 세트 손실: 0.070248	최선의 손실: 0.063386	정확도: 97.69%
3	검증 세트 손실: 0.049080	최선의 손실: 0.049080	정확도: 98.28%
4	검증 세트 손실: 0.040359	최선의 손실: 0.040359	정확도: 98.51%
5	검증 세트 손실: 0.047063	최선의 손실: 0.040359	정확도: 98.44%
6	검증 세트 손실: 0.044241	최선의 손실: 0.040359	정확도: 98.63%
7	검증 세트 손실: 0.051566	최선의 손실: 0.040359	정확도: 98.63%
8	검증 세트 손실: 0.058459	최선의 손실: 0.040359	정확도: 98.55%
9	검증 세트 손실: 0.065071	최선의 손실: 0.040359	정확도: 98.44%
10	검증 세트 손실: 0.072557	최선의 손실: 0.040359	정확도: 98.28%
11	검증 세트 손실: 0.055834	최선의 손실: 0.040359	정확도: 98.36%
12	검증 세트 손실: 0.048406	최선의 손실: 0.040359	정확도: 98.91%
13	검증 세트 손실: 0.068891	최선의 손실: 0.040359	정확도: 98.59%
14	검증 세트 손실: 0.089196	최선의 손실: 0.040359	정확도: 98.24%
15	검증 세트 손실: 0.059608	최선의 손실: 0.040359	정확도: 98.51%
16	검증 세트 손실: 0.064101	최선의 손실: 0.040359	정확도: 98.40%
17	검증 세트 손실: 0.069591	최선의 손실: 0.040359	정확도: 98.67%
18	검증 세트 손실: 0.065699	최선의 손실: 0.040359	정확도: 98.44%
19	검증 세트 손실: 0.077917	최선의 손실: 0.040359	정확도: 98.32%
20	검증 세트 손실: 0.065017	최선의 손실: 0.040359	정확도: 98.67%
21	검증 세트 손실: 0.072292	최선의 손실: 0.040359	정확도: 98.55%
22	검증 세트 손실: 0.056671	최선의 손실: 0.040359	정확도: 98.63%
23	검증 세트 손실: 0.058666	최선의 손실: 0.040359	정확도: 98.59%
24	검증 세트 손실: 0.072209	최선의 손실: 0.040359	정확도: 98.79%
25	검증 세트 손실: 0.056222	최선의 손실: 0.040359	정확도: 98.83%
조기 종료!
[CV]  n_neurons=50, learning_rate=0.01, batch_size=500, activation=<function relu at 0x7f8ec4c8c510>, total=   3.5s
[CV] n_neurons=70, learning_rate=0.1, batch_size=50, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.239394	최선의 손실: 0.239394	정확도: 94.88%
1	검증 세트 손실: 1.697466	최선의 손실: 0.239394	정확도: 19.27%
2	검증 세트 손실: 1.896986	최선의 손실: 0.239394	정확도: 19.27%
3	검증 세트 손실: 1.839737	최선의 손실: 0.239394	정확도: 19.27%
4	검증 세트 손실: 1.650887	최선의 손실: 0.239394	정확도: 22.01%
5	검증 세트 손실: 1.641779	최선의 손실: 0.239394	정확도: 22.01%
6	검증 세트 손실: 1.879864	최선의 손실: 0.239394	정확도: 18.73%
7	검증 세트 손실: 1.777996	최선의 손실: 0.239394	정확도: 20.91%
8	검증 세트 손실: 1.684156	최선의 손실: 0.239394	정확도: 19.27%
9	검증 세트 손실: 1.909088	최선의 손실: 0.239394	정확도: 19.27%
10	검증 세트 손실: 1.838670	최선의 손실: 0.239394	정확도: 19.08%
11	검증 세트 손실: 2.018031	최선의 손실: 0.239394	정확도: 18.73%
12	검증 세트 손실: 1.861453	최선의 손실: 0.239394	정확도: 20.91%
13	검증 세트 손실: 1.690053	최선의 손실: 0.239394	정확도: 22.01%
14	검증 세트 손실: 1.830808	최선의 손실: 0.239394	정확도: 22.01%
15	검증 세트 손실: 1.887623	최선의 손실: 0.239394	정확도: 18.73%
16	검증 세트 손실: 1.724566	최선의 손실: 0.239394	정확도: 20.91%
17	검증 세트 손실: 2.260877	최선의 손실: 0.239394	정확도: 19.08%
18	검증 세트 손실: 1.828262	최선의 손실: 0.239394	정확도: 19.08%
19	검증 세트 손실: 1.695243	최선의 손실: 0.239394	정확도: 19.08%
20	검증 세트 손실: 1.684204	최선의 손실: 0.239394	정확도: 19.08%
21	검증 세트 손실: 2.550787	최선의 손실: 0.239394	정확도: 20.91%
조기 종료!
[CV]  n_neurons=70, learning_rate=0.1, batch_size=50, activation=<function elu at 0x7f8ec4ceef28>, total=   7.5s
[CV] n_neurons=70, learning_rate=0.1, batch_size=50, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.574669	최선의 손실: 0.574669	정확도: 71.27%
1	검증 세트 손실: 1.722952	최선의 손실: 0.574669	정확도: 19.08%
2	검증 세트 손실: 1.620864	최선의 손실: 0.574669	정확도: 19.27%
3	검증 세트 손실: 1.662199	최선의 손실: 0.574669	정확도: 22.01%
4	검증 세트 손실: 1.711977	최선의 손실: 0.574669	정확도: 19.27%
5	검증 세트 손실: 1.700430	최선의 손실: 0.574669	정확도: 20.91%
6	검증 세트 손실: 1.687299	최선의 손실: 0.574669	정확도: 19.27%
7	검증 세트 손실: 1.691046	최선의 손실: 0.574669	정확도: 20.91%
8	검증 세트 손실: 1.855987	최선의 손실: 0.574669	정확도: 18.73%
9	검증 세트 손실: 1.773640	최선의 손실: 0.574669	정확도: 18.73%
10	검증 세트 손실: 1.765967	최선의 손실: 0.574669	정확도: 22.01%
11	검증 세트 손실: 1.758446	최선의 손실: 0.574669	정확도: 22.01%
12	검증 세트 손실: 1.716678	최선의 손실: 0.574669	정확도: 19.27%
13	검증 세트 손실: 1.941795	최선의 손실: 0.574669	정확도: 18.73%
14	검증 세트 손실: 1.790469	최선의 손실: 0.574669	정확도: 18.73%
15	검증 세트 손실: 1.746728	최선의 손실: 0.574669	정확도: 18.73%
16	검증 세트 손실: 1.722070	최선의 손실: 0.574669	정확도: 22.01%
17	검증 세트 손실: 2.549336	최선의 손실: 0.574669	정확도: 19.27%
18	검증 세트 손실: 1.803717	최선의 손실: 0.574669	정확도: 22.01%
19	검증 세트 손실: 1.764155	최선의 손실: 0.574669	정확도: 19.27%
20	검증 세트 손실: 1.773882	최선의 손실: 0.574669	정확도: 20.91%
21	검증 세트 손실: 1.836756	최선의 손실: 0.574669	정확도: 22.01%
조기 종료!
[CV]  n_neurons=70, learning_rate=0.1, batch_size=50, activation=<function elu at 0x7f8ec4ceef28>, total=   7.5s
[CV] n_neurons=70, learning_rate=0.1, batch_size=50, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.356685	최선의 손실: 0.356685	정확도: 91.91%
1	검증 세트 손실: 1.642673	최선의 손실: 0.356685	정확도: 19.27%
2	검증 세트 손실: 1.699573	최선의 손실: 0.356685	정확도: 19.27%
3	검증 세트 손실: 1.665852	최선의 손실: 0.356685	정확도: 22.01%
4	검증 세트 손실: 1.657502	최선의 손실: 0.356685	정확도: 19.27%
5	검증 세트 손실: 1.801235	최선의 손실: 0.356685	정확도: 20.91%
6	검증 세트 손실: 1.676748	최선의 손실: 0.356685	정확도: 22.01%
7	검증 세트 손실: 1.640031	최선의 손실: 0.356685	정확도: 22.01%
8	검증 세트 손실: 1.659681	최선의 손실: 0.356685	정확도: 18.73%
9	검증 세트 손실: 1.806045	최선의 손실: 0.356685	정확도: 22.01%
10	검증 세트 손실: 1.682167	최선의 손실: 0.356685	정확도: 18.73%
11	검증 세트 손실: 1.914684	최선의 손실: 0.356685	정확도: 20.91%
12	검증 세트 손실: 1.975878	최선의 손실: 0.356685	정확도: 19.08%
13	검증 세트 손실: 2.063880	최선의 손실: 0.356685	정확도: 22.01%
14	검증 세트 손실: 1.743524	최선의 손실: 0.356685	정확도: 22.01%
15	검증 세트 손실: 1.859362	최선의 손실: 0.356685	정확도: 18.73%
16	검증 세트 손실: 1.884803	최선의 손실: 0.356685	정확도: 19.08%
17	검증 세트 손실: 2.281230	최선의 손실: 0.356685	정확도: 20.91%
18	검증 세트 손실: 1.765699	최선의 손실: 0.356685	정확도: 19.08%
19	검증 세트 손실: 1.714262	최선의 손실: 0.356685	정확도: 18.73%
20	검증 세트 손실: 1.854556	최선의 손실: 0.356685	정확도: 20.91%
21	검증 세트 손실: 1.802664	최선의 손실: 0.356685	정확도: 22.01%
조기 종료!
[CV]  n_neurons=70, learning_rate=0.1, batch_size=50, activation=<function elu at 0x7f8ec4ceef28>, total=   7.5s
[CV] n_neurons=120, learning_rate=0.02, batch_size=50, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.103364	최선의 손실: 0.103364	정확도: 96.91%
1	검증 세트 손실: 0.117780	최선의 손실: 0.103364	정확도: 97.58%
2	검증 세트 손실: 1.748227	최선의 손실: 0.103364	정확도: 19.27%
3	검증 세트 손실: 1.764585	최선의 손실: 0.103364	정확도: 19.27%
4	검증 세트 손실: 1.730052	최선의 손실: 0.103364	정확도: 22.01%
5	검증 세트 손실: 1.688807	최선의 손실: 0.103364	정확도: 22.01%
6	검증 세트 손실: 1.644408	최선의 손실: 0.103364	정확도: 19.27%
7	검증 세트 손실: 1.728350	최선의 손실: 0.103364	정확도: 19.08%
8	검증 세트 손실: 1.744880	최선의 손실: 0.103364	정확도: 19.27%
9	검증 세트 손실: 1.860127	최선의 손실: 0.103364	정확도: 19.27%
10	검증 세트 손실: 1.741698	최선의 손실: 0.103364	정확도: 22.01%
11	검증 세트 손실: 1.788564	최선의 손실: 0.103364	정확도: 22.01%
12	검증 세트 손실: 1.688021	최선의 손실: 0.103364	정확도: 19.08%
13	검증 세트 손실: 1.777156	최선의 손실: 0.103364	정확도: 20.91%
14	검증 세트 손실: 1.688098	최선의 손실: 0.103364	정확도: 22.01%
15	검증 세트 손실: 1.670809	최선의 손실: 0.103364	정확도: 19.08%
16	검증 세트 손실: 1.814223	최선의 손실: 0.103364	정확도: 18.73%
17	검증 세트 손실: 1.641677	최선의 손실: 0.103364	정확도: 19.27%
18	검증 세트 손실: 1.687328	최선의 손실: 0.103364	정확도: 19.27%
19	검증 세트 손실: 1.632576	최선의 손실: 0.103364	정확도: 22.01%
20	검증 세트 손실: 1.659901	최선의 손실: 0.103364	정확도: 19.27%
21	검증 세트 손실: 1.728564	최선의 손실: 0.103364	정확도: 19.27%
조기 종료!
[CV]  n_neurons=120, learning_rate=0.02, batch_size=50, activation=<function elu at 0x7f8ec4ceef28>, total=  10.7s
[CV] n_neurons=120, learning_rate=0.02, batch_size=50, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.144120	최선의 손실: 0.144120	정확도: 95.66%
1	검증 세트 손실: 0.179906	최선의 손실: 0.144120	정확도: 96.95%
2	검증 세트 손실: 1.619519	최선의 손실: 0.144120	정확도: 20.91%
3	검증 세트 손실: 1.650959	최선의 손실: 0.144120	정확도: 18.73%
4	검증 세트 손실: 1.683343	최선의 손실: 0.144120	정확도: 19.27%
5	검증 세트 손실: 1.629446	최선의 손실: 0.144120	정확도: 20.91%
6	검증 세트 손실: 1.688083	최선의 손실: 0.144120	정확도: 19.27%
7	검증 세트 손실: 1.794846	최선의 손실: 0.144120	정확도: 18.73%
8	검증 세트 손실: 1.818188	최선의 손실: 0.144120	정확도: 18.73%
9	검증 세트 손실: 1.779035	최선의 손실: 0.144120	정확도: 20.91%
10	검증 세트 손실: 1.752034	최선의 손실: 0.144120	정확도: 19.08%
11	검증 세트 손실: 1.668493	최선의 손실: 0.144120	정확도: 22.01%
12	검증 세트 손실: 1.798548	최선의 손실: 0.144120	정확도: 20.91%
13	검증 세트 손실: 1.665784	최선의 손실: 0.144120	정확도: 19.08%
14	검증 세트 손실: 1.667941	최선의 손실: 0.144120	정확도: 19.08%
15	검증 세트 손실: 1.722474	최선의 손실: 0.144120	정확도: 19.08%
16	검증 세트 손실: 1.665960	최선의 손실: 0.144120	정확도: 18.73%
17	검증 세트 손실: 1.664144	최선의 손실: 0.144120	정확도: 19.27%
18	검증 세트 손실: 1.635750	최선의 손실: 0.144120	정확도: 20.91%
19	검증 세트 손실: 1.647937	최선의 손실: 0.144120	정확도: 19.27%
20	검증 세트 손실: 1.685323	최선의 손실: 0.144120	정확도: 18.73%
21	검증 세트 손실: 1.772377	최선의 손실: 0.144120	정확도: 22.01%
조기 종료!
[CV]  n_neurons=120, learning_rate=0.02, batch_size=50, activation=<function elu at 0x7f8ec4ceef28>, total=  10.7s
[CV] n_neurons=120, learning_rate=0.02, batch_size=50, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.169614	최선의 손실: 0.169614	정확도: 96.36%
1	검증 세트 손실: 0.096813	최선의 손실: 0.096813	정확도: 98.01%
2	검증 세트 손실: 1.807329	최선의 손실: 0.096813	정확도: 20.95%
3	검증 세트 손실: 1.655641	최선의 손실: 0.096813	정확도: 22.01%
4	검증 세트 손실: 1.780968	최선의 손실: 0.096813	정확도: 22.01%
5	검증 세트 손실: 1.803367	최선의 손실: 0.096813	정확도: 20.91%
6	검증 세트 손실: 1.651199	최선의 손실: 0.096813	정확도: 19.27%
7	검증 세트 손실: 1.740432	최선의 손실: 0.096813	정확도: 18.73%
8	검증 세트 손실: 1.717787	최선의 손실: 0.096813	정확도: 22.01%
9	검증 세트 손실: 1.861843	최선의 손실: 0.096813	정확도: 20.91%
10	검증 세트 손실: 1.655336	최선의 손실: 0.096813	정확도: 18.73%
11	검증 세트 손실: 1.926109	최선의 손실: 0.096813	정확도: 18.73%
12	검증 세트 손실: 1.788128	최선의 손실: 0.096813	정확도: 19.08%
13	검증 세트 손실: 1.620300	최선의 손실: 0.096813	정확도: 22.01%
14	검증 세트 손실: 1.684744	최선의 손실: 0.096813	정확도: 19.08%
15	검증 세트 손실: 1.629924	최선의 손실: 0.096813	정확도: 22.01%
16	검증 세트 손실: 1.631005	최선의 손실: 0.096813	정확도: 22.01%
17	검증 세트 손실: 1.662570	최선의 손실: 0.096813	정확도: 18.73%
18	검증 세트 손실: 1.638200	최선의 손실: 0.096813	정확도: 19.08%
19	검증 세트 손실: 1.751941	최선의 손실: 0.096813	정확도: 18.73%
20	검증 세트 손실: 1.718865	최선의 손실: 0.096813	정확도: 18.73%
21	검증 세트 손실: 1.827940	최선의 손실: 0.096813	정확도: 22.01%
22	검증 세트 손실: 1.673173	최선의 손실: 0.096813	정확도: 22.01%
조기 종료!
[CV]  n_neurons=120, learning_rate=0.02, batch_size=50, activation=<function elu at 0x7f8ec4ceef28>, total=  11.3s
[CV] n_neurons=140, learning_rate=0.1, batch_size=50, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 1.162470	최선의 손실: 1.162470	정확도: 50.12%
1	검증 세트 손실: 1.628713	최선의 손실: 1.162470	정확도: 22.01%
2	검증 세트 손실: 1.631232	최선의 손실: 1.162470	정확도: 18.73%
3	검증 세트 손실: 1.609332	최선의 손실: 1.162470	정확도: 19.27%
4	검증 세트 손실: 1.617427	최선의 손실: 1.162470	정확도: 22.01%
5	검증 세트 손실: 1.616056	최선의 손실: 1.162470	정확도: 22.01%
6	검증 세트 손실: 1.616715	최선의 손실: 1.162470	정확도: 22.01%
7	검증 세트 손실: 1.617523	최선의 손실: 1.162470	정확도: 22.01%
8	검증 세트 손실: 1.617067	최선의 손실: 1.162470	정확도: 19.27%
9	검증 세트 손실: 1.608678	최선의 손실: 1.162470	정확도: 22.01%
10	검증 세트 손실: 1.609206	최선의 손실: 1.162470	정확도: 22.01%
11	검증 세트 손실: 1.608795	최선의 손실: 1.162470	정확도: 22.01%
12	검증 세트 손실: 1.616532	최선의 손실: 1.162470	정확도: 22.01%
13	검증 세트 손실: 1.625388	최선의 손실: 1.162470	정확도: 18.73%
14	검증 세트 손실: 1.614410	최선의 손실: 1.162470	정확도: 18.73%
15	검증 세트 손실: 1.612102	최선의 손실: 1.162470	정확도: 22.01%
16	검증 세트 손실: 1.608084	최선의 손실: 1.162470	정확도: 22.01%
17	검증 세트 손실: 1.615091	최선의 손실: 1.162470	정확도: 19.27%
18	검증 세트 손실: 1.616778	최선의 손실: 1.162470	정확도: 18.73%
19	검증 세트 손실: 1.612287	최선의 손실: 1.162470	정확도: 22.01%
20	검증 세트 손실: 1.615540	최선의 손실: 1.162470	정확도: 19.08%
21	검증 세트 손실: 1.619599	최선의 손실: 1.162470	정확도: 19.27%
조기 종료!
[CV]  n_neurons=140, learning_rate=0.1, batch_size=50, activation=<function relu at 0x7f8ec4c8c510>, total=  11.1s
[CV] n_neurons=140, learning_rate=0.1, batch_size=50, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 1.591977	최선의 손실: 1.591977	정확도: 24.47%
1	검증 세트 손실: 1.632177	최선의 손실: 1.591977	정확도: 19.27%
2	검증 세트 손실: 1.609692	최선의 손실: 1.591977	정확도: 19.08%
3	검증 세트 손실: 1.616961	최선의 손실: 1.591977	정확도: 18.73%
4	검증 세트 손실: 1.611154	최선의 손실: 1.591977	정확도: 22.01%
5	검증 세트 손실: 1.611874	최선의 손실: 1.591977	정확도: 22.01%
6	검증 세트 손실: 1.630985	최선의 손실: 1.591977	정확도: 19.08%
7	검증 세트 손실: 1.622768	최선의 손실: 1.591977	정확도: 18.73%
8	검증 세트 손실: 1.613116	최선의 손실: 1.591977	정확도: 22.01%
9	검증 세트 손실: 1.611212	최선의 손실: 1.591977	정확도: 22.01%
10	검증 세트 손실: 1.610324	최선의 손실: 1.591977	정확도: 22.01%
11	검증 세트 손실: 1.611938	최선의 손실: 1.591977	정확도: 22.01%
12	검증 세트 손실: 1.615608	최선의 손실: 1.591977	정확도: 19.27%
13	검증 세트 손실: 1.617278	최선의 손실: 1.591977	정확도: 19.08%
14	검증 세트 손실: 1.610541	최선의 손실: 1.591977	정확도: 22.01%
15	검증 세트 손실: 1.612049	최선의 손실: 1.591977	정확도: 22.01%
16	검증 세트 손실: 1.619841	최선의 손실: 1.591977	정확도: 22.01%
17	검증 세트 손실: 1.614758	최선의 손실: 1.591977	정확도: 19.08%
18	검증 세트 손실: 1.611527	최선의 손실: 1.591977	정확도: 22.01%
19	검증 세트 손실: 1.609969	최선의 손실: 1.591977	정확도: 22.01%
20	검증 세트 손실: 1.608911	최선의 손실: 1.591977	정확도: 22.01%
21	검증 세트 손실: 1.629898	최선의 손실: 1.591977	정확도: 22.01%
조기 종료!
[CV]  n_neurons=140, learning_rate=0.1, batch_size=50, activation=<function relu at 0x7f8ec4c8c510>, total=  11.1s
[CV] n_neurons=140, learning_rate=0.1, batch_size=50, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 5.114789	최선의 손실: 5.114789	정확도: 22.01%
1	검증 세트 손실: 1.616550	최선의 손실: 1.616550	정확도: 19.27%
2	검증 세트 손실: 1.613455	최선의 손실: 1.613455	정확도: 22.01%
3	검증 세트 손실: 1.630151	최선의 손실: 1.613455	정확도: 18.73%
4	검증 세트 손실: 1.608664	최선의 손실: 1.608664	정확도: 22.01%
5	검증 세트 손실: 1.615857	최선의 손실: 1.608664	정확도: 22.01%
6	검증 세트 손실: 1.615343	최선의 손실: 1.608664	정확도: 22.01%
7	검증 세트 손실: 1.615426	최선의 손실: 1.608664	정확도: 18.73%
8	검증 세트 손실: 1.612331	최선의 손실: 1.608664	정확도: 22.01%
9	검증 세트 손실: 1.610826	최선의 손실: 1.608664	정확도: 22.01%
10	검증 세트 손실: 1.611880	최선의 손실: 1.608664	정확도: 22.01%
11	검증 세트 손실: 1.612862	최선의 손실: 1.608664	정확도: 22.01%
12	검증 세트 손실: 1.610811	최선의 손실: 1.608664	정확도: 20.91%
13	검증 세트 손실: 1.620053	최선의 손실: 1.608664	정확도: 19.27%
14	검증 세트 손실: 1.612821	최선의 손실: 1.608664	정확도: 22.01%
15	검증 세트 손실: 1.615504	최선의 손실: 1.608664	정확도: 22.01%
16	검증 세트 손실: 1.628741	최선의 손실: 1.608664	정확도: 18.73%
17	검증 세트 손실: 1.625352	최선의 손실: 1.608664	정확도: 19.08%
18	검증 세트 손실: 1.609349	최선의 손실: 1.608664	정확도: 20.91%
19	검증 세트 손실: 1.613124	최선의 손실: 1.608664	정확도: 19.08%
20	검증 세트 손실: 1.613291	최선의 손실: 1.608664	정확도: 19.27%
21	검증 세트 손실: 1.623134	최선의 손실: 1.608664	정확도: 22.01%
22	검증 세트 손실: 1.617783	최선의 손실: 1.608664	정확도: 22.01%
23	검증 세트 손실: 1.617091	최선의 손실: 1.608664	정확도: 22.01%
24	검증 세트 손실: 1.608748	최선의 손실: 1.608664	정확도: 20.91%
25	검증 세트 손실: 1.615597	최선의 손실: 1.608664	정확도: 18.73%
조기 종료!
[CV]  n_neurons=140, learning_rate=0.1, batch_size=50, activation=<function relu at 0x7f8ec4c8c510>, total=  13.2s
[CV] n_neurons=90, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 
0	검증 세트 손실: 103.046265	최선의 손실: 103.046265	정확도: 44.68%
1	검증 세트 손실: 3894.037598	최선의 손실: 103.046265	정확도: 38.15%
2	검증 세트 손실: 188743.156250	최선의 손실: 103.046265	정확도: 34.01%
3	검증 세트 손실: 103245.507812	최선의 손실: 103.046265	정확도: 39.91%
4	검증 세트 손실: 3615.712158	최선의 손실: 103.046265	정확도: 72.28%
5	검증 세트 손실: 602.530762	최선의 손실: 103.046265	정확도: 78.38%
6	검증 세트 손실: 292.432465	최선의 손실: 103.046265	정확도: 88.35%
7	검증 세트 손실: 175.339432	최선의 손실: 103.046265	정확도: 88.23%
8	검증 세트 손실: 621.894958	최선의 손실: 103.046265	정확도: 84.56%
9	검증 세트 손실: 205.935623	최선의 손실: 103.046265	정확도: 86.90%
10	검증 세트 손실: 574.563599	최선의 손실: 103.046265	정확도: 78.77%
11	검증 세트 손실: 147.283981	최선의 손실: 103.046265	정확도: 91.48%
12	검증 세트 손실: 119.081154	최선의 손실: 103.046265	정확도: 92.65%
13	검증 세트 손실: 72.598778	최선의 손실: 72.598778	정확도: 93.59%
14	검증 세트 손실: 128.097794	최선의 손실: 72.598778	정확도: 89.56%
15	검증 세트 손실: 58.919201	최선의 손실: 58.919201	정확도: 93.78%
16	검증 세트 손실: 605.112488	최선의 손실: 58.919201	정확도: 86.24%
17	검증 세트 손실: 242.258499	최선의 손실: 58.919201	정확도: 93.82%
18	검증 세트 손실: 152.493088	최선의 손실: 58.919201	정확도: 90.58%
19	검증 세트 손실: 98.061996	최선의 손실: 58.919201	정확도: 94.76%
20	검증 세트 손실: 103.558617	최선의 손실: 58.919201	정확도: 95.11%
21	검증 세트 손실: 87.303940	최선의 손실: 58.919201	정확도: 95.47%
22	검증 세트 손실: 79.762535	최선의 손실: 58.919201	정확도: 95.78%
23	검증 세트 손실: 109.392105	최선의 손실: 58.919201	정확도: 90.58%
24	검증 세트 손실: 117.719948	최선의 손실: 58.919201	정확도: 93.59%
25	검증 세트 손실: 74.542526	최선의 손실: 58.919201	정확도: 95.35%
26	검증 세트 손실: 76.486061	최선의 손실: 58.919201	정확도: 95.19%
27	검증 세트 손실: 142.724625	최선의 손실: 58.919201	정확도: 93.94%
28	검증 세트 손실: 70.466728	최선의 손실: 58.919201	정확도: 96.13%
29	검증 세트 손실: 51.892567	최선의 손실: 51.892567	정확도: 95.43%
30	검증 세트 손실: 59.593994	최선의 손실: 51.892567	정확도: 96.13%
31	검증 세트 손실: 73.466835	최선의 손실: 51.892567	정확도: 95.23%
32	검증 세트 손실: 63.206081	최선의 손실: 51.892567	정확도: 95.19%
33	검증 세트 손실: 47.820358	최선의 손실: 47.820358	정확도: 95.86%
34	검증 세트 손실: 54.510078	최선의 손실: 47.820358	정확도: 96.01%
35	검증 세트 손실: 38.793087	최선의 손실: 38.793087	정확도: 95.90%
36	검증 세트 손실: 176.525970	최선의 손실: 38.793087	정확도: 92.69%
37	검증 세트 손실: 79.613518	최선의 손실: 38.793087	정확도: 96.29%
38	검증 세트 손실: 61.727535	최선의 손실: 38.793087	정확도: 96.40%
39	검증 세트 손실: 54.707413	최선의 손실: 38.793087	정확도: 94.25%
40	검증 세트 손실: 75.661720	최선의 손실: 38.793087	정확도: 94.45%
41	검증 세트 손실: 46.641033	최선의 손실: 38.793087	정확도: 96.17%
42	검증 세트 손실: 76.022224	최선의 손실: 38.793087	정확도: 95.62%
43	검증 세트 손실: 48.577057	최선의 손실: 38.793087	정확도: 96.56%
44	검증 세트 손실: 63.571896	최선의 손실: 38.793087	정확도: 96.33%
45	검증 세트 손실: 45.548710	최선의 손실: 38.793087	정확도: 96.05%
46	검증 세트 손실: 43.737740	최선의 손실: 38.793087	정확도: 95.66%
47	검증 세트 손실: 96.476509	최선의 손실: 38.793087	정확도: 92.42%
48	검증 세트 손실: 52.450016	최선의 손실: 38.793087	정확도: 95.82%
49	검증 세트 손실: 27.196903	최선의 손실: 27.196903	정확도: 96.79%
50	검증 세트 손실: 35.557030	최선의 손실: 27.196903	정확도: 96.52%
51	검증 세트 손실: 40.110378	최선의 손실: 27.196903	정확도: 96.44%
52	검증 세트 손실: 41.037018	최선의 손실: 27.196903	정확도: 95.58%
53	검증 세트 손실: 86.323654	최선의 손실: 27.196903	정확도: 95.62%
54	검증 세트 손실: 53.789570	최선의 손실: 27.196903	정확도: 95.47%
55	검증 세트 손실: 42.549725	최선의 손실: 27.196903	정확도: 95.97%
56	검증 세트 손실: 41.087799	최선의 손실: 27.196903	정확도: 96.40%
57	검증 세트 손실: 41.495644	최선의 손실: 27.196903	정확도: 95.50%
58	검증 세트 손실: 40.575272	최선의 손실: 27.196903	정확도: 95.74%
59	검증 세트 손실: 48.021423	최선의 손실: 27.196903	정확도: 95.74%
60	검증 세트 손실: 31.978600	최선의 손실: 27.196903	정확도: 95.23%
61	검증 세트 손실: 38.560455	최선의 손실: 27.196903	정확도: 96.91%
62	검증 세트 손실: 28.967424	최선의 손실: 27.196903	정확도: 96.91%
63	검증 세트 손실: 34.467991	최선의 손실: 27.196903	정확도: 96.99%
64	검증 세트 손실: 32.570118	최선의 손실: 27.196903	정확도: 97.07%
65	검증 세트 손실: 25.310200	최선의 손실: 25.310200	정확도: 96.79%
66	검증 세트 손실: 31.085363	최선의 손실: 25.310200	정확도: 95.47%
67	검증 세트 손실: 30.213619	최선의 손실: 25.310200	정확도: 96.68%
68	검증 세트 손실: 26.330477	최선의 손실: 25.310200	정확도: 96.09%
69	검증 세트 손실: 28.598707	최선의 손실: 25.310200	정확도: 95.90%
70	검증 세트 손실: 44.617134	최선의 손실: 25.310200	정확도: 95.00%
71	검증 세트 손실: 49.255375	최선의 손실: 25.310200	정확도: 96.09%
72	검증 세트 손실: 530.126038	최선의 손실: 25.310200	정확도: 77.80%
73	검증 세트 손실: 190.072098	최선의 손실: 25.310200	정확도: 96.01%
74	검증 세트 손실: 175.621170	최선의 손실: 25.310200	정확도: 93.82%
75	검증 세트 손실: 70.428238	최선의 손실: 25.310200	정확도: 95.93%
76	검증 세트 손실: 153.392426	최선의 손실: 25.310200	정확도: 93.90%
77	검증 세트 손실: 74.481873	최선의 손실: 25.310200	정확도: 95.90%
78	검증 세트 손실: 61.736233	최선의 손실: 25.310200	정확도: 96.36%
79	검증 세트 손실: 68.976669	최선의 손실: 25.310200	정확도: 95.78%
80	검증 세트 손실: 54.382133	최선의 손실: 25.310200	정확도: 97.07%
81	검증 세트 손실: 47.077751	최선의 손실: 25.310200	정확도: 96.60%
82	검증 세트 손실: 60.803265	최선의 손실: 25.310200	정확도: 96.64%
83	검증 세트 손실: 49.738022	최선의 손실: 25.310200	정확도: 95.78%
84	검증 세트 손실: 47.083115	최선의 손실: 25.310200	정확도: 96.36%
85	검증 세트 손실: 30.865932	최선의 손실: 25.310200	정확도: 96.91%
86	검증 세트 손실: 45.440506	최선의 손실: 25.310200	정확도: 96.36%
조기 종료!
[CV]  n_neurons=90, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total=  16.0s
[CV] n_neurons=90, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 
0	검증 세트 손실: 589.323425	최선의 손실: 589.323425	정확도: 20.99%
1	검증 세트 손실: 25.155005	최선의 손실: 25.155005	정확도: 70.37%
2	검증 세트 손실: 13.491067	최선의 손실: 13.491067	정확도: 87.76%
3	검증 세트 손실: 2.126667	최선의 손실: 2.126667	정확도: 93.39%
4	검증 세트 손실: 1.007962	최선의 손실: 1.007962	정확도: 95.00%
5	검증 세트 손실: 0.997625	최선의 손실: 0.997625	정확도: 94.96%
6	검증 세트 손실: 0.552859	최선의 손실: 0.552859	정확도: 94.88%
7	검증 세트 손실: 3.341693	최선의 손실: 0.552859	정확도: 89.48%
8	검증 세트 손실: 1.695049	최선의 손실: 0.552859	정확도: 94.76%
9	검증 세트 손실: 0.755585	최선의 손실: 0.552859	정확도: 95.47%
10	검증 세트 손실: 0.480568	최선의 손실: 0.480568	정확도: 96.21%
11	검증 세트 손실: 0.400577	최선의 손실: 0.400577	정확도: 95.62%
12	검증 세트 손실: 0.358413	최선의 손실: 0.358413	정확도: 96.13%
13	검증 세트 손실: 0.334970	최선의 손실: 0.334970	정확도: 96.09%
14	검증 세트 손실: 0.281449	최선의 손실: 0.281449	정확도: 96.17%
15	검증 세트 손실: 0.412877	최선의 손실: 0.281449	정확도: 95.35%
16	검증 세트 손실: 0.248879	최선의 손실: 0.248879	정확도: 96.56%
17	검증 세트 손실: 0.330963	최선의 손실: 0.248879	정확도: 95.97%
18	검증 세트 손실: 0.298042	최선의 손실: 0.248879	정확도: 96.68%
19	검증 세트 손실: 0.262646	최선의 손실: 0.248879	정확도: 96.64%
20	검증 세트 손실: 0.247243	최선의 손실: 0.247243	정확도: 96.60%
21	검증 세트 손실: 0.210414	최선의 손실: 0.210414	정확도: 96.83%
22	검증 세트 손실: 0.206849	최선의 손실: 0.206849	정확도: 97.26%
23	검증 세트 손실: 0.906183	최선의 손실: 0.206849	정확도: 95.47%
24	검증 세트 손실: 0.370097	최선의 손실: 0.206849	정확도: 97.26%
25	검증 세트 손실: 0.255660	최선의 손실: 0.206849	정확도: 97.15%
26	검증 세트 손실: 0.306962	최선의 손실: 0.206849	정확도: 96.09%
27	검증 세트 손실: 0.238086	최선의 손실: 0.206849	정확도: 96.72%
28	검증 세트 손실: 0.235990	최선의 손실: 0.206849	정확도: 97.38%
29	검증 세트 손실: 0.222535	최선의 손실: 0.206849	정확도: 97.34%
30	검증 세트 손실: 0.224703	최선의 손실: 0.206849	정확도: 97.42%
31	검증 세트 손실: 0.226848	최선의 손실: 0.206849	정확도: 97.58%
32	검증 세트 손실: 0.281135	최선의 손실: 0.206849	정확도: 97.03%
33	검증 세트 손실: 0.232221	최선의 손실: 0.206849	정확도: 97.19%
34	검증 세트 손실: 0.229852	최선의 손실: 0.206849	정확도: 97.30%
35	검증 세트 손실: 0.263981	최선의 손실: 0.206849	정확도: 97.19%
36	검증 세트 손실: 0.617203	최선의 손실: 0.206849	정확도: 96.64%
37	검증 세트 손실: 0.268421	최선의 손실: 0.206849	정확도: 97.42%
38	검증 세트 손실: 0.232858	최선의 손실: 0.206849	정확도: 97.46%
39	검증 세트 손실: 0.224501	최선의 손실: 0.206849	정확도: 97.42%
40	검증 세트 손실: 0.209760	최선의 손실: 0.206849	정확도: 97.81%
41	검증 세트 손실: 0.224317	최선의 손실: 0.206849	정확도: 97.42%
42	검증 세트 손실: 0.245268	최선의 손실: 0.206849	정확도: 97.42%
43	검증 세트 손실: 0.217127	최선의 손실: 0.206849	정확도: 97.58%
조기 종료!
[CV]  n_neurons=90, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total=   8.4s
[CV] n_neurons=90, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598> 
0	검증 세트 손실: 819.340881	최선의 손실: 819.340881	정확도: 19.27%
1	검증 세트 손실: 19.642662	최선의 손실: 19.642662	정확도: 84.91%
2	검증 세트 손실: 4.462388	최선의 손실: 4.462388	정확도: 91.83%
3	검증 세트 손실: 3.357640	최선의 손실: 3.357640	정확도: 87.96%
4	검증 세트 손실: 1.479010	최선의 손실: 1.479010	정확도: 96.25%
5	검증 세트 손실: 1.345724	최선의 손실: 1.345724	정확도: 94.84%
6	검증 세트 손실: 1.323037	최선의 손실: 1.323037	정확도: 93.24%
7	검증 세트 손실: 0.720926	최선의 손실: 0.720926	정확도: 96.36%
8	검증 세트 손실: 0.599578	최선의 손실: 0.599578	정확도: 95.90%
9	검증 세트 손실: 0.516076	최선의 손실: 0.516076	정확도: 95.86%
10	검증 세트 손실: 0.427521	최선의 손실: 0.427521	정확도: 96.05%
11	검증 세트 손실: 0.385268	최선의 손실: 0.385268	정확도: 96.17%
12	검증 세트 손실: 0.382610	최선의 손실: 0.382610	정확도: 96.44%
13	검증 세트 손실: 0.385694	최선의 손실: 0.382610	정확도: 96.29%
14	검증 세트 손실: 0.364813	최선의 손실: 0.364813	정확도: 95.70%
15	검증 세트 손실: 0.696420	최선의 손실: 0.364813	정확도: 94.10%
16	검증 세트 손실: 0.374868	최선의 손실: 0.364813	정확도: 95.23%
17	검증 세트 손실: 0.382000	최선의 손실: 0.364813	정확도: 95.93%
18	검증 세트 손실: 0.282846	최선의 손실: 0.282846	정확도: 97.38%
19	검증 세트 손실: 0.359906	최선의 손실: 0.282846	정확도: 95.11%
20	검증 세트 손실: 0.269732	최선의 손실: 0.269732	정확도: 97.42%
21	검증 세트 손실: 0.288407	최선의 손실: 0.269732	정확도: 96.33%
22	검증 세트 손실: 0.225962	최선의 손실: 0.225962	정확도: 97.30%
23	검증 세트 손실: 0.201227	최선의 손실: 0.201227	정확도: 97.54%
24	검증 세트 손실: 0.273083	최선의 손실: 0.201227	정확도: 96.13%
25	검증 세트 손실: 0.228911	최선의 손실: 0.201227	정확도: 97.46%
26	검증 세트 손실: 0.225587	최선의 손실: 0.201227	정확도: 96.56%
27	검증 세트 손실: 0.184601	최선의 손실: 0.184601	정확도: 97.22%
28	검증 세트 손실: 0.182162	최선의 손실: 0.182162	정확도: 97.65%
29	검증 세트 손실: 0.182933	최선의 손실: 0.182162	정확도: 97.38%
30	검증 세트 손실: 0.188017	최선의 손실: 0.182162	정확도: 97.19%
31	검증 세트 손실: 0.181837	최선의 손실: 0.181837	정확도: 97.38%
32	검증 세트 손실: 0.236452	최선의 손실: 0.181837	정확도: 96.40%
33	검증 세트 손실: 0.175292	최선의 손실: 0.175292	정확도: 97.58%
34	검증 세트 손실: 0.155509	최선의 손실: 0.155509	정확도: 97.65%
35	검증 세트 손실: 0.212295	최선의 손실: 0.155509	정확도: 97.07%
36	검증 세트 손실: 0.156537	최선의 손실: 0.155509	정확도: 97.50%
37	검증 세트 손실: 0.181029	최선의 손실: 0.155509	정확도: 97.30%
38	검증 세트 손실: 0.239246	최선의 손실: 0.155509	정확도: 97.07%
39	검증 세트 손실: 0.196605	최선의 손실: 0.155509	정확도: 97.50%
40	검증 세트 손실: 0.233737	최선의 손실: 0.155509	정확도: 96.56%
41	검증 세트 손실: 0.155307	최선의 손실: 0.155307	정확도: 97.77%
42	검증 세트 손실: 0.204377	최선의 손실: 0.155307	정확도: 97.50%
43	검증 세트 손실: 0.164538	최선의 손실: 0.155307	정확도: 97.58%
44	검증 세트 손실: 0.184751	최선의 손실: 0.155307	정확도: 97.69%
45	검증 세트 손실: 0.269245	최선의 손실: 0.155307	정확도: 96.87%
46	검증 세트 손실: 0.294787	최선의 손실: 0.155307	정확도: 97.07%
47	검증 세트 손실: 0.227743	최선의 손실: 0.155307	정확도: 97.62%
48	검증 세트 손실: 0.169297	최선의 손실: 0.155307	정확도: 98.01%
49	검증 세트 손실: 0.220376	최선의 손실: 0.155307	정확도: 97.73%
50	검증 세트 손실: 0.242634	최선의 손실: 0.155307	정확도: 96.76%
51	검증 세트 손실: 0.188290	최선의 손실: 0.155307	정확도: 97.77%
52	검증 세트 손실: 0.219997	최선의 손실: 0.155307	정확도: 97.30%
53	검증 세트 손실: 0.189377	최선의 손실: 0.155307	정확도: 98.01%
54	검증 세트 손실: 0.187721	최선의 손실: 0.155307	정확도: 98.08%
55	검증 세트 손실: 0.175944	최선의 손실: 0.155307	정확도: 97.85%
56	검증 세트 손실: 0.178270	최선의 손실: 0.155307	정확도: 98.01%
57	검증 세트 손실: 0.191847	최선의 손실: 0.155307	정확도: 97.58%
58	검증 세트 손실: 0.237384	최선의 손실: 0.155307	정확도: 97.62%
59	검증 세트 손실: 0.172149	최선의 손실: 0.155307	정확도: 98.12%
60	검증 세트 손실: 0.224177	최선의 손실: 0.155307	정확도: 97.97%
61	검증 세트 손실: 0.195187	최선의 손실: 0.155307	정확도: 97.69%
62	검증 세트 손실: 0.199786	최선의 손실: 0.155307	정확도: 98.01%
조기 종료!
[CV]  n_neurons=90, learning_rate=0.1, batch_size=500, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>, total=  11.9s
[Parallel(n_jobs=1)]: Done 150 out of 150 | elapsed: 31.8min finished
0	검증 세트 손실: 0.068968	최선의 손실: 0.068968	정확도: 97.85%
1	검증 세트 손실: 0.050188	최선의 손실: 0.050188	정확도: 98.55%
2	검증 세트 손실: 0.064402	최선의 손실: 0.050188	정확도: 98.28%
3	검증 세트 손실: 0.046623	최선의 손실: 0.046623	정확도: 98.59%
4	검증 세트 손실: 0.045708	최선의 손실: 0.045708	정확도: 98.59%
5	검증 세트 손실: 0.034994	최선의 손실: 0.034994	정확도: 99.02%
6	검증 세트 손실: 0.040954	최선의 손실: 0.034994	정확도: 98.94%
7	검증 세트 손실: 0.037508	최선의 손실: 0.034994	정확도: 99.14%
8	검증 세트 손실: 0.038701	최선의 손실: 0.034994	정확도: 99.06%
9	검증 세트 손실: 0.049342	최선의 손실: 0.034994	정확도: 98.55%
10	검증 세트 손실: 0.048750	최선의 손실: 0.034994	정확도: 98.87%
11	검증 세트 손실: 0.058452	최선의 손실: 0.034994	정확도: 98.94%
12	검증 세트 손실: 0.042305	최선의 손실: 0.034994	정확도: 98.83%
13	검증 세트 손실: 0.059438	최선의 손실: 0.034994	정확도: 98.94%
14	검증 세트 손실: 0.058639	최선의 손실: 0.034994	정확도: 99.02%
15	검증 세트 손실: 0.065809	최선의 손실: 0.034994	정확도: 98.75%
16	검증 세트 손실: 0.048589	최선의 손실: 0.034994	정확도: 98.91%
17	검증 세트 손실: 0.041296	최선의 손실: 0.034994	정확도: 99.06%
18	검증 세트 손실: 0.047819	최선의 손실: 0.034994	정확도: 99.02%
19	검증 세트 손실: 0.059732	최선의 손실: 0.034994	정확도: 98.94%
20	검증 세트 손실: 0.045060	최선의 손실: 0.034994	정확도: 98.67%
21	검증 세트 손실: 0.052282	최선의 손실: 0.034994	정확도: 99.34%
22	검증 세트 손실: 0.066738	최선의 손실: 0.034994	정확도: 99.02%
23	검증 세트 손실: 0.562932	최선의 손실: 0.034994	정확도: 82.29%
24	검증 세트 손실: 0.141875	최선의 손실: 0.034994	정확도: 96.99%
25	검증 세트 손실: 0.081134	최선의 손실: 0.034994	정확도: 98.40%
26	검증 세트 손실: 0.054021	최선의 손실: 0.034994	정확도: 98.55%
조기 종료!
Out[13]:
RandomizedSearchCV(cv=3, error_score='raise-deprecating',
          estimator=DNNClassifier(activation=<function elu at 0x7f8ec4ceef28>,
       batch_norm_momentum=None, batch_size=20, dropout_rate=None,
       initializer=<tensorflow.python.ops.init_ops.VarianceScaling object at 0x7f8eb8842e80>,
       learning_rate=0.01, n_hidden_layers=5, n_neurons=100,
       optimizer_class=<class 'tensorflow.python.training.adam.AdamOptimizer'>,
       random_state=42),
          fit_params=None, iid='warn', n_iter=50, n_jobs=None,
          param_distributions={'n_neurons': [10, 30, 50, 70, 90, 100, 120, 140, 160], 'batch_size': [10, 50, 100, 500], 'learning_rate': [0.01, 0.02, 0.05, 0.1], 'activation': [<function relu at 0x7f8ec4c8c510>, <function elu at 0x7f8ec4ceef28>, <function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e9895a400>, <function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8e988a0598>]},
          pre_dispatch='2*n_jobs', random_state=42, refit=True,
          return_train_score='warn', scoring=None, verbose=2)
In [14]:
rnd_search.best_params_
Out[14]:
{'n_neurons': 120,
 'learning_rate': 0.01,
 'batch_size': 500,
 'activation': <function __main__.leaky_relu.<locals>.parametrized_leaky_relu(z, name=None)>}
In [15]:
y_pred = rnd_search.predict(X_test1)
accuracy_score(y_test1, y_pred)
Out[15]:
0.9918272037361354

아주 좋습니다! 하이퍼파라미터 튜닝을 하니 정확도가 99.2%까지 올라갔습니다! 98%에서 99.2%로 향상된 것이 크게 느껴지지 않을지 모르지만 오류 비율을 생각해 보면 대략 2%에서 0.8%로 줄어든 것입니다. 이는 모델이 만든 에러의 개수를 60%가 감소시킨 것입니다!

모델은 저장하는 것이 좋습니다:

In [16]:
rnd_search.best_estimator_.save("./my_best_mnist_model_0_to_4")

8.4.

문제: 배치 정규화를 추가한 다음 학습 곡선을 비교해보세요. 이전보다 수렴이 빨라졌나요? 모델의 성능이 더 나아졌나요?

앞서 찾은 최상의 모델이 얼마나 빠르게 수렴하는지 보기 위해 다시 훈련시켜 보겠습니다(다른 방법으로는 텐서보드에서 학습 곡선을 그리기 위해 서머리를 저장하도록 코드를 조금 바꿀 수 있습니다):

In [17]:
dnn_clf = DNNClassifier(activation=leaky_relu(alpha=0.1), batch_size=500, learning_rate=0.01,
                        n_neurons=120, random_state=42)
dnn_clf.fit(X_train1, y_train1, n_epochs=1000, X_valid=X_valid1, y_valid=y_valid1)
0	검증 세트 손실: 0.070358	최선의 손실: 0.070358	정확도: 97.81%
1	검증 세트 손실: 0.048955	최선의 손실: 0.048955	정확도: 98.63%
2	검증 세트 손실: 0.038444	최선의 손실: 0.038444	정확도: 98.87%
3	검증 세트 손실: 0.065622	최선의 손실: 0.038444	정확도: 98.16%
4	검증 세트 손실: 0.047307	최선의 손실: 0.038444	정확도: 98.51%
5	검증 세트 손실: 0.039177	최선의 손실: 0.038444	정확도: 98.87%
6	검증 세트 손실: 0.042407	최선의 손실: 0.038444	정확도: 98.94%
7	검증 세트 손실: 0.028610	최선의 손실: 0.028610	정확도: 99.02%
8	검증 세트 손실: 0.040722	최선의 손실: 0.028610	정확도: 99.22%
9	검증 세트 손실: 0.040563	최선의 손실: 0.028610	정확도: 98.71%
10	검증 세트 손실: 0.054484	최선의 손실: 0.028610	정확도: 98.63%
11	검증 세트 손실: 0.046286	최선의 손실: 0.028610	정확도: 98.67%
12	검증 세트 손실: 0.042266	최선의 손실: 0.028610	정확도: 98.75%
13	검증 세트 손실: 0.033186	최선의 손실: 0.028610	정확도: 99.06%
14	검증 세트 손실: 0.047522	최선의 손실: 0.028610	정확도: 99.02%
15	검증 세트 손실: 0.039522	최선의 손실: 0.028610	정확도: 98.94%
16	검증 세트 손실: 0.048510	최선의 손실: 0.028610	정확도: 98.79%
17	검증 세트 손실: 0.048192	최선의 손실: 0.028610	정확도: 98.75%
18	검증 세트 손실: 0.043642	최선의 손실: 0.028610	정확도: 98.94%
19	검증 세트 손실: 0.056021	최선의 손실: 0.028610	정확도: 99.02%
20	검증 세트 손실: 0.047170	최선의 손실: 0.028610	정확도: 98.91%
21	검증 세트 손실: 0.103242	최선의 손실: 0.028610	정확도: 98.71%
22	검증 세트 손실: 0.261896	최선의 손실: 0.028610	정확도: 97.42%
23	검증 세트 손실: 2.941329	최선의 손실: 0.028610	정확도: 92.57%
24	검증 세트 손실: 0.187626	최선의 손실: 0.028610	정확도: 96.44%
25	검증 세트 손실: 0.188978	최선의 손실: 0.028610	정확도: 94.72%
26	검증 세트 손실: 0.106918	최선의 손실: 0.028610	정확도: 97.26%
27	검증 세트 손실: 0.095597	최선의 손실: 0.028610	정확도: 97.85%
28	검증 세트 손실: 0.091262	최선의 손실: 0.028610	정확도: 97.81%
조기 종료!
Out[17]:
DNNClassifier(activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3048>,
       batch_norm_momentum=None, batch_size=500, dropout_rate=None,
       initializer=<tensorflow.python.ops.init_ops.VarianceScaling object at 0x7f8eb8842e80>,
       learning_rate=0.01, n_hidden_layers=5, n_neurons=120,
       optimizer_class=<class 'tensorflow.python.training.adam.AdamOptimizer'>,
       random_state=42)

에포크 7에서 가장 좋은 손실에 도달했습니다.

테스트 세트에서 어느 정확도를 얻을 수 있는지 확인해 보겠습니다:

In [18]:
y_pred = dnn_clf.predict(X_test1)
accuracy_score(y_test1, y_pred)
Out[18]:
0.9906596614127262

좋습니다. 이제 같은 모델을 사용해서 배치 정규화를 적용해 봅니다:

In [19]:
dnn_clf_bn = DNNClassifier(activation=leaky_relu(alpha=0.1), batch_size=500, learning_rate=0.01,
                           n_neurons=120, random_state=42,
                           batch_norm_momentum=0.95)
dnn_clf_bn.fit(X_train1, y_train1, n_epochs=1000, X_valid=X_valid1, y_valid=y_valid1)
WARNING:tensorflow:From <ipython-input-10-e5858d18dace>:31: batch_normalization (from tensorflow.python.layers.normalization) is deprecated and will be removed in a future version.
Instructions for updating:
Use keras.layers.batch_normalization instead.
WARNING:tensorflow:From /home/haesun/anaconda3/envs/handson-ml/lib/python3.6/site-packages/tensorflow/python/ops/math_ops.py:3066: to_int32 (from tensorflow.python.ops.math_ops) is deprecated and will be removed in a future version.
Instructions for updating:
Use tf.cast instead.
0	검증 세트 손실: 0.048326	최선의 손실: 0.048326	정확도: 98.55%
1	검증 세트 손실: 0.053701	최선의 손실: 0.048326	정확도: 98.16%
2	검증 세트 손실: 0.050088	최선의 손실: 0.048326	정확도: 98.67%
3	검증 세트 손실: 0.045589	최선의 손실: 0.045589	정확도: 98.63%
4	검증 세트 손실: 0.040641	최선의 손실: 0.040641	정확도: 98.83%
5	검증 세트 손실: 0.037331	최선의 손실: 0.037331	정확도: 98.98%
6	검증 세트 손실: 0.031321	최선의 손실: 0.031321	정확도: 99.02%
7	검증 세트 손실: 0.038305	최선의 손실: 0.031321	정확도: 98.98%
8	검증 세트 손실: 0.068172	최선의 손실: 0.031321	정확도: 98.32%
9	검증 세트 손실: 0.036528	최선의 손실: 0.031321	정확도: 99.06%
10	검증 세트 손실: 0.043783	최선의 손실: 0.031321	정확도: 98.75%
11	검증 세트 손실: 0.032421	최선의 손실: 0.031321	정확도: 99.22%
12	검증 세트 손실: 0.043757	최선의 손실: 0.031321	정확도: 98.94%
13	검증 세트 손실: 0.052318	최선의 손실: 0.031321	정확도: 98.67%
14	검증 세트 손실: 0.046961	최선의 손실: 0.031321	정확도: 98.91%
15	검증 세트 손실: 0.044894	최선의 손실: 0.031321	정확도: 99.02%
16	검증 세트 손실: 0.021217	최선의 손실: 0.021217	정확도: 99.45%
17	검증 세트 손실: 0.035145	최선의 손실: 0.021217	정확도: 99.10%
18	검증 세트 손실: 0.028276	최선의 손실: 0.021217	정확도: 99.37%
19	검증 세트 손실: 0.041603	최선의 손실: 0.021217	정확도: 99.14%
20	검증 세트 손실: 0.047427	최선의 손실: 0.021217	정확도: 98.91%
21	검증 세트 손실: 0.034391	최선의 손실: 0.021217	정확도: 99.18%
22	검증 세트 손실: 0.027400	최선의 손실: 0.021217	정확도: 99.22%
23	검증 세트 손실: 0.040622	최선의 손실: 0.021217	정확도: 99.18%
24	검증 세트 손실: 0.049337	최선의 손실: 0.021217	정확도: 98.91%
25	검증 세트 손실: 0.056442	최선의 손실: 0.021217	정확도: 98.75%
26	검증 세트 손실: 0.050186	최선의 손실: 0.021217	정확도: 99.02%
27	검증 세트 손실: 0.056752	최선의 손실: 0.021217	정확도: 99.06%
28	검증 세트 손실: 0.046086	최선의 손실: 0.021217	정확도: 98.98%
29	검증 세트 손실: 0.044422	최선의 손실: 0.021217	정확도: 98.87%
30	검증 세트 손실: 0.046319	최선의 손실: 0.021217	정확도: 98.98%
31	검증 세트 손실: 0.054556	최선의 손실: 0.021217	정확도: 98.83%
32	검증 세트 손실: 0.034593	최선의 손실: 0.021217	정확도: 99.26%
33	검증 세트 손실: 0.036583	최선의 손실: 0.021217	정확도: 99.26%
34	검증 세트 손실: 0.034036	최선의 손실: 0.021217	정확도: 99.34%
35	검증 세트 손실: 0.037980	최선의 손실: 0.021217	정확도: 99.22%
36	검증 세트 손실: 0.033857	최선의 손실: 0.021217	정확도: 99.26%
37	검증 세트 손실: 0.033593	최선의 손실: 0.021217	정확도: 99.37%
조기 종료!
Out[19]:
DNNClassifier(activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb40a1400>,
       batch_norm_momentum=0.95, batch_size=500, dropout_rate=None,
       initializer=<tensorflow.python.ops.init_ops.VarianceScaling object at 0x7f8eb8842e80>,
       learning_rate=0.01, n_hidden_layers=5, n_neurons=120,
       optimizer_class=<class 'tensorflow.python.training.adam.AdamOptimizer'>,
       random_state=42)

에포크 7에서 최선의 값에 도달했습니다. 정확도를 살펴보겠습니다:

In [20]:
y_pred = dnn_clf_bn.predict(X_test1)
accuracy_score(y_test1, y_pred)
Out[20]:
0.9933839268340144

배치 정규화로 정확도가 조금 향상되었습니다. 배치 정규화를 사용했을 때 하이퍼파라미터 탐색이 달라질 수 있는지 확인해 보죠:

In [21]:
from sklearn.model_selection import RandomizedSearchCV

param_distribs = {
    "n_neurons": [10, 30, 50, 70, 90, 100, 120, 140, 160],
    "batch_size": [10, 50, 100, 500],
    "learning_rate": [0.01, 0.02, 0.05, 0.1],
    "activation": [tf.nn.relu, tf.nn.elu, leaky_relu(alpha=0.01), leaky_relu(alpha=0.1)],
    # you could also try exploring different numbers of hidden layers, different optimizers, etc.
    #"n_hidden_layers": [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10],
    #"optimizer_class": [tf.train.AdamOptimizer, partial(tf.train.MomentumOptimizer, momentum=0.95)],
    "batch_norm_momentum": [0.9, 0.95, 0.98, 0.99, 0.999],
}

rnd_search_bn = RandomizedSearchCV(DNNClassifier(random_state=42), param_distribs, n_iter=50,
                                   random_state=42, verbose=2, cv=3)
fit_params={"X_valid": X_valid1, "y_valid": y_valid1, "n_epochs": 1000}
rnd_search_bn.fit(X_train1, y_train1, **fit_params)
Fitting 3 folds for each of 50 candidates, totalling 150 fits
[CV] n_neurons=70, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.99, activation=<function relu at 0x7f8ec4c8c510> 
[Parallel(n_jobs=1)]: Using backend SequentialBackend with 1 concurrent workers.
0	검증 세트 손실: 0.123628	최선의 손실: 0.123628	정확도: 97.15%
1	검증 세트 손실: 0.086103	최선의 손실: 0.086103	정확도: 98.08%
2	검증 세트 손실: 0.068698	최선의 손실: 0.068698	정확도: 98.16%
3	검증 세트 손실: 0.060541	최선의 손실: 0.060541	정확도: 98.20%
4	검증 세트 손실: 0.068968	최선의 손실: 0.060541	정확도: 98.36%
5	검증 세트 손실: 0.049044	최선의 손실: 0.049044	정확도: 98.67%
6	검증 세트 손실: 0.047893	최선의 손실: 0.047893	정확도: 98.44%
7	검증 세트 손실: 0.064583	최선의 손실: 0.047893	정확도: 98.48%
8	검증 세트 손실: 0.053604	최선의 손실: 0.047893	정확도: 98.67%
9	검증 세트 손실: 0.054529	최선의 손실: 0.047893	정확도: 98.79%
10	검증 세트 손실: 0.048798	최선의 손실: 0.047893	정확도: 98.91%
11	검증 세트 손실: 0.042970	최선의 손실: 0.042970	정확도: 98.79%
12	검증 세트 손실: 0.071583	최선의 손실: 0.042970	정확도: 98.40%
13	검증 세트 손실: 0.055194	최선의 손실: 0.042970	정확도: 98.63%
14	검증 세트 손실: 0.052602	최선의 손실: 0.042970	정확도: 98.55%
15	검증 세트 손실: 0.064359	최선의 손실: 0.042970	정확도: 98.79%
16	검증 세트 손실: 0.043847	최선의 손실: 0.042970	정확도: 98.94%
17	검증 세트 손실: 0.037198	최선의 손실: 0.037198	정확도: 99.06%
18	검증 세트 손실: 0.058879	최선의 손실: 0.037198	정확도: 98.71%
19	검증 세트 손실: 0.028004	최선의 손실: 0.028004	정확도: 99.18%
20	검증 세트 손실: 0.049675	최선의 손실: 0.028004	정확도: 98.71%
21	검증 세트 손실: 0.050329	최선의 손실: 0.028004	정확도: 98.83%
22	검증 세트 손실: 0.060454	최선의 손실: 0.028004	정확도: 98.63%
23	검증 세트 손실: 0.042285	최선의 손실: 0.028004	정확도: 98.98%
24	검증 세트 손실: 0.057296	최선의 손실: 0.028004	정확도: 98.55%
25	검증 세트 손실: 0.041498	최선의 손실: 0.028004	정확도: 99.02%
26	검증 세트 손실: 0.029804	최선의 손실: 0.028004	정확도: 99.18%
27	검증 세트 손실: 0.032558	최선의 손실: 0.028004	정확도: 99.41%
28	검증 세트 손실: 0.055168	최선의 손실: 0.028004	정확도: 98.87%
29	검증 세트 손실: 0.037821	최선의 손실: 0.028004	정확도: 98.98%
30	검증 세트 손실: 0.038871	최선의 손실: 0.028004	정확도: 99.18%
31	검증 세트 손실: 0.054270	최선의 손실: 0.028004	정확도: 99.22%
32	검증 세트 손실: 0.052678	최선의 손실: 0.028004	정확도: 98.83%
33	검증 세트 손실: 0.041737	최선의 손실: 0.028004	정확도: 98.94%
34	검증 세트 손실: 0.039508	최선의 손실: 0.028004	정확도: 98.98%
35	검증 세트 손실: 0.055378	최선의 손실: 0.028004	정확도: 98.63%
36	검증 세트 손실: 0.043328	최선의 손실: 0.028004	정확도: 99.02%
37	검증 세트 손실: 0.054084	최선의 손실: 0.028004	정확도: 98.98%
38	검증 세트 손실: 0.044940	최선의 손실: 0.028004	정확도: 99.22%
39	검증 세트 손실: 0.031715	최선의 손실: 0.028004	정확도: 99.30%
40	검증 세트 손실: 0.047298	최선의 손실: 0.028004	정확도: 99.02%
조기 종료!
[CV]  n_neurons=70, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.99, activation=<function relu at 0x7f8ec4c8c510>, total=  32.7s
[CV] n_neurons=70, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.99, activation=<function relu at 0x7f8ec4c8c510> 
[Parallel(n_jobs=1)]: Done   1 out of   1 | elapsed:   32.8s remaining:    0.0s
0	검증 세트 손실: 0.111166	최선의 손실: 0.111166	정확도: 96.83%
1	검증 세트 손실: 0.057909	최선의 손실: 0.057909	정확도: 98.40%
2	검증 세트 손실: 0.080427	최선의 손실: 0.057909	정확도: 97.54%
3	검증 세트 손실: 0.048388	최선의 손실: 0.048388	정확도: 98.48%
4	검증 세트 손실: 0.051026	최선의 손실: 0.048388	정확도: 98.59%
5	검증 세트 손실: 0.050098	최선의 손실: 0.048388	정확도: 98.71%
6	검증 세트 손실: 0.048976	최선의 손실: 0.048388	정확도: 98.59%
7	검증 세트 손실: 0.040835	최선의 손실: 0.040835	정확도: 98.91%
8	검증 세트 손실: 0.056399	최선의 손실: 0.040835	정확도: 98.51%
9	검증 세트 손실: 0.049171	최선의 손실: 0.040835	정확도: 98.79%
10	검증 세트 손실: 0.058901	최선의 손실: 0.040835	정확도: 98.51%
11	검증 세트 손실: 0.040752	최선의 손실: 0.040752	정확도: 98.91%
12	검증 세트 손실: 0.038683	최선의 손실: 0.038683	정확도: 98.98%
13	검증 세트 손실: 0.090153	최선의 손실: 0.038683	정확도: 98.01%
14	검증 세트 손실: 0.050794	최선의 손실: 0.038683	정확도: 98.55%
15	검증 세트 손실: 0.045373	최선의 손실: 0.038683	정확도: 99.06%
16	검증 세트 손실: 0.045113	최선의 손실: 0.038683	정확도: 98.87%
17	검증 세트 손실: 0.041428	최선의 손실: 0.038683	정확도: 99.06%
18	검증 세트 손실: 0.051740	최선의 손실: 0.038683	정확도: 98.87%
19	검증 세트 손실: 0.049490	최선의 손실: 0.038683	정확도: 98.94%
20	검증 세트 손실: 0.042144	최선의 손실: 0.038683	정확도: 99.02%
21	검증 세트 손실: 0.044228	최선의 손실: 0.038683	정확도: 99.02%
22	검증 세트 손실: 0.044124	최선의 손실: 0.038683	정확도: 98.94%
23	검증 세트 손실: 0.051611	최선의 손실: 0.038683	정확도: 98.94%
24	검증 세트 손실: 0.053929	최선의 손실: 0.038683	정확도: 98.91%
25	검증 세트 손실: 0.043905	최선의 손실: 0.038683	정확도: 98.94%
26	검증 세트 손실: 0.056458	최선의 손실: 0.038683	정확도: 98.94%
27	검증 세트 손실: 0.041821	최선의 손실: 0.038683	정확도: 99.06%
28	검증 세트 손실: 0.056028	최선의 손실: 0.038683	정확도: 98.87%
29	검증 세트 손실: 0.053983	최선의 손실: 0.038683	정확도: 98.87%
30	검증 세트 손실: 0.052490	최선의 손실: 0.038683	정확도: 98.94%
31	검증 세트 손실: 0.044223	최선의 손실: 0.038683	정확도: 99.06%
32	검증 세트 손실: 0.057340	최선의 손실: 0.038683	정확도: 98.75%
33	검증 세트 손실: 0.047214	최선의 손실: 0.038683	정확도: 98.98%
조기 종료!
[CV]  n_neurons=70, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.99, activation=<function relu at 0x7f8ec4c8c510>, total=  27.5s
[CV] n_neurons=70, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.99, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 0.092016	최선의 손실: 0.092016	정확도: 97.73%
1	검증 세트 손실: 0.071217	최선의 손실: 0.071217	정확도: 98.01%
2	검증 세트 손실: 0.051470	최선의 손실: 0.051470	정확도: 98.59%
3	검증 세트 손실: 0.050745	최선의 손실: 0.050745	정확도: 98.59%
4	검증 세트 손실: 0.035498	최선의 손실: 0.035498	정확도: 98.94%
5	검증 세트 손실: 0.056634	최선의 손실: 0.035498	정확도: 98.36%
6	검증 세트 손실: 0.047868	최선의 손실: 0.035498	정확도: 98.48%
7	검증 세트 손실: 0.067493	최선의 손실: 0.035498	정확도: 98.44%
8	검증 세트 손실: 0.039872	최선의 손실: 0.035498	정확도: 98.83%
9	검증 세트 손실: 0.046803	최선의 손실: 0.035498	정확도: 98.48%
10	검증 세트 손실: 0.055477	최선의 손실: 0.035498	정확도: 98.63%
11	검증 세트 손실: 0.055697	최선의 손실: 0.035498	정확도: 98.71%
12	검증 세트 손실: 0.054195	최선의 손실: 0.035498	정확도: 98.40%
13	검증 세트 손실: 0.044498	최선의 손실: 0.035498	정확도: 98.91%
14	검증 세트 손실: 0.043715	최선의 손실: 0.035498	정확도: 98.63%
15	검증 세트 손실: 0.047993	최선의 손실: 0.035498	정확도: 99.02%
16	검증 세트 손실: 0.052617	최선의 손실: 0.035498	정확도: 98.75%
17	검증 세트 손실: 0.038111	최선의 손실: 0.035498	정확도: 99.14%
18	검증 세트 손실: 0.045670	최선의 손실: 0.035498	정확도: 98.83%
19	검증 세트 손실: 0.032079	최선의 손실: 0.032079	정확도: 99.10%
20	검증 세트 손실: 0.037876	최선의 손실: 0.032079	정확도: 99.06%
21	검증 세트 손실: 0.049000	최선의 손실: 0.032079	정확도: 98.51%
22	검증 세트 손실: 0.050289	최선의 손실: 0.032079	정확도: 98.67%
23	검증 세트 손실: 0.036670	최선의 손실: 0.032079	정확도: 99.34%
24	검증 세트 손실: 0.039245	최선의 손실: 0.032079	정확도: 99.14%
25	검증 세트 손실: 0.037711	최선의 손실: 0.032079	정확도: 99.14%
26	검증 세트 손실: 0.042739	최선의 손실: 0.032079	정확도: 99.02%
27	검증 세트 손실: 0.047545	최선의 손실: 0.032079	정확도: 98.71%
28	검증 세트 손실: 0.036552	최선의 손실: 0.032079	정확도: 99.18%
29	검증 세트 손실: 0.043083	최선의 손실: 0.032079	정확도: 99.06%
30	검증 세트 손실: 0.043648	최선의 손실: 0.032079	정확도: 99.06%
31	검증 세트 손실: 0.054857	최선의 손실: 0.032079	정확도: 98.94%
32	검증 세트 손실: 0.050709	최선의 손실: 0.032079	정확도: 98.87%
33	검증 세트 손실: 0.044996	최선의 손실: 0.032079	정확도: 98.98%
34	검증 세트 손실: 0.055177	최선의 손실: 0.032079	정확도: 98.91%
35	검증 세트 손실: 0.065571	최선의 손실: 0.032079	정확도: 98.87%
36	검증 세트 손실: 0.058235	최선의 손실: 0.032079	정확도: 98.79%
37	검증 세트 손실: 0.050653	최선의 손실: 0.032079	정확도: 98.79%
38	검증 세트 손실: 0.065389	최선의 손실: 0.032079	정확도: 98.91%
39	검증 세트 손실: 0.047104	최선의 손실: 0.032079	정확도: 99.02%
40	검증 세트 손실: 0.040220	최선의 손실: 0.032079	정확도: 98.87%
조기 종료!
[CV]  n_neurons=70, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.99, activation=<function relu at 0x7f8ec4c8c510>, total=  32.8s
[CV] n_neurons=90, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 
0	검증 세트 손실: 0.114592	최선의 손실: 0.114592	정확도: 96.83%
1	검증 세트 손실: 0.079134	최선의 손실: 0.079134	정확도: 97.65%
2	검증 세트 손실: 0.064214	최선의 손실: 0.064214	정확도: 97.89%
3	검증 세트 손실: 0.069312	최선의 손실: 0.064214	정확도: 97.81%
4	검증 세트 손실: 0.050091	최선의 손실: 0.050091	정확도: 98.28%
5	검증 세트 손실: 0.042664	최선의 손실: 0.042664	정확도: 98.67%
6	검증 세트 손실: 0.061674	최선의 손실: 0.042664	정확도: 98.05%
7	검증 세트 손실: 0.044887	최선의 손실: 0.042664	정확도: 98.75%
8	검증 세트 손실: 0.042725	최선의 손실: 0.042664	정확도: 98.91%
9	검증 세트 손실: 0.049231	최선의 손실: 0.042664	정확도: 98.40%
10	검증 세트 손실: 0.043162	최선의 손실: 0.042664	정확도: 98.59%
11	검증 세트 손실: 0.050581	최선의 손실: 0.042664	정확도: 98.51%
12	검증 세트 손실: 0.045750	최선의 손실: 0.042664	정확도: 98.59%
13	검증 세트 손실: 0.041216	최선의 손실: 0.041216	정확도: 98.91%
14	검증 세트 손실: 0.051024	최선의 손실: 0.041216	정확도: 98.55%
15	검증 세트 손실: 0.051924	최선의 손실: 0.041216	정확도: 98.83%
16	검증 세트 손실: 0.046886	최선의 손실: 0.041216	정확도: 98.48%
17	검증 세트 손실: 0.041533	최선의 손실: 0.041216	정확도: 98.48%
18	검증 세트 손실: 0.046880	최선의 손실: 0.041216	정확도: 98.36%
19	검증 세트 손실: 0.054990	최선의 손실: 0.041216	정확도: 97.97%
20	검증 세트 손실: 0.045344	최선의 손실: 0.041216	정확도: 98.83%
21	검증 세트 손실: 0.038670	최선의 손실: 0.038670	정확도: 98.94%
22	검증 세트 손실: 0.058628	최선의 손실: 0.038670	정확도: 98.36%
23	검증 세트 손실: 0.040953	최선의 손실: 0.038670	정확도: 98.98%
24	검증 세트 손실: 0.054136	최선의 손실: 0.038670	정확도: 98.51%
25	검증 세트 손실: 0.040360	최선의 손실: 0.038670	정확도: 98.87%
26	검증 세트 손실: 0.043082	최선의 손실: 0.038670	정확도: 98.91%
27	검증 세트 손실: 0.043313	최선의 손실: 0.038670	정확도: 98.91%
28	검증 세트 손실: 0.043051	최선의 손실: 0.038670	정확도: 98.91%
29	검증 세트 손실: 0.059247	최선의 손실: 0.038670	정확도: 98.83%
30	검증 세트 손실: 0.040963	최선의 손실: 0.038670	정확도: 98.91%
31	검증 세트 손실: 0.041097	최선의 손실: 0.038670	정확도: 98.94%
32	검증 세트 손실: 0.047747	최선의 손실: 0.038670	정확도: 98.59%
33	검증 세트 손실: 0.048710	최선의 손실: 0.038670	정확도: 98.59%
34	검증 세트 손실: 0.043334	최선의 손실: 0.038670	정확도: 98.91%
35	검증 세트 손실: 0.041966	최선의 손실: 0.038670	정확도: 98.91%
36	검증 세트 손실: 0.042289	최선의 손실: 0.038670	정확도: 98.83%
37	검증 세트 손실: 0.042468	최선의 손실: 0.038670	정확도: 98.94%
38	검증 세트 손실: 0.045170	최선의 손실: 0.038670	정확도: 99.18%
39	검증 세트 손실: 0.035574	최선의 손실: 0.035574	정확도: 98.91%
40	검증 세트 손실: 0.045149	최선의 손실: 0.035574	정확도: 98.75%
41	검증 세트 손실: 0.043668	최선의 손실: 0.035574	정확도: 99.02%
42	검증 세트 손실: 0.038137	최선의 손실: 0.035574	정확도: 99.14%
43	검증 세트 손실: 0.049273	최선의 손실: 0.035574	정확도: 98.83%
44	검증 세트 손실: 0.050111	최선의 손실: 0.035574	정확도: 98.67%
45	검증 세트 손실: 0.035123	최선의 손실: 0.035123	정확도: 99.18%
46	검증 세트 손실: 0.037657	최선의 손실: 0.035123	정확도: 99.06%
47	검증 세트 손실: 0.073691	최선의 손실: 0.035123	정확도: 98.44%
48	검증 세트 손실: 0.044583	최선의 손실: 0.035123	정확도: 98.79%
49	검증 세트 손실: 0.039754	최선의 손실: 0.035123	정확도: 98.98%
50	검증 세트 손실: 0.037962	최선의 손실: 0.035123	정확도: 99.10%
51	검증 세트 손실: 0.046695	최선의 손실: 0.035123	정확도: 98.94%
52	검증 세트 손실: 0.045159	최선의 손실: 0.035123	정확도: 98.91%
53	검증 세트 손실: 0.043865	최선의 손실: 0.035123	정확도: 98.83%
54	검증 세트 손실: 0.055269	최선의 손실: 0.035123	정확도: 98.71%
55	검증 세트 손실: 0.041935	최선의 손실: 0.035123	정확도: 98.98%
56	검증 세트 손실: 0.055522	최선의 손실: 0.035123	정확도: 98.55%
57	검증 세트 손실: 0.054848	최선의 손실: 0.035123	정확도: 98.79%
58	검증 세트 손실: 0.045492	최선의 손실: 0.035123	정확도: 99.14%
59	검증 세트 손실: 0.041112	최선의 손실: 0.035123	정확도: 99.10%
60	검증 세트 손실: 0.063105	최선의 손실: 0.035123	정확도: 98.83%
61	검증 세트 손실: 0.048241	최선의 손실: 0.035123	정확도: 98.91%
62	검증 세트 손실: 0.041676	최선의 손실: 0.035123	정확도: 99.26%
63	검증 세트 손실: 0.061414	최선의 손실: 0.035123	정확도: 98.83%
64	검증 세트 손실: 0.046663	최선의 손실: 0.035123	정확도: 98.94%
65	검증 세트 손실: 0.055563	최선의 손실: 0.035123	정확도: 98.44%
66	검증 세트 손실: 0.047961	최선의 손실: 0.035123	정확도: 98.98%
조기 종료!
[CV]  n_neurons=90, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 3.4min
[CV] n_neurons=90, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 
0	검증 세트 손실: 0.081664	최선의 손실: 0.081664	정확도: 97.50%
1	검증 세트 손실: 0.071026	최선의 손실: 0.071026	정확도: 98.05%
2	검증 세트 손실: 0.068178	최선의 손실: 0.068178	정확도: 97.93%
3	검증 세트 손실: 0.056822	최선의 손실: 0.056822	정확도: 98.48%
4	검증 세트 손실: 0.057511	최선의 손실: 0.056822	정확도: 98.16%
5	검증 세트 손실: 0.063054	최선의 손실: 0.056822	정확도: 97.85%
6	검증 세트 손실: 0.051462	최선의 손실: 0.051462	정확도: 98.48%
7	검증 세트 손실: 0.057161	최선의 손실: 0.051462	정확도: 98.20%
8	검증 세트 손실: 0.039929	최선의 손실: 0.039929	정확도: 98.83%
9	검증 세트 손실: 0.046211	최선의 손실: 0.039929	정확도: 98.91%
10	검증 세트 손실: 0.050730	최선의 손실: 0.039929	정확도: 98.48%
11	검증 세트 손실: 0.045305	최선의 손실: 0.039929	정확도: 98.59%
12	검증 세트 손실: 0.035084	최선의 손실: 0.035084	정확도: 98.83%
13	검증 세트 손실: 0.043066	최선의 손실: 0.035084	정확도: 98.44%
14	검증 세트 손실: 0.041733	최선의 손실: 0.035084	정확도: 98.71%
15	검증 세트 손실: 0.042325	최선의 손실: 0.035084	정확도: 98.79%
16	검증 세트 손실: 0.054049	최선의 손실: 0.035084	정확도: 98.44%
17	검증 세트 손실: 0.045806	최선의 손실: 0.035084	정확도: 98.79%
18	검증 세트 손실: 0.045518	최선의 손실: 0.035084	정확도: 98.79%
19	검증 세트 손실: 0.047943	최선의 손실: 0.035084	정확도: 98.67%
20	검증 세트 손실: 0.041997	최선의 손실: 0.035084	정확도: 98.71%
21	검증 세트 손실: 0.058288	최선의 손실: 0.035084	정확도: 98.71%
22	검증 세트 손실: 0.062148	최선의 손실: 0.035084	정확도: 98.12%
23	검증 세트 손실: 0.043845	최선의 손실: 0.035084	정확도: 99.10%
24	검증 세트 손실: 0.045117	최선의 손실: 0.035084	정확도: 98.79%
25	검증 세트 손실: 0.047293	최선의 손실: 0.035084	정확도: 98.83%
26	검증 세트 손실: 0.041900	최선의 손실: 0.035084	정확도: 98.83%
27	검증 세트 손실: 0.099622	최선의 손실: 0.035084	정확도: 98.01%
28	검증 세트 손실: 0.050445	최선의 손실: 0.035084	정확도: 98.75%
29	검증 세트 손실: 0.045880	최선의 손실: 0.035084	정확도: 98.79%
30	검증 세트 손실: 0.047305	최선의 손실: 0.035084	정확도: 98.83%
31	검증 세트 손실: 0.054807	최선의 손실: 0.035084	정확도: 98.48%
32	검증 세트 손실: 0.039239	최선의 손실: 0.035084	정확도: 98.98%
33	검증 세트 손실: 0.041179	최선의 손실: 0.035084	정확도: 98.79%
조기 종료!
[CV]  n_neurons=90, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 1.7min
[CV] n_neurons=90, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 
0	검증 세트 손실: 0.099845	최선의 손실: 0.099845	정확도: 97.30%
1	검증 세트 손실: 0.063542	최선의 손실: 0.063542	정확도: 98.01%
2	검증 세트 손실: 0.070009	최선의 손실: 0.063542	정확도: 97.89%
3	검증 세트 손실: 0.055727	최선의 손실: 0.055727	정확도: 98.40%
4	검증 세트 손실: 0.062441	최선의 손실: 0.055727	정확도: 97.93%
5	검증 세트 손실: 0.057846	최선의 손실: 0.055727	정확도: 98.36%
6	검증 세트 손실: 0.050340	최선의 손실: 0.050340	정확도: 98.40%
7	검증 세트 손실: 0.043558	최선의 손실: 0.043558	정확도: 98.94%
8	검증 세트 손실: 0.047246	최선의 손실: 0.043558	정확도: 98.63%
9	검증 세트 손실: 0.054402	최선의 손실: 0.043558	정확도: 98.16%
10	검증 세트 손실: 0.046013	최선의 손실: 0.043558	정확도: 98.91%
11	검증 세트 손실: 0.047927	최선의 손실: 0.043558	정확도: 98.51%
12	검증 세트 손실: 0.044308	최선의 손실: 0.043558	정확도: 98.59%
13	검증 세트 손실: 0.038198	최선의 손실: 0.038198	정확도: 98.79%
14	검증 세트 손실: 0.049687	최선의 손실: 0.038198	정확도: 98.91%
15	검증 세트 손실: 0.033455	최선의 손실: 0.033455	정확도: 98.98%
16	검증 세트 손실: 0.029302	최선의 손실: 0.029302	정확도: 99.10%
17	검증 세트 손실: 0.036471	최선의 손실: 0.029302	정확도: 98.94%
18	검증 세트 손실: 0.036323	최선의 손실: 0.029302	정확도: 98.87%
19	검증 세트 손실: 0.038700	최선의 손실: 0.029302	정확도: 98.98%
20	검증 세트 손실: 0.043857	최선의 손실: 0.029302	정확도: 98.51%
21	검증 세트 손실: 0.030805	최선의 손실: 0.029302	정확도: 99.26%
22	검증 세트 손실: 0.033364	최선의 손실: 0.029302	정확도: 98.87%
23	검증 세트 손실: 0.044814	최선의 손실: 0.029302	정확도: 98.94%
24	검증 세트 손실: 0.029852	최선의 손실: 0.029302	정확도: 99.06%
25	검증 세트 손실: 0.049596	최선의 손실: 0.029302	정확도: 98.63%
26	검증 세트 손실: 0.049007	최선의 손실: 0.029302	정확도: 98.48%
27	검증 세트 손실: 0.037004	최선의 손실: 0.029302	정확도: 99.02%
28	검증 세트 손실: 0.032272	최선의 손실: 0.029302	정확도: 98.83%
29	검증 세트 손실: 0.034253	최선의 손실: 0.029302	정확도: 98.87%
30	검증 세트 손실: 0.041660	최선의 손실: 0.029302	정확도: 98.63%
31	검증 세트 손실: 0.044015	최선의 손실: 0.029302	정확도: 98.51%
32	검증 세트 손실: 0.032434	최선의 손실: 0.029302	정확도: 99.18%
33	검증 세트 손실: 0.038385	최선의 손실: 0.029302	정확도: 98.94%
34	검증 세트 손실: 0.040558	최선의 손실: 0.029302	정확도: 98.91%
35	검증 세트 손실: 0.043190	최선의 손실: 0.029302	정확도: 98.87%
36	검증 세트 손실: 0.033715	최선의 손실: 0.029302	정확도: 99.06%
37	검증 세트 손실: 0.043057	최선의 손실: 0.029302	정확도: 99.14%
조기 종료!
[CV]  n_neurons=90, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 1.9min
[CV] n_neurons=30, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 
0	검증 세트 손실: 0.075510	최선의 손실: 0.075510	정확도: 97.42%
1	검증 세트 손실: 0.060778	최선의 손실: 0.060778	정확도: 98.20%
2	검증 세트 손실: 0.055117	최선의 손실: 0.055117	정확도: 98.12%
3	검증 세트 손실: 0.053758	최선의 손실: 0.053758	정확도: 98.36%
4	검증 세트 손실: 0.049510	최선의 손실: 0.049510	정확도: 98.55%
5	검증 세트 손실: 0.057400	최선의 손실: 0.049510	정확도: 98.48%
6	검증 세트 손실: 0.060322	최선의 손실: 0.049510	정확도: 98.32%
7	검증 세트 손실: 0.052602	최선의 손실: 0.049510	정확도: 98.24%
8	검증 세트 손실: 0.054748	최선의 손실: 0.049510	정확도: 98.40%
9	검증 세트 손실: 0.070765	최선의 손실: 0.049510	정확도: 98.24%
10	검증 세트 손실: 0.048361	최선의 손실: 0.048361	정확도: 98.79%
11	검증 세트 손실: 0.056739	최선의 손실: 0.048361	정확도: 98.71%
12	검증 세트 손실: 0.044959	최선의 손실: 0.044959	정확도: 98.79%
13	검증 세트 손실: 0.046684	최선의 손실: 0.044959	정확도: 98.87%
14	검증 세트 손실: 0.064175	최선의 손실: 0.044959	정확도: 98.59%
15	검증 세트 손실: 0.057395	최선의 손실: 0.044959	정확도: 98.63%
16	검증 세트 손실: 0.069085	최선의 손실: 0.044959	정확도: 98.59%
17	검증 세트 손실: 0.044130	최선의 손실: 0.044130	정확도: 98.59%
18	검증 세트 손실: 0.053241	최선의 손실: 0.044130	정확도: 98.55%
19	검증 세트 손실: 0.047403	최선의 손실: 0.044130	정확도: 98.83%
20	검증 세트 손실: 0.068137	최선의 손실: 0.044130	정확도: 98.59%
21	검증 세트 손실: 0.049264	최선의 손실: 0.044130	정확도: 98.63%
22	검증 세트 손실: 0.058657	최선의 손실: 0.044130	정확도: 98.63%
23	검증 세트 손실: 0.052411	최선의 손실: 0.044130	정확도: 98.67%
24	검증 세트 손실: 0.052192	최선의 손실: 0.044130	정확도: 98.71%
25	검증 세트 손실: 0.042176	최선의 손실: 0.042176	정확도: 98.94%
26	검증 세트 손실: 0.046006	최선의 손실: 0.042176	정확도: 98.75%
27	검증 세트 손실: 0.046981	최선의 손실: 0.042176	정확도: 98.91%
28	검증 세트 손실: 0.049924	최선의 손실: 0.042176	정확도: 98.87%
29	검증 세트 손실: 0.050231	최선의 손실: 0.042176	정확도: 98.75%
30	검증 세트 손실: 0.066704	최선의 손실: 0.042176	정확도: 98.48%
31	검증 세트 손실: 0.044223	최선의 손실: 0.042176	정확도: 98.98%
32	검증 세트 손실: 0.048239	최선의 손실: 0.042176	정확도: 98.98%
33	검증 세트 손실: 0.055718	최선의 손실: 0.042176	정확도: 98.94%
34	검증 세트 손실: 0.055423	최선의 손실: 0.042176	정확도: 98.94%
35	검증 세트 손실: 0.039682	최선의 손실: 0.039682	정확도: 98.87%
36	검증 세트 손실: 0.057652	최선의 손실: 0.039682	정확도: 98.79%
37	검증 세트 손실: 0.065510	최선의 손실: 0.039682	정확도: 98.55%
38	검증 세트 손실: 0.071452	최선의 손실: 0.039682	정확도: 98.59%
39	검증 세트 손실: 0.051639	최선의 손실: 0.039682	정확도: 98.79%
40	검증 세트 손실: 0.054788	최선의 손실: 0.039682	정확도: 98.91%
41	검증 세트 손실: 0.053901	최선의 손실: 0.039682	정확도: 98.83%
42	검증 세트 손실: 0.056924	최선의 손실: 0.039682	정확도: 99.10%
43	검증 세트 손실: 0.045745	최선의 손실: 0.039682	정확도: 99.10%
44	검증 세트 손실: 0.061535	최선의 손실: 0.039682	정확도: 98.63%
45	검증 세트 손실: 0.064808	최선의 손실: 0.039682	정확도: 98.79%
46	검증 세트 손실: 0.062494	최선의 손실: 0.039682	정확도: 98.71%
47	검증 세트 손실: 0.074866	최선의 손실: 0.039682	정확도: 98.59%
48	검증 세트 손실: 0.050166	최선의 손실: 0.039682	정확도: 98.94%
49	검증 세트 손실: 0.059966	최선의 손실: 0.039682	정확도: 98.91%
50	검증 세트 손실: 0.077508	최선의 손실: 0.039682	정확도: 98.67%
51	검증 세트 손실: 0.097677	최선의 손실: 0.039682	정확도: 98.32%
52	검증 세트 손실: 0.059293	최선의 손실: 0.039682	정확도: 98.79%
53	검증 세트 손실: 0.075174	최선의 손실: 0.039682	정확도: 98.67%
54	검증 세트 손실: 0.081452	최선의 손실: 0.039682	정확도: 98.48%
55	검증 세트 손실: 0.062960	최선의 손실: 0.039682	정확도: 98.87%
56	검증 세트 손실: 0.058756	최선의 손실: 0.039682	정확도: 99.06%
조기 종료!
[CV]  n_neurons=30, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total=  23.3s
[CV] n_neurons=30, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 
0	검증 세트 손실: 0.150462	최선의 손실: 0.150462	정확도: 95.66%
1	검증 세트 손실: 0.053544	최선의 손실: 0.053544	정확도: 98.16%
2	검증 세트 손실: 0.040908	최선의 손실: 0.040908	정확도: 98.83%
3	검증 세트 손실: 0.057587	최선의 손실: 0.040908	정확도: 98.32%
4	검증 세트 손실: 0.058809	최선의 손실: 0.040908	정확도: 98.28%
5	검증 세트 손실: 0.045832	최선의 손실: 0.040908	정확도: 98.71%
6	검증 세트 손실: 0.045915	최선의 손실: 0.040908	정확도: 98.63%
7	검증 세트 손실: 0.053029	최선의 손실: 0.040908	정확도: 98.55%
8	검증 세트 손실: 0.053415	최선의 손실: 0.040908	정확도: 98.55%
9	검증 세트 손실: 0.054202	최선의 손실: 0.040908	정확도: 98.63%
10	검증 세트 손실: 0.043016	최선의 손실: 0.040908	정확도: 98.71%
11	검증 세트 손실: 0.059104	최선의 손실: 0.040908	정확도: 98.36%
12	검증 세트 손실: 0.041447	최선의 손실: 0.040908	정확도: 98.83%
13	검증 세트 손실: 0.053491	최선의 손실: 0.040908	정확도: 98.55%
14	검증 세트 손실: 0.044904	최선의 손실: 0.040908	정확도: 98.71%
15	검증 세트 손실: 0.041226	최선의 손실: 0.040908	정확도: 98.98%
16	검증 세트 손실: 0.055429	최선의 손실: 0.040908	정확도: 98.67%
17	검증 세트 손실: 0.053558	최선의 손실: 0.040908	정확도: 98.67%
18	검증 세트 손실: 0.058393	최선의 손실: 0.040908	정확도: 98.83%
19	검증 세트 손실: 0.056860	최선의 손실: 0.040908	정확도: 98.71%
20	검증 세트 손실: 0.057698	최선의 손실: 0.040908	정확도: 98.67%
21	검증 세트 손실: 0.052901	최선의 손실: 0.040908	정확도: 98.94%
22	검증 세트 손실: 0.044675	최선의 손실: 0.040908	정확도: 98.71%
23	검증 세트 손실: 0.057578	최선의 손실: 0.040908	정확도: 98.75%
조기 종료!
[CV]  n_neurons=30, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total=  10.6s
[CV] n_neurons=30, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 
0	검증 세트 손실: 0.078296	최선의 손실: 0.078296	정확도: 97.81%
1	검증 세트 손실: 0.070497	최선의 손실: 0.070497	정확도: 97.81%
2	검증 세트 손실: 0.047006	최선의 손실: 0.047006	정확도: 98.36%
3	검증 세트 손실: 0.055923	최선의 손실: 0.047006	정확도: 98.16%
4	검증 세트 손실: 0.041187	최선의 손실: 0.041187	정확도: 98.83%
5	검증 세트 손실: 0.042833	최선의 손실: 0.041187	정확도: 98.63%
6	검증 세트 손실: 0.053809	최선의 손실: 0.041187	정확도: 98.40%
7	검증 세트 손실: 0.049801	최선의 손실: 0.041187	정확도: 98.67%
8	검증 세트 손실: 0.044977	최선의 손실: 0.041187	정확도: 98.75%
9	검증 세트 손실: 0.052692	최선의 손실: 0.041187	정확도: 98.51%
10	검증 세트 손실: 0.043651	최선의 손실: 0.041187	정확도: 98.75%
11	검증 세트 손실: 0.039189	최선의 손실: 0.039189	정확도: 98.75%
12	검증 세트 손실: 0.038631	최선의 손실: 0.038631	정확도: 99.06%
13	검증 세트 손실: 0.048106	최선의 손실: 0.038631	정확도: 98.75%
14	검증 세트 손실: 0.045388	최선의 손실: 0.038631	정확도: 98.67%
15	검증 세트 손실: 0.057642	최선의 손실: 0.038631	정확도: 98.51%
16	검증 세트 손실: 0.040217	최선의 손실: 0.038631	정확도: 99.06%
17	검증 세트 손실: 0.043059	최선의 손실: 0.038631	정확도: 98.98%
18	검증 세트 손실: 0.049620	최선의 손실: 0.038631	정확도: 98.59%
19	검증 세트 손실: 0.044747	최선의 손실: 0.038631	정확도: 98.87%
20	검증 세트 손실: 0.040911	최선의 손실: 0.038631	정확도: 98.83%
21	검증 세트 손실: 0.044483	최선의 손실: 0.038631	정확도: 98.75%
22	검증 세트 손실: 0.030550	최선의 손실: 0.030550	정확도: 99.02%
23	검증 세트 손실: 0.040320	최선의 손실: 0.030550	정확도: 98.91%
24	검증 세트 손실: 0.042294	최선의 손실: 0.030550	정확도: 98.94%
25	검증 세트 손실: 0.042790	최선의 손실: 0.030550	정확도: 98.79%
26	검증 세트 손실: 0.033024	최선의 손실: 0.030550	정확도: 99.06%
27	검증 세트 손실: 0.055236	최선의 손실: 0.030550	정확도: 98.59%
28	검증 세트 손실: 0.033822	최선의 손실: 0.030550	정확도: 98.91%
29	검증 세트 손실: 0.051171	최선의 손실: 0.030550	정확도: 98.75%
30	검증 세트 손실: 0.043475	최선의 손실: 0.030550	정확도: 98.98%
31	검증 세트 손실: 0.037150	최선의 손실: 0.030550	정확도: 99.02%
32	검증 세트 손실: 0.049018	최선의 손실: 0.030550	정확도: 99.10%
33	검증 세트 손실: 0.036215	최선의 손실: 0.030550	정확도: 99.18%
34	검증 세트 손실: 0.036370	최선의 손실: 0.030550	정확도: 99.10%
35	검증 세트 손실: 0.048554	최선의 손실: 0.030550	정확도: 99.06%
36	검증 세트 손실: 0.037412	최선의 손실: 0.030550	정확도: 99.02%
37	검증 세트 손실: 0.041139	최선의 손실: 0.030550	정확도: 99.02%
38	검증 세트 손실: 0.033562	최선의 손실: 0.030550	정확도: 98.98%
39	검증 세트 손실: 0.039367	최선의 손실: 0.030550	정확도: 98.98%
40	검증 세트 손실: 0.053155	최선의 손실: 0.030550	정확도: 98.91%
41	검증 세트 손실: 0.046135	최선의 손실: 0.030550	정확도: 99.06%
42	검증 세트 손실: 0.035106	최선의 손실: 0.030550	정확도: 99.26%
43	검증 세트 손실: 0.061156	최선의 손실: 0.030550	정확도: 98.75%
조기 종료!
[CV]  n_neurons=30, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total=  18.3s
[CV] n_neurons=160, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 
0	검증 세트 손실: 0.103749	최선의 손실: 0.103749	정확도: 97.07%
1	검증 세트 손실: 0.079472	최선의 손실: 0.079472	정확도: 97.42%
2	검증 세트 손실: 0.062663	최선의 손실: 0.062663	정확도: 98.16%
3	검증 세트 손실: 0.062764	최선의 손실: 0.062663	정확도: 97.69%
4	검증 세트 손실: 0.046899	최선의 손실: 0.046899	정확도: 98.44%
5	검증 세트 손실: 0.057160	최선의 손실: 0.046899	정확도: 98.32%
6	검증 세트 손실: 0.052302	최선의 손실: 0.046899	정확도: 98.40%
7	검증 세트 손실: 0.051096	최선의 손실: 0.046899	정확도: 98.67%
8	검증 세트 손실: 0.050310	최선의 손실: 0.046899	정확도: 98.51%
9	검증 세트 손실: 0.099875	최선의 손실: 0.046899	정확도: 97.03%
10	검증 세트 손실: 0.046871	최선의 손실: 0.046871	정확도: 98.51%
11	검증 세트 손실: 0.048294	최선의 손실: 0.046871	정확도: 98.75%
12	검증 세트 손실: 0.034598	최선의 손실: 0.034598	정확도: 99.14%
13	검증 세트 손실: 0.052917	최선의 손실: 0.034598	정확도: 98.75%
14	검증 세트 손실: 0.042917	최선의 손실: 0.034598	정확도: 98.83%
15	검증 세트 손실: 0.039437	최선의 손실: 0.034598	정확도: 98.98%
16	검증 세트 손실: 0.049609	최선의 손실: 0.034598	정확도: 98.83%
17	검증 세트 손실: 0.046809	최선의 손실: 0.034598	정확도: 98.83%
18	검증 세트 손실: 0.041958	최선의 손실: 0.034598	정확도: 98.63%
19	검증 세트 손실: 0.044755	최선의 손실: 0.034598	정확도: 98.63%
20	검증 세트 손실: 0.043001	최선의 손실: 0.034598	정확도: 98.75%
21	검증 세트 손실: 0.052483	최선의 손실: 0.034598	정확도: 98.55%
22	검증 세트 손실: 0.060037	최선의 손실: 0.034598	정확도: 98.63%
23	검증 세트 손실: 0.036305	최선의 손실: 0.034598	정확도: 99.02%
24	검증 세트 손실: 0.055822	최선의 손실: 0.034598	정확도: 98.55%
25	검증 세트 손실: 0.033521	최선의 손실: 0.033521	정확도: 99.06%
26	검증 세트 손실: 0.047889	최선의 손실: 0.033521	정확도: 99.02%
27	검증 세트 손실: 0.035007	최선의 손실: 0.033521	정확도: 98.87%
28	검증 세트 손실: 0.037914	최선의 손실: 0.033521	정확도: 98.98%
29	검증 세트 손실: 0.038397	최선의 손실: 0.033521	정확도: 98.98%
30	검증 세트 손실: 0.043221	최선의 손실: 0.033521	정확도: 99.06%
31	검증 세트 손실: 0.036855	최선의 손실: 0.033521	정확도: 98.94%
32	검증 세트 손실: 0.032825	최선의 손실: 0.032825	정확도: 99.22%
33	검증 세트 손실: 0.050577	최선의 손실: 0.032825	정확도: 98.55%
34	검증 세트 손실: 0.036475	최선의 손실: 0.032825	정확도: 99.26%
35	검증 세트 손실: 0.041453	최선의 손실: 0.032825	정확도: 98.79%
36	검증 세트 손실: 0.050550	최선의 손실: 0.032825	정확도: 98.91%
37	검증 세트 손실: 0.053042	최선의 손실: 0.032825	정확도: 98.63%
38	검증 세트 손실: 0.052436	최선의 손실: 0.032825	정확도: 98.79%
39	검증 세트 손실: 0.035064	최선의 손실: 0.032825	정확도: 99.10%
40	검증 세트 손실: 0.053267	최선의 손실: 0.032825	정확도: 98.67%
41	검증 세트 손실: 0.052758	최선의 손실: 0.032825	정확도: 98.67%
42	검증 세트 손실: 0.044218	최선의 손실: 0.032825	정확도: 98.94%
43	검증 세트 손실: 0.042958	최선의 손실: 0.032825	정확도: 98.83%
44	검증 세트 손실: 0.037737	최선의 손실: 0.032825	정확도: 99.06%
45	검증 세트 손실: 0.046989	최선의 손실: 0.032825	정확도: 99.14%
46	검증 세트 손실: 0.082026	최선의 손실: 0.032825	정확도: 98.24%
47	검증 세트 손실: 0.039048	최선의 손실: 0.032825	정확도: 98.98%
48	검증 세트 손실: 0.042046	최선의 손실: 0.032825	정확도: 99.18%
49	검증 세트 손실: 0.055987	최선의 손실: 0.032825	정확도: 99.02%
50	검증 세트 손실: 0.039698	최선의 손실: 0.032825	정확도: 99.22%
51	검증 세트 손실: 0.059100	최선의 손실: 0.032825	정확도: 98.94%
52	검증 세트 손실: 0.047217	최선의 손실: 0.032825	정확도: 99.06%
53	검증 세트 손실: 0.048390	최선의 손실: 0.032825	정확도: 99.18%
조기 종료!
[CV]  n_neurons=160, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 3.9min
[CV] n_neurons=160, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 
0	검증 세트 손실: 0.098821	최선의 손실: 0.098821	정확도: 97.07%
1	검증 세트 손실: 0.071376	최선의 손실: 0.071376	정확도: 97.81%
2	검증 세트 손실: 0.067087	최선의 손실: 0.067087	정확도: 98.24%
3	검증 세트 손실: 0.062023	최선의 손실: 0.062023	정확도: 97.73%
4	검증 세트 손실: 0.054316	최선의 손실: 0.054316	정확도: 98.24%
5	검증 세트 손실: 0.050823	최선의 손실: 0.050823	정확도: 98.40%
6	검증 세트 손실: 0.051454	최선의 손실: 0.050823	정확도: 98.44%
7	검증 세트 손실: 0.060360	최선의 손실: 0.050823	정확도: 97.93%
8	검증 세트 손실: 0.052612	최선의 손실: 0.050823	정확도: 98.20%
9	검증 세트 손실: 0.054150	최선의 손실: 0.050823	정확도: 98.48%
10	검증 세트 손실: 0.045996	최선의 손실: 0.045996	정확도: 98.51%
11	검증 세트 손실: 0.039047	최선의 손실: 0.039047	정확도: 98.91%
12	검증 세트 손실: 0.045614	최선의 손실: 0.039047	정확도: 98.67%
13	검증 세트 손실: 0.040682	최선의 손실: 0.039047	정확도: 98.75%
14	검증 세트 손실: 0.055305	최선의 손실: 0.039047	정확도: 98.63%
15	검증 세트 손실: 0.045391	최선의 손실: 0.039047	정확도: 98.59%
16	검증 세트 손실: 0.043196	최선의 손실: 0.039047	정확도: 98.71%
17	검증 세트 손실: 0.042992	최선의 손실: 0.039047	정확도: 98.87%
18	검증 세트 손실: 0.039868	최선의 손실: 0.039047	정확도: 98.91%
19	검증 세트 손실: 0.042407	최선의 손실: 0.039047	정확도: 98.75%
20	검증 세트 손실: 0.029301	최선의 손실: 0.029301	정확도: 99.14%
21	검증 세트 손실: 0.038025	최선의 손실: 0.029301	정확도: 98.91%
22	검증 세트 손실: 0.049163	최선의 손실: 0.029301	정확도: 98.79%
23	검증 세트 손실: 0.052875	최선의 손실: 0.029301	정확도: 98.55%
24	검증 세트 손실: 0.041709	최선의 손실: 0.029301	정확도: 98.75%
25	검증 세트 손실: 0.039322	최선의 손실: 0.029301	정확도: 98.91%
26	검증 세트 손실: 0.047593	최선의 손실: 0.029301	정확도: 98.63%
27	검증 세트 손실: 0.035872	최선의 손실: 0.029301	정확도: 98.83%
28	검증 세트 손실: 0.034804	최선의 손실: 0.029301	정확도: 99.06%
29	검증 세트 손실: 0.029531	최선의 손실: 0.029301	정확도: 99.06%
30	검증 세트 손실: 0.043224	최선의 손실: 0.029301	정확도: 98.83%
31	검증 세트 손실: 0.035021	최선의 손실: 0.029301	정확도: 98.87%
32	검증 세트 손실: 0.034278	최선의 손실: 0.029301	정확도: 99.02%
33	검증 세트 손실: 0.036277	최선의 손실: 0.029301	정확도: 98.71%
34	검증 세트 손실: 0.037334	최선의 손실: 0.029301	정확도: 99.10%
35	검증 세트 손실: 0.053632	최선의 손실: 0.029301	정확도: 98.44%
36	검증 세트 손실: 0.028916	최선의 손실: 0.028916	정확도: 99.30%
37	검증 세트 손실: 0.049454	최선의 손실: 0.028916	정확도: 98.83%
38	검증 세트 손실: 0.064600	최선의 손실: 0.028916	정확도: 98.36%
39	검증 세트 손실: 0.063659	최선의 손실: 0.028916	정확도: 98.16%
40	검증 세트 손실: 0.036875	최선의 손실: 0.028916	정확도: 98.83%
41	검증 세트 손실: 0.035203	최선의 손실: 0.028916	정확도: 99.14%
42	검증 세트 손실: 0.037617	최선의 손실: 0.028916	정확도: 99.02%
43	검증 세트 손실: 0.056894	최선의 손실: 0.028916	정확도: 98.83%
44	검증 세트 손실: 0.033357	최선의 손실: 0.028916	정확도: 98.94%
45	검증 세트 손실: 0.042235	최선의 손실: 0.028916	정확도: 98.98%
46	검증 세트 손실: 0.040876	최선의 손실: 0.028916	정확도: 99.02%
47	검증 세트 손실: 0.043300	최선의 손실: 0.028916	정확도: 99.22%
48	검증 세트 손실: 0.046666	최선의 손실: 0.028916	정확도: 98.98%
49	검증 세트 손실: 0.047182	최선의 손실: 0.028916	정확도: 98.83%
50	검증 세트 손실: 0.048907	최선의 손실: 0.028916	정확도: 99.10%
51	검증 세트 손실: 0.055821	최선의 손실: 0.028916	정확도: 98.79%
52	검증 세트 손실: 0.044184	최선의 손실: 0.028916	정확도: 98.94%
53	검증 세트 손실: 0.035518	최선의 손실: 0.028916	정확도: 99.14%
54	검증 세트 손실: 0.048779	최선의 손실: 0.028916	정확도: 98.91%
55	검증 세트 손실: 0.035050	최선의 손실: 0.028916	정확도: 99.06%
56	검증 세트 손실: 0.047059	최선의 손실: 0.028916	정확도: 98.87%
57	검증 세트 손실: 0.033101	최선의 손실: 0.028916	정확도: 99.06%
조기 종료!
[CV]  n_neurons=160, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 4.2min
[CV] n_neurons=160, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 
0	검증 세트 손실: 0.074829	최선의 손실: 0.074829	정확도: 98.16%
1	검증 세트 손실: 0.066890	최선의 손실: 0.066890	정확도: 97.89%
2	검증 세트 손실: 0.090426	최선의 손실: 0.066890	정확도: 97.42%
3	검증 세트 손실: 0.051487	최선의 손실: 0.051487	정확도: 98.67%
4	검증 세트 손실: 0.075932	최선의 손실: 0.051487	정확도: 97.65%
5	검증 세트 손실: 0.046110	최선의 손실: 0.046110	정확도: 98.55%
6	검증 세트 손실: 0.055188	최선의 손실: 0.046110	정확도: 98.16%
7	검증 세트 손실: 0.050225	최선의 손실: 0.046110	정확도: 98.55%
8	검증 세트 손실: 0.053066	최선의 손실: 0.046110	정확도: 98.51%
9	검증 세트 손실: 0.066856	최선의 손실: 0.046110	정확도: 97.85%
10	검증 세트 손실: 0.059722	최선의 손실: 0.046110	정확도: 98.01%
11	검증 세트 손실: 0.035812	최선의 손실: 0.035812	정확도: 98.83%
12	검증 세트 손실: 0.041850	최선의 손실: 0.035812	정확도: 98.51%
13	검증 세트 손실: 0.036123	최선의 손실: 0.035812	정확도: 98.94%
14	검증 세트 손실: 0.040851	최선의 손실: 0.035812	정확도: 98.83%
15	검증 세트 손실: 0.033105	최선의 손실: 0.033105	정확도: 98.94%
16	검증 세트 손실: 0.026667	최선의 손실: 0.026667	정확도: 99.26%
17	검증 세트 손실: 0.046519	최선의 손실: 0.026667	정확도: 98.55%
18	검증 세트 손실: 0.034714	최선의 손실: 0.026667	정확도: 99.18%
19	검증 세트 손실: 0.040887	최선의 손실: 0.026667	정확도: 98.83%
20	검증 세트 손실: 0.032936	최선의 손실: 0.026667	정확도: 98.94%
21	검증 세트 손실: 0.032091	최선의 손실: 0.026667	정확도: 99.10%
22	검증 세트 손실: 0.039051	최선의 손실: 0.026667	정확도: 99.06%
23	검증 세트 손실: 0.048173	최선의 손실: 0.026667	정확도: 98.91%
24	검증 세트 손실: 0.037897	최선의 손실: 0.026667	정확도: 98.87%
25	검증 세트 손실: 0.048630	최선의 손실: 0.026667	정확도: 98.83%
26	검증 세트 손실: 0.038484	최선의 손실: 0.026667	정확도: 99.06%
27	검증 세트 손실: 0.041520	최선의 손실: 0.026667	정확도: 98.75%
28	검증 세트 손실: 0.036126	최선의 손실: 0.026667	정확도: 98.94%
29	검증 세트 손실: 0.036549	최선의 손실: 0.026667	정확도: 99.06%
30	검증 세트 손실: 0.036694	최선의 손실: 0.026667	정확도: 99.10%
31	검증 세트 손실: 0.028282	최선의 손실: 0.026667	정확도: 99.18%
32	검증 세트 손실: 0.041685	최선의 손실: 0.026667	정확도: 98.83%
33	검증 세트 손실: 0.042924	최선의 손실: 0.026667	정확도: 99.06%
34	검증 세트 손실: 0.034203	최선의 손실: 0.026667	정확도: 99.02%
35	검증 세트 손실: 0.035102	최선의 손실: 0.026667	정확도: 98.91%
36	검증 세트 손실: 0.033670	최선의 손실: 0.026667	정확도: 99.22%
37	검증 세트 손실: 0.042309	최선의 손실: 0.026667	정확도: 99.18%
조기 종료!
[CV]  n_neurons=160, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 2.8min
[CV] n_neurons=100, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.98, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.077832	최선의 손실: 0.077832	정확도: 97.34%
1	검증 세트 손실: 0.072224	최선의 손실: 0.072224	정확도: 98.01%
2	검증 세트 손실: 0.067583	최선의 손실: 0.067583	정확도: 97.85%
3	검증 세트 손실: 0.052682	최선의 손실: 0.052682	정확도: 98.48%
4	검증 세트 손실: 0.053712	최선의 손실: 0.052682	정확도: 98.16%
5	검증 세트 손실: 0.047642	최선의 손실: 0.047642	정확도: 98.59%
6	검증 세트 손실: 0.042210	최선의 손실: 0.042210	정확도: 98.44%
7	검증 세트 손실: 0.059812	최선의 손실: 0.042210	정확도: 98.55%
8	검증 세트 손실: 0.093588	최선의 손실: 0.042210	정확도: 97.93%
9	검증 세트 손실: 0.074659	최선의 손실: 0.042210	정확도: 97.97%
10	검증 세트 손실: 0.083167	최선의 손실: 0.042210	정확도: 98.08%
11	검증 세트 손실: 0.061067	최선의 손실: 0.042210	정확도: 98.59%
12	검증 세트 손실: 0.044277	최선의 손실: 0.042210	정확도: 98.67%
13	검증 세트 손실: 0.073602	최선의 손실: 0.042210	정확도: 98.48%
14	검증 세트 손실: 0.067000	최선의 손실: 0.042210	정확도: 98.48%
15	검증 세트 손실: 0.068206	최선의 손실: 0.042210	정확도: 98.40%
16	검증 세트 손실: 0.050635	최선의 손실: 0.042210	정확도: 98.94%
17	검증 세트 손실: 0.077790	최선의 손실: 0.042210	정확도: 98.44%
18	검증 세트 손실: 0.039914	최선의 손실: 0.039914	정확도: 99.10%
19	검증 세트 손실: 0.057653	최선의 손실: 0.039914	정확도: 98.75%
20	검증 세트 손실: 0.067930	최선의 손실: 0.039914	정확도: 98.75%
21	검증 세트 손실: 0.067467	최선의 손실: 0.039914	정확도: 98.63%
22	검증 세트 손실: 0.051119	최선의 손실: 0.039914	정확도: 98.63%
23	검증 세트 손실: 0.075687	최선의 손실: 0.039914	정확도: 98.51%
24	검증 세트 손실: 0.043222	최선의 손실: 0.039914	정확도: 98.83%
25	검증 세트 손실: 0.046396	최선의 손실: 0.039914	정확도: 99.02%
26	검증 세트 손실: 0.070371	최선의 손실: 0.039914	정확도: 98.48%
27	검증 세트 손실: 0.040021	최선의 손실: 0.039914	정확도: 99.10%
28	검증 세트 손실: 0.061770	최선의 손실: 0.039914	정확도: 99.02%
29	검증 세트 손실: 0.064614	최선의 손실: 0.039914	정확도: 98.75%
30	검증 세트 손실: 0.051016	최선의 손실: 0.039914	정확도: 98.98%
31	검증 세트 손실: 0.044159	최선의 손실: 0.039914	정확도: 99.06%
32	검증 세트 손실: 0.072505	최선의 손실: 0.039914	정확도: 98.55%
33	검증 세트 손실: 0.063105	최선의 손실: 0.039914	정확도: 98.67%
34	검증 세트 손실: 0.072510	최선의 손실: 0.039914	정확도: 98.48%
35	검증 세트 손실: 0.051465	최선의 손실: 0.039914	정확도: 98.83%
36	검증 세트 손실: 0.048610	최선의 손실: 0.039914	정확도: 98.98%
37	검증 세트 손실: 0.043505	최선의 손실: 0.039914	정확도: 98.98%
38	검증 세트 손실: 0.071159	최선의 손실: 0.039914	정확도: 98.59%
39	검증 세트 손실: 0.066428	최선의 손실: 0.039914	정확도: 98.79%
조기 종료!
[CV]  n_neurons=100, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.98, activation=<function elu at 0x7f8ec4ceef28>, total=  28.7s
[CV] n_neurons=100, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.98, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.150226	최선의 손실: 0.150226	정확도: 95.82%
1	검증 세트 손실: 0.062492	최선의 손실: 0.062492	정확도: 97.97%
2	검증 세트 손실: 0.054680	최선의 손실: 0.054680	정확도: 98.12%
3	검증 세트 손실: 0.084196	최선의 손실: 0.054680	정확도: 97.69%
4	검증 세트 손실: 0.095785	최선의 손실: 0.054680	정확도: 97.50%
5	검증 세트 손실: 0.050653	최선의 손실: 0.050653	정확도: 98.67%
6	검증 세트 손실: 0.078538	최선의 손실: 0.050653	정확도: 97.89%
7	검증 세트 손실: 0.068732	최선의 손실: 0.050653	정확도: 98.08%
8	검증 세트 손실: 0.051370	최선의 손실: 0.050653	정확도: 98.63%
9	검증 세트 손실: 0.076098	최선의 손실: 0.050653	정확도: 98.28%
10	검증 세트 손실: 0.044406	최선의 손실: 0.044406	정확도: 98.79%
11	검증 세트 손실: 0.041561	최선의 손실: 0.041561	정확도: 98.67%
12	검증 세트 손실: 0.044741	최선의 손실: 0.041561	정확도: 99.02%
13	검증 세트 손실: 0.056752	최선의 손실: 0.041561	정확도: 98.51%
14	검증 세트 손실: 0.050746	최선의 손실: 0.041561	정확도: 98.63%
15	검증 세트 손실: 0.045550	최선의 손실: 0.041561	정확도: 98.75%
16	검증 세트 손실: 0.043269	최선의 손실: 0.041561	정확도: 98.94%
17	검증 세트 손실: 0.044414	최선의 손실: 0.041561	정확도: 98.98%
18	검증 세트 손실: 0.054355	최선의 손실: 0.041561	정확도: 98.83%
19	검증 세트 손실: 0.049926	최선의 손실: 0.041561	정확도: 98.87%
20	검증 세트 손실: 0.037164	최선의 손실: 0.037164	정확도: 99.10%
21	검증 세트 손실: 0.044178	최선의 손실: 0.037164	정확도: 99.10%
22	검증 세트 손실: 0.086482	최선의 손실: 0.037164	정확도: 98.16%
23	검증 세트 손실: 0.064197	최선의 손실: 0.037164	정확도: 98.91%
24	검증 세트 손실: 0.069959	최선의 손실: 0.037164	정확도: 98.48%
25	검증 세트 손실: 0.058389	최선의 손실: 0.037164	정확도: 98.67%
26	검증 세트 손실: 0.064138	최선의 손실: 0.037164	정확도: 98.87%
27	검증 세트 손실: 0.056779	최선의 손실: 0.037164	정확도: 98.44%
28	검증 세트 손실: 0.056362	최선의 손실: 0.037164	정확도: 98.87%
29	검증 세트 손실: 0.050625	최선의 손실: 0.037164	정확도: 99.10%
30	검증 세트 손실: 0.064372	최선의 손실: 0.037164	정확도: 99.06%
31	검증 세트 손실: 0.067915	최선의 손실: 0.037164	정확도: 98.79%
32	검증 세트 손실: 0.051692	최선의 손실: 0.037164	정확도: 99.14%
33	검증 세트 손실: 0.096092	최선의 손실: 0.037164	정확도: 98.63%
34	검증 세트 손실: 0.052063	최선의 손실: 0.037164	정확도: 98.79%
35	검증 세트 손실: 0.049920	최선의 손실: 0.037164	정확도: 98.94%
36	검증 세트 손실: 0.039659	최선의 손실: 0.037164	정확도: 99.18%
37	검증 세트 손실: 0.062263	최선의 손실: 0.037164	정확도: 99.02%
38	검증 세트 손실: 0.041754	최선의 손실: 0.037164	정확도: 99.10%
39	검증 세트 손실: 0.063603	최선의 손실: 0.037164	정확도: 98.71%
40	검증 세트 손실: 0.060485	최선의 손실: 0.037164	정확도: 98.94%
41	검증 세트 손실: 0.079351	최선의 손실: 0.037164	정확도: 98.59%
조기 종료!
[CV]  n_neurons=100, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.98, activation=<function elu at 0x7f8ec4ceef28>, total=  29.6s
[CV] n_neurons=100, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.98, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.103896	최선의 손실: 0.103896	정확도: 97.22%
1	검증 세트 손실: 0.065964	최선의 손실: 0.065964	정확도: 97.81%
2	검증 세트 손실: 0.058561	최선의 손실: 0.058561	정확도: 97.97%
3	검증 세트 손실: 0.050883	최선의 손실: 0.050883	정확도: 98.55%
4	검증 세트 손실: 0.051224	최선의 손실: 0.050883	정확도: 98.59%
5	검증 세트 손실: 0.054049	최선의 손실: 0.050883	정확도: 98.36%
6	검증 세트 손실: 0.109413	최선의 손실: 0.050883	정확도: 96.79%
7	검증 세트 손실: 0.073744	최선의 손실: 0.050883	정확도: 98.44%
8	검증 세트 손실: 0.050870	최선의 손실: 0.050870	정확도: 98.71%
9	검증 세트 손실: 0.059728	최선의 손실: 0.050870	정확도: 98.59%
10	검증 세트 손실: 0.046404	최선의 손실: 0.046404	정확도: 98.87%
11	검증 세트 손실: 0.060333	최선의 손실: 0.046404	정확도: 98.32%
12	검증 세트 손실: 0.039775	최선의 손실: 0.039775	정확도: 98.75%
13	검증 세트 손실: 0.046612	최선의 손실: 0.039775	정확도: 98.75%
14	검증 세트 손실: 0.052665	최선의 손실: 0.039775	정확도: 98.79%
15	검증 세트 손실: 0.045548	최선의 손실: 0.039775	정확도: 98.75%
16	검증 세트 손실: 0.050323	최선의 손실: 0.039775	정확도: 99.02%
17	검증 세트 손실: 0.055379	최선의 손실: 0.039775	정확도: 98.83%
18	검증 세트 손실: 0.155572	최선의 손실: 0.039775	정확도: 97.11%
19	검증 세트 손실: 0.053382	최선의 손실: 0.039775	정확도: 98.87%
20	검증 세트 손실: 0.030652	최선의 손실: 0.030652	정확도: 99.10%
21	검증 세트 손실: 0.039957	최선의 손실: 0.030652	정확도: 99.22%
22	검증 세트 손실: 0.061722	최선의 손실: 0.030652	정확도: 98.94%
23	검증 세트 손실: 0.049590	최선의 손실: 0.030652	정확도: 99.02%
24	검증 세트 손실: 0.042568	최선의 손실: 0.030652	정확도: 99.10%
25	검증 세트 손실: 0.032055	최선의 손실: 0.030652	정확도: 98.94%
26	검증 세트 손실: 0.033463	최선의 손실: 0.030652	정확도: 99.18%
27	검증 세트 손실: 0.075137	최선의 손실: 0.030652	정확도: 98.32%
28	검증 세트 손실: 0.052286	최선의 손실: 0.030652	정확도: 98.83%
29	검증 세트 손실: 0.042195	최선의 손실: 0.030652	정확도: 98.94%
30	검증 세트 손실: 0.064870	최선의 손실: 0.030652	정확도: 98.48%
31	검증 세트 손실: 0.041084	최선의 손실: 0.030652	정확도: 99.06%
32	검증 세트 손실: 0.056040	최선의 손실: 0.030652	정확도: 98.91%
33	검증 세트 손실: 0.063028	최선의 손실: 0.030652	정확도: 98.83%
34	검증 세트 손실: 0.053640	최선의 손실: 0.030652	정확도: 98.91%
35	검증 세트 손실: 0.034499	최선의 손실: 0.030652	정확도: 98.98%
36	검증 세트 손실: 0.035017	최선의 손실: 0.030652	정확도: 99.02%
37	검증 세트 손실: 0.070747	최선의 손실: 0.030652	정확도: 98.59%
38	검증 세트 손실: 0.035310	최선의 손실: 0.030652	정확도: 99.22%
39	검증 세트 손실: 0.036352	최선의 손실: 0.030652	정확도: 99.18%
40	검증 세트 손실: 0.062248	최선의 손실: 0.030652	정확도: 98.91%
41	검증 세트 손실: 0.034495	최선의 손실: 0.030652	정확도: 99.14%
조기 종료!
[CV]  n_neurons=100, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.98, activation=<function elu at 0x7f8ec4ceef28>, total=  29.6s
[CV] n_neurons=90, learning_rate=0.1, batch_size=100, batch_norm_momentum=0.99, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.120916	최선의 손실: 0.120916	정확도: 96.79%
1	검증 세트 손실: 0.095552	최선의 손실: 0.095552	정확도: 97.34%
2	검증 세트 손실: 0.177323	최선의 손실: 0.095552	정확도: 95.70%
3	검증 세트 손실: 0.200057	최선의 손실: 0.095552	정확도: 94.92%
4	검증 세트 손실: 0.095770	최선의 손실: 0.095552	정확도: 97.26%
5	검증 세트 손실: 0.093912	최선의 손실: 0.093912	정확도: 97.97%
6	검증 세트 손실: 0.097898	최선의 손실: 0.093912	정확도: 98.01%
7	검증 세트 손실: 0.054156	최선의 손실: 0.054156	정확도: 98.75%
8	검증 세트 손실: 0.167664	최선의 손실: 0.054156	정확도: 97.42%
9	검증 세트 손실: 0.073544	최선의 손실: 0.054156	정확도: 98.48%
10	검증 세트 손실: 0.066613	최선의 손실: 0.054156	정확도: 98.63%
11	검증 세트 손실: 0.089580	최선의 손실: 0.054156	정확도: 98.12%
12	검증 세트 손실: 0.157866	최선의 손실: 0.054156	정확도: 97.97%
13	검증 세트 손실: 0.153380	최선의 손실: 0.054156	정확도: 96.95%
14	검증 세트 손실: 0.892000	최선의 손실: 0.054156	정확도: 96.60%
15	검증 세트 손실: 0.162993	최선의 손실: 0.054156	정확도: 98.20%
16	검증 세트 손실: 0.078262	최선의 손실: 0.054156	정확도: 98.51%
17	검증 세트 손실: 0.075052	최선의 손실: 0.054156	정확도: 98.71%
18	검증 세트 손실: 0.058831	최선의 손실: 0.054156	정확도: 98.98%
19	검증 세트 손실: 0.080657	최선의 손실: 0.054156	정확도: 98.71%
20	검증 세트 손실: 0.057286	최선의 손실: 0.054156	정확도: 98.98%
21	검증 세트 손실: 0.073665	최선의 손실: 0.054156	정확도: 98.51%
22	검증 세트 손실: 0.052017	최선의 손실: 0.052017	정확도: 99.10%
23	검증 세트 손실: 0.048788	최선의 손실: 0.048788	정확도: 98.98%
24	검증 세트 손실: 0.066911	최선의 손실: 0.048788	정확도: 98.83%
25	검증 세트 손실: 0.134430	최선의 손실: 0.048788	정확도: 98.08%
26	검증 세트 손실: 0.106243	최선의 손실: 0.048788	정확도: 98.51%
27	검증 세트 손실: 0.256675	최선의 손실: 0.048788	정확도: 98.08%
28	검증 세트 손실: 1.385528	최선의 손실: 0.048788	정확도: 97.30%
29	검증 세트 손실: 0.203836	최선의 손실: 0.048788	정확도: 98.36%
30	검증 세트 손실: 0.162314	최선의 손실: 0.048788	정확도: 98.79%
31	검증 세트 손실: 0.137337	최선의 손실: 0.048788	정확도: 98.94%
32	검증 세트 손실: 0.172387	최선의 손실: 0.048788	정확도: 98.63%
33	검증 세트 손실: 0.139187	최선의 손실: 0.048788	정확도: 98.79%
34	검증 세트 손실: 0.107539	최선의 손실: 0.048788	정확도: 98.79%
35	검증 세트 손실: 0.133943	최선의 손실: 0.048788	정확도: 98.55%
36	검증 세트 손실: 0.186026	최선의 손실: 0.048788	정확도: 98.32%
37	검증 세트 손실: 0.131154	최선의 손실: 0.048788	정확도: 98.63%
38	검증 세트 손실: 0.143437	최선의 손실: 0.048788	정확도: 98.59%
39	검증 세트 손실: 0.257873	최선의 손실: 0.048788	정확도: 98.44%
40	검증 세트 손실: 0.170590	최선의 손실: 0.048788	정확도: 98.63%
41	검증 세트 손실: 0.510702	최선의 손실: 0.048788	정확도: 96.60%
42	검증 세트 손실: 0.155470	최선의 손실: 0.048788	정확도: 99.02%
43	검증 세트 손실: 0.133177	최선의 손실: 0.048788	정확도: 98.91%
44	검증 세트 손실: 0.096177	최선의 손실: 0.048788	정확도: 99.02%
조기 종료!
[CV]  n_neurons=90, learning_rate=0.1, batch_size=100, batch_norm_momentum=0.99, activation=<function elu at 0x7f8ec4ceef28>, total=  29.4s
[CV] n_neurons=90, learning_rate=0.1, batch_size=100, batch_norm_momentum=0.99, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.166797	최선의 손실: 0.166797	정확도: 95.97%
1	검증 세트 손실: 0.080369	최선의 손실: 0.080369	정확도: 97.65%
2	검증 세트 손실: 0.073764	최선의 손실: 0.073764	정확도: 98.20%
3	검증 세트 손실: 0.081916	최선의 손실: 0.073764	정확도: 97.93%
4	검증 세트 손실: 0.112071	최선의 손실: 0.073764	정확도: 97.54%
5	검증 세트 손실: 0.076809	최선의 손실: 0.073764	정확도: 98.08%
6	검증 세트 손실: 0.057679	최선의 손실: 0.057679	정확도: 98.71%
7	검증 세트 손실: 0.062936	최선의 손실: 0.057679	정확도: 98.59%
8	검증 세트 손실: 0.060002	최선의 손실: 0.057679	정확도: 98.75%
9	검증 세트 손실: 0.207199	최선의 손실: 0.057679	정확도: 96.76%
10	검증 세트 손실: 0.077315	최선의 손실: 0.057679	정확도: 98.32%
11	검증 세트 손실: 0.046715	최선의 손실: 0.046715	정확도: 98.83%
12	검증 세트 손실: 0.063485	최선의 손실: 0.046715	정확도: 98.55%
13	검증 세트 손실: 0.060115	최선의 손실: 0.046715	정확도: 98.63%
14	검증 세트 손실: 0.119740	최선의 손실: 0.046715	정확도: 98.44%
15	검증 세트 손실: 0.310754	최선의 손실: 0.046715	정확도: 93.94%
16	검증 세트 손실: 0.088539	최선의 손실: 0.046715	정확도: 98.51%
17	검증 세트 손실: 0.074940	최선의 손실: 0.046715	정확도: 98.40%
18	검증 세트 손실: 0.072784	최선의 손실: 0.046715	정확도: 98.51%
19	검증 세트 손실: 0.066129	최선의 손실: 0.046715	정확도: 98.94%
20	검증 세트 손실: 0.059312	최선의 손실: 0.046715	정확도: 98.79%
21	검증 세트 손실: 0.078913	최선의 손실: 0.046715	정확도: 98.59%
22	검증 세트 손실: 0.075840	최선의 손실: 0.046715	정확도: 98.32%
23	검증 세트 손실: 0.070852	최선의 손실: 0.046715	정확도: 98.83%
24	검증 세트 손실: 0.095987	최선의 손실: 0.046715	정확도: 98.44%
25	검증 세트 손실: 1.022980	최선의 손실: 0.046715	정확도: 97.89%
26	검증 세트 손실: 0.178756	최선의 손실: 0.046715	정확도: 98.55%
27	검증 세트 손실: 0.148379	최선의 손실: 0.046715	정확도: 98.55%
28	검증 세트 손실: 0.136211	최선의 손실: 0.046715	정확도: 98.75%
29	검증 세트 손실: 0.177468	최선의 손실: 0.046715	정확도: 98.55%
30	검증 세트 손실: 0.242068	최선의 손실: 0.046715	정확도: 98.51%
31	검증 세트 손실: 0.160496	최선의 손실: 0.046715	정확도: 98.94%
32	검증 세트 손실: 0.155505	최선의 손실: 0.046715	정확도: 98.87%
조기 종료!
[CV]  n_neurons=90, learning_rate=0.1, batch_size=100, batch_norm_momentum=0.99, activation=<function elu at 0x7f8ec4ceef28>, total=  22.1s
[CV] n_neurons=90, learning_rate=0.1, batch_size=100, batch_norm_momentum=0.99, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.128081	최선의 손실: 0.128081	정확도: 97.11%
1	검증 세트 손실: 0.097621	최선의 손실: 0.097621	정확도: 97.58%
2	검증 세트 손실: 0.071232	최선의 손실: 0.071232	정확도: 97.93%
3	검증 세트 손실: 0.089789	최선의 손실: 0.071232	정확도: 97.93%
4	검증 세트 손실: 0.109414	최선의 손실: 0.071232	정확도: 98.01%
5	검증 세트 손실: 0.086362	최선의 손실: 0.071232	정확도: 98.01%
6	검증 세트 손실: 0.057638	최선의 손실: 0.057638	정확도: 98.12%
7	검증 세트 손실: 0.118381	최선의 손실: 0.057638	정확도: 97.81%
8	검증 세트 손실: 0.073463	최선의 손실: 0.057638	정확도: 98.32%
9	검증 세트 손실: 0.111825	최선의 손실: 0.057638	정확도: 97.69%
10	검증 세트 손실: 0.141495	최선의 손실: 0.057638	정확도: 97.93%
11	검증 세트 손실: 0.062022	최선의 손실: 0.057638	정확도: 98.55%
12	검증 세트 손실: 0.079533	최선의 손실: 0.057638	정확도: 98.32%
13	검증 세트 손실: 1.762252	최선의 손실: 0.057638	정확도: 96.79%
14	검증 세트 손실: 0.236947	최선의 손실: 0.057638	정확도: 98.40%
15	검증 세트 손실: 0.142056	최선의 손실: 0.057638	정확도: 98.44%
16	검증 세트 손실: 0.079378	최선의 손실: 0.057638	정확도: 98.44%
17	검증 세트 손실: 0.057515	최선의 손실: 0.057515	정확도: 98.91%
18	검증 세트 손실: 0.066564	최선의 손실: 0.057515	정확도: 98.67%
19	검증 세트 손실: 0.125194	최선의 손실: 0.057515	정확도: 98.59%
20	검증 세트 손실: 0.055375	최선의 손실: 0.055375	정확도: 98.71%
21	검증 세트 손실: 0.050038	최선의 손실: 0.050038	정확도: 99.10%
22	검증 세트 손실: 0.095377	최선의 손실: 0.050038	정확도: 98.71%
23	검증 세트 손실: 0.087879	최선의 손실: 0.050038	정확도: 98.83%
24	검증 세트 손실: 0.083989	최선의 손실: 0.050038	정확도: 98.83%
25	검증 세트 손실: 0.114315	최선의 손실: 0.050038	정확도: 98.36%
26	검증 세트 손실: 0.156013	최선의 손실: 0.050038	정확도: 98.05%
27	검증 세트 손실: 0.078971	최선의 손실: 0.050038	정확도: 98.83%
28	검증 세트 손실: 0.113228	최선의 손실: 0.050038	정확도: 98.67%
29	검증 세트 손실: 0.162149	최선의 손실: 0.050038	정확도: 98.36%
30	검증 세트 손실: 0.623424	최선의 손실: 0.050038	정확도: 97.89%
31	검증 세트 손실: 0.186570	최선의 손실: 0.050038	정확도: 98.71%
32	검증 세트 손실: 0.139522	최선의 손실: 0.050038	정확도: 98.75%
33	검증 세트 손실: 0.108281	최선의 손실: 0.050038	정확도: 98.79%
34	검증 세트 손실: 0.111477	최선의 손실: 0.050038	정확도: 98.87%
35	검증 세트 손실: 0.105609	최선의 손실: 0.050038	정확도: 98.94%
36	검증 세트 손실: 0.078769	최선의 손실: 0.050038	정확도: 98.91%
37	검증 세트 손실: 0.080294	최선의 손실: 0.050038	정확도: 98.98%
38	검증 세트 손실: 0.081950	최선의 손실: 0.050038	정확도: 98.91%
39	검증 세트 손실: 0.185732	최선의 손실: 0.050038	정확도: 98.51%
40	검증 세트 손실: 0.122309	최선의 손실: 0.050038	정확도: 98.79%
41	검증 세트 손실: 0.118907	최선의 손실: 0.050038	정확도: 98.83%
42	검증 세트 손실: 0.148295	최선의 손실: 0.050038	정확도: 98.16%
조기 종료!
[CV]  n_neurons=90, learning_rate=0.1, batch_size=100, batch_norm_momentum=0.99, activation=<function elu at 0x7f8ec4ceef28>, total=  28.2s
[CV] n_neurons=70, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.98, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.216786	최선의 손실: 0.216786	정확도: 96.36%
1	검증 세트 손실: 0.088690	최선의 손실: 0.088690	정확도: 97.54%
2	검증 세트 손실: 0.086311	최선의 손실: 0.086311	정확도: 97.62%
3	검증 세트 손실: 0.067237	최선의 손실: 0.067237	정확도: 98.08%
4	검증 세트 손실: 0.051331	최선의 손실: 0.051331	정확도: 98.28%
5	검증 세트 손실: 0.071543	최선의 손실: 0.051331	정확도: 98.08%
6	검증 세트 손실: 0.082929	최선의 손실: 0.051331	정확도: 97.62%
7	검증 세트 손실: 0.065902	최선의 손실: 0.051331	정확도: 98.51%
8	검증 세트 손실: 0.058870	최선의 손실: 0.051331	정확도: 98.48%
9	검증 세트 손실: 0.067909	최선의 손실: 0.051331	정확도: 98.67%
10	검증 세트 손실: 0.069594	최선의 손실: 0.051331	정확도: 98.32%
11	검증 세트 손실: 0.101844	최선의 손실: 0.051331	정확도: 97.93%
12	검증 세트 손실: 0.083625	최선의 손실: 0.051331	정확도: 98.24%
13	검증 세트 손실: 0.107245	최선의 손실: 0.051331	정확도: 97.89%
14	검증 세트 손실: 0.058618	최선의 손실: 0.051331	정확도: 98.75%
15	검증 세트 손실: 0.059508	최선의 손실: 0.051331	정확도: 98.75%
16	검증 세트 손실: 0.069717	최선의 손실: 0.051331	정확도: 98.71%
17	검증 세트 손실: 0.059335	최선의 손실: 0.051331	정확도: 98.67%
18	검증 세트 손실: 0.058664	최선의 손실: 0.051331	정확도: 98.75%
19	검증 세트 손실: 0.067400	최선의 손실: 0.051331	정확도: 98.87%
20	검증 세트 손실: 0.067639	최선의 손실: 0.051331	정확도: 98.87%
21	검증 세트 손실: 0.063677	최선의 손실: 0.051331	정확도: 98.94%
22	검증 세트 손실: 0.129735	최선의 손실: 0.051331	정확도: 97.93%
23	검증 세트 손실: 0.096907	최선의 손실: 0.051331	정확도: 98.01%
24	검증 세트 손실: 0.069664	최선의 손실: 0.051331	정확도: 98.79%
25	검증 세트 손실: 0.109405	최선의 손실: 0.051331	정확도: 97.81%
조기 종료!
[CV]  n_neurons=70, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.98, activation=<function elu at 0x7f8ec4ceef28>, total=   8.6s
[CV] n_neurons=70, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.98, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.251888	최선의 손실: 0.251888	정확도: 95.23%
1	검증 세트 손실: 0.085045	최선의 손실: 0.085045	정확도: 97.65%
2	검증 세트 손실: 0.077485	최선의 손실: 0.077485	정확도: 97.97%
3	검증 세트 손실: 0.074721	최선의 손실: 0.074721	정확도: 98.01%
4	검증 세트 손실: 0.077333	최선의 손실: 0.074721	정확도: 98.12%
5	검증 세트 손실: 0.065017	최선의 손실: 0.065017	정확도: 97.97%
6	검증 세트 손실: 0.060304	최선의 손실: 0.060304	정확도: 98.20%
7	검증 세트 손실: 0.066563	최선의 손실: 0.060304	정확도: 98.40%
8	검증 세트 손실: 0.063284	최선의 손실: 0.060304	정확도: 98.44%
9	검증 세트 손실: 0.073632	최선의 손실: 0.060304	정확도: 98.01%
10	검증 세트 손실: 0.072646	최선의 손실: 0.060304	정확도: 98.40%
11	검증 세트 손실: 0.075467	최선의 손실: 0.060304	정확도: 98.20%
12	검증 세트 손실: 0.065404	최선의 손실: 0.060304	정확도: 98.48%
13	검증 세트 손실: 0.066486	최선의 손실: 0.060304	정확도: 98.63%
14	검증 세트 손실: 0.069462	최선의 손실: 0.060304	정확도: 98.48%
15	검증 세트 손실: 0.085029	최선의 손실: 0.060304	정확도: 98.28%
16	검증 세트 손실: 0.081158	최선의 손실: 0.060304	정확도: 98.44%
17	검증 세트 손실: 0.082082	최선의 손실: 0.060304	정확도: 98.48%
18	검증 세트 손실: 0.078680	최선의 손실: 0.060304	정확도: 98.01%
19	검증 세트 손실: 0.075997	최선의 손실: 0.060304	정확도: 98.44%
20	검증 세트 손실: 0.070751	최선의 손실: 0.060304	정확도: 98.59%
21	검증 세트 손실: 0.109848	최선의 손실: 0.060304	정확도: 98.05%
22	검증 세트 손실: 0.080427	최선의 손실: 0.060304	정확도: 98.67%
23	검증 세트 손실: 0.082858	최선의 손실: 0.060304	정확도: 98.55%
24	검증 세트 손실: 0.055643	최선의 손실: 0.055643	정확도: 98.75%
25	검증 세트 손실: 0.089298	최선의 손실: 0.055643	정확도: 98.55%
26	검증 세트 손실: 0.084804	최선의 손실: 0.055643	정확도: 98.44%
27	검증 세트 손실: 0.069603	최선의 손실: 0.055643	정확도: 98.51%
28	검증 세트 손실: 0.066925	최선의 손실: 0.055643	정확도: 98.79%
29	검증 세트 손실: 0.077260	최선의 손실: 0.055643	정확도: 98.59%
30	검증 세트 손실: 0.091616	최선의 손실: 0.055643	정확도: 98.36%
31	검증 세트 손실: 0.086860	최선의 손실: 0.055643	정확도: 98.40%
32	검증 세트 손실: 0.093369	최선의 손실: 0.055643	정확도: 98.67%
33	검증 세트 손실: 0.095915	최선의 손실: 0.055643	정확도: 98.55%
34	검증 세트 손실: 0.068160	최선의 손실: 0.055643	정확도: 98.59%
35	검증 세트 손실: 0.083877	최선의 손실: 0.055643	정확도: 98.12%
36	검증 세트 손실: 0.069616	최선의 손실: 0.055643	정확도: 98.71%
37	검증 세트 손실: 0.074282	최선의 손실: 0.055643	정확도: 98.71%
38	검증 세트 손실: 0.080538	최선의 손실: 0.055643	정확도: 98.63%
39	검증 세트 손실: 0.085616	최선의 손실: 0.055643	정확도: 98.63%
40	검증 세트 손실: 0.079059	최선의 손실: 0.055643	정확도: 98.67%
41	검증 세트 손실: 0.058200	최선의 손실: 0.055643	정확도: 98.98%
42	검증 세트 손실: 0.076025	최선의 손실: 0.055643	정확도: 98.79%
43	검증 세트 손실: 0.077769	최선의 손실: 0.055643	정확도: 98.83%
44	검증 세트 손실: 0.077101	최선의 손실: 0.055643	정확도: 98.67%
45	검증 세트 손실: 0.070800	최선의 손실: 0.055643	정확도: 98.67%
조기 종료!
[CV]  n_neurons=70, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.98, activation=<function elu at 0x7f8ec4ceef28>, total=  14.2s
[CV] n_neurons=70, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.98, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.236971	최선의 손실: 0.236971	정확도: 95.82%
1	검증 세트 손실: 0.085837	최선의 손실: 0.085837	정확도: 97.97%
2	검증 세트 손실: 0.071248	최선의 손실: 0.071248	정확도: 97.89%
3	검증 세트 손실: 0.069639	최선의 손실: 0.069639	정확도: 98.01%
4	검증 세트 손실: 0.055954	최선의 손실: 0.055954	정확도: 98.59%
5	검증 세트 손실: 0.094364	최선의 손실: 0.055954	정확도: 97.69%
6	검증 세트 손실: 0.060580	최선의 손실: 0.055954	정확도: 98.75%
7	검증 세트 손실: 0.057032	최선의 손실: 0.055954	정확도: 98.40%
8	검증 세트 손실: 0.055163	최선의 손실: 0.055163	정확도: 98.44%
9	검증 세트 손실: 0.051400	최선의 손실: 0.051400	정확도: 98.59%
10	검증 세트 손실: 0.057184	최선의 손실: 0.051400	정확도: 98.63%
11	검증 세트 손실: 0.141117	최선의 손실: 0.051400	정확도: 97.26%
12	검증 세트 손실: 0.059456	최선의 손실: 0.051400	정확도: 98.55%
13	검증 세트 손실: 0.087732	최선의 손실: 0.051400	정확도: 98.28%
14	검증 세트 손실: 0.061566	최선의 손실: 0.051400	정확도: 98.55%
15	검증 세트 손실: 0.124239	최선의 손실: 0.051400	정확도: 97.62%
16	검증 세트 손실: 0.050143	최선의 손실: 0.050143	정확도: 98.87%
17	검증 세트 손실: 0.051196	최선의 손실: 0.050143	정확도: 98.87%
18	검증 세트 손실: 0.071087	최선의 손실: 0.050143	정확도: 98.48%
19	검증 세트 손실: 0.069485	최선의 손실: 0.050143	정확도: 98.51%
20	검증 세트 손실: 0.050779	최선의 손실: 0.050143	정확도: 98.91%
21	검증 세트 손실: 0.086896	최선의 손실: 0.050143	정확도: 98.36%
22	검증 세트 손실: 0.091541	최선의 손실: 0.050143	정확도: 98.44%
23	검증 세트 손실: 0.101815	최선의 손실: 0.050143	정확도: 97.58%
24	검증 세트 손실: 0.072931	최선의 손실: 0.050143	정확도: 98.55%
25	검증 세트 손실: 0.062863	최선의 손실: 0.050143	정확도: 98.67%
26	검증 세트 손실: 0.064760	최선의 손실: 0.050143	정확도: 98.79%
27	검증 세트 손실: 0.065167	최선의 손실: 0.050143	정확도: 98.75%
28	검증 세트 손실: 0.061703	최선의 손실: 0.050143	정확도: 98.75%
29	검증 세트 손실: 0.085382	최선의 손실: 0.050143	정확도: 98.55%
30	검증 세트 손실: 0.067032	최선의 손실: 0.050143	정확도: 98.79%
31	검증 세트 손실: 0.066460	최선의 손실: 0.050143	정확도: 98.83%
32	검증 세트 손실: 0.107054	최선의 손실: 0.050143	정확도: 98.20%
33	검증 세트 손실: 0.073500	최선의 손실: 0.050143	정확도: 98.67%
34	검증 세트 손실: 0.067379	최선의 손실: 0.050143	정확도: 98.71%
35	검증 세트 손실: 0.057428	최선의 손실: 0.050143	정확도: 98.98%
36	검증 세트 손실: 0.044261	최선의 손실: 0.044261	정확도: 99.10%
37	검증 세트 손실: 0.055122	최선의 손실: 0.044261	정확도: 98.79%
38	검증 세트 손실: 0.060395	최선의 손실: 0.044261	정확도: 98.71%
39	검증 세트 손실: 0.055213	최선의 손실: 0.044261	정확도: 98.94%
40	검증 세트 손실: 0.066157	최선의 손실: 0.044261	정확도: 98.83%
41	검증 세트 손실: 0.062086	최선의 손실: 0.044261	정확도: 98.91%
42	검증 세트 손실: 0.065304	최선의 손실: 0.044261	정확도: 98.91%
43	검증 세트 손실: 0.062712	최선의 손실: 0.044261	정확도: 98.94%
44	검증 세트 손실: 0.062880	최선의 손실: 0.044261	정확도: 99.02%
45	검증 세트 손실: 0.056258	최선의 손실: 0.044261	정확도: 98.98%
46	검증 세트 손실: 0.090515	최선의 손실: 0.044261	정확도: 98.71%
47	검증 세트 손실: 0.083349	최선의 손실: 0.044261	정확도: 98.71%
48	검증 세트 손실: 0.059064	최선의 손실: 0.044261	정확도: 98.98%
49	검증 세트 손실: 0.093854	최선의 손실: 0.044261	정확도: 98.20%
50	검증 세트 손실: 0.066512	최선의 손실: 0.044261	정확도: 98.79%
51	검증 세트 손실: 0.065068	최선의 손실: 0.044261	정확도: 98.79%
52	검증 세트 손실: 0.076316	최선의 손실: 0.044261	정확도: 98.51%
53	검증 세트 손실: 0.069450	최선의 손실: 0.044261	정확도: 98.63%
54	검증 세트 손실: 0.078545	최선의 손실: 0.044261	정확도: 98.71%
55	검증 세트 손실: 0.077202	최선의 손실: 0.044261	정확도: 98.71%
56	검증 세트 손실: 0.076274	최선의 손실: 0.044261	정확도: 98.83%
57	검증 세트 손실: 0.068670	최선의 손실: 0.044261	정확도: 98.91%
조기 종료!
[CV]  n_neurons=70, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.98, activation=<function elu at 0x7f8ec4ceef28>, total=  17.4s
[CV] n_neurons=50, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 
0	검증 세트 손실: 0.092934	최선의 손실: 0.092934	정확도: 97.11%
1	검증 세트 손실: 0.069661	최선의 손실: 0.069661	정확도: 97.50%
2	검증 세트 손실: 0.069618	최선의 손실: 0.069618	정확도: 97.81%
3	검증 세트 손실: 0.067524	최선의 손실: 0.067524	정확도: 98.12%
4	검증 세트 손실: 0.070799	최선의 손실: 0.067524	정확도: 97.69%
5	검증 세트 손실: 0.063074	최선의 손실: 0.063074	정확도: 98.24%
6	검증 세트 손실: 0.053766	최선의 손실: 0.053766	정확도: 98.36%
7	검증 세트 손실: 0.037852	최선의 손실: 0.037852	정확도: 98.98%
8	검증 세트 손실: 0.072425	최선의 손실: 0.037852	정확도: 98.20%
9	검증 세트 손실: 0.065457	최선의 손실: 0.037852	정확도: 98.44%
10	검증 세트 손실: 0.050847	최선의 손실: 0.037852	정확도: 98.48%
11	검증 세트 손실: 0.041997	최선의 손실: 0.037852	정확도: 98.98%
12	검증 세트 손실: 0.043775	최선의 손실: 0.037852	정확도: 99.02%
13	검증 세트 손실: 0.060953	최선의 손실: 0.037852	정확도: 98.51%
14	검증 세트 손실: 0.047387	최선의 손실: 0.037852	정확도: 98.87%
15	검증 세트 손실: 0.071909	최선의 손실: 0.037852	정확도: 98.16%
16	검증 세트 손실: 0.041885	최선의 손실: 0.037852	정확도: 99.10%
17	검증 세트 손실: 0.067082	최선의 손실: 0.037852	정확도: 98.51%
18	검증 세트 손실: 0.054541	최선의 손실: 0.037852	정확도: 99.06%
19	검증 세트 손실: 0.053425	최선의 손실: 0.037852	정확도: 98.63%
20	검증 세트 손실: 0.052341	최선의 손실: 0.037852	정확도: 98.87%
21	검증 세트 손실: 0.052239	최선의 손실: 0.037852	정확도: 98.83%
22	검증 세트 손실: 0.052783	최선의 손실: 0.037852	정확도: 98.87%
23	검증 세트 손실: 0.051012	최선의 손실: 0.037852	정확도: 98.98%
24	검증 세트 손실: 0.075330	최선의 손실: 0.037852	정확도: 98.71%
25	검증 세트 손실: 0.059650	최선의 손실: 0.037852	정확도: 98.91%
26	검증 세트 손실: 0.066735	최선의 손실: 0.037852	정확도: 98.51%
27	검증 세트 손실: 0.054281	최선의 손실: 0.037852	정확도: 98.71%
28	검증 세트 손실: 0.053409	최선의 손실: 0.037852	정확도: 98.83%
조기 종료!
[CV]  n_neurons=50, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total=  14.8s
[CV] n_neurons=50, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 
0	검증 세트 손실: 0.090401	최선의 손실: 0.090401	정확도: 97.34%
1	검증 세트 손실: 0.052855	최선의 손실: 0.052855	정확도: 98.63%
2	검증 세트 손실: 0.052346	최선의 손실: 0.052346	정확도: 98.36%
3	검증 세트 손실: 0.063833	최선의 손실: 0.052346	정확도: 98.08%
4	검증 세트 손실: 0.097254	최선의 손실: 0.052346	정확도: 97.62%
5	검증 세트 손실: 0.042803	최선의 손실: 0.042803	정확도: 98.59%
6	검증 세트 손실: 0.054107	최선의 손실: 0.042803	정확도: 98.71%
7	검증 세트 손실: 0.069085	최선의 손실: 0.042803	정확도: 98.32%
8	검증 세트 손실: 0.043126	최선의 손실: 0.042803	정확도: 98.91%
9	검증 세트 손실: 0.068275	최선의 손실: 0.042803	정확도: 98.24%
10	검증 세트 손실: 0.048966	최선의 손실: 0.042803	정확도: 98.87%
11	검증 세트 손실: 0.039778	최선의 손실: 0.039778	정확도: 98.87%
12	검증 세트 손실: 0.053239	최선의 손실: 0.039778	정확도: 98.59%
13	검증 세트 손실: 0.044085	최선의 손실: 0.039778	정확도: 98.75%
14	검증 세트 손실: 0.044923	최선의 손실: 0.039778	정확도: 98.83%
15	검증 세트 손실: 0.056572	최선의 손실: 0.039778	정확도: 98.79%
16	검증 세트 손실: 0.063280	최선의 손실: 0.039778	정확도: 98.63%
17	검증 세트 손실: 0.069217	최선의 손실: 0.039778	정확도: 98.67%
18	검증 세트 손실: 0.060239	최선의 손실: 0.039778	정확도: 98.51%
19	검증 세트 손실: 0.038614	최선의 손실: 0.038614	정확도: 98.98%
20	검증 세트 손실: 0.048338	최선의 손실: 0.038614	정확도: 99.02%
21	검증 세트 손실: 0.062622	최선의 손실: 0.038614	정확도: 98.87%
22	검증 세트 손실: 0.054353	최선의 손실: 0.038614	정확도: 98.55%
23	검증 세트 손실: 0.062046	최선의 손실: 0.038614	정확도: 98.63%
24	검증 세트 손실: 0.058890	최선의 손실: 0.038614	정확도: 98.40%
25	검증 세트 손실: 0.046865	최선의 손실: 0.038614	정확도: 98.91%
26	검증 세트 손실: 0.074739	최선의 손실: 0.038614	정확도: 98.75%
27	검증 세트 손실: 0.057564	최선의 손실: 0.038614	정확도: 98.87%
28	검증 세트 손실: 0.062844	최선의 손실: 0.038614	정확도: 98.71%
29	검증 세트 손실: 0.072003	최선의 손실: 0.038614	정확도: 98.59%
30	검증 세트 손실: 0.057313	최선의 손실: 0.038614	정확도: 98.75%
31	검증 세트 손실: 0.050123	최선의 손실: 0.038614	정확도: 99.02%
32	검증 세트 손실: 0.061851	최선의 손실: 0.038614	정확도: 98.75%
33	검증 세트 손실: 0.066132	최선의 손실: 0.038614	정확도: 98.55%
34	검증 세트 손실: 0.060287	최선의 손실: 0.038614	정확도: 98.91%
35	검증 세트 손실: 0.061069	최선의 손실: 0.038614	정확도: 98.63%
36	검증 세트 손실: 0.054527	최선의 손실: 0.038614	정확도: 98.91%
37	검증 세트 손실: 0.043887	최선의 손실: 0.038614	정확도: 99.02%
38	검증 세트 손실: 0.039906	최선의 손실: 0.038614	정확도: 99.14%
39	검증 세트 손실: 0.060139	최선의 손실: 0.038614	정확도: 99.02%
40	검증 세트 손실: 0.070358	최선의 손실: 0.038614	정확도: 98.83%
조기 종료!
[CV]  n_neurons=50, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total=  20.4s
[CV] n_neurons=50, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 
0	검증 세트 손실: 0.103486	최선의 손실: 0.103486	정확도: 97.15%
1	검증 세트 손실: 0.085964	최선의 손실: 0.085964	정확도: 97.58%
2	검증 세트 손실: 0.055427	최선의 손실: 0.055427	정확도: 98.16%
3	검증 세트 손실: 0.056497	최선의 손실: 0.055427	정확도: 98.40%
4	검증 세트 손실: 0.071572	최선의 손실: 0.055427	정확도: 97.69%
5	검증 세트 손실: 0.047742	최선의 손실: 0.047742	정확도: 98.44%
6	검증 세트 손실: 0.051940	최선의 손실: 0.047742	정확도: 98.59%
7	검증 세트 손실: 0.103168	최선의 손실: 0.047742	정확도: 97.73%
8	검증 세트 손실: 0.057836	최선의 손실: 0.047742	정확도: 98.59%
9	검증 세트 손실: 0.048974	최선의 손실: 0.047742	정확도: 98.67%
10	검증 세트 손실: 0.058903	최선의 손실: 0.047742	정확도: 98.67%
11	검증 세트 손실: 0.067363	최선의 손실: 0.047742	정확도: 98.40%
12	검증 세트 손실: 0.062699	최선의 손실: 0.047742	정확도: 98.51%
13	검증 세트 손실: 0.050872	최선의 손실: 0.047742	정확도: 98.87%
14	검증 세트 손실: 0.069746	최선의 손실: 0.047742	정확도: 98.32%
15	검증 세트 손실: 0.050289	최선의 손실: 0.047742	정확도: 98.67%
16	검증 세트 손실: 0.048628	최선의 손실: 0.047742	정확도: 98.91%
17	검증 세트 손실: 0.043677	최선의 손실: 0.043677	정확도: 98.98%
18	검증 세트 손실: 0.048329	최선의 손실: 0.043677	정확도: 98.98%
19	검증 세트 손실: 0.053811	최선의 손실: 0.043677	정확도: 98.71%
20	검증 세트 손실: 0.059640	최선의 손실: 0.043677	정확도: 98.75%
21	검증 세트 손실: 0.051339	최선의 손실: 0.043677	정확도: 99.06%
22	검증 세트 손실: 0.042422	최선의 손실: 0.042422	정확도: 99.14%
23	검증 세트 손실: 0.044996	최선의 손실: 0.042422	정확도: 98.79%
24	검증 세트 손실: 0.050986	최선의 손실: 0.042422	정확도: 99.06%
25	검증 세트 손실: 0.039115	최선의 손실: 0.039115	정확도: 99.10%
26	검증 세트 손실: 0.045712	최선의 손실: 0.039115	정확도: 98.79%
27	검증 세트 손실: 0.039262	최선의 손실: 0.039115	정확도: 98.87%
28	검증 세트 손실: 0.048274	최선의 손실: 0.039115	정확도: 99.06%
29	검증 세트 손실: 0.063227	최선의 손실: 0.039115	정확도: 98.67%
30	검증 세트 손실: 0.036460	최선의 손실: 0.036460	정확도: 98.91%
31	검증 세트 손실: 0.050777	최선의 손실: 0.036460	정확도: 98.98%
32	검증 세트 손실: 0.056895	최선의 손실: 0.036460	정확도: 98.87%
33	검증 세트 손실: 0.072968	최선의 손실: 0.036460	정확도: 98.55%
34	검증 세트 손실: 0.054557	최선의 손실: 0.036460	정확도: 98.87%
35	검증 세트 손실: 0.058839	최선의 손실: 0.036460	정확도: 99.02%
36	검증 세트 손실: 0.050532	최선의 손실: 0.036460	정확도: 99.10%
37	검증 세트 손실: 0.052058	최선의 손실: 0.036460	정확도: 99.02%
38	검증 세트 손실: 0.034379	최선의 손실: 0.034379	정확도: 99.06%
39	검증 세트 손실: 0.046810	최선의 손실: 0.034379	정확도: 99.18%
40	검증 세트 손실: 0.068392	최선의 손실: 0.034379	정확도: 98.71%
41	검증 세트 손실: 0.069827	최선의 손실: 0.034379	정확도: 98.67%
42	검증 세트 손실: 0.052493	최선의 손실: 0.034379	정확도: 99.06%
43	검증 세트 손실: 0.062546	최선의 손실: 0.034379	정확도: 98.83%
44	검증 세트 손실: 0.059298	최선의 손실: 0.034379	정확도: 99.06%
45	검증 세트 손실: 0.062090	최선의 손실: 0.034379	정확도: 99.10%
46	검증 세트 손실: 0.049056	최선의 손실: 0.034379	정확도: 99.06%
47	검증 세트 손실: 0.053487	최선의 손실: 0.034379	정확도: 98.87%
48	검증 세트 손실: 0.043454	최선의 손실: 0.034379	정확도: 98.98%
49	검증 세트 손실: 0.040413	최선의 손실: 0.034379	정확도: 98.98%
50	검증 세트 손실: 0.055255	최선의 손실: 0.034379	정확도: 99.06%
51	검증 세트 손실: 0.088899	최선의 손실: 0.034379	정확도: 98.91%
52	검증 세트 손실: 0.064791	최선의 손실: 0.034379	정확도: 98.91%
53	검증 세트 손실: 0.055930	최선의 손실: 0.034379	정확도: 98.71%
54	검증 세트 손실: 0.051810	최선의 손실: 0.034379	정확도: 99.02%
55	검증 세트 손실: 0.044868	최선의 손실: 0.034379	정확도: 98.98%
56	검증 세트 손실: 0.049410	최선의 손실: 0.034379	정확도: 99.06%
57	검증 세트 손실: 0.067332	최선의 손실: 0.034379	정확도: 98.83%
58	검증 세트 손실: 0.062295	최선의 손실: 0.034379	정확도: 98.91%
59	검증 세트 손실: 0.061360	최선의 손실: 0.034379	정확도: 98.87%
조기 종료!
[CV]  n_neurons=50, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total=  29.2s
[CV] n_neurons=10, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.95, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.117451	최선의 손실: 0.117451	정확도: 96.33%
1	검증 세트 손실: 0.085769	최선의 손실: 0.085769	정확도: 97.50%
2	검증 세트 손실: 0.107494	최선의 손실: 0.085769	정확도: 96.68%
3	검증 세트 손실: 0.076148	최선의 손실: 0.076148	정확도: 97.69%
4	검증 세트 손실: 0.093488	최선의 손실: 0.076148	정확도: 97.03%
5	검증 세트 손실: 0.092700	최선의 손실: 0.076148	정확도: 97.19%
6	검증 세트 손실: 0.073279	최선의 손실: 0.073279	정확도: 97.69%
7	검증 세트 손실: 0.066232	최선의 손실: 0.066232	정확도: 97.89%
8	검증 세트 손실: 0.116786	최선의 손실: 0.066232	정확도: 96.09%
9	검증 세트 손실: 0.091821	최선의 손실: 0.066232	정확도: 97.54%
10	검증 세트 손실: 0.071721	최선의 손실: 0.066232	정확도: 97.77%
11	검증 세트 손실: 0.052046	최선의 손실: 0.052046	정확도: 98.51%
12	검증 세트 손실: 0.062857	최선의 손실: 0.052046	정확도: 98.05%
13	검증 세트 손실: 0.051616	최선의 손실: 0.051616	정확도: 98.24%
14	검증 세트 손실: 0.073209	최선의 손실: 0.051616	정확도: 97.73%
15	검증 세트 손실: 0.052664	최선의 손실: 0.051616	정확도: 98.59%
16	검증 세트 손실: 0.051196	최선의 손실: 0.051196	정확도: 98.48%
17	검증 세트 손실: 0.057652	최선의 손실: 0.051196	정확도: 98.32%
18	검증 세트 손실: 0.070415	최선의 손실: 0.051196	정확도: 98.05%
19	검증 세트 손실: 0.058174	최선의 손실: 0.051196	정확도: 98.16%
20	검증 세트 손실: 0.059588	최선의 손실: 0.051196	정확도: 98.48%
21	검증 세트 손실: 0.075786	최선의 손실: 0.051196	정확도: 97.73%
22	검증 세트 손실: 0.049626	최선의 손실: 0.049626	정확도: 98.24%
23	검증 세트 손실: 0.064948	최선의 손실: 0.049626	정확도: 98.20%
24	검증 세트 손실: 0.068985	최선의 손실: 0.049626	정확도: 98.08%
25	검증 세트 손실: 0.068343	최선의 손실: 0.049626	정확도: 98.12%
26	검증 세트 손실: 0.069077	최선의 손실: 0.049626	정확도: 98.12%
27	검증 세트 손실: 0.065421	최선의 손실: 0.049626	정확도: 98.08%
28	검증 세트 손실: 0.053376	최선의 손실: 0.049626	정확도: 98.44%
29	검증 세트 손실: 0.095985	최선의 손실: 0.049626	정확도: 97.50%
30	검증 세트 손실: 0.080014	최선의 손실: 0.049626	정확도: 97.77%
31	검증 세트 손실: 0.088421	최선의 손실: 0.049626	정확도: 97.97%
32	검증 세트 손실: 0.077369	최선의 손실: 0.049626	정확도: 97.85%
33	검증 세트 손실: 0.065282	최선의 손실: 0.049626	정확도: 98.32%
34	검증 세트 손실: 0.073838	최선의 손실: 0.049626	정확도: 98.08%
35	검증 세트 손실: 0.088651	최선의 손실: 0.049626	정확도: 97.97%
36	검증 세트 손실: 0.064445	최선의 손실: 0.049626	정확도: 98.28%
37	검증 세트 손실: 0.066839	최선의 손실: 0.049626	정확도: 98.16%
38	검증 세트 손실: 0.076597	최선의 손실: 0.049626	정확도: 98.28%
39	검증 세트 손실: 0.062694	최선의 손실: 0.049626	정확도: 98.20%
40	검증 세트 손실: 0.073666	최선의 손실: 0.049626	정확도: 98.20%
41	검증 세트 손실: 0.070647	최선의 손실: 0.049626	정확도: 98.20%
42	검증 세트 손실: 0.073182	최선의 손실: 0.049626	정확도: 98.12%
43	검증 세트 손실: 0.074454	최선의 손실: 0.049626	정확도: 97.93%
조기 종료!
[CV]  n_neurons=10, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.95, activation=<function elu at 0x7f8ec4ceef28>, total=  14.0s
[CV] n_neurons=10, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.95, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.134628	최선의 손실: 0.134628	정확도: 95.70%
1	검증 세트 손실: 0.080790	최선의 손실: 0.080790	정확도: 97.62%
2	검증 세트 손실: 0.064863	최선의 손실: 0.064863	정확도: 98.24%
3	검증 세트 손실: 0.098721	최선의 손실: 0.064863	정확도: 96.95%
4	검증 세트 손실: 0.072932	최선의 손실: 0.064863	정확도: 97.97%
5	검증 세트 손실: 0.072009	최선의 손실: 0.064863	정확도: 97.81%
6	검증 세트 손실: 0.076175	최선의 손실: 0.064863	정확도: 97.81%
7	검증 세트 손실: 0.089611	최선의 손실: 0.064863	정확도: 97.34%
8	검증 세트 손실: 0.049963	최선의 손실: 0.049963	정확도: 98.51%
9	검증 세트 손실: 0.078587	최선의 손실: 0.049963	정확도: 97.81%
10	검증 세트 손실: 0.069236	최선의 손실: 0.049963	정확도: 97.89%
11	검증 세트 손실: 0.067740	최선의 손실: 0.049963	정확도: 98.01%
12	검증 세트 손실: 0.063835	최선의 손실: 0.049963	정확도: 98.55%
13	검증 세트 손실: 0.069129	최선의 손실: 0.049963	정확도: 98.08%
14	검증 세트 손실: 0.066518	최선의 손실: 0.049963	정확도: 97.81%
15	검증 세트 손실: 0.076453	최선의 손실: 0.049963	정확도: 97.81%
16	검증 세트 손실: 0.066882	최선의 손실: 0.049963	정확도: 98.20%
17	검증 세트 손실: 0.056084	최선의 손실: 0.049963	정확도: 98.48%
18	검증 세트 손실: 0.086365	최선의 손실: 0.049963	정확도: 98.08%
19	검증 세트 손실: 0.065458	최선의 손실: 0.049963	정확도: 98.05%
20	검증 세트 손실: 0.071555	최선의 손실: 0.049963	정확도: 97.89%
21	검증 세트 손실: 0.066833	최선의 손실: 0.049963	정확도: 98.05%
22	검증 세트 손실: 0.097907	최선의 손실: 0.049963	정확도: 97.62%
23	검증 세트 손실: 0.074629	최선의 손실: 0.049963	정확도: 98.36%
24	검증 세트 손실: 0.063479	최선의 손실: 0.049963	정확도: 98.40%
25	검증 세트 손실: 0.071909	최선의 손실: 0.049963	정확도: 98.28%
26	검증 세트 손실: 0.064603	최선의 손실: 0.049963	정확도: 98.40%
27	검증 세트 손실: 0.073760	최선의 손실: 0.049963	정확도: 98.20%
28	검증 세트 손실: 0.068251	최선의 손실: 0.049963	정확도: 98.20%
29	검증 세트 손실: 0.073076	최선의 손실: 0.049963	정확도: 98.36%
조기 종료!
[CV]  n_neurons=10, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.95, activation=<function elu at 0x7f8ec4ceef28>, total=  10.0s
[CV] n_neurons=10, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.95, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.130017	최선의 손실: 0.130017	정확도: 96.17%
1	검증 세트 손실: 0.106947	최선의 손실: 0.106947	정확도: 96.95%
2	검증 세트 손실: 0.082695	최선의 손실: 0.082695	정확도: 97.65%
3	검증 세트 손실: 0.069594	최선의 손실: 0.069594	정확도: 97.73%
4	검증 세트 손실: 0.084006	최선의 손실: 0.069594	정확도: 97.46%
5	검증 세트 손실: 0.069321	최선의 손실: 0.069321	정확도: 97.81%
6	검증 세트 손실: 0.065460	최선의 손실: 0.065460	정확도: 98.16%
7	검증 세트 손실: 0.072570	최선의 손실: 0.065460	정확도: 97.81%
8	검증 세트 손실: 0.068699	최선의 손실: 0.065460	정확도: 98.16%
9	검증 세트 손실: 0.068945	최선의 손실: 0.065460	정확도: 98.01%
10	검증 세트 손실: 0.062626	최선의 손실: 0.062626	정확도: 98.05%
11	검증 세트 손실: 0.060004	최선의 손실: 0.060004	정확도: 98.20%
12	검증 세트 손실: 0.062122	최선의 손실: 0.060004	정확도: 98.24%
13	검증 세트 손실: 0.081803	최선의 손실: 0.060004	정확도: 97.69%
14	검증 세트 손실: 0.076531	최선의 손실: 0.060004	정확도: 97.77%
15	검증 세트 손실: 0.071717	최선의 손실: 0.060004	정확도: 98.16%
16	검증 세트 손실: 0.057898	최선의 손실: 0.057898	정확도: 98.51%
17	검증 세트 손실: 0.056736	최선의 손실: 0.056736	정확도: 98.59%
18	검증 세트 손실: 0.062815	최선의 손실: 0.056736	정확도: 98.44%
19	검증 세트 손실: 0.070522	최선의 손실: 0.056736	정확도: 98.12%
20	검증 세트 손실: 0.062686	최선의 손실: 0.056736	정확도: 98.44%
21	검증 세트 손실: 0.061406	최선의 손실: 0.056736	정확도: 98.12%
22	검증 세트 손실: 0.072110	최선의 손실: 0.056736	정확도: 98.12%
23	검증 세트 손실: 0.066311	최선의 손실: 0.056736	정확도: 98.32%
24	검증 세트 손실: 0.069666	최선의 손실: 0.056736	정확도: 98.32%
25	검증 세트 손실: 0.061293	최선의 손실: 0.056736	정확도: 98.32%
26	검증 세트 손실: 0.065456	최선의 손실: 0.056736	정확도: 98.28%
27	검증 세트 손실: 0.080875	최선의 손실: 0.056736	정확도: 97.50%
28	검증 세트 손실: 0.069633	최선의 손실: 0.056736	정확도: 98.40%
29	검증 세트 손실: 0.058188	최선의 손실: 0.056736	정확도: 98.71%
30	검증 세트 손실: 0.055436	최선의 손실: 0.055436	정확도: 98.71%
31	검증 세트 손실: 0.070663	최선의 손실: 0.055436	정확도: 98.28%
32	검증 세트 손실: 0.072929	최선의 손실: 0.055436	정확도: 98.20%
33	검증 세트 손실: 0.074270	최선의 손실: 0.055436	정확도: 98.36%
34	검증 세트 손실: 0.073398	최선의 손실: 0.055436	정확도: 98.55%
35	검증 세트 손실: 0.060301	최선의 손실: 0.055436	정확도: 98.51%
36	검증 세트 손실: 0.079472	최선의 손실: 0.055436	정확도: 98.28%
37	검증 세트 손실: 0.077674	최선의 손실: 0.055436	정확도: 98.16%
38	검증 세트 손실: 0.066384	최선의 손실: 0.055436	정확도: 98.55%
39	검증 세트 손실: 0.072375	최선의 손실: 0.055436	정확도: 98.48%
40	검증 세트 손실: 0.076327	최선의 손실: 0.055436	정확도: 98.28%
41	검증 세트 손실: 0.104444	최선의 손실: 0.055436	정확도: 98.01%
42	검증 세트 손실: 0.063296	최선의 손실: 0.055436	정확도: 98.32%
43	검증 세트 손실: 0.076120	최선의 손실: 0.055436	정확도: 98.28%
44	검증 세트 손실: 0.077853	최선의 손실: 0.055436	정확도: 98.51%
45	검증 세트 손실: 0.077963	최선의 손실: 0.055436	정확도: 98.51%
46	검증 세트 손실: 0.063575	최선의 손실: 0.055436	정확도: 98.59%
47	검증 세트 손실: 0.068886	최선의 손실: 0.055436	정확도: 98.48%
48	검증 세트 손실: 0.070320	최선의 손실: 0.055436	정확도: 98.63%
49	검증 세트 손실: 0.068997	최선의 손실: 0.055436	정확도: 98.51%
50	검증 세트 손실: 0.062450	최선의 손실: 0.055436	정확도: 98.71%
51	검증 세트 손실: 0.075744	최선의 손실: 0.055436	정확도: 98.48%
조기 종료!
[CV]  n_neurons=10, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.95, activation=<function elu at 0x7f8ec4ceef28>, total=  16.4s
[CV] n_neurons=10, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 
0	검증 세트 손실: 0.110669	최선의 손실: 0.110669	정확도: 97.03%
1	검증 세트 손실: 0.095228	최선의 손실: 0.095228	정확도: 97.38%
2	검증 세트 손실: 0.110558	최선의 손실: 0.095228	정확도: 96.91%
3	검증 세트 손실: 0.077445	최선의 손실: 0.077445	정확도: 97.65%
4	검증 세트 손실: 0.075778	최선의 손실: 0.075778	정확도: 97.77%
5	검증 세트 손실: 0.088214	최선의 손실: 0.075778	정확도: 97.26%
6	검증 세트 손실: 0.070551	최선의 손실: 0.070551	정확도: 97.62%
7	검증 세트 손실: 0.080310	최선의 손실: 0.070551	정확도: 97.62%
8	검증 세트 손실: 0.084465	최선의 손실: 0.070551	정확도: 97.69%
9	검증 세트 손실: 0.076852	최선의 손실: 0.070551	정확도: 97.81%
10	검증 세트 손실: 0.085154	최선의 손실: 0.070551	정확도: 97.62%
11	검증 세트 손실: 0.077035	최선의 손실: 0.070551	정확도: 97.89%
12	검증 세트 손실: 0.062266	최선의 손실: 0.062266	정확도: 98.44%
13	검증 세트 손실: 0.077808	최선의 손실: 0.062266	정확도: 97.89%
14	검증 세트 손실: 0.068410	최선의 손실: 0.062266	정확도: 98.16%
15	검증 세트 손실: 0.074309	최선의 손실: 0.062266	정확도: 97.97%
16	검증 세트 손실: 0.072036	최선의 손실: 0.062266	정확도: 98.28%
17	검증 세트 손실: 0.079842	최선의 손실: 0.062266	정확도: 97.93%
18	검증 세트 손실: 0.075619	최선의 손실: 0.062266	정확도: 98.12%
19	검증 세트 손실: 0.077076	최선의 손실: 0.062266	정확도: 98.20%
20	검증 세트 손실: 0.068151	최선의 손실: 0.062266	정확도: 98.05%
21	검증 세트 손실: 0.071295	최선의 손실: 0.062266	정확도: 97.93%
22	검증 세트 손실: 0.067237	최선의 손실: 0.062266	정확도: 98.12%
23	검증 세트 손실: 0.066285	최선의 손실: 0.062266	정확도: 98.24%
24	검증 세트 손실: 0.065832	최선의 손실: 0.062266	정확도: 98.44%
25	검증 세트 손실: 0.073328	최선의 손실: 0.062266	정확도: 98.36%
26	검증 세트 손실: 0.071430	최선의 손실: 0.062266	정확도: 98.05%
27	검증 세트 손실: 0.096248	최선의 손실: 0.062266	정확도: 97.26%
28	검증 세트 손실: 0.086924	최선의 손실: 0.062266	정확도: 97.73%
29	검증 세트 손실: 0.071931	최선의 손실: 0.062266	정확도: 98.16%
30	검증 세트 손실: 0.080275	최선의 손실: 0.062266	정확도: 98.12%
31	검증 세트 손실: 0.065773	최선의 손실: 0.062266	정확도: 98.16%
32	검증 세트 손실: 0.068279	최선의 손실: 0.062266	정확도: 98.28%
33	검증 세트 손실: 0.069798	최선의 손실: 0.062266	정확도: 98.20%
조기 종료!
[CV]  n_neurons=10, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total=  11.8s
[CV] n_neurons=10, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 
0	검증 세트 손실: 0.132693	최선의 손실: 0.132693	정확도: 96.40%
1	검증 세트 손실: 0.066542	최선의 손실: 0.066542	정확도: 98.32%
2	검증 세트 손실: 0.074952	최선의 손실: 0.066542	정확도: 98.01%
3	검증 세트 손실: 0.075097	최선의 손실: 0.066542	정확도: 97.89%
4	검증 세트 손실: 0.060563	최선의 손실: 0.060563	정확도: 98.24%
5	검증 세트 손실: 0.054856	최선의 손실: 0.054856	정확도: 98.48%
6	검증 세트 손실: 0.076791	최선의 손실: 0.054856	정확도: 97.93%
7	검증 세트 손실: 0.062455	최선의 손실: 0.054856	정확도: 98.48%
8	검증 세트 손실: 0.055188	최선의 손실: 0.054856	정확도: 98.59%
9	검증 세트 손실: 0.091343	최선의 손실: 0.054856	정확도: 97.50%
10	검증 세트 손실: 0.075002	최선의 손실: 0.054856	정확도: 98.05%
11	검증 세트 손실: 0.068340	최선의 손실: 0.054856	정확도: 98.05%
12	검증 세트 손실: 0.062665	최선의 손실: 0.054856	정확도: 98.28%
13	검증 세트 손실: 0.062599	최선의 손실: 0.054856	정확도: 98.48%
14	검증 세트 손실: 0.095270	최선의 손실: 0.054856	정확도: 97.58%
15	검증 세트 손실: 0.065956	최선의 손실: 0.054856	정확도: 98.28%
16	검증 세트 손실: 0.070403	최선의 손실: 0.054856	정확도: 98.28%
17	검증 세트 손실: 0.077881	최선의 손실: 0.054856	정확도: 98.08%
18	검증 세트 손실: 0.075770	최선의 손실: 0.054856	정확도: 98.20%
19	검증 세트 손실: 0.077390	최선의 손실: 0.054856	정확도: 98.24%
20	검증 세트 손실: 0.069502	최선의 손실: 0.054856	정확도: 98.16%
21	검증 세트 손실: 0.069283	최선의 손실: 0.054856	정확도: 98.36%
22	검증 세트 손실: 0.100848	최선의 손실: 0.054856	정확도: 97.50%
23	검증 세트 손실: 0.068905	최선의 손실: 0.054856	정확도: 98.32%
24	검증 세트 손실: 0.056277	최선의 손실: 0.054856	정확도: 98.20%
25	검증 세트 손실: 0.063919	최선의 손실: 0.054856	정확도: 98.28%
26	검증 세트 손실: 0.067607	최선의 손실: 0.054856	정확도: 98.05%
조기 종료!
[CV]  n_neurons=10, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total=   9.6s
[CV] n_neurons=10, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 
0	검증 세트 손실: 0.107241	최선의 손실: 0.107241	정확도: 97.07%
1	검증 세트 손실: 0.086192	최선의 손실: 0.086192	정확도: 97.46%
2	검증 세트 손실: 0.069398	최선의 손실: 0.069398	정확도: 97.77%
3	검증 세트 손실: 0.066717	최선의 손실: 0.066717	정확도: 97.97%
4	검증 세트 손실: 0.062818	최선의 손실: 0.062818	정확도: 98.20%
5	검증 세트 손실: 0.058768	최선의 손실: 0.058768	정확도: 98.05%
6	검증 세트 손실: 0.063787	최선의 손실: 0.058768	정확도: 98.12%
7	검증 세트 손실: 0.063222	최선의 손실: 0.058768	정확도: 98.01%
8	검증 세트 손실: 0.063622	최선의 손실: 0.058768	정확도: 98.28%
9	검증 세트 손실: 0.062139	최선의 손실: 0.058768	정확도: 98.28%
10	검증 세트 손실: 0.059593	최선의 손실: 0.058768	정확도: 97.97%
11	검증 세트 손실: 0.058479	최선의 손실: 0.058479	정확도: 98.08%
12	검증 세트 손실: 0.053224	최선의 손실: 0.053224	정확도: 98.32%
13	검증 세트 손실: 0.071349	최선의 손실: 0.053224	정확도: 97.97%
14	검증 세트 손실: 0.065437	최선의 손실: 0.053224	정확도: 98.05%
15	검증 세트 손실: 0.055105	최선의 손실: 0.053224	정확도: 98.51%
16	검증 세트 손실: 0.056605	최선의 손실: 0.053224	정확도: 98.20%
17	검증 세트 손실: 0.056244	최선의 손실: 0.053224	정확도: 98.40%
18	검증 세트 손실: 0.061559	최선의 손실: 0.053224	정확도: 98.12%
19	검증 세트 손실: 0.063815	최선의 손실: 0.053224	정확도: 98.36%
20	검증 세트 손실: 0.071239	최선의 손실: 0.053224	정확도: 98.12%
21	검증 세트 손실: 0.054753	최선의 손실: 0.053224	정확도: 98.24%
22	검증 세트 손실: 0.059803	최선의 손실: 0.053224	정확도: 98.32%
23	검증 세트 손실: 0.049507	최선의 손실: 0.049507	정확도: 98.36%
24	검증 세트 손실: 0.061080	최선의 손실: 0.049507	정확도: 98.28%
25	검증 세트 손실: 0.058352	최선의 손실: 0.049507	정확도: 98.01%
26	검증 세트 손실: 0.052011	최선의 손실: 0.049507	정확도: 98.44%
27	검증 세트 손실: 0.063151	최선의 손실: 0.049507	정확도: 98.40%
28	검증 세트 손실: 0.068997	최선의 손실: 0.049507	정확도: 98.36%
29	검증 세트 손실: 0.085221	최선의 손실: 0.049507	정확도: 98.08%
30	검증 세트 손실: 0.061919	최선의 손실: 0.049507	정확도: 98.20%
31	검증 세트 손실: 0.069719	최선의 손실: 0.049507	정확도: 98.40%
32	검증 세트 손실: 0.074223	최선의 손실: 0.049507	정확도: 98.01%
33	검증 세트 손실: 0.064498	최선의 손실: 0.049507	정확도: 98.48%
34	검증 세트 손실: 0.066654	최선의 손실: 0.049507	정확도: 98.05%
35	검증 세트 손실: 0.077285	최선의 손실: 0.049507	정확도: 98.08%
36	검증 세트 손실: 0.067273	최선의 손실: 0.049507	정확도: 98.28%
37	검증 세트 손실: 0.073594	최선의 손실: 0.049507	정확도: 98.36%
38	검증 세트 손실: 0.077888	최선의 손실: 0.049507	정확도: 98.16%
39	검증 세트 손실: 0.058952	최선의 손실: 0.049507	정확도: 98.63%
40	검증 세트 손실: 0.069839	최선의 손실: 0.049507	정확도: 98.08%
41	검증 세트 손실: 0.071776	최선의 손실: 0.049507	정확도: 97.73%
42	검증 세트 손실: 0.085523	최선의 손실: 0.049507	정확도: 97.73%
43	검증 세트 손실: 0.073547	최선의 손실: 0.049507	정확도: 98.28%
44	검증 세트 손실: 0.063410	최선의 손실: 0.049507	정확도: 98.36%
조기 종료!
[CV]  n_neurons=10, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total=  15.2s
[CV] n_neurons=50, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.999, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 
0	검증 세트 손실: 0.534038	최선의 손실: 0.534038	정확도: 96.52%
1	검증 세트 손실: 0.279687	최선의 손실: 0.279687	정확도: 97.38%
2	검증 세트 손실: 0.388696	최선의 손실: 0.279687	정확도: 97.38%
3	검증 세트 손실: 0.146438	최선의 손실: 0.146438	정확도: 98.16%
4	검증 세트 손실: 0.207778	최선의 손실: 0.146438	정확도: 97.81%
5	검증 세트 손실: 0.135224	최선의 손실: 0.135224	정확도: 98.32%
6	검증 세트 손실: 0.078012	최선의 손실: 0.078012	정확도: 98.67%
7	검증 세트 손실: 0.099105	최선의 손실: 0.078012	정확도: 98.91%
8	검증 세트 손실: 0.117103	최선의 손실: 0.078012	정확도: 98.32%
9	검증 세트 손실: 0.111694	최선의 손실: 0.078012	정확도: 98.28%
10	검증 세트 손실: 0.112688	최선의 손실: 0.078012	정확도: 98.75%
11	검증 세트 손실: 0.079313	최선의 손실: 0.078012	정확도: 98.75%
12	검증 세트 손실: 0.149453	최선의 손실: 0.078012	정확도: 98.12%
13	검증 세트 손실: 0.106330	최선의 손실: 0.078012	정확도: 98.36%
14	검증 세트 손실: 0.099519	최선의 손실: 0.078012	정확도: 98.32%
15	검증 세트 손실: 0.075004	최선의 손실: 0.075004	정확도: 98.59%
16	검증 세트 손실: 0.175765	최선의 손실: 0.075004	정확도: 97.93%
17	검증 세트 손실: 0.119982	최선의 손실: 0.075004	정확도: 98.36%
18	검증 세트 손실: 0.093908	최선의 손실: 0.075004	정확도: 98.36%
19	검증 세트 손실: 0.090073	최선의 손실: 0.075004	정확도: 98.51%
20	검증 세트 손실: 0.083409	최선의 손실: 0.075004	정확도: 98.59%
21	검증 세트 손실: 0.171345	최선의 손실: 0.075004	정확도: 98.05%
22	검증 세트 손실: 0.072223	최선의 손실: 0.072223	정확도: 98.63%
23	검증 세트 손실: 0.075772	최선의 손실: 0.072223	정확도: 98.83%
24	검증 세트 손실: 0.058826	최선의 손실: 0.058826	정확도: 98.67%
25	검증 세트 손실: 0.061879	최선의 손실: 0.058826	정확도: 98.91%
26	검증 세트 손실: 0.059596	최선의 손실: 0.058826	정확도: 98.94%
27	검증 세트 손실: 0.077571	최선의 손실: 0.058826	정확도: 99.10%
28	검증 세트 손실: 0.060825	최선의 손실: 0.058826	정확도: 98.83%
29	검증 세트 손실: 0.057004	최선의 손실: 0.057004	정확도: 98.79%
30	검증 세트 손실: 0.059474	최선의 손실: 0.057004	정확도: 98.91%
31	검증 세트 손실: 0.080698	최선의 손실: 0.057004	정확도: 98.63%
32	검증 세트 손실: 0.085349	최선의 손실: 0.057004	정확도: 98.75%
33	검증 세트 손실: 0.076650	최선의 손실: 0.057004	정확도: 98.79%
34	검증 세트 손실: 0.070893	최선의 손실: 0.057004	정확도: 98.67%
35	검증 세트 손실: 0.056374	최선의 손실: 0.056374	정확도: 98.94%
36	검증 세트 손실: 0.096541	최선의 손실: 0.056374	정확도: 98.36%
37	검증 세트 손실: 0.116984	최선의 손실: 0.056374	정확도: 98.20%
38	검증 세트 손실: 0.062557	최선의 손실: 0.056374	정확도: 98.87%
39	검증 세트 손실: 0.066440	최선의 손실: 0.056374	정확도: 98.55%
40	검증 세트 손실: 0.064345	최선의 손실: 0.056374	정확도: 98.71%
41	검증 세트 손실: 0.094599	최선의 손실: 0.056374	정확도: 98.63%
42	검증 세트 손실: 0.063639	최선의 손실: 0.056374	정확도: 98.94%
43	검증 세트 손실: 0.059449	최선의 손실: 0.056374	정확도: 98.98%
44	검증 세트 손실: 0.051370	최선의 손실: 0.051370	정확도: 99.14%
45	검증 세트 손실: 0.084083	최선의 손실: 0.051370	정확도: 98.79%
46	검증 세트 손실: 0.089254	최선의 손실: 0.051370	정확도: 98.83%
47	검증 세트 손실: 0.066606	최선의 손실: 0.051370	정확도: 98.75%
48	검증 세트 손실: 0.041552	최선의 손실: 0.041552	정확도: 99.06%
49	검증 세트 손실: 0.078556	최선의 손실: 0.041552	정확도: 98.75%
50	검증 세트 손실: 0.060802	최선의 손실: 0.041552	정확도: 98.87%
51	검증 세트 손실: 0.097583	최선의 손실: 0.041552	정확도: 98.44%
52	검증 세트 손실: 0.075395	최선의 손실: 0.041552	정확도: 98.71%
53	검증 세트 손실: 0.061060	최선의 손실: 0.041552	정확도: 98.87%
54	검증 세트 손실: 0.062878	최선의 손실: 0.041552	정확도: 98.94%
55	검증 세트 손실: 0.052813	최선의 손실: 0.041552	정확도: 99.02%
56	검증 세트 손실: 0.063385	최선의 손실: 0.041552	정확도: 98.83%
57	검증 세트 손실: 0.052270	최선의 손실: 0.041552	정확도: 99.06%
58	검증 세트 손실: 0.053489	최선의 손실: 0.041552	정확도: 99.02%
59	검증 세트 손실: 0.094942	최선의 손실: 0.041552	정확도: 98.40%
60	검증 세트 손실: 0.090060	최선의 손실: 0.041552	정확도: 98.79%
61	검증 세트 손실: 0.069824	최선의 손실: 0.041552	정확도: 98.83%
62	검증 세트 손실: 0.052346	최선의 손실: 0.041552	정확도: 99.10%
63	검증 세트 손실: 0.062910	최선의 손실: 0.041552	정확도: 98.98%
64	검증 세트 손실: 0.066262	최선의 손실: 0.041552	정확도: 98.98%
65	검증 세트 손실: 0.061232	최선의 손실: 0.041552	정확도: 98.94%
66	검증 세트 손실: 0.051388	최선의 손실: 0.041552	정확도: 99.02%
67	검증 세트 손실: 0.068417	최선의 손실: 0.041552	정확도: 98.79%
68	검증 세트 손실: 0.059011	최선의 손실: 0.041552	정확도: 98.94%
69	검증 세트 손실: 0.083856	최선의 손실: 0.041552	정확도: 98.63%
조기 종료!
[CV]  n_neurons=50, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.999, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total=  50.1s
[CV] n_neurons=50, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.999, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 
0	검증 세트 손실: 0.673607	최선의 손실: 0.673607	정확도: 96.05%
1	검증 세트 손실: 0.370649	최선의 손실: 0.370649	정확도: 97.54%
2	검증 세트 손실: 0.237824	최선의 손실: 0.237824	정확도: 97.85%
3	검증 세트 손실: 0.155781	최선의 손실: 0.155781	정확도: 98.16%
4	검증 세트 손실: 0.113204	최선의 손실: 0.113204	정확도: 98.16%
5	검증 세트 손실: 0.129707	최선의 손실: 0.113204	정확도: 98.36%
6	검증 세트 손실: 0.173680	최선의 손실: 0.113204	정확도: 97.73%
7	검증 세트 손실: 0.072416	최선의 손실: 0.072416	정확도: 98.55%
8	검증 세트 손실: 0.090433	최선의 손실: 0.072416	정확도: 98.51%
9	검증 세트 손실: 0.111867	최선의 손실: 0.072416	정확도: 98.20%
10	검증 세트 손실: 0.150868	최선의 손실: 0.072416	정확도: 98.20%
11	검증 세트 손실: 0.093291	최선의 손실: 0.072416	정확도: 98.75%
12	검증 세트 손실: 0.095177	최선의 손실: 0.072416	정확도: 98.55%
13	검증 세트 손실: 0.096929	최선의 손실: 0.072416	정확도: 98.44%
14	검증 세트 손실: 0.159253	최선의 손실: 0.072416	정확도: 97.93%
15	검증 세트 손실: 0.073723	최선의 손실: 0.072416	정확도: 98.75%
16	검증 세트 손실: 0.068936	최선의 손실: 0.068936	정확도: 98.59%
17	검증 세트 손실: 0.074746	최선의 손실: 0.068936	정확도: 98.83%
18	검증 세트 손실: 0.092028	최선의 손실: 0.068936	정확도: 98.24%
19	검증 세트 손실: 0.056445	최선의 손실: 0.056445	정확도: 98.83%
20	검증 세트 손실: 0.092222	최선의 손실: 0.056445	정확도: 98.71%
21	검증 세트 손실: 0.132816	최선의 손실: 0.056445	정확도: 97.62%
22	검증 세트 손실: 0.138709	최선의 손실: 0.056445	정확도: 98.08%
23	검증 세트 손실: 0.102426	최선의 손실: 0.056445	정확도: 98.36%
24	검증 세트 손실: 0.062135	최선의 손실: 0.056445	정확도: 98.63%
25	검증 세트 손실: 0.058835	최선의 손실: 0.056445	정확도: 98.67%
26	검증 세트 손실: 0.078155	최선의 손실: 0.056445	정확도: 98.75%
27	검증 세트 손실: 0.077474	최선의 손실: 0.056445	정확도: 98.63%
28	검증 세트 손실: 0.105282	최선의 손실: 0.056445	정확도: 98.44%
29	검증 세트 손실: 0.067721	최선의 손실: 0.056445	정확도: 98.71%
30	검증 세트 손실: 0.058724	최선의 손실: 0.056445	정확도: 98.63%
31	검증 세트 손실: 0.091608	최선의 손실: 0.056445	정확도: 98.44%
32	검증 세트 손실: 0.088752	최선의 손실: 0.056445	정확도: 98.63%
33	검증 세트 손실: 0.080829	최선의 손실: 0.056445	정확도: 98.51%
34	검증 세트 손실: 0.067625	최선의 손실: 0.056445	정확도: 98.67%
35	검증 세트 손실: 0.062024	최선의 손실: 0.056445	정확도: 98.87%
36	검증 세트 손실: 0.072448	최선의 손실: 0.056445	정확도: 98.98%
37	검증 세트 손실: 0.086750	최선의 손실: 0.056445	정확도: 98.44%
38	검증 세트 손실: 0.062571	최선의 손실: 0.056445	정확도: 99.02%
39	검증 세트 손실: 0.117028	최선의 손실: 0.056445	정확도: 98.32%
40	검증 세트 손실: 0.071165	최선의 손실: 0.056445	정확도: 98.55%
조기 종료!
[CV]  n_neurons=50, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.999, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total=  30.1s
[CV] n_neurons=50, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.999, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 
0	검증 세트 손실: 0.606668	최선의 손실: 0.606668	정확도: 96.01%
1	검증 세트 손실: 0.343354	최선의 손실: 0.343354	정확도: 97.42%
2	검증 세트 손실: 0.313182	최선의 손실: 0.313182	정확도: 96.79%
3	검증 세트 손실: 0.105441	최선의 손실: 0.105441	정확도: 98.79%
4	검증 세트 손실: 0.154352	최선의 손실: 0.105441	정확도: 98.16%
5	검증 세트 손실: 0.088025	최선의 손실: 0.088025	정확도: 98.71%
6	검증 세트 손실: 0.162466	최선의 손실: 0.088025	정확도: 97.58%
7	검증 세트 손실: 0.130201	최선의 손실: 0.088025	정확도: 98.48%
8	검증 세트 손실: 0.080358	최선의 손실: 0.080358	정확도: 98.83%
9	검증 세트 손실: 0.070308	최선의 손실: 0.070308	정확도: 98.75%
10	검증 세트 손실: 0.067746	최선의 손실: 0.067746	정확도: 98.79%
11	검증 세트 손실: 0.091066	최선의 손실: 0.067746	정확도: 98.40%
12	검증 세트 손실: 0.148249	최선의 손실: 0.067746	정확도: 97.93%
13	검증 세트 손실: 0.060111	최선의 손실: 0.060111	정확도: 98.91%
14	검증 세트 손실: 0.073660	최선의 손실: 0.060111	정확도: 98.44%
15	검증 세트 손실: 0.058048	최선의 손실: 0.058048	정확도: 98.87%
16	검증 세트 손실: 0.066713	최선의 손실: 0.058048	정확도: 98.71%
17	검증 세트 손실: 0.089668	최선의 손실: 0.058048	정확도: 98.51%
18	검증 세트 손실: 0.077201	최선의 손실: 0.058048	정확도: 98.83%
19	검증 세트 손실: 0.182426	최선의 손실: 0.058048	정확도: 97.46%
20	검증 세트 손실: 0.057445	최선의 손실: 0.057445	정확도: 98.83%
21	검증 세트 손실: 0.057173	최선의 손실: 0.057173	정확도: 98.59%
22	검증 세트 손실: 0.062206	최선의 손실: 0.057173	정확도: 98.59%
23	검증 세트 손실: 0.090016	최선의 손실: 0.057173	정확도: 98.83%
24	검증 세트 손실: 0.049221	최선의 손실: 0.049221	정확도: 99.14%
25	검증 세트 손실: 0.067993	최선의 손실: 0.049221	정확도: 99.10%
26	검증 세트 손실: 0.087449	최선의 손실: 0.049221	정확도: 98.67%
27	검증 세트 손실: 0.064339	최선의 손실: 0.049221	정확도: 99.02%
28	검증 세트 손실: 0.055308	최선의 손실: 0.049221	정확도: 99.06%
29	검증 세트 손실: 0.073256	최선의 손실: 0.049221	정확도: 98.59%
30	검증 세트 손실: 0.056403	최선의 손실: 0.049221	정확도: 99.10%
31	검증 세트 손실: 0.052420	최선의 손실: 0.049221	정확도: 98.98%
32	검증 세트 손실: 0.095019	최선의 손실: 0.049221	정확도: 98.51%
33	검증 세트 손실: 0.114924	최선의 손실: 0.049221	정확도: 98.24%
34	검증 세트 손실: 0.060659	최선의 손실: 0.049221	정확도: 98.87%
35	검증 세트 손실: 0.055840	최선의 손실: 0.049221	정확도: 99.02%
36	검증 세트 손실: 0.055585	최선의 손실: 0.049221	정확도: 99.18%
37	검증 세트 손실: 0.056760	최선의 손실: 0.049221	정확도: 98.87%
38	검증 세트 손실: 0.080186	최선의 손실: 0.049221	정확도: 98.55%
39	검증 세트 손실: 0.070677	최선의 손실: 0.049221	정확도: 98.87%
40	검증 세트 손실: 0.073808	최선의 손실: 0.049221	정확도: 98.79%
41	검증 세트 손실: 0.040390	최선의 손실: 0.040390	정확도: 99.06%
42	검증 세트 손실: 0.067080	최선의 손실: 0.040390	정확도: 98.91%
43	검증 세트 손실: 0.057181	최선의 손실: 0.040390	정확도: 98.83%
44	검증 세트 손실: 0.054193	최선의 손실: 0.040390	정확도: 99.06%
45	검증 세트 손실: 0.069271	최선의 손실: 0.040390	정확도: 98.71%
46	검증 세트 손실: 0.052509	최선의 손실: 0.040390	정확도: 98.94%
47	검증 세트 손실: 0.053022	최선의 손실: 0.040390	정확도: 99.10%
48	검증 세트 손실: 0.060448	최선의 손실: 0.040390	정확도: 98.94%
49	검증 세트 손실: 0.067784	최선의 손실: 0.040390	정확도: 98.79%
50	검증 세트 손실: 0.045030	최선의 손실: 0.040390	정확도: 99.22%
51	검증 세트 손실: 0.070123	최선의 손실: 0.040390	정확도: 98.98%
52	검증 세트 손실: 0.135056	최선의 손실: 0.040390	정확도: 98.75%
53	검증 세트 손실: 0.048970	최선의 손실: 0.040390	정확도: 99.22%
54	검증 세트 손실: 0.060046	최선의 손실: 0.040390	정확도: 99.10%
55	검증 세트 손실: 0.054115	최선의 손실: 0.040390	정확도: 99.14%
56	검증 세트 손실: 0.057565	최선의 손실: 0.040390	정확도: 99.06%
57	검증 세트 손실: 0.052420	최선의 손실: 0.040390	정확도: 98.98%
58	검증 세트 손실: 0.041247	최선의 손실: 0.040390	정확도: 99.30%
59	검증 세트 손실: 0.040193	최선의 손실: 0.040193	정확도: 99.14%
60	검증 세트 손실: 0.037434	최선의 손실: 0.037434	정확도: 99.14%
61	검증 세트 손실: 0.046267	최선의 손실: 0.037434	정확도: 98.71%
62	검증 세트 손실: 0.054462	최선의 손실: 0.037434	정확도: 98.98%
63	검증 세트 손실: 0.053723	최선의 손실: 0.037434	정확도: 99.10%
64	검증 세트 손실: 0.061399	최선의 손실: 0.037434	정확도: 99.06%
65	검증 세트 손실: 0.051798	최선의 손실: 0.037434	정확도: 99.14%
66	검증 세트 손실: 0.074572	최선의 손실: 0.037434	정확도: 98.79%
67	검증 세트 손실: 0.051792	최선의 손실: 0.037434	정확도: 99.06%
68	검증 세트 손실: 0.088964	최선의 손실: 0.037434	정확도: 98.44%
69	검증 세트 손실: 0.055808	최선의 손실: 0.037434	정확도: 99.06%
70	검증 세트 손실: 0.060083	최선의 손실: 0.037434	정확도: 99.06%
71	검증 세트 손실: 0.084897	최선의 손실: 0.037434	정확도: 98.87%
72	검증 세트 손실: 0.057494	최선의 손실: 0.037434	정확도: 98.91%
73	검증 세트 손실: 0.056536	최선의 손실: 0.037434	정확도: 99.14%
74	검증 세트 손실: 0.065630	최선의 손실: 0.037434	정확도: 99.26%
75	검증 세트 손실: 0.056476	최선의 손실: 0.037434	정확도: 99.06%
76	검증 세트 손실: 0.062465	최선의 손실: 0.037434	정확도: 98.94%
77	검증 세트 손실: 0.071084	최선의 손실: 0.037434	정확도: 98.87%
78	검증 세트 손실: 0.058930	최선의 손실: 0.037434	정확도: 99.10%
79	검증 세트 손실: 0.038462	최선의 손실: 0.037434	정확도: 99.22%
80	검증 세트 손실: 0.065547	최선의 손실: 0.037434	정확도: 98.91%
81	검증 세트 손실: 0.064446	최선의 손실: 0.037434	정확도: 99.02%
조기 종료!
[CV]  n_neurons=50, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.999, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total=  58.6s
[CV] n_neurons=10, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 
0	검증 세트 손실: 10.709251	최선의 손실: 10.709251	정확도: 76.90%
1	검증 세트 손실: 4.016308	최선의 손실: 4.016308	정확도: 76.51%
2	검증 세트 손실: 1.169296	최선의 손실: 1.169296	정확도: 86.71%
3	검증 세트 손실: 0.728648	최선의 손실: 0.728648	정확도: 91.05%
4	검증 세트 손실: 0.689384	최선의 손실: 0.689384	정확도: 90.85%
5	검증 세트 손실: 0.480629	최선의 손실: 0.480629	정확도: 92.49%
6	검증 세트 손실: 0.673895	최선의 손실: 0.480629	정확도: 90.54%
7	검증 세트 손실: 0.470662	최선의 손실: 0.470662	정확도: 92.34%
8	검증 세트 손실: 0.311441	최선의 손실: 0.311441	정확도: 94.45%
9	검증 세트 손실: 0.406115	최선의 손실: 0.311441	정확도: 93.82%
10	검증 세트 손실: 0.529458	최선의 손실: 0.311441	정확도: 92.65%
11	검증 세트 손실: 0.254377	최선의 손실: 0.254377	정확도: 96.09%
12	검증 세트 손실: 0.208852	최선의 손실: 0.208852	정확도: 96.21%
13	검증 세트 손실: 0.309114	최선의 손실: 0.208852	정확도: 95.07%
14	검증 세트 손실: 0.263393	최선의 손실: 0.208852	정확도: 95.82%
15	검증 세트 손실: 0.214897	최선의 손실: 0.208852	정확도: 96.13%
16	검증 세트 손실: 0.244392	최선의 손실: 0.208852	정확도: 95.19%
17	검증 세트 손실: 0.163906	최선의 손실: 0.163906	정확도: 97.11%
18	검증 세트 손실: 0.160842	최선의 손실: 0.160842	정확도: 96.56%
19	검증 세트 손실: 0.162741	최선의 손실: 0.160842	정확도: 96.87%
20	검증 세트 손실: 0.213754	최선의 손실: 0.160842	정확도: 96.52%
21	검증 세트 손실: 0.190714	최선의 손실: 0.160842	정확도: 96.52%
22	검증 세트 손실: 0.126941	최선의 손실: 0.126941	정확도: 97.34%
23	검증 세트 손실: 0.342352	최선의 손실: 0.126941	정확도: 94.37%
24	검증 세트 손실: 0.186538	최선의 손실: 0.126941	정확도: 96.99%
25	검증 세트 손실: 0.169441	최선의 손실: 0.126941	정확도: 96.79%
26	검증 세트 손실: 0.144117	최선의 손실: 0.126941	정확도: 97.34%
27	검증 세트 손실: 0.179673	최선의 손실: 0.126941	정확도: 96.91%
28	검증 세트 손실: 0.169606	최선의 손실: 0.126941	정확도: 97.19%
29	검증 세트 손실: 0.389077	최선의 손실: 0.126941	정확도: 95.31%
30	검증 세트 손실: 0.205416	최선의 손실: 0.126941	정확도: 96.52%
31	검증 세트 손실: 0.208641	최선의 손실: 0.126941	정확도: 96.44%
32	검증 세트 손실: 0.201299	최선의 손실: 0.126941	정확도: 96.79%
33	검증 세트 손실: 0.227703	최선의 손실: 0.126941	정확도: 96.91%
34	검증 세트 손실: 0.221164	최선의 손실: 0.126941	정확도: 96.01%
35	검증 세트 손실: 0.293608	최선의 손실: 0.126941	정확도: 95.47%
36	검증 세트 손실: 0.137575	최선의 손실: 0.126941	정확도: 97.50%
37	검증 세트 손실: 0.171947	최선의 손실: 0.126941	정확도: 97.11%
38	검증 세트 손실: 0.201743	최선의 손실: 0.126941	정확도: 96.21%
39	검증 세트 손실: 0.250584	최선의 손실: 0.126941	정확도: 96.36%
40	검증 세트 손실: 0.144875	최선의 손실: 0.126941	정확도: 97.54%
41	검증 세트 손실: 0.146800	최선의 손실: 0.126941	정확도: 97.73%
42	검증 세트 손실: 0.152584	최선의 손실: 0.126941	정확도: 97.50%
43	검증 세트 손실: 0.160983	최선의 손실: 0.126941	정확도: 97.69%
조기 종료!
[CV]  n_neurons=10, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total=   6.7s
[CV] n_neurons=10, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 
0	검증 세트 손실: 27.943342	최선의 손실: 27.943342	정확도: 54.34%
1	검증 세트 손실: 14.559706	최선의 손실: 14.559706	정확도: 49.45%
2	검증 세트 손실: 5.944944	최선의 손실: 5.944944	정확도: 53.99%
3	검증 세트 손실: 3.191788	최선의 손실: 3.191788	정확도: 58.05%
4	검증 세트 손실: 1.426851	최선의 손실: 1.426851	정확도: 72.05%
5	검증 세트 손실: 1.236457	최선의 손실: 1.236457	정확도: 79.16%
6	검증 세트 손실: 0.657665	최선의 손실: 0.657665	정확도: 86.51%
7	검증 세트 손실: 1.245690	최선의 손실: 0.657665	정확도: 73.85%
8	검증 세트 손실: 0.254195	최선의 손실: 0.254195	정확도: 93.78%
9	검증 세트 손실: 0.156259	최선의 손실: 0.156259	정확도: 96.64%
10	검증 세트 손실: 0.571893	최선의 손실: 0.156259	정확도: 89.72%
11	검증 세트 손실: 0.235553	최선의 손실: 0.156259	정확도: 94.84%
12	검증 세트 손실: 0.225122	최선의 손실: 0.156259	정확도: 96.33%
13	검증 세트 손실: 0.196085	최선의 손실: 0.156259	정확도: 95.82%
14	검증 세트 손실: 0.197954	최선의 손실: 0.156259	정확도: 95.15%
15	검증 세트 손실: 0.242695	최선의 손실: 0.156259	정확도: 94.96%
16	검증 세트 손실: 0.135767	최선의 손실: 0.135767	정확도: 97.19%
17	검증 세트 손실: 0.154381	최선의 손실: 0.135767	정확도: 96.76%
18	검증 세트 손실: 0.226365	최선의 손실: 0.135767	정확도: 95.90%
19	검증 세트 손실: 0.140788	최선의 손실: 0.135767	정확도: 97.30%
20	검증 세트 손실: 0.155177	최선의 손실: 0.135767	정확도: 97.30%
21	검증 세트 손실: 0.289728	최선의 손실: 0.135767	정확도: 94.92%
22	검증 세트 손실: 0.229241	최선의 손실: 0.135767	정확도: 95.15%
23	검증 세트 손실: 0.149890	최선의 손실: 0.135767	정확도: 97.03%
24	검증 세트 손실: 0.138897	최선의 손실: 0.135767	정확도: 96.83%
25	검증 세트 손실: 0.193411	최선의 손실: 0.135767	정확도: 96.99%
26	검증 세트 손실: 0.092022	최선의 손실: 0.092022	정확도: 98.24%
27	검증 세트 손실: 0.161547	최선의 손실: 0.092022	정확도: 97.22%
28	검증 세트 손실: 0.151830	최선의 손실: 0.092022	정확도: 97.30%
29	검증 세트 손실: 0.117716	최선의 손실: 0.092022	정확도: 97.42%
30	검증 세트 손실: 0.129440	최선의 손실: 0.092022	정확도: 97.54%
31	검증 세트 손실: 0.128631	최선의 손실: 0.092022	정확도: 97.69%
32	검증 세트 손실: 0.204244	최선의 손실: 0.092022	정확도: 96.05%
33	검증 세트 손실: 0.212899	최선의 손실: 0.092022	정확도: 96.56%
34	검증 세트 손실: 0.158089	최선의 손실: 0.092022	정확도: 97.62%
35	검증 세트 손실: 0.300391	최선의 손실: 0.092022	정확도: 96.13%
36	검증 세트 손실: 0.144273	최선의 손실: 0.092022	정확도: 97.34%
37	검증 세트 손실: 0.149966	최선의 손실: 0.092022	정확도: 97.54%
38	검증 세트 손실: 0.100161	최선의 손실: 0.092022	정확도: 98.05%
39	검증 세트 손실: 0.200740	최선의 손실: 0.092022	정확도: 96.36%
40	검증 세트 손실: 0.211559	최선의 손실: 0.092022	정확도: 96.01%
41	검증 세트 손실: 0.153136	최선의 손실: 0.092022	정확도: 97.58%
42	검증 세트 손실: 0.126689	최선의 손실: 0.092022	정확도: 98.20%
43	검증 세트 손실: 0.159442	최선의 손실: 0.092022	정확도: 97.46%
44	검증 세트 손실: 0.121746	최선의 손실: 0.092022	정확도: 97.89%
45	검증 세트 손실: 0.173331	최선의 손실: 0.092022	정확도: 97.15%
46	검증 세트 손실: 0.192202	최선의 손실: 0.092022	정확도: 97.26%
47	검증 세트 손실: 0.204883	최선의 손실: 0.092022	정확도: 97.34%
조기 종료!
[CV]  n_neurons=10, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total=   7.3s
[CV] n_neurons=10, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 
0	검증 세트 손실: 4.510430	최선의 손실: 4.510430	정확도: 84.25%
1	검증 세트 손실: 0.809442	최선의 손실: 0.809442	정확도: 92.26%
2	검증 세트 손실: 0.722004	최선의 손실: 0.722004	정확도: 91.13%
3	검증 세트 손실: 0.357290	최선의 손실: 0.357290	정확도: 94.25%
4	검증 세트 손실: 0.226368	최선의 손실: 0.226368	정확도: 96.44%
5	검증 세트 손실: 0.418913	최선의 손실: 0.226368	정확도: 93.47%
6	검증 세트 손실: 0.278077	최선의 손실: 0.226368	정확도: 95.31%
7	검증 세트 손실: 0.180156	최선의 손실: 0.180156	정확도: 96.52%
8	검증 세트 손실: 0.177660	최선의 손실: 0.177660	정확도: 96.44%
9	검증 세트 손실: 0.115490	최선의 손실: 0.115490	정확도: 97.73%
10	검증 세트 손실: 0.115946	최선의 손실: 0.115490	정확도: 97.54%
11	검증 세트 손실: 0.123827	최선의 손실: 0.115490	정확도: 97.26%
12	검증 세트 손실: 0.153161	최선의 손실: 0.115490	정확도: 96.79%
13	검증 세트 손실: 0.167842	최선의 손실: 0.115490	정확도: 97.15%
14	검증 세트 손실: 0.154255	최선의 손실: 0.115490	정확도: 97.54%
15	검증 세트 손실: 0.213948	최선의 손실: 0.115490	정확도: 96.40%
16	검증 세트 손실: 0.122070	최선의 손실: 0.115490	정확도: 97.93%
17	검증 세트 손실: 0.152175	최선의 손실: 0.115490	정확도: 97.07%
18	검증 세트 손실: 0.110259	최선의 손실: 0.110259	정확도: 97.73%
19	검증 세트 손실: 0.134303	최선의 손실: 0.110259	정확도: 97.58%
20	검증 세트 손실: 0.135091	최선의 손실: 0.110259	정확도: 97.81%
21	검증 세트 손실: 0.117939	최선의 손실: 0.110259	정확도: 97.77%
22	검증 세트 손실: 0.133108	최선의 손실: 0.110259	정확도: 97.97%
23	검증 세트 손실: 0.108330	최선의 손실: 0.108330	정확도: 97.77%
24	검증 세트 손실: 0.140901	최선의 손실: 0.108330	정확도: 97.65%
25	검증 세트 손실: 0.117747	최선의 손실: 0.108330	정확도: 97.93%
26	검증 세트 손실: 0.147095	최선의 손실: 0.108330	정확도: 97.07%
27	검증 세트 손실: 0.150487	최선의 손실: 0.108330	정확도: 97.65%
28	검증 세트 손실: 0.159341	최선의 손실: 0.108330	정확도: 97.38%
29	검증 세트 손실: 0.194070	최선의 손실: 0.108330	정확도: 96.87%
30	검증 세트 손실: 0.152130	최선의 손실: 0.108330	정확도: 97.15%
31	검증 세트 손실: 0.132817	최선의 손실: 0.108330	정확도: 97.69%
32	검증 세트 손실: 0.139722	최선의 손실: 0.108330	정확도: 97.69%
33	검증 세트 손실: 0.115157	최선의 손실: 0.108330	정확도: 98.28%
34	검증 세트 손실: 0.119326	최선의 손실: 0.108330	정확도: 97.77%
35	검증 세트 손실: 0.165533	최선의 손실: 0.108330	정확도: 97.15%
36	검증 세트 손실: 0.146658	최선의 손실: 0.108330	정확도: 97.69%
37	검증 세트 손실: 0.160763	최선의 손실: 0.108330	정확도: 97.58%
38	검증 세트 손실: 0.183833	최선의 손실: 0.108330	정확도: 97.34%
39	검증 세트 손실: 0.133688	최선의 손실: 0.108330	정확도: 97.85%
40	검증 세트 손실: 0.126114	최선의 손실: 0.108330	정확도: 97.73%
41	검증 세트 손실: 0.169810	최선의 손실: 0.108330	정확도: 97.22%
42	검증 세트 손실: 0.142930	최선의 손실: 0.108330	정확도: 97.58%
43	검증 세트 손실: 0.148399	최선의 손실: 0.108330	정확도: 97.50%
44	검증 세트 손실: 0.141687	최선의 손실: 0.108330	정확도: 97.58%
조기 종료!
[CV]  n_neurons=10, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total=   6.9s
[CV] n_neurons=160, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 0.102876	최선의 손실: 0.102876	정확도: 97.58%
1	검증 세트 손실: 0.076282	최선의 손실: 0.076282	정확도: 97.97%
2	검증 세트 손실: 0.079007	최선의 손실: 0.076282	정확도: 98.05%
3	검증 세트 손실: 0.054537	최선의 손실: 0.054537	정확도: 98.51%
4	검증 세트 손실: 0.042654	최선의 손실: 0.042654	정확도: 98.63%
5	검증 세트 손실: 0.057768	최선의 손실: 0.042654	정확도: 98.71%
6	검증 세트 손실: 0.049590	최선의 손실: 0.042654	정확도: 98.87%
7	검증 세트 손실: 0.052487	최선의 손실: 0.042654	정확도: 98.67%
8	검증 세트 손실: 0.069777	최선의 손실: 0.042654	정확도: 98.44%
9	검증 세트 손실: 0.054502	최선의 손실: 0.042654	정확도: 98.98%
10	검증 세트 손실: 0.079150	최선의 손실: 0.042654	정확도: 98.44%
11	검증 세트 손실: 0.057323	최선의 손실: 0.042654	정확도: 98.75%
12	검증 세트 손실: 0.053549	최선의 손실: 0.042654	정확도: 98.71%
13	검증 세트 손실: 0.038592	최선의 손실: 0.038592	정확도: 98.91%
14	검증 세트 손실: 0.041572	최선의 손실: 0.038592	정확도: 98.98%
15	검증 세트 손실: 0.048119	최선의 손실: 0.038592	정확도: 98.98%
16	검증 세트 손실: 0.088925	최선의 손실: 0.038592	정확도: 98.48%
17	검증 세트 손실: 0.056454	최선의 손실: 0.038592	정확도: 98.55%
18	검증 세트 손실: 0.067001	최선의 손실: 0.038592	정확도: 98.36%
19	검증 세트 손실: 0.059244	최선의 손실: 0.038592	정확도: 98.75%
20	검증 세트 손실: 0.086428	최선의 손실: 0.038592	정확도: 98.55%
21	검증 세트 손실: 0.055140	최선의 손실: 0.038592	정확도: 98.71%
22	검증 세트 손실: 0.049232	최선의 손실: 0.038592	정확도: 98.87%
23	검증 세트 손실: 0.044277	최선의 손실: 0.038592	정확도: 98.94%
24	검증 세트 손실: 0.067027	최선의 손실: 0.038592	정확도: 98.79%
25	검증 세트 손실: 0.052308	최선의 손실: 0.038592	정확도: 99.06%
26	검증 세트 손실: 0.075311	최선의 손실: 0.038592	정확도: 98.79%
27	검증 세트 손실: 0.048738	최선의 손실: 0.038592	정확도: 98.94%
28	검증 세트 손실: 0.067107	최선의 손실: 0.038592	정확도: 98.40%
29	검증 세트 손실: 0.068546	최선의 손실: 0.038592	정확도: 98.91%
30	검증 세트 손실: 0.036169	최선의 손실: 0.036169	정확도: 99.02%
31	검증 세트 손실: 0.048950	최선의 손실: 0.036169	정확도: 98.98%
32	검증 세트 손실: 0.064161	최선의 손실: 0.036169	정확도: 98.91%
33	검증 세트 손실: 0.049121	최선의 손실: 0.036169	정확도: 98.83%
34	검증 세트 손실: 0.060449	최선의 손실: 0.036169	정확도: 98.67%
35	검증 세트 손실: 0.061958	최선의 손실: 0.036169	정확도: 99.02%
36	검증 세트 손실: 0.041949	최선의 손실: 0.036169	정확도: 99.14%
37	검증 세트 손실: 0.089061	최선의 손실: 0.036169	정확도: 98.67%
38	검증 세트 손실: 0.059163	최선의 손실: 0.036169	정확도: 98.75%
39	검증 세트 손실: 0.043549	최선의 손실: 0.036169	정확도: 98.91%
40	검증 세트 손실: 0.058095	최선의 손실: 0.036169	정확도: 98.67%
41	검증 세트 손실: 0.042257	최선의 손실: 0.036169	정확도: 99.14%
42	검증 세트 손실: 0.061088	최선의 손실: 0.036169	정확도: 98.94%
43	검증 세트 손실: 0.052863	최선의 손실: 0.036169	정확도: 98.91%
44	검증 세트 손실: 0.050679	최선의 손실: 0.036169	정확도: 98.83%
45	검증 세트 손실: 0.062810	최선의 손실: 0.036169	정확도: 98.87%
46	검증 세트 손실: 0.035057	최선의 손실: 0.035057	정확도: 99.18%
47	검증 세트 손실: 0.044767	최선의 손실: 0.035057	정확도: 99.06%
48	검증 세트 손실: 0.052835	최선의 손실: 0.035057	정확도: 98.87%
49	검증 세트 손실: 0.053784	최선의 손실: 0.035057	정확도: 98.98%
50	검증 세트 손실: 0.061921	최선의 손실: 0.035057	정확도: 98.91%
51	검증 세트 손실: 0.052988	최선의 손실: 0.035057	정확도: 99.06%
52	검증 세트 손실: 0.049933	최선의 손실: 0.035057	정확도: 98.94%
53	검증 세트 손실: 0.051751	최선의 손실: 0.035057	정확도: 99.06%
54	검증 세트 손실: 0.064987	최선의 손실: 0.035057	정확도: 98.87%
55	검증 세트 손실: 0.056754	최선의 손실: 0.035057	정확도: 99.10%
56	검증 세트 손실: 0.072880	최선의 손실: 0.035057	정확도: 98.91%
57	검증 세트 손실: 0.048574	최선의 손실: 0.035057	정확도: 98.91%
58	검증 세트 손실: 0.047774	최선의 손실: 0.035057	정확도: 98.87%
59	검증 세트 손실: 0.052199	최선의 손실: 0.035057	정확도: 98.91%
60	검증 세트 손실: 0.050442	최선의 손실: 0.035057	정확도: 99.10%
61	검증 세트 손실: 0.058530	최선의 손실: 0.035057	정확도: 99.14%
62	검증 세트 손실: 0.062261	최선의 손실: 0.035057	정확도: 98.83%
63	검증 세트 손실: 0.053405	최선의 손실: 0.035057	정확도: 99.18%
64	검증 세트 손실: 0.049198	최선의 손실: 0.035057	정확도: 99.06%
65	검증 세트 손실: 0.057395	최선의 손실: 0.035057	정확도: 98.98%
66	검증 세트 손실: 0.059844	최선의 손실: 0.035057	정확도: 98.87%
67	검증 세트 손실: 0.053267	최선의 손실: 0.035057	정확도: 99.14%
조기 종료!
[CV]  n_neurons=160, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation=<function relu at 0x7f8ec4c8c510>, total= 1.0min
[CV] n_neurons=160, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 0.151589	최선의 손실: 0.151589	정확도: 96.13%
1	검증 세트 손실: 0.052224	최선의 손실: 0.052224	정확도: 98.51%
2	검증 세트 손실: 0.052055	최선의 손실: 0.052055	정확도: 98.63%
3	검증 세트 손실: 0.048722	최선의 손실: 0.048722	정확도: 98.83%
4	검증 세트 손실: 0.058895	최선의 손실: 0.048722	정확도: 98.48%
5	검증 세트 손실: 0.037095	최선의 손실: 0.037095	정확도: 99.06%
6	검증 세트 손실: 0.047332	최선의 손실: 0.037095	정확도: 98.79%
7	검증 세트 손실: 0.039567	최선의 손실: 0.037095	정확도: 98.94%
8	검증 세트 손실: 0.034035	최선의 손실: 0.034035	정확도: 99.26%
9	검증 세트 손실: 0.052690	최선의 손실: 0.034035	정확도: 98.91%
10	검증 세트 손실: 0.047969	최선의 손실: 0.034035	정확도: 98.83%
11	검증 세트 손실: 0.027934	최선의 손실: 0.027934	정확도: 99.26%
12	검증 세트 손실: 0.032326	최선의 손실: 0.027934	정확도: 99.02%
13	검증 세트 손실: 0.031934	최선의 손실: 0.027934	정확도: 99.02%
14	검증 세트 손실: 0.029438	최선의 손실: 0.027934	정확도: 99.18%
15	검증 세트 손실: 0.034639	최선의 손실: 0.027934	정확도: 99.10%
16	검증 세트 손실: 0.040840	최선의 손실: 0.027934	정확도: 99.06%
17	검증 세트 손실: 0.048664	최선의 손실: 0.027934	정확도: 99.10%
18	검증 세트 손실: 0.035986	최선의 손실: 0.027934	정확도: 99.22%
19	검증 세트 손실: 0.048631	최선의 손실: 0.027934	정확도: 98.94%
20	검증 세트 손실: 0.046824	최선의 손실: 0.027934	정확도: 99.06%
21	검증 세트 손실: 0.044670	최선의 손실: 0.027934	정확도: 99.14%
22	검증 세트 손실: 0.039645	최선의 손실: 0.027934	정확도: 99.06%
23	검증 세트 손실: 0.045477	최선의 손실: 0.027934	정확도: 99.02%
24	검증 세트 손실: 0.039365	최선의 손실: 0.027934	정확도: 99.02%
25	검증 세트 손실: 0.036166	최선의 손실: 0.027934	정확도: 99.02%
26	검증 세트 손실: 0.058790	최선의 손실: 0.027934	정확도: 98.71%
27	검증 세트 손실: 0.041245	최선의 손실: 0.027934	정확도: 99.14%
28	검증 세트 손실: 0.036986	최선의 손실: 0.027934	정확도: 99.10%
29	검증 세트 손실: 0.061265	최선의 손실: 0.027934	정확도: 98.71%
30	검증 세트 손실: 0.067769	최선의 손실: 0.027934	정확도: 98.48%
31	검증 세트 손실: 0.046340	최선의 손실: 0.027934	정확도: 99.02%
32	검증 세트 손실: 0.047495	최선의 손실: 0.027934	정확도: 99.02%
조기 종료!
[CV]  n_neurons=160, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation=<function relu at 0x7f8ec4c8c510>, total=  31.4s
[CV] n_neurons=160, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 0.100641	최선의 손실: 0.100641	정확도: 97.42%
1	검증 세트 손실: 0.059885	최선의 손실: 0.059885	정확도: 98.32%
2	검증 세트 손실: 0.046458	최선의 손실: 0.046458	정확도: 98.55%
3	검증 세트 손실: 0.051675	최선의 손실: 0.046458	정확도: 98.48%
4	검증 세트 손실: 0.036335	최선의 손실: 0.036335	정확도: 98.91%
5	검증 세트 손실: 0.030205	최선의 손실: 0.030205	정확도: 98.83%
6	검증 세트 손실: 0.033105	최선의 손실: 0.030205	정확도: 98.94%
7	검증 세트 손실: 0.042448	최선의 손실: 0.030205	정확도: 98.91%
8	검증 세트 손실: 0.047885	최선의 손실: 0.030205	정확도: 98.67%
9	검증 세트 손실: 0.047775	최선의 손실: 0.030205	정확도: 98.87%
10	검증 세트 손실: 0.041655	최선의 손실: 0.030205	정확도: 99.02%
11	검증 세트 손실: 0.050623	최선의 손실: 0.030205	정확도: 98.71%
12	검증 세트 손실: 0.037042	최선의 손실: 0.030205	정확도: 99.06%
13	검증 세트 손실: 0.045743	최선의 손실: 0.030205	정확도: 98.83%
14	검증 세트 손실: 0.036839	최선의 손실: 0.030205	정확도: 99.10%
15	검증 세트 손실: 0.040590	최선의 손실: 0.030205	정확도: 99.14%
16	검증 세트 손실: 0.076304	최선의 손실: 0.030205	정확도: 98.32%
17	검증 세트 손실: 0.039348	최선의 손실: 0.030205	정확도: 99.02%
18	검증 세트 손실: 0.048819	최선의 손실: 0.030205	정확도: 98.59%
19	검증 세트 손실: 0.041032	최선의 손실: 0.030205	정확도: 99.30%
20	검증 세트 손실: 0.054299	최선의 손실: 0.030205	정확도: 98.91%
21	검증 세트 손실: 0.042748	최선의 손실: 0.030205	정확도: 99.02%
22	검증 세트 손실: 0.055540	최선의 손실: 0.030205	정확도: 98.87%
23	검증 세트 손실: 0.028771	최선의 손실: 0.028771	정확도: 99.26%
24	검증 세트 손실: 0.039386	최선의 손실: 0.028771	정확도: 99.02%
25	검증 세트 손실: 0.047120	최선의 손실: 0.028771	정확도: 99.06%
26	검증 세트 손실: 0.037155	최선의 손실: 0.028771	정확도: 99.06%
27	검증 세트 손실: 0.034586	최선의 손실: 0.028771	정확도: 98.87%
28	검증 세트 손실: 0.048257	최선의 손실: 0.028771	정확도: 98.98%
29	검증 세트 손실: 0.063661	최선의 손실: 0.028771	정확도: 98.59%
30	검증 세트 손실: 0.030371	최선의 손실: 0.028771	정확도: 99.26%
31	검증 세트 손실: 0.027067	최선의 손실: 0.027067	정확도: 99.22%
32	검증 세트 손실: 0.029734	최선의 손실: 0.027067	정확도: 99.30%
33	검증 세트 손실: 0.040404	최선의 손실: 0.027067	정확도: 98.87%
34	검증 세트 손실: 0.090502	최선의 손실: 0.027067	정확도: 98.44%
35	검증 세트 손실: 0.034950	최선의 손실: 0.027067	정확도: 99.26%
36	검증 세트 손실: 0.044129	최선의 손실: 0.027067	정확도: 99.06%
37	검증 세트 손실: 0.047630	최선의 손실: 0.027067	정확도: 98.98%
38	검증 세트 손실: 0.039469	최선의 손실: 0.027067	정확도: 99.02%
39	검증 세트 손실: 0.037480	최선의 손실: 0.027067	정확도: 98.98%
40	검증 세트 손실: 0.039231	최선의 손실: 0.027067	정확도: 99.06%
41	검증 세트 손실: 0.035494	최선의 손실: 0.027067	정확도: 99.14%
42	검증 세트 손실: 0.030467	최선의 손실: 0.027067	정확도: 99.34%
43	검증 세트 손실: 0.049963	최선의 손실: 0.027067	정확도: 98.87%
44	검증 세트 손실: 0.038796	최선의 손실: 0.027067	정확도: 99.10%
45	검증 세트 손실: 0.029327	최선의 손실: 0.027067	정확도: 99.37%
46	검증 세트 손실: 0.045531	최선의 손실: 0.027067	정확도: 98.94%
47	검증 세트 손실: 0.036848	최선의 손실: 0.027067	정확도: 99.30%
48	검증 세트 손실: 0.031326	최선의 손실: 0.027067	정확도: 99.22%
49	검증 세트 손실: 0.026170	최선의 손실: 0.026170	정확도: 99.34%
50	검증 세트 손실: 0.045946	최선의 손실: 0.026170	정확도: 99.14%
51	검증 세트 손실: 0.059522	최선의 손실: 0.026170	정확도: 99.10%
52	검증 세트 손실: 0.041873	최선의 손실: 0.026170	정확도: 99.18%
53	검증 세트 손실: 0.038115	최선의 손실: 0.026170	정확도: 98.98%
54	검증 세트 손실: 0.040577	최선의 손실: 0.026170	정확도: 99.18%
55	검증 세트 손실: 0.046663	최선의 손실: 0.026170	정확도: 99.26%
56	검증 세트 손실: 0.032729	최선의 손실: 0.026170	정확도: 99.30%
57	검증 세트 손실: 0.042891	최선의 손실: 0.026170	정확도: 99.22%
58	검증 세트 손실: 0.029813	최선의 손실: 0.026170	정확도: 99.26%
59	검증 세트 손실: 0.039474	최선의 손실: 0.026170	정확도: 99.14%
60	검증 세트 손실: 0.051199	최선의 손실: 0.026170	정확도: 99.14%
61	검증 세트 손실: 0.041765	최선의 손실: 0.026170	정확도: 99.18%
62	검증 세트 손실: 0.040838	최선의 손실: 0.026170	정확도: 98.98%
63	검증 세트 손실: 0.044667	최선의 손실: 0.026170	정확도: 99.22%
64	검증 세트 손실: 0.044565	최선의 손실: 0.026170	정확도: 99.10%
65	검증 세트 손실: 0.048403	최선의 손실: 0.026170	정확도: 99.14%
66	검증 세트 손실: 0.062536	최선의 손실: 0.026170	정확도: 98.98%
67	검증 세트 손실: 0.060276	최선의 손실: 0.026170	정확도: 98.91%
68	검증 세트 손실: 0.039812	최선의 손실: 0.026170	정확도: 99.14%
69	검증 세트 손실: 0.052429	최선의 손실: 0.026170	정확도: 99.02%
70	검증 세트 손실: 0.040623	최선의 손실: 0.026170	정확도: 99.22%
조기 종료!
[CV]  n_neurons=160, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation=<function relu at 0x7f8ec4c8c510>, total= 1.1min
[CV] n_neurons=100, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 
0	검증 세트 손실: 0.290341	최선의 손실: 0.290341	정확도: 92.81%
1	검증 세트 손실: 0.124678	최선의 손실: 0.124678	정확도: 96.01%
2	검증 세트 손실: 0.133001	최선의 손실: 0.124678	정확도: 96.91%
3	검증 세트 손실: 0.153747	최선의 손실: 0.124678	정확도: 95.66%
4	검증 세트 손실: 0.061355	최선의 손실: 0.061355	정확도: 98.32%
5	검증 세트 손실: 0.082984	최선의 손실: 0.061355	정확도: 97.85%
6	검증 세트 손실: 0.091248	최선의 손실: 0.061355	정확도: 97.34%
7	검증 세트 손실: 3.595508	최선의 손실: 0.061355	정확도: 68.41%
8	검증 세트 손실: 0.067114	최선의 손실: 0.061355	정확도: 97.81%
9	검증 세트 손실: 0.091273	최선의 손실: 0.061355	정확도: 98.05%
10	검증 세트 손실: 0.074277	최선의 손실: 0.061355	정확도: 98.24%
11	검증 세트 손실: 0.050295	최선의 손실: 0.050295	정확도: 98.44%
12	검증 세트 손실: 0.060044	최선의 손실: 0.050295	정확도: 98.44%
13	검증 세트 손실: 0.119721	최선의 손실: 0.050295	정확도: 97.15%
14	검증 세트 손실: 0.083133	최선의 손실: 0.050295	정확도: 97.93%
15	검증 세트 손실: 0.054504	최선의 손실: 0.050295	정확도: 98.83%
16	검증 세트 손실: 0.073744	최선의 손실: 0.050295	정확도: 98.16%
17	검증 세트 손실: 0.057721	최선의 손실: 0.050295	정확도: 98.63%
18	검증 세트 손실: 0.077117	최선의 손실: 0.050295	정확도: 98.20%
19	검증 세트 손실: 0.077681	최선의 손실: 0.050295	정확도: 98.36%
20	검증 세트 손실: 0.057737	최선의 손실: 0.050295	정확도: 98.63%
21	검증 세트 손실: 0.159420	최선의 손실: 0.050295	정확도: 97.42%
22	검증 세트 손실: 0.082404	최선의 손실: 0.050295	정확도: 98.48%
23	검증 세트 손실: 0.047016	최선의 손실: 0.047016	정확도: 98.83%
24	검증 세트 손실: 0.079578	최선의 손실: 0.047016	정확도: 97.85%
25	검증 세트 손실: 0.050146	최선의 손실: 0.047016	정확도: 98.79%
26	검증 세트 손실: 0.056030	최선의 손실: 0.047016	정확도: 98.79%
27	검증 세트 손실: 0.064654	최선의 손실: 0.047016	정확도: 98.83%
28	검증 세트 손실: 0.059529	최선의 손실: 0.047016	정확도: 98.63%
29	검증 세트 손실: 0.084136	최선의 손실: 0.047016	정확도: 98.40%
30	검증 세트 손실: 0.354784	최선의 손실: 0.047016	정확도: 95.50%
31	검증 세트 손실: 0.074044	최선의 손실: 0.047016	정확도: 98.71%
32	검증 세트 손실: 0.053567	최선의 손실: 0.047016	정확도: 98.63%
33	검증 세트 손실: 0.077495	최선의 손실: 0.047016	정확도: 98.08%
34	검증 세트 손실: 0.058532	최선의 손실: 0.047016	정확도: 98.75%
35	검증 세트 손실: 0.065447	최선의 손실: 0.047016	정확도: 98.55%
36	검증 세트 손실: 0.063479	최선의 손실: 0.047016	정확도: 98.87%
37	검증 세트 손실: 0.094612	최선의 손실: 0.047016	정확도: 98.08%
38	검증 세트 손실: 0.051279	최선의 손실: 0.047016	정확도: 98.55%
39	검증 세트 손실: 0.062355	최선의 손실: 0.047016	정확도: 98.63%
40	검증 세트 손실: 0.058902	최선의 손실: 0.047016	정확도: 98.63%
41	검증 세트 손실: 0.059462	최선의 손실: 0.047016	정확도: 98.67%
42	검증 세트 손실: 0.103451	최선의 손실: 0.047016	정확도: 98.36%
43	검증 세트 손실: 0.056165	최선의 손실: 0.047016	정확도: 98.67%
44	검증 세트 손실: 0.070525	최선의 손실: 0.047016	정확도: 98.44%
조기 종료!
[CV]  n_neurons=100, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 2.4min
[CV] n_neurons=100, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 
0	검증 세트 손실: 0.134512	최선의 손실: 0.134512	정확도: 96.36%
1	검증 세트 손실: 0.171089	최선의 손실: 0.134512	정확도: 95.97%
2	검증 세트 손실: 0.154668	최선의 손실: 0.134512	정확도: 95.43%
3	검증 세트 손실: 0.082867	최선의 손실: 0.082867	정확도: 97.77%
4	검증 세트 손실: 0.075059	최선의 손실: 0.075059	정확도: 97.97%
5	검증 세트 손실: 0.075293	최선의 손실: 0.075059	정확도: 98.40%
6	검증 세트 손실: 0.054560	최선의 손실: 0.054560	정확도: 98.71%
7	검증 세트 손실: 0.060668	최선의 손실: 0.054560	정확도: 98.05%
8	검증 세트 손실: 0.096402	최선의 손실: 0.054560	정확도: 98.08%
9	검증 세트 손실: 0.071856	최선의 손실: 0.054560	정확도: 98.08%
10	검증 세트 손실: 0.076573	최선의 손실: 0.054560	정확도: 97.81%
11	검증 세트 손실: 0.057996	최선의 손실: 0.054560	정확도: 98.55%
12	검증 세트 손실: 0.089447	최선의 손실: 0.054560	정확도: 97.89%
13	검증 세트 손실: 0.050383	최선의 손실: 0.050383	정확도: 98.83%
14	검증 세트 손실: 0.086850	최선의 손실: 0.050383	정확도: 98.28%
15	검증 세트 손실: 0.063397	최선의 손실: 0.050383	정확도: 98.44%
16	검증 세트 손실: 0.065012	최선의 손실: 0.050383	정확도: 98.32%
17	검증 세트 손실: 0.073354	최선의 손실: 0.050383	정확도: 98.32%
18	검증 세트 손실: 0.102597	최선의 손실: 0.050383	정확도: 97.85%
19	검증 세트 손실: 0.092346	최선의 손실: 0.050383	정확도: 98.51%
20	검증 세트 손실: 0.064255	최선의 손실: 0.050383	정확도: 98.55%
21	검증 세트 손실: 0.111939	최선의 손실: 0.050383	정확도: 97.73%
22	검증 세트 손실: 0.065158	최선의 손실: 0.050383	정확도: 98.32%
23	검증 세트 손실: 0.067054	최선의 손실: 0.050383	정확도: 98.59%
24	검증 세트 손실: 0.104743	최선의 손실: 0.050383	정확도: 98.24%
25	검증 세트 손실: 0.058547	최선의 손실: 0.050383	정확도: 98.83%
26	검증 세트 손실: 0.096374	최선의 손실: 0.050383	정확도: 98.40%
27	검증 세트 손실: 0.059007	최선의 손실: 0.050383	정확도: 98.67%
28	검증 세트 손실: 0.069398	최선의 손실: 0.050383	정확도: 98.48%
29	검증 세트 손실: 0.109084	최선의 손실: 0.050383	정확도: 97.11%
30	검증 세트 손실: 0.054116	최선의 손실: 0.050383	정확도: 98.59%
31	검증 세트 손실: 0.078547	최선의 손실: 0.050383	정확도: 97.69%
32	검증 세트 손실: 0.087979	최선의 손실: 0.050383	정확도: 98.32%
33	검증 세트 손실: 0.060714	최선의 손실: 0.050383	정확도: 98.32%
34	검증 세트 손실: 0.083282	최선의 손실: 0.050383	정확도: 98.24%
조기 종료!
[CV]  n_neurons=100, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 1.8min
[CV] n_neurons=100, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 
0	검증 세트 손실: 0.126449	최선의 손실: 0.126449	정확도: 96.52%
1	검증 세트 손실: 0.092477	최선의 손실: 0.092477	정확도: 97.30%
2	검증 세트 손실: 0.133098	최선의 손실: 0.092477	정확도: 96.29%
3	검증 세트 손실: 0.063193	최선의 손실: 0.063193	정확도: 98.16%
4	검증 세트 손실: 0.085974	최선의 손실: 0.063193	정확도: 97.30%
5	검증 세트 손실: 0.065425	최선의 손실: 0.063193	정확도: 98.12%
6	검증 세트 손실: 0.077555	최선의 손실: 0.063193	정확도: 97.89%
7	검증 세트 손실: 0.066674	최선의 손실: 0.063193	정확도: 98.16%
8	검증 세트 손실: 0.140984	최선의 손실: 0.063193	정확도: 97.26%
9	검증 세트 손실: 0.088418	최선의 손실: 0.063193	정확도: 97.58%
10	검증 세트 손실: 0.185025	최선의 손실: 0.063193	정확도: 96.29%
11	검증 세트 손실: 0.039858	최선의 손실: 0.039858	정확도: 98.87%
12	검증 세트 손실: 0.065384	최선의 손실: 0.039858	정확도: 98.08%
13	검증 세트 손실: 0.048647	최선의 손실: 0.039858	정확도: 98.40%
14	검증 세트 손실: 0.089651	최선의 손실: 0.039858	정확도: 98.12%
15	검증 세트 손실: 0.103502	최선의 손실: 0.039858	정확도: 97.62%
16	검증 세트 손실: 0.079424	최선의 손실: 0.039858	정확도: 98.44%
17	검증 세트 손실: 0.129762	최선의 손실: 0.039858	정확도: 97.11%
18	검증 세트 손실: 0.075431	최선의 손실: 0.039858	정확도: 98.59%
19	검증 세트 손실: 0.062781	최선의 손실: 0.039858	정확도: 98.36%
20	검증 세트 손실: 0.051886	최선의 손실: 0.039858	정확도: 98.51%
21	검증 세트 손실: 0.068253	최선의 손실: 0.039858	정확도: 98.36%
22	검증 세트 손실: 0.059657	최선의 손실: 0.039858	정확도: 98.51%
23	검증 세트 손실: 0.064838	최선의 손실: 0.039858	정확도: 98.63%
24	검증 세트 손실: 0.057088	최선의 손실: 0.039858	정확도: 98.71%
25	검증 세트 손실: 0.067469	최선의 손실: 0.039858	정확도: 98.28%
26	검증 세트 손실: 0.053739	최선의 손실: 0.039858	정확도: 98.67%
27	검증 세트 손실: 0.084539	최선의 손실: 0.039858	정확도: 98.32%
28	검증 세트 손실: 0.079748	최선의 손실: 0.039858	정확도: 98.40%
29	검증 세트 손실: 0.063447	최선의 손실: 0.039858	정확도: 98.44%
30	검증 세트 손실: 0.074327	최선의 손실: 0.039858	정확도: 98.63%
31	검증 세트 손실: 0.068876	최선의 손실: 0.039858	정확도: 98.20%
32	검증 세트 손실: 0.091237	최선의 손실: 0.039858	정확도: 98.08%
조기 종료!
[CV]  n_neurons=100, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 1.7min
[CV] n_neurons=140, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.099144	최선의 손실: 0.099144	정확도: 96.79%
1	검증 세트 손실: 0.115324	최선의 손실: 0.099144	정확도: 97.07%
2	검증 세트 손실: 0.063067	최선의 손실: 0.063067	정확도: 98.16%
3	검증 세트 손실: 0.052500	최선의 손실: 0.052500	정확도: 98.24%
4	검증 세트 손실: 0.054464	최선의 손실: 0.052500	정확도: 98.36%
5	검증 세트 손실: 0.046948	최선의 손실: 0.046948	정확도: 98.36%
6	검증 세트 손실: 0.045710	최선의 손실: 0.045710	정확도: 98.48%
7	검증 세트 손실: 0.044930	최선의 손실: 0.044930	정확도: 98.87%
8	검증 세트 손실: 0.077419	최선의 손실: 0.044930	정확도: 98.28%
9	검증 세트 손실: 0.039954	최선의 손실: 0.039954	정확도: 98.75%
10	검증 세트 손실: 0.056242	최선의 손실: 0.039954	정확도: 98.67%
11	검증 세트 손실: 0.044918	최선의 손실: 0.039954	정확도: 98.91%
12	검증 세트 손실: 0.055548	최선의 손실: 0.039954	정확도: 98.91%
13	검증 세트 손실: 0.100073	최선의 손실: 0.039954	정확도: 98.05%
14	검증 세트 손실: 0.053818	최선의 손실: 0.039954	정확도: 98.79%
15	검증 세트 손실: 0.067923	최선의 손실: 0.039954	정확도: 98.55%
16	검증 세트 손실: 0.072164	최선의 손실: 0.039954	정확도: 98.71%
17	검증 세트 손실: 0.056357	최선의 손실: 0.039954	정확도: 98.87%
18	검증 세트 손실: 0.034581	최선의 손실: 0.034581	정확도: 99.02%
19	검증 세트 손실: 0.045819	최선의 손실: 0.034581	정확도: 99.06%
20	검증 세트 손실: 0.055157	최선의 손실: 0.034581	정확도: 98.63%
21	검증 세트 손실: 0.157635	최선의 손실: 0.034581	정확도: 97.85%
22	검증 세트 손실: 0.080509	최선의 손실: 0.034581	정확도: 98.75%
23	검증 세트 손실: 0.077401	최선의 손실: 0.034581	정확도: 98.55%
24	검증 세트 손실: 0.046057	최선의 손실: 0.034581	정확도: 98.94%
25	검증 세트 손실: 0.050843	최선의 손실: 0.034581	정확도: 98.79%
26	검증 세트 손실: 0.036200	최선의 손실: 0.034581	정확도: 99.18%
27	검증 세트 손실: 0.057026	최선의 손실: 0.034581	정확도: 98.94%
28	검증 세트 손실: 0.047743	최선의 손실: 0.034581	정확도: 99.18%
29	검증 세트 손실: 0.052913	최선의 손실: 0.034581	정확도: 99.02%
30	검증 세트 손실: 0.067340	최선의 손실: 0.034581	정확도: 98.79%
31	검증 세트 손실: 0.074098	최선의 손실: 0.034581	정확도: 98.51%
32	검증 세트 손실: 0.057628	최선의 손실: 0.034581	정확도: 98.87%
33	검증 세트 손실: 0.137800	최선의 손실: 0.034581	정확도: 98.12%
34	검증 세트 손실: 0.113036	최선의 손실: 0.034581	정확도: 98.51%
35	검증 세트 손실: 0.061875	최선의 손실: 0.034581	정확도: 99.06%
36	검증 세트 손실: 0.043442	최선의 손실: 0.034581	정확도: 99.06%
37	검증 세트 손실: 0.048663	최선의 손실: 0.034581	정확도: 99.26%
38	검증 세트 손실: 0.044993	최선의 손실: 0.034581	정확도: 99.30%
39	검증 세트 손실: 0.050081	최선의 손실: 0.034581	정확도: 99.18%
조기 종료!
[CV]  n_neurons=140, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28>, total=  34.8s
[CV] n_neurons=140, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.105398	최선의 손실: 0.105398	정확도: 96.56%
1	검증 세트 손실: 0.064894	최선의 손실: 0.064894	정확도: 97.69%
2	검증 세트 손실: 0.054920	최선의 손실: 0.054920	정확도: 98.16%
3	검증 세트 손실: 0.073568	최선의 손실: 0.054920	정확도: 98.12%
4	검증 세트 손실: 0.060250	최선의 손실: 0.054920	정확도: 98.01%
5	검증 세트 손실: 0.054557	최선의 손실: 0.054557	정확도: 98.32%
6	검증 세트 손실: 0.054915	최선의 손실: 0.054557	정확도: 98.44%
7	검증 세트 손실: 0.073555	최선의 손실: 0.054557	정확도: 98.16%
8	검증 세트 손실: 0.060049	최선의 손실: 0.054557	정확도: 98.40%
9	검증 세트 손실: 0.081117	최선의 손실: 0.054557	정확도: 98.08%
10	검증 세트 손실: 0.048303	최선의 손실: 0.048303	정확도: 98.94%
11	검증 세트 손실: 0.058062	최선의 손실: 0.048303	정확도: 98.48%
12	검증 세트 손실: 0.048739	최선의 손실: 0.048303	정확도: 98.91%
13	검증 세트 손실: 0.062269	최선의 손실: 0.048303	정확도: 98.67%
14	검증 세트 손실: 0.046359	최선의 손실: 0.046359	정확도: 99.02%
15	검증 세트 손실: 0.056421	최선의 손실: 0.046359	정확도: 98.83%
16	검증 세트 손실: 0.091915	최선의 손실: 0.046359	정확도: 98.12%
17	검증 세트 손실: 0.040979	최선의 손실: 0.040979	정확도: 98.79%
18	검증 세트 손실: 0.057160	최선의 손실: 0.040979	정확도: 98.75%
19	검증 세트 손실: 0.059185	최선의 손실: 0.040979	정확도: 98.51%
20	검증 세트 손실: 0.097316	최선의 손실: 0.040979	정확도: 98.12%
21	검증 세트 손실: 0.056304	최선의 손실: 0.040979	정확도: 98.79%
22	검증 세트 손실: 0.122441	최선의 손실: 0.040979	정확도: 97.30%
23	검증 세트 손실: 0.061851	최선의 손실: 0.040979	정확도: 98.75%
24	검증 세트 손실: 0.069927	최선의 손실: 0.040979	정확도: 98.75%
25	검증 세트 손실: 0.068198	최선의 손실: 0.040979	정확도: 98.79%
26	검증 세트 손실: 0.059452	최선의 손실: 0.040979	정확도: 98.83%
27	검증 세트 손실: 0.129899	최선의 손실: 0.040979	정확도: 98.71%
28	검증 세트 손실: 0.112761	최선의 손실: 0.040979	정확도: 98.20%
29	검증 세트 손실: 0.085539	최선의 손실: 0.040979	정확도: 98.59%
30	검증 세트 손실: 0.066737	최선의 손실: 0.040979	정확도: 98.91%
31	검증 세트 손실: 0.062535	최선의 손실: 0.040979	정확도: 98.83%
32	검증 세트 손실: 0.064168	최선의 손실: 0.040979	정확도: 99.02%
33	검증 세트 손실: 0.054732	최선의 손실: 0.040979	정확도: 98.94%
34	검증 세트 손실: 0.056162	최선의 손실: 0.040979	정확도: 98.94%
35	검증 세트 손실: 0.080275	최선의 손실: 0.040979	정확도: 98.91%
36	검증 세트 손실: 0.120962	최선의 손실: 0.040979	정확도: 98.32%
37	검증 세트 손실: 0.293227	최선의 손실: 0.040979	정확도: 98.05%
38	검증 세트 손실: 0.075564	최선의 손실: 0.040979	정확도: 98.91%
조기 종료!
[CV]  n_neurons=140, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28>, total=  34.0s
[CV] n_neurons=140, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.089023	최선의 손실: 0.089023	정확도: 97.19%
1	검증 세트 손실: 0.081033	최선의 손실: 0.081033	정확도: 97.19%
2	검증 세트 손실: 0.066444	최선의 손실: 0.066444	정확도: 97.89%
3	검증 세트 손실: 0.060929	최선의 손실: 0.060929	정확도: 98.24%
4	검증 세트 손실: 0.073254	최선의 손실: 0.060929	정확도: 97.73%
5	검증 세트 손실: 0.073792	최선의 손실: 0.060929	정확도: 97.85%
6	검증 세트 손실: 0.042751	최선의 손실: 0.042751	정확도: 98.75%
7	검증 세트 손실: 0.066938	최선의 손실: 0.042751	정확도: 98.05%
8	검증 세트 손실: 0.050041	최선의 손실: 0.042751	정확도: 98.91%
9	검증 세트 손실: 0.048842	최선의 손실: 0.042751	정확도: 98.63%
10	검증 세트 손실: 0.057340	최선의 손실: 0.042751	정확도: 98.36%
11	검증 세트 손실: 0.052280	최선의 손실: 0.042751	정확도: 98.91%
12	검증 세트 손실: 0.062022	최선의 손실: 0.042751	정확도: 98.48%
13	검증 세트 손실: 0.046930	최선의 손실: 0.042751	정확도: 98.98%
14	검증 세트 손실: 0.057919	최선의 손실: 0.042751	정확도: 98.71%
15	검증 세트 손실: 0.057091	최선의 손실: 0.042751	정확도: 98.55%
16	검증 세트 손실: 0.052608	최선의 손실: 0.042751	정확도: 98.91%
17	검증 세트 손실: 0.048918	최선의 손실: 0.042751	정확도: 98.87%
18	검증 세트 손실: 0.045349	최선의 손실: 0.042751	정확도: 99.10%
19	검증 세트 손실: 0.076084	최선의 손실: 0.042751	정확도: 98.36%
20	검증 세트 손실: 0.067313	최선의 손실: 0.042751	정확도: 98.40%
21	검증 세트 손실: 0.057034	최선의 손실: 0.042751	정확도: 98.87%
22	검증 세트 손실: 0.052216	최선의 손실: 0.042751	정확도: 98.94%
23	검증 세트 손실: 0.045283	최선의 손실: 0.042751	정확도: 99.02%
24	검증 세트 손실: 0.062784	최선의 손실: 0.042751	정확도: 98.40%
25	검증 세트 손실: 0.044555	최선의 손실: 0.042751	정확도: 98.94%
26	검증 세트 손실: 0.130142	최선의 손실: 0.042751	정확도: 98.08%
27	검증 세트 손실: 0.067980	최선의 손실: 0.042751	정확도: 98.71%
조기 종료!
[CV]  n_neurons=140, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28>, total=  24.9s
[CV] n_neurons=140, learning_rate=0.05, batch_size=50, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.113513	최선의 손실: 0.113513	정확도: 96.68%
1	검증 세트 손실: 0.068951	최선의 손실: 0.068951	정확도: 97.97%
2	검증 세트 손실: 0.064436	최선의 손실: 0.064436	정확도: 98.12%
3	검증 세트 손실: 0.060489	최선의 손실: 0.060489	정확도: 98.40%
4	검증 세트 손실: 0.059261	최선의 손실: 0.059261	정확도: 98.36%
5	검증 세트 손실: 0.083296	최선의 손실: 0.059261	정확도: 97.89%
6	검증 세트 손실: 0.073466	최선의 손실: 0.059261	정확도: 98.28%
7	검증 세트 손실: 0.044369	최선의 손실: 0.044369	정확도: 98.83%
8	검증 세트 손실: 0.057644	최선의 손실: 0.044369	정확도: 98.40%
9	검증 세트 손실: 0.063977	최선의 손실: 0.044369	정확도: 98.55%
10	검증 세트 손실: 0.074322	최선의 손실: 0.044369	정확도: 98.20%
11	검증 세트 손실: 0.056014	최선의 손실: 0.044369	정확도: 98.87%
12	검증 세트 손실: 0.048307	최선의 손실: 0.044369	정확도: 98.79%
13	검증 세트 손실: 0.080736	최선의 손실: 0.044369	정확도: 98.24%
14	검증 세트 손실: 0.100855	최선의 손실: 0.044369	정확도: 98.12%
15	검증 세트 손실: 0.056241	최선의 손실: 0.044369	정확도: 98.71%
16	검증 세트 손실: 0.053142	최선의 손실: 0.044369	정확도: 98.91%
17	검증 세트 손실: 0.055138	최선의 손실: 0.044369	정확도: 98.59%
18	검증 세트 손실: 0.233850	최선의 손실: 0.044369	정확도: 97.38%
19	검증 세트 손실: 0.085971	최선의 손실: 0.044369	정확도: 98.91%
20	검증 세트 손실: 0.061474	최선의 손실: 0.044369	정확도: 98.98%
21	검증 세트 손실: 0.039463	최선의 손실: 0.039463	정확도: 99.14%
22	검증 세트 손실: 0.094316	최선의 손실: 0.039463	정확도: 98.51%
23	검증 세트 손실: 0.175438	최선의 손실: 0.039463	정확도: 98.55%
24	검증 세트 손실: 0.070551	최선의 손실: 0.039463	정확도: 98.98%
25	검증 세트 손실: 0.062260	최선의 손실: 0.039463	정확도: 98.83%
26	검증 세트 손실: 0.052628	최선의 손실: 0.039463	정확도: 99.06%
27	검증 세트 손실: 0.068984	최선의 손실: 0.039463	정확도: 98.87%
28	검증 세트 손실: 0.060191	최선의 손실: 0.039463	정확도: 99.06%
29	검증 세트 손실: 0.067728	최선의 손실: 0.039463	정확도: 98.98%
30	검증 세트 손실: 0.146669	최선의 손실: 0.039463	정확도: 98.48%
31	검증 세트 손실: 0.174983	최선의 손실: 0.039463	정확도: 98.48%
32	검증 세트 손실: 0.078731	최선의 손실: 0.039463	정확도: 98.83%
33	검증 세트 손실: 0.102432	최선의 손실: 0.039463	정확도: 98.55%
34	검증 세트 손실: 0.087327	최선의 손실: 0.039463	정확도: 98.71%
35	검증 세트 손실: 0.100011	최선의 손실: 0.039463	정확도: 98.79%
36	검증 세트 손실: 0.122788	최선의 손실: 0.039463	정확도: 98.40%
37	검증 세트 손실: 0.232688	최선의 손실: 0.039463	정확도: 98.55%
38	검증 세트 손실: 0.090504	최선의 손실: 0.039463	정확도: 99.26%
39	검증 세트 손실: 0.092557	최선의 손실: 0.039463	정확도: 99.06%
40	검증 세트 손실: 0.087615	최선의 손실: 0.039463	정확도: 98.83%
41	검증 세트 손실: 0.079954	최선의 손실: 0.039463	정확도: 98.94%
42	검증 세트 손실: 0.098650	최선의 손실: 0.039463	정확도: 98.91%
조기 종료!
[CV]  n_neurons=140, learning_rate=0.05, batch_size=50, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28>, total=  55.8s
[CV] n_neurons=140, learning_rate=0.05, batch_size=50, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.111306	최선의 손실: 0.111306	정확도: 96.60%
1	검증 세트 손실: 0.073856	최선의 손실: 0.073856	정확도: 98.05%
2	검증 세트 손실: 0.065652	최선의 손실: 0.065652	정확도: 98.12%
3	검증 세트 손실: 0.058890	최선의 손실: 0.058890	정확도: 98.01%
4	검증 세트 손실: 0.093132	최선의 손실: 0.058890	정확도: 97.34%
5	검증 세트 손실: 0.057984	최선의 손실: 0.057984	정확도: 98.44%
6	검증 세트 손실: 0.057740	최선의 손실: 0.057740	정확도: 98.59%
7	검증 세트 손실: 0.054652	최선의 손실: 0.054652	정확도: 98.55%
8	검증 세트 손실: 0.062908	최선의 손실: 0.054652	정확도: 98.51%
9	검증 세트 손실: 0.063045	최선의 손실: 0.054652	정확도: 98.36%
10	검증 세트 손실: 0.067523	최선의 손실: 0.054652	정확도: 98.63%
11	검증 세트 손실: 0.126460	최선의 손실: 0.054652	정확도: 97.77%
12	검증 세트 손실: 0.048243	최선의 손실: 0.048243	정확도: 98.67%
13	검증 세트 손실: 0.040426	최선의 손실: 0.040426	정확도: 99.06%
14	검증 세트 손실: 0.042513	최선의 손실: 0.040426	정확도: 98.94%
15	검증 세트 손실: 0.036880	최선의 손실: 0.036880	정확도: 99.26%
16	검증 세트 손실: 0.066805	최선의 손실: 0.036880	정확도: 98.63%
17	검증 세트 손실: 0.061975	최선의 손실: 0.036880	정확도: 98.79%
18	검증 세트 손실: 0.061336	최선의 손실: 0.036880	정확도: 98.91%
19	검증 세트 손실: 0.050670	최선의 손실: 0.036880	정확도: 98.83%
20	검증 세트 손실: 0.049398	최선의 손실: 0.036880	정확도: 98.87%
21	검증 세트 손실: 0.165993	최선의 손실: 0.036880	정확도: 98.01%
22	검증 세트 손실: 0.115827	최선의 손실: 0.036880	정확도: 98.16%
23	검증 세트 손실: 0.043071	최선의 손실: 0.036880	정확도: 98.94%
24	검증 세트 손실: 0.065797	최선의 손실: 0.036880	정확도: 98.75%
25	검증 세트 손실: 0.051891	최선의 손실: 0.036880	정확도: 98.94%
26	검증 세트 손실: 0.112124	최선의 손실: 0.036880	정확도: 98.48%
27	검증 세트 손실: 0.058227	최선의 손실: 0.036880	정확도: 98.83%
28	검증 세트 손실: 0.049401	최선의 손실: 0.036880	정확도: 99.22%
29	검증 세트 손실: 0.043503	최선의 손실: 0.036880	정확도: 99.30%
30	검증 세트 손실: 0.060543	최선의 손실: 0.036880	정확도: 98.87%
31	검증 세트 손실: 0.314244	최선의 손실: 0.036880	정확도: 97.85%
32	검증 세트 손실: 0.117441	최선의 손실: 0.036880	정확도: 98.44%
33	검증 세트 손실: 0.071707	최선의 손실: 0.036880	정확도: 98.87%
34	검증 세트 손실: 0.065386	최선의 손실: 0.036880	정확도: 99.06%
35	검증 세트 손실: 0.063128	최선의 손실: 0.036880	정확도: 99.14%
36	검증 세트 손실: 0.115051	최선의 손실: 0.036880	정확도: 98.44%
조기 종료!
[CV]  n_neurons=140, learning_rate=0.05, batch_size=50, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28>, total=  48.7s
[CV] n_neurons=140, learning_rate=0.05, batch_size=50, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.135728	최선의 손실: 0.135728	정확도: 96.48%
1	검증 세트 손실: 0.087087	최선의 손실: 0.087087	정확도: 97.62%
2	검증 세트 손실: 0.075364	최선의 손실: 0.075364	정확도: 97.65%
3	검증 세트 손실: 0.081787	최선의 손실: 0.075364	정확도: 98.08%
4	검증 세트 손실: 0.063145	최선의 손실: 0.063145	정확도: 98.67%
5	검증 세트 손실: 0.051189	최선의 손실: 0.051189	정확도: 98.40%
6	검증 세트 손실: 0.066969	최선의 손실: 0.051189	정확도: 98.05%
7	검증 세트 손실: 0.079069	최선의 손실: 0.051189	정확도: 98.48%
8	검증 세트 손실: 0.045786	최선의 손실: 0.045786	정확도: 98.79%
9	검증 세트 손실: 0.080343	최선의 손실: 0.045786	정확도: 97.85%
10	검증 세트 손실: 0.040683	최선의 손실: 0.040683	정확도: 99.06%
11	검증 세트 손실: 0.044792	최선의 손실: 0.040683	정확도: 98.94%
12	검증 세트 손실: 0.068421	최선의 손실: 0.040683	정확도: 98.20%
13	검증 세트 손실: 0.037501	최선의 손실: 0.037501	정확도: 98.83%
14	검증 세트 손실: 0.210061	최선의 손실: 0.037501	정확도: 96.05%
15	검증 세트 손실: 0.057494	최선의 손실: 0.037501	정확도: 98.63%
16	검증 세트 손실: 0.051072	최선의 손실: 0.037501	정확도: 98.83%
17	검증 세트 손실: 0.045633	최선의 손실: 0.037501	정확도: 99.02%
18	검증 세트 손실: 0.042456	최선의 손실: 0.037501	정확도: 98.91%
19	검증 세트 손실: 0.054844	최선의 손실: 0.037501	정확도: 98.91%
20	검증 세트 손실: 0.066687	최선의 손실: 0.037501	정확도: 98.87%
21	검증 세트 손실: 0.088692	최선의 손실: 0.037501	정확도: 98.55%
22	검증 세트 손실: 0.086446	최선의 손실: 0.037501	정확도: 98.94%
23	검증 세트 손실: 0.060725	최선의 손실: 0.037501	정확도: 99.06%
24	검증 세트 손실: 0.048680	최선의 손실: 0.037501	정확도: 99.06%
25	검증 세트 손실: 0.069788	최선의 손실: 0.037501	정확도: 98.91%
26	검증 세트 손실: 0.051100	최선의 손실: 0.037501	정확도: 99.10%
27	검증 세트 손실: 0.056261	최선의 손실: 0.037501	정확도: 99.14%
28	검증 세트 손실: 0.065592	최선의 손실: 0.037501	정확도: 98.91%
29	검증 세트 손실: 0.159203	최선의 손실: 0.037501	정확도: 98.67%
30	검증 세트 손실: 0.079300	최선의 손실: 0.037501	정확도: 99.02%
31	검증 세트 손실: 0.072412	최선의 손실: 0.037501	정확도: 98.94%
32	검증 세트 손실: 0.051738	최선의 손실: 0.037501	정확도: 99.10%
33	검증 세트 손실: 0.075235	최선의 손실: 0.037501	정확도: 99.06%
34	검증 세트 손실: 0.093662	최선의 손실: 0.037501	정확도: 98.75%
조기 종료!
[CV]  n_neurons=140, learning_rate=0.05, batch_size=50, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28>, total=  45.8s
[CV] n_neurons=70, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.99, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 0.614383	최선의 손실: 0.614383	정확도: 91.05%
1	검증 세트 손실: 0.095887	최선의 손실: 0.095887	정확도: 97.54%
2	검증 세트 손실: 0.078577	최선의 손실: 0.078577	정확도: 97.89%
3	검증 세트 손실: 0.064755	최선의 손실: 0.064755	정확도: 98.08%
4	검증 세트 손실: 0.120429	최선의 손실: 0.064755	정확도: 96.79%
5	검증 세트 손실: 0.075160	최선의 손실: 0.064755	정확도: 98.24%
6	검증 세트 손실: 0.057623	최선의 손실: 0.057623	정확도: 98.48%
7	검증 세트 손실: 0.053828	최선의 손실: 0.053828	정확도: 98.48%
8	검증 세트 손실: 0.074468	최선의 손실: 0.053828	정확도: 98.28%
9	검증 세트 손실: 0.081164	최선의 손실: 0.053828	정확도: 98.01%
10	검증 세트 손실: 0.072241	최선의 손실: 0.053828	정확도: 98.51%
11	검증 세트 손실: 0.049344	최선의 손실: 0.049344	정확도: 98.79%
12	검증 세트 손실: 0.091399	최선의 손실: 0.049344	정확도: 98.55%
13	검증 세트 손실: 0.071793	최선의 손실: 0.049344	정확도: 98.20%
14	검증 세트 손실: 0.082131	최선의 손실: 0.049344	정확도: 98.40%
15	검증 세트 손실: 0.062361	최선의 손실: 0.049344	정확도: 98.59%
16	검증 세트 손실: 0.061084	최선의 손실: 0.049344	정확도: 98.79%
17	검증 세트 손실: 0.055420	최선의 손실: 0.049344	정확도: 98.71%
18	검증 세트 손실: 0.073390	최선의 손실: 0.049344	정확도: 98.59%
19	검증 세트 손실: 0.057887	최선의 손실: 0.049344	정확도: 98.67%
20	검증 세트 손실: 0.068826	최선의 손실: 0.049344	정확도: 98.71%
21	검증 세트 손실: 0.077724	최선의 손실: 0.049344	정확도: 98.44%
22	검증 세트 손실: 0.072042	최선의 손실: 0.049344	정확도: 98.63%
23	검증 세트 손실: 0.059489	최선의 손실: 0.049344	정확도: 98.63%
24	검증 세트 손실: 0.067487	최선의 손실: 0.049344	정확도: 98.67%
25	검증 세트 손실: 0.083031	최선의 손실: 0.049344	정확도: 98.48%
26	검증 세트 손실: 0.102723	최선의 손실: 0.049344	정확도: 98.28%
27	검증 세트 손실: 0.098541	최선의 손실: 0.049344	정확도: 98.67%
28	검증 세트 손실: 0.052200	최선의 손실: 0.049344	정확도: 98.79%
29	검증 세트 손실: 0.123723	최선의 손실: 0.049344	정확도: 98.28%
30	검증 세트 손실: 0.091478	최선의 손실: 0.049344	정확도: 98.24%
31	검증 세트 손실: 0.090837	최선의 손실: 0.049344	정확도: 98.40%
32	검증 세트 손실: 0.052527	최선의 손실: 0.049344	정확도: 99.10%
조기 종료!
[CV]  n_neurons=70, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.99, activation=<function relu at 0x7f8ec4c8c510>, total=  26.6s
[CV] n_neurons=70, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.99, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 0.248080	최선의 손실: 0.248080	정확도: 94.92%
1	검증 세트 손실: 0.118180	최선의 손실: 0.118180	정확도: 97.50%
2	검증 세트 손실: 0.159837	최선의 손실: 0.118180	정확도: 96.95%
3	검증 세트 손실: 0.091653	최선의 손실: 0.091653	정확도: 97.73%
4	검증 세트 손실: 0.066284	최선의 손실: 0.066284	정확도: 98.48%
5	검증 세트 손실: 0.061879	최선의 손실: 0.061879	정확도: 98.16%
6	검증 세트 손실: 0.076704	최선의 손실: 0.061879	정확도: 97.89%
7	검증 세트 손실: 0.096637	최선의 손실: 0.061879	정확도: 97.65%
8	검증 세트 손실: 0.063519	최선의 손실: 0.061879	정확도: 98.63%
9	검증 세트 손실: 0.077627	최선의 손실: 0.061879	정확도: 97.89%
10	검증 세트 손실: 0.092635	최선의 손실: 0.061879	정확도: 98.44%
11	검증 세트 손실: 0.114318	최선의 손실: 0.061879	정확도: 97.89%
12	검증 세트 손실: 0.140188	최선의 손실: 0.061879	정확도: 98.12%
13	검증 세트 손실: 0.079037	최선의 손실: 0.061879	정확도: 97.73%
14	검증 세트 손실: 0.067202	최선의 손실: 0.061879	정확도: 98.32%
15	검증 세트 손실: 0.104569	최선의 손실: 0.061879	정확도: 97.69%
16	검증 세트 손실: 0.061750	최선의 손실: 0.061750	정확도: 98.01%
17	검증 세트 손실: 0.099896	최선의 손실: 0.061750	정확도: 98.16%
18	검증 세트 손실: 0.073799	최선의 손실: 0.061750	정확도: 98.08%
19	검증 세트 손실: 0.054059	최선의 손실: 0.054059	정확도: 98.51%
20	검증 세트 손실: 0.082522	최선의 손실: 0.054059	정확도: 98.16%
21	검증 세트 손실: 0.102147	최선의 손실: 0.054059	정확도: 98.32%
22	검증 세트 손실: 0.082872	최선의 손실: 0.054059	정확도: 98.59%
23	검증 세트 손실: 0.055274	최선의 손실: 0.054059	정확도: 98.79%
24	검증 세트 손실: 0.062160	최선의 손실: 0.054059	정확도: 98.40%
25	검증 세트 손실: 0.059299	최선의 손실: 0.054059	정확도: 98.79%
26	검증 세트 손실: 0.072345	최선의 손실: 0.054059	정확도: 98.67%
27	검증 세트 손실: 0.075447	최선의 손실: 0.054059	정확도: 98.71%
28	검증 세트 손실: 0.060164	최선의 손실: 0.054059	정확도: 98.91%
29	검증 세트 손실: 0.068226	최선의 손실: 0.054059	정확도: 98.94%
30	검증 세트 손실: 0.064627	최선의 손실: 0.054059	정확도: 98.63%
31	검증 세트 손실: 0.082111	최선의 손실: 0.054059	정확도: 98.79%
32	검증 세트 손실: 0.087512	최선의 손실: 0.054059	정확도: 97.93%
33	검증 세트 손실: 0.068156	최선의 손실: 0.054059	정확도: 98.87%
34	검증 세트 손실: 0.084178	최선의 손실: 0.054059	정확도: 98.75%
35	검증 세트 손실: 0.083758	최선의 손실: 0.054059	정확도: 98.32%
36	검증 세트 손실: 0.066259	최선의 손실: 0.054059	정확도: 98.48%
37	검증 세트 손실: 0.071180	최선의 손실: 0.054059	정확도: 98.63%
38	검증 세트 손실: 0.101784	최선의 손실: 0.054059	정확도: 98.44%
39	검증 세트 손실: 0.164873	최선의 손실: 0.054059	정확도: 97.77%
40	검증 세트 손실: 0.074490	최선의 손실: 0.054059	정확도: 98.87%
조기 종료!
[CV]  n_neurons=70, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.99, activation=<function relu at 0x7f8ec4c8c510>, total=  32.6s
[CV] n_neurons=70, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.99, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 0.254632	최선의 손실: 0.254632	정확도: 96.44%
1	검증 세트 손실: 0.088589	최선의 손실: 0.088589	정확도: 97.62%
2	검증 세트 손실: 0.099244	최선의 손실: 0.088589	정확도: 97.85%
3	검증 세트 손실: 0.122457	최선의 손실: 0.088589	정확도: 97.19%
4	검증 세트 손실: 0.065698	최선의 손실: 0.065698	정확도: 98.24%
5	검증 세트 손실: 0.064093	최선의 손실: 0.064093	정확도: 97.97%
6	검증 세트 손실: 0.076670	최선의 손실: 0.064093	정확도: 98.20%
7	검증 세트 손실: 0.073089	최선의 손실: 0.064093	정확도: 98.24%
8	검증 세트 손실: 0.062894	최선의 손실: 0.062894	정확도: 98.32%
9	검증 세트 손실: 0.086110	최선의 손실: 0.062894	정확도: 98.08%
10	검증 세트 손실: 0.085920	최선의 손실: 0.062894	정확도: 98.48%
11	검증 세트 손실: 0.047614	최선의 손실: 0.047614	정확도: 98.67%
12	검증 세트 손실: 0.059643	최선의 손실: 0.047614	정확도: 98.55%
13	검증 세트 손실: 0.061310	최선의 손실: 0.047614	정확도: 98.48%
14	검증 세트 손실: 0.070361	최선의 손실: 0.047614	정확도: 98.40%
15	검증 세트 손실: 0.119703	최선의 손실: 0.047614	정확도: 98.01%
16	검증 세트 손실: 0.053047	최선의 손실: 0.047614	정확도: 98.75%
17	검증 세트 손실: 0.051345	최선의 손실: 0.047614	정확도: 98.59%
18	검증 세트 손실: 0.076449	최선의 손실: 0.047614	정확도: 98.55%
19	검증 세트 손실: 0.099839	최선의 손실: 0.047614	정확도: 98.44%
20	검증 세트 손실: 0.073787	최선의 손실: 0.047614	정확도: 97.93%
21	검증 세트 손실: 0.067983	최선의 손실: 0.047614	정확도: 98.87%
22	검증 세트 손실: 0.063458	최선의 손실: 0.047614	정확도: 98.63%
23	검증 세트 손실: 0.059958	최선의 손실: 0.047614	정확도: 98.87%
24	검증 세트 손실: 0.050966	최선의 손실: 0.047614	정확도: 98.71%
25	검증 세트 손실: 0.064614	최선의 손실: 0.047614	정확도: 98.59%
26	검증 세트 손실: 0.066802	최선의 손실: 0.047614	정확도: 98.59%
27	검증 세트 손실: 0.048795	최선의 손실: 0.047614	정확도: 98.63%
28	검증 세트 손실: 0.054702	최선의 손실: 0.047614	정확도: 98.87%
29	검증 세트 손실: 0.058581	최선의 손실: 0.047614	정확도: 98.79%
30	검증 세트 손실: 0.042670	최선의 손실: 0.042670	정확도: 98.87%
31	검증 세트 손실: 0.077934	최선의 손실: 0.042670	정확도: 98.63%
32	검증 세트 손실: 0.040889	최선의 손실: 0.040889	정확도: 99.02%
33	검증 세트 손실: 0.048097	최선의 손실: 0.040889	정확도: 98.87%
34	검증 세트 손실: 0.070016	최선의 손실: 0.040889	정확도: 98.63%
35	검증 세트 손실: 0.054449	최선의 손실: 0.040889	정확도: 98.94%
36	검증 세트 손실: 0.081662	최선의 손실: 0.040889	정확도: 98.67%
37	검증 세트 손실: 0.052797	최선의 손실: 0.040889	정확도: 98.94%
38	검증 세트 손실: 0.084865	최선의 손실: 0.040889	정확도: 98.51%
39	검증 세트 손실: 0.045995	최선의 손실: 0.040889	정확도: 98.87%
40	검증 세트 손실: 0.096102	최선의 손실: 0.040889	정확도: 98.24%
41	검증 세트 손실: 0.169859	최선의 손실: 0.040889	정확도: 98.55%
42	검증 세트 손실: 0.076930	최선의 손실: 0.040889	정확도: 98.67%
43	검증 세트 손실: 0.065266	최선의 손실: 0.040889	정확도: 98.98%
44	검증 세트 손실: 0.063774	최선의 손실: 0.040889	정확도: 99.06%
45	검증 세트 손실: 0.083190	최선의 손실: 0.040889	정확도: 98.91%
46	검증 세트 손실: 0.074638	최선의 손실: 0.040889	정확도: 98.63%
47	검증 세트 손실: 0.062336	최선의 손실: 0.040889	정확도: 98.87%
48	검증 세트 손실: 0.052928	최선의 손실: 0.040889	정확도: 99.14%
49	검증 세트 손실: 0.090618	최선의 손실: 0.040889	정확도: 98.44%
50	검증 세트 손실: 0.088284	최선의 손실: 0.040889	정확도: 98.63%
51	검증 세트 손실: 0.061876	최선의 손실: 0.040889	정확도: 98.83%
52	검증 세트 손실: 0.068082	최선의 손실: 0.040889	정확도: 98.94%
53	검증 세트 손실: 0.062479	최선의 손실: 0.040889	정확도: 98.75%
조기 종료!
[CV]  n_neurons=70, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.99, activation=<function relu at 0x7f8ec4c8c510>, total=  42.7s
[CV] n_neurons=100, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.95, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 0.075378	최선의 손실: 0.075378	정확도: 97.38%
1	검증 세트 손실: 0.089992	최선의 손실: 0.075378	정확도: 97.26%
2	검증 세트 손실: 0.065531	최선의 손실: 0.065531	정확도: 98.28%
3	검증 세트 손실: 0.046280	최선의 손실: 0.046280	정확도: 98.67%
4	검증 세트 손실: 0.041478	최선의 손실: 0.041478	정확도: 98.79%
5	검증 세트 손실: 0.055892	최선의 손실: 0.041478	정확도: 98.75%
6	검증 세트 손실: 0.056882	최선의 손실: 0.041478	정확도: 98.36%
7	검증 세트 손실: 0.045164	최선의 손실: 0.041478	정확도: 98.87%
8	검증 세트 손실: 0.058877	최선의 손실: 0.041478	정확도: 98.36%
9	검증 세트 손실: 0.042117	최선의 손실: 0.041478	정확도: 98.91%
10	검증 세트 손실: 0.053063	최선의 손실: 0.041478	정확도: 98.48%
11	검증 세트 손실: 0.051517	최선의 손실: 0.041478	정확도: 98.67%
12	검증 세트 손실: 0.042375	최선의 손실: 0.041478	정확도: 99.14%
13	검증 세트 손실: 0.043671	최선의 손실: 0.041478	정확도: 98.83%
14	검증 세트 손실: 0.048873	최선의 손실: 0.041478	정확도: 98.67%
15	검증 세트 손실: 0.057293	최선의 손실: 0.041478	정확도: 98.71%
16	검증 세트 손실: 0.052523	최선의 손실: 0.041478	정확도: 98.94%
17	검증 세트 손실: 0.061989	최선의 손실: 0.041478	정확도: 98.71%
18	검증 세트 손실: 0.042555	최선의 손실: 0.041478	정확도: 99.02%
19	검증 세트 손실: 0.054133	최선의 손실: 0.041478	정확도: 98.94%
20	검증 세트 손실: 0.053217	최선의 손실: 0.041478	정확도: 98.94%
21	검증 세트 손실: 0.063664	최선의 손실: 0.041478	정확도: 98.83%
22	검증 세트 손실: 0.055239	최선의 손실: 0.041478	정확도: 98.71%
23	검증 세트 손실: 0.067053	최선의 손실: 0.041478	정확도: 98.51%
24	검증 세트 손실: 0.044587	최선의 손실: 0.041478	정확도: 98.98%
25	검증 세트 손실: 0.052045	최선의 손실: 0.041478	정확도: 98.63%
조기 종료!
[CV]  n_neurons=100, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.95, activation=<function relu at 0x7f8ec4c8c510>, total=  17.8s
[CV] n_neurons=100, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.95, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 0.112716	최선의 손실: 0.112716	정확도: 97.03%
1	검증 세트 손실: 0.120816	최선의 손실: 0.112716	정확도: 96.99%
2	검증 세트 손실: 0.067650	최선의 손실: 0.067650	정확도: 98.05%
3	검증 세트 손실: 0.056951	최선의 손실: 0.056951	정확도: 98.36%
4	검증 세트 손실: 0.081096	최선의 손실: 0.056951	정확도: 97.81%
5	검증 세트 손실: 0.037421	최선의 손실: 0.037421	정확도: 98.87%
6	검증 세트 손실: 0.057104	최선의 손실: 0.037421	정확도: 98.63%
7	검증 세트 손실: 0.051478	최선의 손실: 0.037421	정확도: 98.55%
8	검증 세트 손실: 0.055217	최선의 손실: 0.037421	정확도: 98.59%
9	검증 세트 손실: 0.049300	최선의 손실: 0.037421	정확도: 98.63%
10	검증 세트 손실: 0.045287	최선의 손실: 0.037421	정확도: 98.79%
11	검증 세트 손실: 0.044758	최선의 손실: 0.037421	정확도: 98.75%
12	검증 세트 손실: 0.045712	최선의 손실: 0.037421	정확도: 98.63%
13	검증 세트 손실: 0.045743	최선의 손실: 0.037421	정확도: 98.87%
14	검증 세트 손실: 0.044625	최선의 손실: 0.037421	정확도: 98.75%
15	검증 세트 손실: 0.064408	최선의 손실: 0.037421	정확도: 98.55%
16	검증 세트 손실: 0.063047	최선의 손실: 0.037421	정확도: 98.71%
17	검증 세트 손실: 0.055007	최선의 손실: 0.037421	정확도: 98.51%
18	검증 세트 손실: 0.052013	최선의 손실: 0.037421	정확도: 98.75%
19	검증 세트 손실: 0.049196	최선의 손실: 0.037421	정확도: 99.10%
20	검증 세트 손실: 0.053355	최선의 손실: 0.037421	정확도: 98.59%
21	검증 세트 손실: 0.048524	최선의 손실: 0.037421	정확도: 99.06%
22	검증 세트 손실: 0.042714	최선의 손실: 0.037421	정확도: 98.83%
23	검증 세트 손실: 0.054473	최선의 손실: 0.037421	정확도: 98.71%
24	검증 세트 손실: 0.044261	최선의 손실: 0.037421	정확도: 98.87%
25	검증 세트 손실: 0.038757	최선의 손실: 0.037421	정확도: 99.22%
26	검증 세트 손실: 0.072378	최선의 손실: 0.037421	정확도: 98.40%
조기 종료!
[CV]  n_neurons=100, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.95, activation=<function relu at 0x7f8ec4c8c510>, total=  18.4s
[CV] n_neurons=100, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.95, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 0.127921	최선의 손실: 0.127921	정확도: 96.56%
1	검증 세트 손실: 0.073223	최선의 손실: 0.073223	정확도: 97.85%
2	검증 세트 손실: 0.065731	최선의 손실: 0.065731	정확도: 98.08%
3	검증 세트 손실: 0.048066	최선의 손실: 0.048066	정확도: 98.51%
4	검증 세트 손실: 0.061799	최선의 손실: 0.048066	정확도: 98.51%
5	검증 세트 손실: 0.053388	최선의 손실: 0.048066	정확도: 98.51%
6	검증 세트 손실: 0.060170	최선의 손실: 0.048066	정확도: 98.71%
7	검증 세트 손실: 0.055574	최선의 손실: 0.048066	정확도: 98.44%
8	검증 세트 손실: 0.037650	최선의 손실: 0.037650	정확도: 99.14%
9	검증 세트 손실: 0.060116	최선의 손실: 0.037650	정확도: 98.28%
10	검증 세트 손실: 0.064227	최선의 손실: 0.037650	정확도: 98.63%
11	검증 세트 손실: 0.041996	최선의 손실: 0.037650	정확도: 98.51%
12	검증 세트 손실: 0.032629	최선의 손실: 0.032629	정확도: 99.18%
13	검증 세트 손실: 0.057482	최선의 손실: 0.032629	정확도: 98.63%
14	검증 세트 손실: 0.072535	최선의 손실: 0.032629	정확도: 98.44%
15	검증 세트 손실: 0.076306	최선의 손실: 0.032629	정확도: 98.67%
16	검증 세트 손실: 0.039823	최선의 손실: 0.032629	정확도: 98.98%
17	검증 세트 손실: 0.101721	최선의 손실: 0.032629	정확도: 97.81%
18	검증 세트 손실: 0.041055	최선의 손실: 0.032629	정확도: 99.10%
19	검증 세트 손실: 0.046397	최선의 손실: 0.032629	정확도: 98.94%
20	검증 세트 손실: 0.040693	최선의 손실: 0.032629	정확도: 99.26%
21	검증 세트 손실: 0.049694	최선의 손실: 0.032629	정확도: 98.94%
22	검증 세트 손실: 0.042663	최선의 손실: 0.032629	정확도: 99.02%
23	검증 세트 손실: 0.043833	최선의 손실: 0.032629	정확도: 99.14%
24	검증 세트 손실: 0.043171	최선의 손실: 0.032629	정확도: 98.91%
25	검증 세트 손실: 0.044276	최선의 손실: 0.032629	정확도: 99.10%
26	검증 세트 손실: 0.026843	최선의 손실: 0.026843	정확도: 99.26%
27	검증 세트 손실: 0.053940	최선의 손실: 0.026843	정확도: 98.75%
28	검증 세트 손실: 0.056283	최선의 손실: 0.026843	정확도: 98.94%
29	검증 세트 손실: 0.041915	최선의 손실: 0.026843	정확도: 98.91%
30	검증 세트 손실: 0.050856	최선의 손실: 0.026843	정확도: 98.75%
31	검증 세트 손실: 0.053100	최선의 손실: 0.026843	정확도: 98.98%
32	검증 세트 손실: 0.051772	최선의 손실: 0.026843	정확도: 98.87%
33	검증 세트 손실: 0.049575	최선의 손실: 0.026843	정확도: 98.91%
34	검증 세트 손실: 0.047249	최선의 손실: 0.026843	정확도: 99.18%
35	검증 세트 손실: 0.043121	최선의 손실: 0.026843	정확도: 98.98%
36	검증 세트 손실: 0.049502	최선의 손실: 0.026843	정확도: 98.79%
37	검증 세트 손실: 0.062034	최선의 손실: 0.026843	정확도: 98.87%
38	검증 세트 손실: 0.055387	최선의 손실: 0.026843	정확도: 98.94%
39	검증 세트 손실: 0.048374	최선의 손실: 0.026843	정확도: 99.22%
40	검증 세트 손실: 0.045672	최선의 손실: 0.026843	정확도: 99.02%
41	검증 세트 손실: 0.048947	최선의 손실: 0.026843	정확도: 98.94%
42	검증 세트 손실: 0.067613	최선의 손실: 0.026843	정확도: 98.91%
43	검증 세트 손실: 0.048992	최선의 손실: 0.026843	정확도: 98.67%
44	검증 세트 손실: 0.046884	최선의 손실: 0.026843	정확도: 98.98%
45	검증 세트 손실: 0.039326	최선의 손실: 0.026843	정확도: 99.06%
46	검증 세트 손실: 0.051531	최선의 손실: 0.026843	정확도: 98.94%
47	검증 세트 손실: 0.047207	최선의 손실: 0.026843	정확도: 99.10%
조기 종료!
[CV]  n_neurons=100, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.95, activation=<function relu at 0x7f8ec4c8c510>, total=  31.4s
[CV] n_neurons=140, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.98, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 0.069303	최선의 손실: 0.069303	정확도: 98.01%
1	검증 세트 손실: 0.054452	최선의 손실: 0.054452	정확도: 98.44%
2	검증 세트 손실: 0.064878	최선의 손실: 0.054452	정확도: 98.32%
3	검증 세트 손실: 0.042581	최선의 손실: 0.042581	정확도: 98.63%
4	검증 세트 손실: 0.053605	최선의 손실: 0.042581	정확도: 98.67%
5	검증 세트 손실: 0.041769	최선의 손실: 0.041769	정확도: 98.71%
6	검증 세트 손실: 0.029797	최선의 손실: 0.029797	정확도: 98.98%
7	검증 세트 손실: 0.052659	최선의 손실: 0.029797	정확도: 98.75%
8	검증 세트 손실: 0.040425	최선의 손실: 0.029797	정확도: 98.75%
9	검증 세트 손실: 0.050066	최선의 손실: 0.029797	정확도: 98.63%
10	검증 세트 손실: 0.055382	최선의 손실: 0.029797	정확도: 98.55%
11	검증 세트 손실: 0.039248	최선의 손실: 0.029797	정확도: 99.02%
12	검증 세트 손실: 0.035602	최선의 손실: 0.029797	정확도: 98.83%
13	검증 세트 손실: 0.044072	최선의 손실: 0.029797	정확도: 98.91%
14	검증 세트 손실: 0.075779	최선의 손실: 0.029797	정확도: 98.59%
15	검증 세트 손실: 0.042247	최선의 손실: 0.029797	정확도: 99.06%
16	검증 세트 손실: 0.033734	최선의 손실: 0.029797	정확도: 99.10%
17	검증 세트 손실: 0.079593	최선의 손실: 0.029797	정확도: 98.51%
18	검증 세트 손실: 0.035451	최선의 손실: 0.029797	정확도: 99.06%
19	검증 세트 손실: 0.055338	최선의 손실: 0.029797	정확도: 98.63%
20	검증 세트 손실: 0.043289	최선의 손실: 0.029797	정확도: 98.91%
21	검증 세트 손실: 0.045950	최선의 손실: 0.029797	정확도: 99.02%
22	검증 세트 손실: 0.042686	최선의 손실: 0.029797	정확도: 98.91%
23	검증 세트 손실: 0.040408	최선의 손실: 0.029797	정확도: 98.94%
24	검증 세트 손실: 0.031679	최선의 손실: 0.029797	정확도: 99.06%
25	검증 세트 손실: 0.040836	최선의 손실: 0.029797	정확도: 99.30%
26	검증 세트 손실: 0.034036	최선의 손실: 0.029797	정확도: 98.98%
27	검증 세트 손실: 0.043587	최선의 손실: 0.029797	정확도: 98.94%
조기 종료!
[CV]  n_neurons=140, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.98, activation=<function relu at 0x7f8ec4c8c510>, total=  33.8s
[CV] n_neurons=140, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.98, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 0.098408	최선의 손실: 0.098408	정확도: 97.34%
1	검증 세트 손실: 0.063783	최선의 손실: 0.063783	정확도: 98.20%
2	검증 세트 손실: 0.054388	최선의 손실: 0.054388	정확도: 98.63%
3	검증 세트 손실: 0.052036	최선의 손실: 0.052036	정확도: 98.48%
4	검증 세트 손실: 0.050833	최선의 손실: 0.050833	정확도: 98.63%
5	검증 세트 손실: 0.037888	최선의 손실: 0.037888	정확도: 98.83%
6	검증 세트 손실: 0.049695	최선의 손실: 0.037888	정확도: 98.79%
7	검증 세트 손실: 0.040720	최선의 손실: 0.037888	정확도: 98.79%
8	검증 세트 손실: 0.049837	최선의 손실: 0.037888	정확도: 98.87%
9	검증 세트 손실: 0.037211	최선의 손실: 0.037211	정확도: 98.79%
10	검증 세트 손실: 0.050192	최선의 손실: 0.037211	정확도: 98.87%
11	검증 세트 손실: 0.042288	최선의 손실: 0.037211	정확도: 98.79%
12	검증 세트 손실: 0.046647	최선의 손실: 0.037211	정확도: 98.71%
13	검증 세트 손실: 0.049420	최선의 손실: 0.037211	정확도: 98.51%
14	검증 세트 손실: 0.051905	최선의 손실: 0.037211	정확도: 98.87%
15	검증 세트 손실: 0.047559	최선의 손실: 0.037211	정확도: 98.79%
16	검증 세트 손실: 0.053026	최선의 손실: 0.037211	정확도: 98.87%
17	검증 세트 손실: 0.051102	최선의 손실: 0.037211	정확도: 98.75%
18	검증 세트 손실: 0.063596	최선의 손실: 0.037211	정확도: 98.67%
19	검증 세트 손실: 0.039276	최선의 손실: 0.037211	정확도: 99.06%
20	검증 세트 손실: 0.043626	최선의 손실: 0.037211	정확도: 98.71%
21	검증 세트 손실: 0.036258	최선의 손실: 0.036258	정확도: 98.98%
22	검증 세트 손실: 0.042970	최선의 손실: 0.036258	정확도: 99.22%
23	검증 세트 손실: 0.035486	최선의 손실: 0.035486	정확도: 99.14%
24	검증 세트 손실: 0.048297	최선의 손실: 0.035486	정확도: 99.06%
25	검증 세트 손실: 0.042108	최선의 손실: 0.035486	정확도: 99.06%
26	검증 세트 손실: 0.042558	최선의 손실: 0.035486	정확도: 98.98%
27	검증 세트 손실: 0.037495	최선의 손실: 0.035486	정확도: 99.06%
28	검증 세트 손실: 0.047745	최선의 손실: 0.035486	정확도: 99.14%
29	검증 세트 손실: 0.036081	최선의 손실: 0.035486	정확도: 99.30%
30	검증 세트 손실: 0.048771	최선의 손실: 0.035486	정확도: 98.87%
31	검증 세트 손실: 0.039521	최선의 손실: 0.035486	정확도: 98.98%
32	검증 세트 손실: 0.037460	최선의 손실: 0.035486	정확도: 99.30%
33	검증 세트 손실: 0.039681	최선의 손실: 0.035486	정확도: 99.06%
34	검증 세트 손실: 0.049201	최선의 손실: 0.035486	정확도: 99.22%
35	검증 세트 손실: 0.043495	최선의 손실: 0.035486	정확도: 99.14%
36	검증 세트 손실: 0.043489	최선의 손실: 0.035486	정확도: 98.87%
37	검증 세트 손실: 0.033241	최선의 손실: 0.033241	정확도: 99.14%
38	검증 세트 손실: 0.034843	최선의 손실: 0.033241	정확도: 99.30%
39	검증 세트 손실: 0.037842	최선의 손실: 0.033241	정확도: 98.98%
40	검증 세트 손실: 0.034294	최선의 손실: 0.033241	정확도: 99.02%
41	검증 세트 손실: 0.035484	최선의 손실: 0.033241	정확도: 99.06%
42	검증 세트 손실: 0.033132	최선의 손실: 0.033132	정확도: 99.06%
43	검증 세트 손실: 0.052289	최선의 손실: 0.033132	정확도: 99.02%
44	검증 세트 손실: 0.045333	최선의 손실: 0.033132	정확도: 99.10%
45	검증 세트 손실: 0.059422	최선의 손실: 0.033132	정확도: 98.98%
46	검증 세트 손실: 0.045713	최선의 손실: 0.033132	정확도: 99.06%
47	검증 세트 손실: 0.044382	최선의 손실: 0.033132	정확도: 98.94%
48	검증 세트 손실: 0.053109	최선의 손실: 0.033132	정확도: 98.94%
49	검증 세트 손실: 0.044820	최선의 손실: 0.033132	정확도: 99.14%
50	검증 세트 손실: 0.049977	최선의 손실: 0.033132	정확도: 99.10%
51	검증 세트 손실: 0.044464	최선의 손실: 0.033132	정확도: 99.18%
52	검증 세트 손실: 0.041730	최선의 손실: 0.033132	정확도: 99.10%
53	검증 세트 손실: 0.043027	최선의 손실: 0.033132	정확도: 99.34%
54	검증 세트 손실: 0.041321	최선의 손실: 0.033132	정확도: 99.06%
55	검증 세트 손실: 0.045778	최선의 손실: 0.033132	정확도: 99.10%
56	검증 세트 손실: 0.041691	최선의 손실: 0.033132	정확도: 99.02%
57	검증 세트 손실: 0.041918	최선의 손실: 0.033132	정확도: 99.18%
58	검증 세트 손실: 0.047877	최선의 손실: 0.033132	정확도: 99.10%
59	검증 세트 손실: 0.054925	최선의 손실: 0.033132	정확도: 98.75%
60	검증 세트 손실: 0.037619	최선의 손실: 0.033132	정확도: 99.26%
61	검증 세트 손실: 0.038823	최선의 손실: 0.033132	정확도: 99.18%
62	검증 세트 손실: 0.046267	최선의 손실: 0.033132	정확도: 99.14%
63	검증 세트 손실: 0.043182	최선의 손실: 0.033132	정확도: 98.94%
조기 종료!
[CV]  n_neurons=140, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.98, activation=<function relu at 0x7f8ec4c8c510>, total= 1.3min
[CV] n_neurons=140, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.98, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 0.073811	최선의 손실: 0.073811	정확도: 97.77%
1	검증 세트 손실: 0.059193	최선의 손실: 0.059193	정확도: 98.20%
2	검증 세트 손실: 0.057933	최선의 손실: 0.057933	정확도: 98.16%
3	검증 세트 손실: 0.042513	최선의 손실: 0.042513	정확도: 98.63%
4	검증 세트 손실: 0.044867	최선의 손실: 0.042513	정확도: 98.59%
5	검증 세트 손실: 0.054057	최선의 손실: 0.042513	정확도: 98.16%
6	검증 세트 손실: 0.036930	최선의 손실: 0.036930	정확도: 98.63%
7	검증 세트 손실: 0.055154	최선의 손실: 0.036930	정확도: 98.44%
8	검증 세트 손실: 0.037905	최선의 손실: 0.036930	정확도: 98.98%
9	검증 세트 손실: 0.047182	최선의 손실: 0.036930	정확도: 98.83%
10	검증 세트 손실: 0.051197	최선의 손실: 0.036930	정확도: 98.83%
11	검증 세트 손실: 0.034206	최선의 손실: 0.034206	정확도: 98.87%
12	검증 세트 손실: 0.046435	최선의 손실: 0.034206	정확도: 98.87%
13	검증 세트 손실: 0.047091	최선의 손실: 0.034206	정확도: 98.91%
14	검증 세트 손실: 0.038395	최선의 손실: 0.034206	정확도: 98.91%
15	검증 세트 손실: 0.033222	최선의 손실: 0.033222	정확도: 99.26%
16	검증 세트 손실: 0.028644	최선의 손실: 0.028644	정확도: 99.26%
17	검증 세트 손실: 0.052111	최선의 손실: 0.028644	정확도: 98.94%
18	검증 세트 손실: 0.032095	최선의 손실: 0.028644	정확도: 99.02%
19	검증 세트 손실: 0.049699	최선의 손실: 0.028644	정확도: 98.94%
20	검증 세트 손실: 0.032730	최선의 손실: 0.028644	정확도: 99.02%
21	검증 세트 손실: 0.023623	최선의 손실: 0.023623	정확도: 99.26%
22	검증 세트 손실: 0.035763	최선의 손실: 0.023623	정확도: 99.26%
23	검증 세트 손실: 0.036417	최선의 손실: 0.023623	정확도: 99.10%
24	검증 세트 손실: 0.043136	최선의 손실: 0.023623	정확도: 99.14%
25	검증 세트 손실: 0.034090	최선의 손실: 0.023623	정확도: 99.41%
26	검증 세트 손실: 0.039376	최선의 손실: 0.023623	정확도: 99.10%
27	검증 세트 손실: 0.034746	최선의 손실: 0.023623	정확도: 99.18%
28	검증 세트 손실: 0.036059	최선의 손실: 0.023623	정확도: 99.14%
29	검증 세트 손실: 0.044889	최선의 손실: 0.023623	정확도: 98.83%
30	검증 세트 손실: 0.043170	최선의 손실: 0.023623	정확도: 98.98%
31	검증 세트 손실: 0.053884	최선의 손실: 0.023623	정확도: 98.94%
32	검증 세트 손실: 0.039076	최선의 손실: 0.023623	정확도: 99.10%
33	검증 세트 손실: 0.034966	최선의 손실: 0.023623	정확도: 99.18%
34	검증 세트 손실: 0.034829	최선의 손실: 0.023623	정확도: 99.18%
35	검증 세트 손실: 0.032237	최선의 손실: 0.023623	정확도: 99.30%
36	검증 세트 손실: 0.053396	최선의 손실: 0.023623	정확도: 98.83%
37	검증 세트 손실: 0.033320	최선의 손실: 0.023623	정확도: 99.26%
38	검증 세트 손실: 0.042915	최선의 손실: 0.023623	정확도: 99.10%
39	검증 세트 손실: 0.032879	최선의 손실: 0.023623	정확도: 99.34%
40	검증 세트 손실: 0.032572	최선의 손실: 0.023623	정확도: 99.22%
41	검증 세트 손실: 0.028249	최선의 손실: 0.023623	정확도: 99.30%
42	검증 세트 손실: 0.041018	최선의 손실: 0.023623	정확도: 99.26%
조기 종료!
[CV]  n_neurons=140, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.98, activation=<function relu at 0x7f8ec4c8c510>, total=  51.2s
[CV] n_neurons=30, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.093075	최선의 손실: 0.093075	정확도: 97.03%
1	검증 세트 손실: 0.075968	최선의 손실: 0.075968	정확도: 97.73%
2	검증 세트 손실: 0.068777	최선의 손실: 0.068777	정확도: 98.01%
3	검증 세트 손실: 0.054729	최선의 손실: 0.054729	정확도: 98.08%
4	검증 세트 손실: 0.058991	최선의 손실: 0.054729	정확도: 98.05%
5	검증 세트 손실: 0.075930	최선의 손실: 0.054729	정확도: 98.01%
6	검증 세트 손실: 0.055377	최선의 손실: 0.054729	정확도: 98.51%
7	검증 세트 손실: 0.060503	최선의 손실: 0.054729	정확도: 98.32%
8	검증 세트 손실: 0.055821	최선의 손실: 0.054729	정확도: 98.28%
9	검증 세트 손실: 0.065271	최선의 손실: 0.054729	정확도: 98.55%
10	검증 세트 손실: 0.070701	최선의 손실: 0.054729	정확도: 98.36%
11	검증 세트 손실: 0.072530	최선의 손실: 0.054729	정확도: 98.36%
12	검증 세트 손실: 0.060303	최선의 손실: 0.054729	정확도: 98.44%
13	검증 세트 손실: 0.086366	최선의 손실: 0.054729	정확도: 98.08%
14	검증 세트 손실: 0.076648	최선의 손실: 0.054729	정확도: 98.32%
15	검증 세트 손실: 0.101818	최선의 손실: 0.054729	정확도: 98.01%
16	검증 세트 손실: 0.065193	최선의 손실: 0.054729	정확도: 98.59%
17	검증 세트 손실: 0.094030	최선의 손실: 0.054729	정확도: 97.85%
18	검증 세트 손실: 0.086526	최선의 손실: 0.054729	정확도: 98.16%
19	검증 세트 손실: 0.073235	최선의 손실: 0.054729	정확도: 98.59%
20	검증 세트 손실: 0.078611	최선의 손실: 0.054729	정확도: 98.48%
21	검증 세트 손실: 0.080859	최선의 손실: 0.054729	정확도: 98.16%
22	검증 세트 손실: 0.082500	최선의 손실: 0.054729	정확도: 98.28%
23	검증 세트 손실: 0.072484	최선의 손실: 0.054729	정확도: 98.48%
24	검증 세트 손실: 0.064439	최선의 손실: 0.054729	정확도: 98.79%
조기 종료!
[CV]  n_neurons=30, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28>, total=   6.4s
[CV] n_neurons=30, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.093968	최선의 손실: 0.093968	정확도: 97.22%
1	검증 세트 손실: 0.075680	최선의 손실: 0.075680	정확도: 97.34%
2	검증 세트 손실: 0.064978	최선의 손실: 0.064978	정확도: 97.77%
3	검증 세트 손실: 0.065327	최선의 손실: 0.064978	정확도: 98.20%
4	검증 세트 손실: 0.068484	최선의 손실: 0.064978	정확도: 97.89%
5	검증 세트 손실: 0.058664	최선의 손실: 0.058664	정확도: 98.08%
6	검증 세트 손실: 0.061410	최선의 손실: 0.058664	정확도: 98.12%
7	검증 세트 손실: 0.063955	최선의 손실: 0.058664	정확도: 98.12%
8	검증 세트 손실: 0.050687	최선의 손실: 0.050687	정확도: 98.67%
9	검증 세트 손실: 0.067192	최선의 손실: 0.050687	정확도: 98.20%
10	검증 세트 손실: 0.057348	최선의 손실: 0.050687	정확도: 98.28%
11	검증 세트 손실: 0.071747	최선의 손실: 0.050687	정확도: 98.32%
12	검증 세트 손실: 0.056589	최선의 손실: 0.050687	정확도: 98.59%
13	검증 세트 손실: 0.066980	최선의 손실: 0.050687	정확도: 98.48%
14	검증 세트 손실: 0.063250	최선의 손실: 0.050687	정확도: 98.59%
15	검증 세트 손실: 0.052233	최선의 손실: 0.050687	정확도: 98.83%
16	검증 세트 손실: 0.055012	최선의 손실: 0.050687	정확도: 98.71%
17	검증 세트 손실: 0.067112	최선의 손실: 0.050687	정확도: 98.67%
18	검증 세트 손실: 0.077737	최선의 손실: 0.050687	정확도: 98.08%
19	검증 세트 손실: 0.072173	최선의 손실: 0.050687	정확도: 98.51%
20	검증 세트 손실: 0.053839	최선의 손실: 0.050687	정확도: 98.87%
21	검증 세트 손실: 0.065846	최선의 손실: 0.050687	정확도: 98.59%
22	검증 세트 손실: 0.068843	최선의 손실: 0.050687	정확도: 98.75%
23	검증 세트 손실: 0.060869	최선의 손실: 0.050687	정확도: 98.63%
24	검증 세트 손실: 0.059193	최선의 손실: 0.050687	정확도: 98.59%
25	검증 세트 손실: 0.074569	최선의 손실: 0.050687	정확도: 98.67%
26	검증 세트 손실: 0.063692	최선의 손실: 0.050687	정확도: 98.55%
27	검증 세트 손실: 0.064207	최선의 손실: 0.050687	정확도: 98.83%
28	검증 세트 손실: 0.056920	최선의 손실: 0.050687	정확도: 98.87%
29	검증 세트 손실: 0.058223	최선의 손실: 0.050687	정확도: 98.71%
조기 종료!
[CV]  n_neurons=30, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28>, total=   7.3s
[CV] n_neurons=30, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.101058	최선의 손실: 0.101058	정확도: 96.64%
1	검증 세트 손실: 0.073386	최선의 손실: 0.073386	정확도: 97.81%
2	검증 세트 손실: 0.063363	최선의 손실: 0.063363	정확도: 98.01%
3	검증 세트 손실: 0.058877	최선의 손실: 0.058877	정확도: 98.12%
4	검증 세트 손실: 0.053828	최선의 손실: 0.053828	정확도: 98.40%
5	검증 세트 손실: 0.076710	최선의 손실: 0.053828	정확도: 97.93%
6	검증 세트 손실: 0.054175	최선의 손실: 0.053828	정확도: 98.40%
7	검증 세트 손실: 0.054884	최선의 손실: 0.053828	정확도: 98.20%
8	검증 세트 손실: 0.052852	최선의 손실: 0.052852	정확도: 98.55%
9	검증 세트 손실: 0.049851	최선의 손실: 0.049851	정확도: 98.75%
10	검증 세트 손실: 0.059400	최선의 손실: 0.049851	정확도: 98.51%
11	검증 세트 손실: 0.076320	최선의 손실: 0.049851	정확도: 98.44%
12	검증 세트 손실: 0.047231	최선의 손실: 0.047231	정확도: 98.67%
13	검증 세트 손실: 0.059607	최선의 손실: 0.047231	정확도: 98.28%
14	검증 세트 손실: 0.053742	최선의 손실: 0.047231	정확도: 98.48%
15	검증 세트 손실: 0.059160	최선의 손실: 0.047231	정확도: 98.59%
16	검증 세트 손실: 0.042582	최선의 손실: 0.042582	정확도: 98.83%
17	검증 세트 손실: 0.061908	최선의 손실: 0.042582	정확도: 98.75%
18	검증 세트 손실: 0.059357	최선의 손실: 0.042582	정확도: 98.63%
19	검증 세트 손실: 0.060690	최선의 손실: 0.042582	정확도: 98.44%
20	검증 세트 손실: 0.042562	최선의 손실: 0.042562	정확도: 98.87%
21	검증 세트 손실: 0.048000	최선의 손실: 0.042562	정확도: 98.87%
22	검증 세트 손실: 0.063437	최선의 손실: 0.042562	정확도: 98.40%
23	검증 세트 손실: 0.068323	최선의 손실: 0.042562	정확도: 98.67%
24	검증 세트 손실: 0.061304	최선의 손실: 0.042562	정확도: 98.71%
25	검증 세트 손실: 0.073191	최선의 손실: 0.042562	정확도: 98.83%
26	검증 세트 손실: 0.055661	최선의 손실: 0.042562	정확도: 98.63%
27	검증 세트 손실: 0.063273	최선의 손실: 0.042562	정확도: 98.75%
28	검증 세트 손실: 0.059132	최선의 손실: 0.042562	정확도: 98.59%
29	검증 세트 손실: 0.068064	최선의 손실: 0.042562	정확도: 98.75%
30	검증 세트 손실: 0.068732	최선의 손실: 0.042562	정확도: 98.55%
31	검증 세트 손실: 0.057486	최선의 손실: 0.042562	정확도: 98.75%
32	검증 세트 손실: 0.044462	최선의 손실: 0.042562	정확도: 99.10%
33	검증 세트 손실: 0.043247	최선의 손실: 0.042562	정확도: 99.02%
34	검증 세트 손실: 0.040971	최선의 손실: 0.040971	정확도: 99.10%
35	검증 세트 손실: 0.051486	최선의 손실: 0.040971	정확도: 98.83%
36	검증 세트 손실: 0.043223	최선의 손실: 0.040971	정확도: 98.98%
37	검증 세트 손실: 0.068919	최선의 손실: 0.040971	정확도: 98.87%
38	검증 세트 손실: 0.059370	최선의 손실: 0.040971	정확도: 98.91%
39	검증 세트 손실: 0.070623	최선의 손실: 0.040971	정확도: 98.79%
40	검증 세트 손실: 0.056595	최선의 손실: 0.040971	정확도: 98.98%
41	검증 세트 손실: 0.075980	최선의 손실: 0.040971	정확도: 98.67%
42	검증 세트 손실: 0.047117	최선의 손실: 0.040971	정확도: 98.94%
43	검증 세트 손실: 0.084176	최선의 손실: 0.040971	정확도: 98.51%
44	검증 세트 손실: 0.058529	최선의 손실: 0.040971	정확도: 98.87%
45	검증 세트 손실: 0.053853	최선의 손실: 0.040971	정확도: 98.83%
46	검증 세트 손실: 0.053650	최선의 손실: 0.040971	정확도: 98.91%
47	검증 세트 손실: 0.048880	최선의 손실: 0.040971	정확도: 98.98%
48	검증 세트 손실: 0.067848	최선의 손실: 0.040971	정확도: 98.91%
49	검증 세트 손실: 0.066453	최선의 손실: 0.040971	정확도: 98.91%
50	검증 세트 손실: 0.052292	최선의 손실: 0.040971	정확도: 98.94%
51	검증 세트 손실: 0.058421	최선의 손실: 0.040971	정확도: 99.02%
52	검증 세트 손실: 0.054975	최선의 손실: 0.040971	정확도: 98.94%
53	검증 세트 손실: 0.065825	최선의 손실: 0.040971	정확도: 98.67%
54	검증 세트 손실: 0.064168	최선의 손실: 0.040971	정확도: 98.94%
55	검증 세트 손실: 0.060557	최선의 손실: 0.040971	정확도: 98.87%
조기 종료!
[CV]  n_neurons=30, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28>, total=  12.5s
[CV] n_neurons=140, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.95, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.104289	최선의 손실: 0.104289	정확도: 96.76%
1	검증 세트 손실: 0.088055	최선의 손실: 0.088055	정확도: 97.62%
2	검증 세트 손실: 0.069319	최선의 손실: 0.069319	정확도: 97.85%
3	검증 세트 손실: 0.052672	최선의 손실: 0.052672	정확도: 98.36%
4	검증 세트 손실: 0.072860	최선의 손실: 0.052672	정확도: 98.16%
5	검증 세트 손실: 0.059541	최선의 손실: 0.052672	정확도: 98.44%
6	검증 세트 손실: 0.046383	최선의 손실: 0.046383	정확도: 98.59%
7	검증 세트 손실: 0.041506	최선의 손실: 0.041506	정확도: 98.98%
8	검증 세트 손실: 0.047763	최선의 손실: 0.041506	정확도: 98.83%
9	검증 세트 손실: 0.051859	최선의 손실: 0.041506	정확도: 98.79%
10	검증 세트 손실: 0.056382	최선의 손실: 0.041506	정확도: 98.36%
11	검증 세트 손실: 0.040450	최선의 손실: 0.040450	정확도: 98.94%
12	검증 세트 손실: 0.031557	최선의 손실: 0.031557	정확도: 99.10%
13	검증 세트 손실: 0.046088	최선의 손실: 0.031557	정확도: 98.75%
14	검증 세트 손실: 0.037378	최선의 손실: 0.031557	정확도: 99.14%
15	검증 세트 손실: 0.086020	최선의 손실: 0.031557	정확도: 97.81%
16	검증 세트 손실: 0.050288	최선의 손실: 0.031557	정확도: 98.91%
17	검증 세트 손실: 0.063642	최선의 손실: 0.031557	정확도: 98.63%
18	검증 세트 손실: 0.039879	최선의 손실: 0.031557	정확도: 99.10%
19	검증 세트 손실: 0.051761	최선의 손실: 0.031557	정확도: 98.94%
20	검증 세트 손실: 0.063951	최선의 손실: 0.031557	정확도: 98.59%
21	검증 세트 손실: 0.060095	최선의 손실: 0.031557	정확도: 98.87%
22	검증 세트 손실: 0.047208	최선의 손실: 0.031557	정확도: 99.02%
23	검증 세트 손실: 0.060878	최선의 손실: 0.031557	정확도: 98.83%
24	검증 세트 손실: 0.047232	최선의 손실: 0.031557	정확도: 98.94%
25	검증 세트 손실: 0.043657	최선의 손실: 0.031557	정확도: 99.10%
26	검증 세트 손실: 0.032714	최선의 손실: 0.031557	정확도: 99.18%
27	검증 세트 손실: 0.041949	최선의 손실: 0.031557	정확도: 99.02%
28	검증 세트 손실: 0.050942	최선의 손실: 0.031557	정확도: 98.94%
29	검증 세트 손실: 0.038022	최선의 손실: 0.031557	정확도: 99.10%
30	검증 세트 손실: 0.040260	최선의 손실: 0.031557	정확도: 99.18%
31	검증 세트 손실: 0.050866	최선의 손실: 0.031557	정확도: 99.06%
32	검증 세트 손실: 0.038032	최선의 손실: 0.031557	정확도: 99.10%
33	검증 세트 손실: 0.053216	최선의 손실: 0.031557	정확도: 99.14%
조기 종료!
[CV]  n_neurons=140, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.95, activation=<function elu at 0x7f8ec4ceef28>, total=  29.9s
[CV] n_neurons=140, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.95, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.118798	최선의 손실: 0.118798	정확도: 96.40%
1	검증 세트 손실: 0.059795	최선의 손실: 0.059795	정확도: 97.93%
2	검증 세트 손실: 0.050503	최선의 손실: 0.050503	정확도: 98.44%
3	검증 세트 손실: 0.083408	최선의 손실: 0.050503	정확도: 97.69%
4	검증 세트 손실: 0.061110	최선의 손실: 0.050503	정확도: 98.05%
5	검증 세트 손실: 0.039210	최선의 손실: 0.039210	정확도: 98.63%
6	검증 세트 손실: 0.061753	최선의 손실: 0.039210	정확도: 98.36%
7	검증 세트 손실: 0.071503	최선의 손실: 0.039210	정확도: 98.16%
8	검증 세트 손실: 0.070803	최선의 손실: 0.039210	정확도: 98.36%
9	검증 세트 손실: 0.053840	최선의 손실: 0.039210	정확도: 98.51%
10	검증 세트 손실: 0.047859	최선의 손실: 0.039210	정확도: 98.75%
11	검증 세트 손실: 0.050843	최선의 손실: 0.039210	정확도: 98.79%
12	검증 세트 손실: 0.045244	최선의 손실: 0.039210	정확도: 98.63%
13	검증 세트 손실: 0.046966	최선의 손실: 0.039210	정확도: 98.83%
14	검증 세트 손실: 0.051040	최선의 손실: 0.039210	정확도: 98.83%
15	검증 세트 손실: 0.046968	최선의 손실: 0.039210	정확도: 98.67%
16	검증 세트 손실: 0.042550	최선의 손실: 0.039210	정확도: 99.06%
17	검증 세트 손실: 0.041343	최선의 손실: 0.039210	정확도: 98.75%
18	검증 세트 손실: 0.086319	최선의 손실: 0.039210	정확도: 98.12%
19	검증 세트 손실: 0.054425	최선의 손실: 0.039210	정확도: 98.75%
20	검증 세트 손실: 0.046662	최선의 손실: 0.039210	정확도: 98.94%
21	검증 세트 손실: 0.062395	최선의 손실: 0.039210	정확도: 98.83%
22	검증 세트 손실: 0.049680	최선의 손실: 0.039210	정확도: 98.63%
23	검증 세트 손실: 0.083545	최선의 손실: 0.039210	정확도: 98.55%
24	검증 세트 손실: 0.044586	최선의 손실: 0.039210	정확도: 99.06%
25	검증 세트 손실: 0.031454	최선의 손실: 0.031454	정확도: 99.26%
26	검증 세트 손실: 0.053430	최선의 손실: 0.031454	정확도: 98.91%
27	검증 세트 손실: 0.068733	최선의 손실: 0.031454	정확도: 98.71%
28	검증 세트 손실: 0.072873	최선의 손실: 0.031454	정확도: 98.59%
29	검증 세트 손실: 0.067959	최선의 손실: 0.031454	정확도: 98.71%
30	검증 세트 손실: 0.062991	최선의 손실: 0.031454	정확도: 98.36%
31	검증 세트 손실: 0.051514	최선의 손실: 0.031454	정확도: 98.87%
32	검증 세트 손실: 0.045994	최선의 손실: 0.031454	정확도: 98.87%
33	검증 세트 손실: 0.069914	최선의 손실: 0.031454	정확도: 98.83%
34	검증 세트 손실: 0.058887	최선의 손실: 0.031454	정확도: 98.98%
35	검증 세트 손실: 0.062212	최선의 손실: 0.031454	정확도: 98.98%
36	검증 세트 손실: 0.074445	최선의 손실: 0.031454	정확도: 98.36%
37	검증 세트 손실: 0.076238	최선의 손실: 0.031454	정확도: 98.71%
38	검증 세트 손실: 0.062779	최선의 손실: 0.031454	정확도: 98.91%
39	검증 세트 손실: 0.065585	최선의 손실: 0.031454	정확도: 98.83%
40	검증 세트 손실: 0.060330	최선의 손실: 0.031454	정확도: 98.87%
41	검증 세트 손실: 0.054455	최선의 손실: 0.031454	정확도: 98.87%
42	검증 세트 손실: 0.063136	최선의 손실: 0.031454	정확도: 98.91%
43	검증 세트 손실: 0.067011	최선의 손실: 0.031454	정확도: 98.91%
44	검증 세트 손실: 0.073767	최선의 손실: 0.031454	정확도: 98.83%
45	검증 세트 손실: 0.060839	최선의 손실: 0.031454	정확도: 99.02%
46	검증 세트 손실: 0.062900	최선의 손실: 0.031454	정확도: 98.98%
조기 종료!
[CV]  n_neurons=140, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.95, activation=<function elu at 0x7f8ec4ceef28>, total=  40.7s
[CV] n_neurons=140, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.95, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.089269	최선의 손실: 0.089269	정확도: 97.34%
1	검증 세트 손실: 0.064015	최선의 손실: 0.064015	정확도: 97.97%
2	검증 세트 손실: 0.065332	최선의 손실: 0.064015	정확도: 97.81%
3	검증 세트 손실: 0.051505	최선의 손실: 0.051505	정확도: 98.16%
4	검증 세트 손실: 0.064441	최선의 손실: 0.051505	정확도: 98.12%
5	검증 세트 손실: 0.044897	최선의 손실: 0.044897	정확도: 98.67%
6	검증 세트 손실: 0.041494	최선의 손실: 0.041494	정확도: 98.71%
7	검증 세트 손실: 0.072499	최선의 손실: 0.041494	정확도: 98.36%
8	검증 세트 손실: 0.036179	최선의 손실: 0.036179	정확도: 99.02%
9	검증 세트 손실: 0.038194	최선의 손실: 0.036179	정확도: 98.98%
10	검증 세트 손실: 0.054203	최선의 손실: 0.036179	정확도: 98.75%
11	검증 세트 손실: 0.048510	최선의 손실: 0.036179	정확도: 98.44%
12	검증 세트 손실: 0.032630	최선의 손실: 0.032630	정확도: 99.22%
13	검증 세트 손실: 0.042218	최선의 손실: 0.032630	정확도: 98.98%
14	검증 세트 손실: 0.043471	최선의 손실: 0.032630	정확도: 99.02%
15	검증 세트 손실: 0.051250	최선의 손실: 0.032630	정확도: 98.79%
16	검증 세트 손실: 0.059361	최선의 손실: 0.032630	정확도: 98.67%
17	검증 세트 손실: 0.045646	최선의 손실: 0.032630	정확도: 98.91%
18	검증 세트 손실: 0.070216	최선의 손실: 0.032630	정확도: 98.67%
19	검증 세트 손실: 0.050028	최선의 손실: 0.032630	정확도: 98.91%
20	검증 세트 손실: 0.042933	최선의 손실: 0.032630	정확도: 99.06%
21	검증 세트 손실: 0.040881	최선의 손실: 0.032630	정확도: 99.10%
22	검증 세트 손실: 0.046555	최선의 손실: 0.032630	정확도: 98.91%
23	검증 세트 손실: 0.042637	최선의 손실: 0.032630	정확도: 98.91%
24	검증 세트 손실: 0.051474	최선의 손실: 0.032630	정확도: 98.98%
25	검증 세트 손실: 0.047607	최선의 손실: 0.032630	정확도: 99.02%
26	검증 세트 손실: 0.042257	최선의 손실: 0.032630	정확도: 99.10%
27	검증 세트 손실: 0.040131	최선의 손실: 0.032630	정확도: 98.98%
28	검증 세트 손실: 0.058729	최선의 손실: 0.032630	정확도: 98.91%
29	검증 세트 손실: 0.069780	최선의 손실: 0.032630	정확도: 98.44%
30	검증 세트 손실: 0.044402	최선의 손실: 0.032630	정확도: 99.22%
31	검증 세트 손실: 0.037494	최선의 손실: 0.032630	정확도: 99.18%
32	검증 세트 손실: 0.033725	최선의 손실: 0.032630	정확도: 99.30%
33	검증 세트 손실: 0.036022	최선의 손실: 0.032630	정확도: 99.34%
조기 종료!
[CV]  n_neurons=140, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.95, activation=<function elu at 0x7f8ec4ceef28>, total=  29.9s
[CV] n_neurons=120, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.99, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.208730	최선의 손실: 0.208730	정확도: 95.00%
1	검증 세트 손실: 0.080768	최선의 손실: 0.080768	정확도: 97.77%
2	검증 세트 손실: 0.087810	최선의 손실: 0.080768	정확도: 98.28%
3	검증 세트 손실: 0.078392	최선의 손실: 0.078392	정확도: 98.16%
4	검증 세트 손실: 0.067945	최선의 손실: 0.067945	정확도: 98.12%
5	검증 세트 손실: 0.171794	최선의 손실: 0.067945	정확도: 97.50%
6	검증 세트 손실: 0.081828	최선의 손실: 0.067945	정확도: 98.24%
7	검증 세트 손실: 0.105131	최선의 손실: 0.067945	정확도: 98.40%
8	검증 세트 손실: 0.118289	최선의 손실: 0.067945	정확도: 97.89%
9	검증 세트 손실: 2.235662	최선의 손실: 0.067945	정확도: 96.87%
10	검증 세트 손실: 0.095571	최선의 손실: 0.067945	정확도: 98.48%
11	검증 세트 손실: 0.078645	최선의 손실: 0.067945	정확도: 98.59%
12	검증 세트 손실: 0.049215	최선의 손실: 0.049215	정확도: 98.91%
13	검증 세트 손실: 0.068348	최선의 손실: 0.049215	정확도: 99.02%
14	검증 세트 손실: 0.063386	최선의 손실: 0.049215	정확도: 98.63%
15	검증 세트 손실: 0.095897	최선의 손실: 0.049215	정확도: 98.12%
16	검증 세트 손실: 0.152199	최선의 손실: 0.049215	정확도: 97.73%
17	검증 세트 손실: 4.541672	최선의 손실: 0.049215	정확도: 93.86%
18	검증 세트 손실: 0.438085	최선의 손실: 0.049215	정확도: 96.05%
19	검증 세트 손실: 0.218270	최선의 손실: 0.049215	정확도: 98.79%
20	검증 세트 손실: 0.199715	최선의 손실: 0.049215	정확도: 98.98%
21	검증 세트 손실: 0.125885	최선의 손실: 0.049215	정확도: 98.91%
22	검증 세트 손실: 0.167422	최선의 손실: 0.049215	정확도: 98.83%
23	검증 세트 손실: 0.246789	최선의 손실: 0.049215	정확도: 98.51%
24	검증 세트 손실: 0.304223	최선의 손실: 0.049215	정확도: 98.63%
25	검증 세트 손실: 0.180662	최선의 손실: 0.049215	정확도: 99.10%
26	검증 세트 손실: 0.260002	최선의 손실: 0.049215	정확도: 98.36%
27	검증 세트 손실: 0.163190	최선의 손실: 0.049215	정확도: 98.87%
28	검증 세트 손실: 0.138922	최선의 손실: 0.049215	정확도: 98.83%
29	검증 세트 손실: 1.344907	최선의 손실: 0.049215	정확도: 98.16%
30	검증 세트 손실: 0.266195	최선의 손실: 0.049215	정확도: 98.94%
31	검증 세트 손실: 0.242166	최선의 손실: 0.049215	정확도: 98.91%
32	검증 세트 손실: 0.236292	최선의 손실: 0.049215	정확도: 98.75%
33	검증 세트 손실: 0.263645	최선의 손실: 0.049215	정확도: 98.71%
조기 종료!
[CV]  n_neurons=120, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.99, activation=<function elu at 0x7f8ec4ceef28>, total=  37.4s
[CV] n_neurons=120, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.99, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.195867	최선의 손실: 0.195867	정확도: 95.23%
1	검증 세트 손실: 0.099212	최선의 손실: 0.099212	정확도: 97.50%
2	검증 세트 손실: 0.951098	최선의 손실: 0.099212	정확도: 88.43%
3	검증 세트 손실: 0.065655	최선의 손실: 0.065655	정확도: 98.36%
4	검증 세트 손실: 0.117978	최선의 손실: 0.065655	정확도: 97.58%
5	검증 세트 손실: 0.090425	최선의 손실: 0.065655	정확도: 98.05%
6	검증 세트 손실: 0.112880	최선의 손실: 0.065655	정확도: 98.08%
7	검증 세트 손실: 0.063459	최선의 손실: 0.063459	정확도: 98.59%
8	검증 세트 손실: 0.104766	최선의 손실: 0.063459	정확도: 98.08%
9	검증 세트 손실: 0.204395	최선의 손실: 0.063459	정확도: 97.34%
10	검증 세트 손실: 0.060008	최선의 손실: 0.060008	정확도: 98.63%
11	검증 세트 손실: 0.040942	최선의 손실: 0.040942	정확도: 99.02%
12	검증 세트 손실: 5.938588	최선의 손실: 0.040942	정확도: 95.78%
13	검증 세트 손실: 0.212986	최선의 손실: 0.040942	정확도: 98.24%
14	검증 세트 손실: 0.157899	최선의 손실: 0.040942	정확도: 98.40%
15	검증 세트 손실: 0.090690	최선의 손실: 0.040942	정확도: 98.32%
16	검증 세트 손실: 0.134854	최선의 손실: 0.040942	정확도: 97.69%
17	검증 세트 손실: 0.147862	최선의 손실: 0.040942	정확도: 98.59%
18	검증 세트 손실: 0.064164	최선의 손실: 0.040942	정확도: 99.26%
19	검증 세트 손실: 0.208687	최선의 손실: 0.040942	정확도: 98.63%
20	검증 세트 손실: 0.204379	최선의 손실: 0.040942	정확도: 98.20%
21	검증 세트 손실: 0.068695	최선의 손실: 0.040942	정확도: 99.14%
22	검증 세트 손실: 0.155569	최선의 손실: 0.040942	정확도: 99.10%
23	검증 세트 손실: 0.173929	최선의 손실: 0.040942	정확도: 98.51%
24	검증 세트 손실: 0.147234	최선의 손실: 0.040942	정확도: 98.79%
25	검증 세트 손실: 0.168685	최선의 손실: 0.040942	정확도: 98.79%
26	검증 세트 손실: 0.301522	최선의 손실: 0.040942	정확도: 98.83%
27	검증 세트 손실: 0.633516	최선의 손실: 0.040942	정확도: 97.46%
28	검증 세트 손실: 0.139728	최선의 손실: 0.040942	정확도: 98.94%
29	검증 세트 손실: 0.179773	최선의 손실: 0.040942	정확도: 98.94%
30	검증 세트 손실: 0.115226	최선의 손실: 0.040942	정확도: 99.02%
31	검증 세트 손실: 0.081625	최선의 손실: 0.040942	정확도: 98.98%
32	검증 세트 손실: 0.119648	최선의 손실: 0.040942	정확도: 98.87%
조기 종료!
[CV]  n_neurons=120, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.99, activation=<function elu at 0x7f8ec4ceef28>, total=  36.5s
[CV] n_neurons=120, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.99, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.172427	최선의 손실: 0.172427	정확도: 96.95%
1	검증 세트 손실: 0.123897	최선의 손실: 0.123897	정확도: 96.83%
2	검증 세트 손실: 0.086588	최선의 손실: 0.086588	정확도: 97.85%
3	검증 세트 손실: 0.132676	최선의 손실: 0.086588	정확도: 97.22%
4	검증 세트 손실: 0.090178	최선의 손실: 0.086588	정확도: 98.24%
5	검증 세트 손실: 0.119296	최선의 손실: 0.086588	정확도: 97.65%
6	검증 세트 손실: 0.066637	최선의 손실: 0.066637	정확도: 98.63%
7	검증 세트 손실: 0.115669	최선의 손실: 0.066637	정확도: 98.36%
8	검증 세트 손실: 0.065329	최선의 손실: 0.065329	정확도: 98.48%
9	검증 세트 손실: 0.139165	최선의 손실: 0.065329	정확도: 97.65%
10	검증 세트 손실: 0.959097	최선의 손실: 0.065329	정확도: 97.03%
11	검증 세트 손실: 0.107995	최선의 손실: 0.065329	정확도: 98.67%
12	검증 세트 손실: 0.095307	최선의 손실: 0.065329	정확도: 98.48%
13	검증 세트 손실: 0.055173	최선의 손실: 0.055173	정확도: 98.98%
14	검증 세트 손실: 0.067573	최선의 손실: 0.055173	정확도: 98.83%
15	검증 세트 손실: 0.073618	최선의 손실: 0.055173	정확도: 98.91%
16	검증 세트 손실: 0.072231	최선의 손실: 0.055173	정확도: 98.71%
17	검증 세트 손실: 0.127348	최선의 손실: 0.055173	정확도: 98.16%
18	검증 세트 손실: 1.107549	최선의 손실: 0.055173	정확도: 97.22%
19	검증 세트 손실: 0.259501	최선의 손실: 0.055173	정확도: 98.75%
20	검증 세트 손실: 0.083669	최선의 손실: 0.055173	정확도: 99.02%
21	검증 세트 손실: 0.075474	최선의 손실: 0.055173	정확도: 98.67%
22	검증 세트 손실: 0.095771	최선의 손실: 0.055173	정확도: 99.02%
23	검증 세트 손실: 0.093700	최선의 손실: 0.055173	정확도: 99.14%
24	검증 세트 손실: 0.096452	최선의 손실: 0.055173	정확도: 98.98%
25	검증 세트 손실: 0.298177	최선의 손실: 0.055173	정확도: 98.71%
26	검증 세트 손실: 0.374284	최선의 손실: 0.055173	정확도: 98.59%
27	검증 세트 손실: 0.144318	최선의 손실: 0.055173	정확도: 99.06%
28	검증 세트 손실: 0.168230	최선의 손실: 0.055173	정확도: 98.87%
29	검증 세트 손실: 0.133171	최선의 손실: 0.055173	정확도: 99.14%
30	검증 세트 손실: 0.245915	최선의 손실: 0.055173	정확도: 98.83%
31	검증 세트 손실: 0.217255	최선의 손실: 0.055173	정확도: 98.75%
32	검증 세트 손실: 0.223001	최선의 손실: 0.055173	정확도: 98.94%
33	검증 세트 손실: 0.889751	최선의 손실: 0.055173	정확도: 98.16%
34	검증 세트 손실: 0.346960	최선의 손실: 0.055173	정확도: 98.67%
조기 종료!
[CV]  n_neurons=120, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.99, activation=<function elu at 0x7f8ec4ceef28>, total=  38.7s
[CV] n_neurons=10, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.99, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.261385	최선의 손실: 0.261385	정확도: 92.65%
1	검증 세트 손실: 0.162157	최선의 손실: 0.162157	정확도: 95.23%
2	검증 세트 손실: 0.143203	최선의 손실: 0.143203	정확도: 95.47%
3	검증 세트 손실: 0.147119	최선의 손실: 0.143203	정확도: 95.27%
4	검증 세트 손실: 0.279868	최선의 손실: 0.143203	정확도: 89.48%
5	검증 세트 손실: 0.169629	최선의 손실: 0.143203	정확도: 94.96%
6	검증 세트 손실: 0.086600	최선의 손실: 0.086600	정확도: 97.46%
7	검증 세트 손실: 0.130973	최선의 손실: 0.086600	정확도: 96.44%
8	검증 세트 손실: 0.199008	최선의 손실: 0.086600	정확도: 95.00%
9	검증 세트 손실: 0.078077	최선의 손실: 0.078077	정확도: 98.05%
10	검증 세트 손실: 0.122950	최선의 손실: 0.078077	정확도: 96.68%
11	검증 세트 손실: 0.094952	최선의 손실: 0.078077	정확도: 97.65%
12	검증 세트 손실: 0.107395	최선의 손실: 0.078077	정확도: 97.38%
13	검증 세트 손실: 0.126409	최선의 손실: 0.078077	정확도: 96.79%
14	검증 세트 손실: 0.093040	최선의 손실: 0.078077	정확도: 97.93%
15	검증 세트 손실: 0.109853	최선의 손실: 0.078077	정확도: 97.65%
16	검증 세트 손실: 0.099309	최선의 손실: 0.078077	정확도: 97.54%
17	검증 세트 손실: 0.109889	최선의 손실: 0.078077	정확도: 97.77%
18	검증 세트 손실: 0.115121	최선의 손실: 0.078077	정확도: 97.22%
19	검증 세트 손실: 0.133547	최선의 손실: 0.078077	정확도: 97.26%
20	검증 세트 손실: 0.082578	최선의 손실: 0.078077	정확도: 98.36%
21	검증 세트 손실: 0.130825	최선의 손실: 0.078077	정확도: 97.34%
22	검증 세트 손실: 0.102591	최선의 손실: 0.078077	정확도: 97.93%
23	검증 세트 손실: 0.148601	최선의 손실: 0.078077	정확도: 97.26%
24	검증 세트 손실: 0.131845	최선의 손실: 0.078077	정확도: 97.73%
25	검증 세트 손실: 0.121500	최선의 손실: 0.078077	정확도: 97.54%
26	검증 세트 손실: 0.119495	최선의 손실: 0.078077	정확도: 97.73%
27	검증 세트 손실: 0.112208	최선의 손실: 0.078077	정확도: 97.65%
28	검증 세트 손실: 0.115241	최선의 손실: 0.078077	정확도: 97.65%
29	검증 세트 손실: 0.215331	최선의 손실: 0.078077	정확도: 95.70%
30	검증 세트 손실: 0.097444	최선의 손실: 0.078077	정확도: 97.97%
조기 종료!
[CV]  n_neurons=10, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.99, activation=<function elu at 0x7f8ec4ceef28>, total=   5.2s
[CV] n_neurons=10, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.99, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.207014	최선의 손실: 0.207014	정확도: 93.75%
1	검증 세트 손실: 0.185412	최선의 손실: 0.185412	정확도: 93.90%
2	검증 세트 손실: 0.130583	최선의 손실: 0.130583	정확도: 96.52%
3	검증 세트 손실: 0.137197	최선의 손실: 0.130583	정확도: 95.66%
4	검증 세트 손실: 0.094043	최선의 손실: 0.094043	정확도: 96.99%
5	검증 세트 손실: 0.107013	최선의 손실: 0.094043	정확도: 96.60%
6	검증 세트 손실: 0.108102	최선의 손실: 0.094043	정확도: 97.42%
7	검증 세트 손실: 0.161698	최선의 손실: 0.094043	정확도: 95.58%
8	검증 세트 손실: 0.100806	최선의 손실: 0.094043	정확도: 96.83%
9	검증 세트 손실: 0.109001	최선의 손실: 0.094043	정확도: 96.79%
10	검증 세트 손실: 0.110374	최선의 손실: 0.094043	정확도: 97.11%
11	검증 세트 손실: 0.124355	최선의 손실: 0.094043	정확도: 96.76%
12	검증 세트 손실: 0.105535	최선의 손실: 0.094043	정확도: 97.38%
13	검증 세트 손실: 0.122336	최선의 손실: 0.094043	정확도: 97.42%
14	검증 세트 손실: 0.083407	최선의 손실: 0.083407	정확도: 97.81%
15	검증 세트 손실: 0.089028	최선의 손실: 0.083407	정확도: 97.58%
16	검증 세트 손실: 0.087110	최선의 손실: 0.083407	정확도: 98.12%
17	검증 세트 손실: 0.103629	최선의 손실: 0.083407	정확도: 97.58%
18	검증 세트 손실: 0.093321	최선의 손실: 0.083407	정확도: 98.01%
19	검증 세트 손실: 0.114963	최선의 손실: 0.083407	정확도: 97.97%
20	검증 세트 손실: 0.097852	최선의 손실: 0.083407	정확도: 98.05%
21	검증 세트 손실: 0.110359	최선의 손실: 0.083407	정확도: 97.30%
22	검증 세트 손실: 0.095362	최선의 손실: 0.083407	정확도: 97.77%
23	검증 세트 손실: 0.121934	최선의 손실: 0.083407	정확도: 97.93%
24	검증 세트 손실: 0.089751	최선의 손실: 0.083407	정확도: 97.97%
25	검증 세트 손실: 0.111491	최선의 손실: 0.083407	정확도: 97.81%
26	검증 세트 손실: 0.117297	최선의 손실: 0.083407	정확도: 97.62%
27	검증 세트 손실: 0.128388	최선의 손실: 0.083407	정확도: 97.81%
28	검증 세트 손실: 0.093579	최선의 손실: 0.083407	정확도: 98.20%
29	검증 세트 손실: 0.095810	최선의 손실: 0.083407	정확도: 98.24%
30	검증 세트 손실: 0.175770	최선의 손실: 0.083407	정확도: 97.34%
31	검증 세트 손실: 0.110144	최선의 손실: 0.083407	정확도: 97.97%
32	검증 세트 손실: 0.120657	최선의 손실: 0.083407	정확도: 98.12%
33	검증 세트 손실: 0.124450	최선의 손실: 0.083407	정확도: 97.46%
34	검증 세트 손실: 0.107313	최선의 손실: 0.083407	정확도: 98.16%
35	검증 세트 손실: 0.146261	최선의 손실: 0.083407	정확도: 97.58%
조기 종료!
[CV]  n_neurons=10, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.99, activation=<function elu at 0x7f8ec4ceef28>, total=   5.7s
[CV] n_neurons=10, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.99, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.232865	최선의 손실: 0.232865	정확도: 93.00%
1	검증 세트 손실: 0.235792	최선의 손실: 0.232865	정확도: 91.56%
2	검증 세트 손실: 0.247265	최선의 손실: 0.232865	정확도: 91.83%
3	검증 세트 손실: 0.188708	최선의 손실: 0.188708	정확도: 93.86%
4	검증 세트 손실: 0.090292	최선의 손실: 0.090292	정확도: 96.87%
5	검증 세트 손실: 0.100760	최선의 손실: 0.090292	정확도: 96.56%
6	검증 세트 손실: 0.080154	최선의 손실: 0.080154	정확도: 97.11%
7	검증 세트 손실: 0.078640	최선의 손실: 0.078640	정확도: 97.50%
8	검증 세트 손실: 0.092030	최선의 손실: 0.078640	정확도: 97.62%
9	검증 세트 손실: 0.074983	최선의 손실: 0.074983	정확도: 98.01%
10	검증 세트 손실: 0.076790	최선의 손실: 0.074983	정확도: 97.97%
11	검증 세트 손실: 0.082481	최선의 손실: 0.074983	정확도: 97.58%
12	검증 세트 손실: 0.089566	최선의 손실: 0.074983	정확도: 97.69%
13	검증 세트 손실: 0.071471	최선의 손실: 0.071471	정확도: 97.58%
14	검증 세트 손실: 0.122822	최선의 손실: 0.071471	정확도: 96.95%
15	검증 세트 손실: 0.086264	최선의 손실: 0.071471	정확도: 97.89%
16	검증 세트 손실: 0.100651	최선의 손실: 0.071471	정확도: 97.65%
17	검증 세트 손실: 0.105219	최선의 손실: 0.071471	정확도: 97.30%
18	검증 세트 손실: 0.079060	최선의 손실: 0.071471	정확도: 97.54%
19	검증 세트 손실: 0.111028	최선의 손실: 0.071471	정확도: 97.11%
20	검증 세트 손실: 0.076055	최선의 손실: 0.071471	정확도: 98.01%
21	검증 세트 손실: 0.126877	최선의 손실: 0.071471	정확도: 97.11%
22	검증 세트 손실: 0.110235	최선의 손실: 0.071471	정확도: 97.73%
23	검증 세트 손실: 0.077789	최선의 손실: 0.071471	정확도: 98.36%
24	검증 세트 손실: 0.100780	최선의 손실: 0.071471	정확도: 97.62%
25	검증 세트 손실: 0.079903	최선의 손실: 0.071471	정확도: 98.32%
26	검증 세트 손실: 0.085370	최선의 손실: 0.071471	정확도: 98.12%
27	검증 세트 손실: 0.076579	최선의 손실: 0.071471	정확도: 98.01%
28	검증 세트 손실: 0.063970	최선의 손실: 0.063970	정확도: 98.40%
29	검증 세트 손실: 0.074450	최선의 손실: 0.063970	정확도: 98.24%
30	검증 세트 손실: 0.067409	최선의 손실: 0.063970	정확도: 98.40%
31	검증 세트 손실: 0.076819	최선의 손실: 0.063970	정확도: 98.24%
32	검증 세트 손실: 0.078574	최선의 손실: 0.063970	정확도: 98.20%
33	검증 세트 손실: 0.099312	최선의 손실: 0.063970	정확도: 98.20%
34	검증 세트 손실: 0.102943	최선의 손실: 0.063970	정확도: 98.08%
35	검증 세트 손실: 0.091090	최선의 손실: 0.063970	정확도: 97.89%
36	검증 세트 손실: 0.069864	최선의 손실: 0.063970	정확도: 98.24%
37	검증 세트 손실: 0.099319	최선의 손실: 0.063970	정확도: 98.01%
38	검증 세트 손실: 0.083558	최선의 손실: 0.063970	정확도: 98.16%
39	검증 세트 손실: 0.149214	최선의 손실: 0.063970	정확도: 96.91%
40	검증 세트 손실: 0.096099	최선의 손실: 0.063970	정확도: 97.89%
41	검증 세트 손실: 0.101661	최선의 손실: 0.063970	정확도: 97.81%
42	검증 세트 손실: 0.084866	최선의 손실: 0.063970	정확도: 98.36%
43	검증 세트 손실: 0.086606	최선의 손실: 0.063970	정확도: 98.12%
44	검증 세트 손실: 0.092522	최선의 손실: 0.063970	정확도: 98.20%
45	검증 세트 손실: 0.104953	최선의 손실: 0.063970	정확도: 98.05%
46	검증 세트 손실: 0.112595	최선의 손실: 0.063970	정확도: 97.50%
47	검증 세트 손실: 0.082376	최선의 손실: 0.063970	정확도: 98.16%
48	검증 세트 손실: 0.083420	최선의 손실: 0.063970	정확도: 98.08%
49	검증 세트 손실: 0.084266	최선의 손실: 0.063970	정확도: 98.40%
조기 종료!
[CV]  n_neurons=10, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.99, activation=<function elu at 0x7f8ec4ceef28>, total=   7.3s
[CV] n_neurons=160, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 
0	검증 세트 손실: 0.154811	최선의 손실: 0.154811	정확도: 96.56%
1	검증 세트 손실: 0.084283	최선의 손실: 0.084283	정확도: 98.05%
2	검증 세트 손실: 0.095032	최선의 손실: 0.084283	정확도: 97.38%
3	검증 세트 손실: 0.065475	최선의 손실: 0.065475	정확도: 98.16%
4	검증 세트 손실: 0.087697	최선의 손실: 0.065475	정확도: 96.95%
5	검증 세트 손실: 0.062333	최선의 손실: 0.062333	정확도: 98.59%
6	검증 세트 손실: 0.089933	최선의 손실: 0.062333	정확도: 97.62%
7	검증 세트 손실: 0.073170	최선의 손실: 0.062333	정확도: 98.36%
8	검증 세트 손실: 0.078915	최선의 손실: 0.062333	정확도: 98.44%
9	검증 세트 손실: 0.076189	최선의 손실: 0.062333	정확도: 98.40%
10	검증 세트 손실: 0.062583	최선의 손실: 0.062333	정확도: 98.20%
11	검증 세트 손실: 0.096394	최선의 손실: 0.062333	정확도: 98.05%
12	검증 세트 손실: 0.077183	최선의 손실: 0.062333	정확도: 98.48%
13	검증 세트 손실: 0.099755	최선의 손실: 0.062333	정확도: 98.16%
14	검증 세트 손실: 0.068972	최선의 손실: 0.062333	정확도: 98.51%
15	검증 세트 손실: 0.098057	최선의 손실: 0.062333	정확도: 98.36%
16	검증 세트 손실: 0.121537	최선의 손실: 0.062333	정확도: 98.16%
17	검증 세트 손실: 0.074331	최선의 손실: 0.062333	정확도: 98.55%
18	검증 세트 손실: 0.123593	최선의 손실: 0.062333	정확도: 98.01%
19	검증 세트 손실: 0.068416	최선의 손실: 0.062333	정확도: 98.71%
20	검증 세트 손실: 0.068545	최선의 손실: 0.062333	정확도: 98.79%
21	검증 세트 손실: 0.055166	최선의 손실: 0.055166	정확도: 98.98%
22	검증 세트 손실: 0.087199	최선의 손실: 0.055166	정확도: 98.44%
23	검증 세트 손실: 0.075018	최선의 손실: 0.055166	정확도: 98.55%
24	검증 세트 손실: 0.047389	최선의 손실: 0.047389	정확도: 99.02%
25	검증 세트 손실: 0.080064	최선의 손실: 0.047389	정확도: 98.83%
26	검증 세트 손실: 0.058506	최선의 손실: 0.047389	정확도: 98.91%
27	검증 세트 손실: 0.117778	최선의 손실: 0.047389	정확도: 98.55%
28	검증 세트 손실: 0.111988	최선의 손실: 0.047389	정확도: 98.63%
29	검증 세트 손실: 0.151922	최선의 손실: 0.047389	정확도: 98.59%
30	검증 세트 손실: 0.112341	최선의 손실: 0.047389	정확도: 98.79%
31	검증 세트 손실: 0.070995	최선의 손실: 0.047389	정확도: 98.91%
32	검증 세트 손실: 0.072973	최선의 손실: 0.047389	정확도: 98.91%
33	검증 세트 손실: 0.100210	최선의 손실: 0.047389	정확도: 98.63%
34	검증 세트 손실: 0.170456	최선의 손실: 0.047389	정확도: 98.59%
35	검증 세트 손실: 0.101874	최선의 손실: 0.047389	정확도: 98.59%
36	검증 세트 손실: 0.074246	최선의 손실: 0.047389	정확도: 99.02%
37	검증 세트 손실: 0.185815	최선의 손실: 0.047389	정확도: 98.20%
38	검증 세트 손실: 0.131166	최선의 손실: 0.047389	정확도: 98.71%
39	검증 세트 손실: 0.085084	최선의 손실: 0.047389	정확도: 98.91%
40	검증 세트 손실: 0.089434	최선의 손실: 0.047389	정확도: 98.55%
41	검증 세트 손실: 0.083510	최선의 손실: 0.047389	정확도: 99.06%
42	검증 세트 손실: 0.083434	최선의 손실: 0.047389	정확도: 99.14%
43	검증 세트 손실: 0.085651	최선의 손실: 0.047389	정확도: 98.94%
44	검증 세트 손실: 0.211753	최선의 손실: 0.047389	정확도: 97.81%
45	검증 세트 손실: 0.136682	최선의 손실: 0.047389	정확도: 98.59%
조기 종료!
[CV]  n_neurons=160, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 1.1min
[CV] n_neurons=160, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 
0	검증 세트 손실: 0.139816	최선의 손실: 0.139816	정확도: 96.21%
1	검증 세트 손실: 0.103859	최선의 손실: 0.103859	정확도: 97.89%
2	검증 세트 손실: 0.084236	최선의 손실: 0.084236	정확도: 97.93%
3	검증 세트 손실: 0.199285	최선의 손실: 0.084236	정확도: 96.13%
4	검증 세트 손실: 0.074962	최선의 손실: 0.074962	정확도: 98.01%
5	검증 세트 손실: 0.103917	최선의 손실: 0.074962	정확도: 97.54%
6	검증 세트 손실: 0.079943	최선의 손실: 0.074962	정확도: 97.93%
7	검증 세트 손실: 0.053033	최선의 손실: 0.053033	정확도: 98.55%
8	검증 세트 손실: 0.071027	최선의 손실: 0.053033	정확도: 98.36%
9	검증 세트 손실: 0.063563	최선의 손실: 0.053033	정확도: 98.24%
10	검증 세트 손실: 0.090369	최선의 손실: 0.053033	정확도: 98.20%
11	검증 세트 손실: 0.087036	최선의 손실: 0.053033	정확도: 98.40%
12	검증 세트 손실: 0.088078	최선의 손실: 0.053033	정확도: 97.97%
13	검증 세트 손실: 0.039536	최선의 손실: 0.039536	정확도: 98.91%
14	검증 세트 손실: 0.148475	최선의 손실: 0.039536	정확도: 97.81%
15	검증 세트 손실: 0.065294	최선의 손실: 0.039536	정확도: 98.83%
16	검증 세트 손실: 0.070501	최선의 손실: 0.039536	정확도: 98.63%
17	검증 세트 손실: 0.319948	최선의 손실: 0.039536	정확도: 97.77%
18	검증 세트 손실: 0.059939	최선의 손실: 0.039536	정확도: 98.63%
19	검증 세트 손실: 0.057149	최선의 손실: 0.039536	정확도: 98.75%
20	검증 세트 손실: 0.067073	최선의 손실: 0.039536	정확도: 98.94%
21	검증 세트 손실: 0.063411	최선의 손실: 0.039536	정확도: 98.55%
22	검증 세트 손실: 0.081848	최선의 손실: 0.039536	정확도: 98.71%
23	검증 세트 손실: 0.142494	최선의 손실: 0.039536	정확도: 97.42%
24	검증 세트 손실: 0.062999	최선의 손실: 0.039536	정확도: 98.83%
25	검증 세트 손실: 0.064514	최선의 손실: 0.039536	정확도: 98.71%
26	검증 세트 손실: 0.091956	최선의 손실: 0.039536	정확도: 98.48%
27	검증 세트 손실: 0.064874	최선의 손실: 0.039536	정확도: 98.94%
28	검증 세트 손실: 0.275035	최선의 손실: 0.039536	정확도: 98.63%
29	검증 세트 손실: 0.205618	최선의 손실: 0.039536	정확도: 98.51%
30	검증 세트 손실: 0.147132	최선의 손실: 0.039536	정확도: 98.71%
31	검증 세트 손실: 0.077391	최선의 손실: 0.039536	정확도: 98.91%
32	검증 세트 손실: 0.057300	최선의 손실: 0.039536	정확도: 98.98%
33	검증 세트 손실: 0.141584	최선의 손실: 0.039536	정확도: 98.16%
34	검증 세트 손실: 0.116430	최선의 손실: 0.039536	정확도: 98.63%
조기 종료!
[CV]  n_neurons=160, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total=  50.2s
[CV] n_neurons=160, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 
0	검증 세트 손실: 0.234712	최선의 손실: 0.234712	정확도: 94.76%
1	검증 세트 손실: 0.119066	최선의 손실: 0.119066	정확도: 96.91%
2	검증 세트 손실: 0.069523	최선의 손실: 0.069523	정확도: 98.36%
3	검증 세트 손실: 0.055915	최선의 손실: 0.055915	정확도: 98.32%
4	검증 세트 손실: 0.079563	최선의 손실: 0.055915	정확도: 98.16%
5	검증 세트 손실: 0.058632	최선의 손실: 0.055915	정확도: 98.44%
6	검증 세트 손실: 0.116719	최선의 손실: 0.055915	정확도: 96.56%
7	검증 세트 손실: 0.075467	최선의 손실: 0.055915	정확도: 98.01%
8	검증 세트 손실: 0.044454	최선의 손실: 0.044454	정확도: 98.75%
9	검증 세트 손실: 0.088509	최선의 손실: 0.044454	정확도: 98.16%
10	검증 세트 손실: 0.084162	최선의 손실: 0.044454	정확도: 98.08%
11	검증 세트 손실: 0.061884	최선의 손실: 0.044454	정확도: 98.63%
12	검증 세트 손실: 0.067743	최선의 손실: 0.044454	정확도: 98.40%
13	검증 세트 손실: 0.054607	최선의 손실: 0.044454	정확도: 98.75%
14	검증 세트 손실: 0.050075	최선의 손실: 0.044454	정확도: 98.75%
15	검증 세트 손실: 0.060238	최선의 손실: 0.044454	정확도: 98.94%
16	검증 세트 손실: 0.085472	최선의 손실: 0.044454	정확도: 98.75%
17	검증 세트 손실: 0.083842	최선의 손실: 0.044454	정확도: 98.16%
18	검증 세트 손실: 0.123862	최선의 손실: 0.044454	정확도: 97.97%
19	검증 세트 손실: 0.104352	최선의 손실: 0.044454	정확도: 98.67%
20	검증 세트 손실: 0.052586	최선의 손실: 0.044454	정확도: 98.94%
21	검증 세트 손실: 0.083580	최선의 손실: 0.044454	정확도: 98.67%
22	검증 세트 손실: 0.215760	최선의 손실: 0.044454	정확도: 97.89%
23	검증 세트 손실: 0.107127	최선의 손실: 0.044454	정확도: 98.36%
24	검증 세트 손실: 0.081820	최선의 손실: 0.044454	정확도: 98.87%
25	검증 세트 손실: 0.052555	최선의 손실: 0.044454	정확도: 98.75%
26	검증 세트 손실: 0.087010	최선의 손실: 0.044454	정확도: 98.71%
27	검증 세트 손실: 0.090239	최선의 손실: 0.044454	정확도: 98.59%
28	검증 세트 손실: 0.066670	최선의 손실: 0.044454	정확도: 99.02%
29	검증 세트 손실: 0.110395	최선의 손실: 0.044454	정확도: 98.59%
조기 종료!
[CV]  n_neurons=160, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total=  43.2s
[CV] n_neurons=100, learning_rate=0.02, batch_size=50, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 
0	검증 세트 손실: 0.141335	최선의 손실: 0.141335	정확도: 96.52%
1	검증 세트 손실: 0.061413	최선의 손실: 0.061413	정확도: 98.01%
2	검증 세트 손실: 0.064733	최선의 손실: 0.061413	정확도: 98.24%
3	검증 세트 손실: 0.078236	최선의 손실: 0.061413	정확도: 97.81%
4	검증 세트 손실: 0.039708	최선의 손실: 0.039708	정확도: 98.91%
5	검증 세트 손실: 0.051991	최선의 손실: 0.039708	정확도: 98.55%
6	검증 세트 손실: 0.041348	최선의 손실: 0.039708	정확도: 98.71%
7	검증 세트 손실: 0.056816	최선의 손실: 0.039708	정확도: 98.40%
8	검증 세트 손실: 0.049332	최선의 손실: 0.039708	정확도: 98.91%
9	검증 세트 손실: 0.045931	최선의 손실: 0.039708	정확도: 98.83%
10	검증 세트 손실: 0.042113	최선의 손실: 0.039708	정확도: 99.10%
11	검증 세트 손실: 0.047508	최선의 손실: 0.039708	정확도: 98.91%
12	검증 세트 손실: 0.044585	최선의 손실: 0.039708	정확도: 98.83%
13	검증 세트 손실: 0.045212	최선의 손실: 0.039708	정확도: 98.79%
14	검증 세트 손실: 0.045713	최선의 손실: 0.039708	정확도: 98.83%
15	검증 세트 손실: 0.034023	최선의 손실: 0.034023	정확도: 99.30%
16	검증 세트 손실: 0.067372	최선의 손실: 0.034023	정확도: 98.48%
17	검증 세트 손실: 0.038484	최선의 손실: 0.034023	정확도: 98.91%
18	검증 세트 손실: 0.051220	최선의 손실: 0.034023	정확도: 98.71%
19	검증 세트 손실: 0.069158	최선의 손실: 0.034023	정확도: 98.59%
20	검증 세트 손실: 0.045432	최선의 손실: 0.034023	정확도: 99.06%
21	검증 세트 손실: 0.056940	최선의 손실: 0.034023	정확도: 99.02%
22	검증 세트 손실: 0.058635	최선의 손실: 0.034023	정확도: 98.63%
23	검증 세트 손실: 0.049306	최선의 손실: 0.034023	정확도: 98.87%
24	검증 세트 손실: 0.050061	최선의 손실: 0.034023	정확도: 99.10%
25	검증 세트 손실: 0.052173	최선의 손실: 0.034023	정확도: 98.83%
26	검증 세트 손실: 0.041441	최선의 손실: 0.034023	정확도: 98.98%
27	검증 세트 손실: 0.038558	최선의 손실: 0.034023	정확도: 98.91%
28	검증 세트 손실: 0.048064	최선의 손실: 0.034023	정확도: 98.63%
29	검증 세트 손실: 0.038078	최선의 손실: 0.034023	정확도: 99.18%
30	검증 세트 손실: 0.047551	최선의 손실: 0.034023	정확도: 99.18%
31	검증 세트 손실: 0.041505	최선의 손실: 0.034023	정확도: 99.06%
32	검증 세트 손실: 0.050714	최선의 손실: 0.034023	정확도: 99.18%
33	검증 세트 손실: 0.052887	최선의 손실: 0.034023	정확도: 99.02%
34	검증 세트 손실: 0.057202	최선의 손실: 0.034023	정확도: 98.98%
35	검증 세트 손실: 0.051881	최선의 손실: 0.034023	정확도: 98.94%
36	검증 세트 손실: 0.043397	최선의 손실: 0.034023	정확도: 99.02%
조기 종료!
[CV]  n_neurons=100, learning_rate=0.02, batch_size=50, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total=  37.4s
[CV] n_neurons=100, learning_rate=0.02, batch_size=50, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 
0	검증 세트 손실: 0.122390	최선의 손실: 0.122390	정확도: 96.68%
1	검증 세트 손실: 0.056544	최선의 손실: 0.056544	정확도: 98.16%
2	검증 세트 손실: 0.141340	최선의 손실: 0.056544	정확도: 95.93%
3	검증 세트 손실: 0.051296	최선의 손실: 0.051296	정확도: 98.51%
4	검증 세트 손실: 0.066328	최선의 손실: 0.051296	정확도: 98.16%
5	검증 세트 손실: 0.056698	최선의 손실: 0.051296	정확도: 98.51%
6	검증 세트 손실: 0.054994	최선의 손실: 0.051296	정확도: 98.28%
7	검증 세트 손실: 0.055255	최선의 손실: 0.051296	정확도: 98.55%
8	검증 세트 손실: 0.036173	최선의 손실: 0.036173	정확도: 98.91%
9	검증 세트 손실: 0.063994	최선의 손실: 0.036173	정확도: 98.12%
10	검증 세트 손실: 0.045259	최선의 손실: 0.036173	정확도: 98.91%
11	검증 세트 손실: 0.048033	최선의 손실: 0.036173	정확도: 98.94%
12	검증 세트 손실: 0.040915	최선의 손실: 0.036173	정확도: 98.63%
13	검증 세트 손실: 0.043608	최선의 손실: 0.036173	정확도: 98.67%
14	검증 세트 손실: 0.047104	최선의 손실: 0.036173	정확도: 98.67%
15	검증 세트 손실: 0.029973	최선의 손실: 0.029973	정확도: 98.91%
16	검증 세트 손실: 0.057686	최선의 손실: 0.029973	정확도: 98.71%
17	검증 세트 손실: 0.040743	최선의 손실: 0.029973	정확도: 98.67%
18	검증 세트 손실: 0.048948	최선의 손실: 0.029973	정확도: 98.79%
19	검증 세트 손실: 0.054570	최선의 손실: 0.029973	정확도: 98.79%
20	검증 세트 손실: 0.044568	최선의 손실: 0.029973	정확도: 99.10%
21	검증 세트 손실: 0.053380	최선의 손실: 0.029973	정확도: 99.02%
22	검증 세트 손실: 0.047466	최선의 손실: 0.029973	정확도: 98.98%
23	검증 세트 손실: 0.048010	최선의 손실: 0.029973	정확도: 98.94%
24	검증 세트 손실: 0.045564	최선의 손실: 0.029973	정확도: 99.26%
25	검증 세트 손실: 0.040290	최선의 손실: 0.029973	정확도: 99.14%
26	검증 세트 손실: 0.053243	최선의 손실: 0.029973	정확도: 98.79%
27	검증 세트 손실: 0.042433	최선의 손실: 0.029973	정확도: 99.26%
28	검증 세트 손실: 0.065821	최선의 손실: 0.029973	정확도: 98.48%
29	검증 세트 손실: 0.052128	최선의 손실: 0.029973	정확도: 99.06%
30	검증 세트 손실: 0.042127	최선의 손실: 0.029973	정확도: 99.10%
31	검증 세트 손실: 0.040486	최선의 손실: 0.029973	정확도: 99.14%
32	검증 세트 손실: 0.043039	최선의 손실: 0.029973	정확도: 99.10%
33	검증 세트 손실: 0.043367	최선의 손실: 0.029973	정확도: 98.98%
34	검증 세트 손실: 0.062636	최선의 손실: 0.029973	정확도: 98.98%
35	검증 세트 손실: 0.047254	최선의 손실: 0.029973	정확도: 99.02%
36	검증 세트 손실: 0.049529	최선의 손실: 0.029973	정확도: 99.06%
조기 종료!
[CV]  n_neurons=100, learning_rate=0.02, batch_size=50, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total=  37.5s
[CV] n_neurons=100, learning_rate=0.02, batch_size=50, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 
0	검증 세트 손실: 0.093120	최선의 손실: 0.093120	정확도: 97.97%
1	검증 세트 손실: 0.078011	최선의 손실: 0.078011	정확도: 97.38%
2	검증 세트 손실: 0.083262	최선의 손실: 0.078011	정확도: 98.08%
3	검증 세트 손실: 0.044716	최선의 손실: 0.044716	정확도: 98.44%
4	검증 세트 손실: 0.051373	최선의 손실: 0.044716	정확도: 98.67%
5	검증 세트 손실: 0.053068	최선의 손실: 0.044716	정확도: 98.44%
6	검증 세트 손실: 0.067628	최선의 손실: 0.044716	정확도: 98.28%
7	검증 세트 손실: 0.052515	최선의 손실: 0.044716	정확도: 98.75%
8	검증 세트 손실: 0.040413	최선의 손실: 0.040413	정확도: 99.06%
9	검증 세트 손실: 0.034303	최선의 손실: 0.034303	정확도: 99.02%
10	검증 세트 손실: 0.043697	최선의 손실: 0.034303	정확도: 99.02%
11	검증 세트 손실: 0.067900	최선의 손실: 0.034303	정확도: 97.62%
12	검증 세트 손실: 0.072169	최선의 손실: 0.034303	정확도: 98.51%
13	검증 세트 손실: 0.046959	최선의 손실: 0.034303	정확도: 99.10%
14	검증 세트 손실: 0.050745	최선의 손실: 0.034303	정확도: 98.79%
15	검증 세트 손실: 0.045901	최선의 손실: 0.034303	정확도: 98.79%
16	검증 세트 손실: 0.043545	최선의 손실: 0.034303	정확도: 98.94%
17	검증 세트 손실: 0.056210	최선의 손실: 0.034303	정확도: 98.71%
18	검증 세트 손실: 0.036558	최선의 손실: 0.034303	정확도: 98.83%
19	검증 세트 손실: 0.051108	최선의 손실: 0.034303	정확도: 98.67%
20	검증 세트 손실: 0.056650	최선의 손실: 0.034303	정확도: 98.71%
21	검증 세트 손실: 0.038001	최선의 손실: 0.034303	정확도: 99.10%
22	검증 세트 손실: 0.064812	최선의 손실: 0.034303	정확도: 98.67%
23	검증 세트 손실: 0.053609	최선의 손실: 0.034303	정확도: 99.06%
24	검증 세트 손실: 0.071144	최선의 손실: 0.034303	정확도: 98.75%
25	검증 세트 손실: 0.044123	최선의 손실: 0.034303	정확도: 98.98%
26	검증 세트 손실: 0.052408	최선의 손실: 0.034303	정확도: 98.59%
27	검증 세트 손실: 0.031435	최선의 손실: 0.031435	정확도: 99.26%
28	검증 세트 손실: 0.042197	최선의 손실: 0.031435	정확도: 99.02%
29	검증 세트 손실: 0.037366	최선의 손실: 0.031435	정확도: 99.22%
30	검증 세트 손실: 0.043012	최선의 손실: 0.031435	정확도: 99.10%
31	검증 세트 손실: 0.059582	최선의 손실: 0.031435	정확도: 98.83%
32	검증 세트 손실: 0.044389	최선의 손실: 0.031435	정확도: 98.91%
33	검증 세트 손실: 0.069978	최선의 손실: 0.031435	정확도: 98.75%
34	검증 세트 손실: 0.054611	최선의 손실: 0.031435	정확도: 98.91%
35	검증 세트 손실: 0.043577	최선의 손실: 0.031435	정확도: 99.26%
36	검증 세트 손실: 0.049443	최선의 손실: 0.031435	정확도: 99.06%
37	검증 세트 손실: 0.033359	최선의 손실: 0.031435	정확도: 99.26%
38	검증 세트 손실: 0.040323	최선의 손실: 0.031435	정확도: 99.02%
39	검증 세트 손실: 0.034193	최선의 손실: 0.031435	정확도: 99.18%
40	검증 세트 손실: 0.034348	최선의 손실: 0.031435	정확도: 99.22%
41	검증 세트 손실: 0.049178	최선의 손실: 0.031435	정확도: 99.14%
42	검증 세트 손실: 0.044832	최선의 손실: 0.031435	정확도: 99.14%
43	검증 세트 손실: 0.044374	최선의 손실: 0.031435	정확도: 99.10%
44	검증 세트 손실: 0.066005	최선의 손실: 0.031435	정확도: 98.71%
45	검증 세트 손실: 0.037330	최선의 손실: 0.031435	정확도: 99.26%
46	검증 세트 손실: 0.067141	최선의 손실: 0.031435	정확도: 98.91%
47	검증 세트 손실: 0.054104	최선의 손실: 0.031435	정확도: 98.94%
48	검증 세트 손실: 0.042078	최선의 손실: 0.031435	정확도: 99.30%
조기 종료!
[CV]  n_neurons=100, learning_rate=0.02, batch_size=50, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total=  49.0s
[CV] n_neurons=100, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 
0	검증 세트 손실: 0.075491	최선의 손실: 0.075491	정확도: 97.85%
1	검증 세트 손실: 0.068393	최선의 손실: 0.068393	정확도: 98.20%
2	검증 세트 손실: 0.044805	최선의 손실: 0.044805	정확도: 98.63%
3	검증 세트 손실: 0.040807	최선의 손실: 0.040807	정확도: 98.79%
4	검증 세트 손실: 0.041718	최선의 손실: 0.040807	정확도: 98.67%
5	검증 세트 손실: 0.030649	최선의 손실: 0.030649	정확도: 99.06%
6	검증 세트 손실: 0.046081	최선의 손실: 0.030649	정확도: 98.67%
7	검증 세트 손실: 0.053235	최선의 손실: 0.030649	정확도: 98.67%
8	검증 세트 손실: 0.042768	최선의 손실: 0.030649	정확도: 98.83%
9	검증 세트 손실: 0.039862	최선의 손실: 0.030649	정확도: 98.87%
10	검증 세트 손실: 0.034784	최선의 손실: 0.030649	정확도: 98.94%
11	검증 세트 손실: 0.035766	최선의 손실: 0.030649	정확도: 98.87%
12	검증 세트 손실: 0.036663	최선의 손실: 0.030649	정확도: 98.98%
13	검증 세트 손실: 0.043309	최선의 손실: 0.030649	정확도: 99.02%
14	검증 세트 손실: 0.033974	최선의 손실: 0.030649	정확도: 98.91%
15	검증 세트 손실: 0.043730	최선의 손실: 0.030649	정확도: 98.91%
16	검증 세트 손실: 0.032689	최선의 손실: 0.030649	정확도: 99.26%
17	검증 세트 손실: 0.043658	최선의 손실: 0.030649	정확도: 98.94%
18	검증 세트 손실: 0.036702	최선의 손실: 0.030649	정확도: 99.14%
19	검증 세트 손실: 0.040522	최선의 손실: 0.030649	정확도: 99.10%
20	검증 세트 손실: 0.048211	최선의 손실: 0.030649	정확도: 99.10%
21	검증 세트 손실: 0.041970	최선의 손실: 0.030649	정확도: 99.02%
22	검증 세트 손실: 0.036923	최선의 손실: 0.030649	정확도: 99.14%
23	검증 세트 손실: 0.037089	최선의 손실: 0.030649	정확도: 99.22%
24	검증 세트 손실: 0.033773	최선의 손실: 0.030649	정확도: 99.18%
25	검증 세트 손실: 0.040249	최선의 손실: 0.030649	정확도: 99.06%
26	검증 세트 손실: 0.038816	최선의 손실: 0.030649	정확도: 99.14%
조기 종료!
[CV]  n_neurons=100, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total=  19.3s
[CV] n_neurons=100, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 
0	검증 세트 손실: 0.081612	최선의 손실: 0.081612	정확도: 97.54%
1	검증 세트 손실: 0.045716	최선의 손실: 0.045716	정확도: 98.59%
2	검증 세트 손실: 0.044103	최선의 손실: 0.044103	정확도: 98.51%
3	검증 세트 손실: 0.046870	최선의 손실: 0.044103	정확도: 98.55%
4	검증 세트 손실: 0.044690	최선의 손실: 0.044103	정확도: 98.59%
5	검증 세트 손실: 0.038618	최선의 손실: 0.038618	정확도: 98.63%
6	검증 세트 손실: 0.062088	최선의 손실: 0.038618	정확도: 98.40%
7	검증 세트 손실: 0.046381	최선의 손실: 0.038618	정확도: 98.71%
8	검증 세트 손실: 0.039060	최선의 손실: 0.038618	정확도: 98.91%
9	검증 세트 손실: 0.053182	최선의 손실: 0.038618	정확도: 98.63%
10	검증 세트 손실: 0.047961	최선의 손실: 0.038618	정확도: 98.83%
11	검증 세트 손실: 0.045919	최선의 손실: 0.038618	정확도: 98.71%
12	검증 세트 손실: 0.053143	최선의 손실: 0.038618	정확도: 98.51%
13	검증 세트 손실: 0.039142	최선의 손실: 0.038618	정확도: 98.87%
14	검증 세트 손실: 0.043774	최선의 손실: 0.038618	정확도: 98.94%
15	검증 세트 손실: 0.049380	최선의 손실: 0.038618	정확도: 98.91%
16	검증 세트 손실: 0.056472	최선의 손실: 0.038618	정확도: 98.87%
17	검증 세트 손실: 0.045089	최선의 손실: 0.038618	정확도: 98.94%
18	검증 세트 손실: 0.041171	최선의 손실: 0.038618	정확도: 99.02%
19	검증 세트 손실: 0.044702	최선의 손실: 0.038618	정확도: 98.98%
20	검증 세트 손실: 0.044970	최선의 손실: 0.038618	정확도: 98.87%
21	검증 세트 손실: 0.038338	최선의 손실: 0.038338	정확도: 99.02%
22	검증 세트 손실: 0.056080	최선의 손실: 0.038338	정확도: 98.83%
23	검증 세트 손실: 0.062585	최선의 손실: 0.038338	정확도: 98.75%
24	검증 세트 손실: 0.044380	최선의 손실: 0.038338	정확도: 99.02%
25	검증 세트 손실: 0.063542	최선의 손실: 0.038338	정확도: 98.79%
26	검증 세트 손실: 0.049656	최선의 손실: 0.038338	정확도: 98.94%
27	검증 세트 손실: 0.064249	최선의 손실: 0.038338	정확도: 98.83%
28	검증 세트 손실: 0.071744	최선의 손실: 0.038338	정확도: 98.87%
29	검증 세트 손실: 0.054265	최선의 손실: 0.038338	정확도: 99.02%
30	검증 세트 손실: 0.059769	최선의 손실: 0.038338	정확도: 98.71%
31	검증 세트 손실: 0.062473	최선의 손실: 0.038338	정확도: 98.75%
32	검증 세트 손실: 0.059700	최선의 손실: 0.038338	정확도: 99.02%
33	검증 세트 손실: 0.070211	최선의 손실: 0.038338	정확도: 98.79%
34	검증 세트 손실: 0.056823	최선의 손실: 0.038338	정확도: 98.98%
35	검증 세트 손실: 0.060896	최선의 손실: 0.038338	정확도: 98.87%
36	검증 세트 손실: 0.052177	최선의 손실: 0.038338	정확도: 98.75%
37	검증 세트 손실: 0.051464	최선의 손실: 0.038338	정확도: 98.91%
38	검증 세트 손실: 0.053396	최선의 손실: 0.038338	정확도: 98.87%
39	검증 세트 손실: 0.047279	최선의 손실: 0.038338	정확도: 98.98%
40	검증 세트 손실: 0.054517	최선의 손실: 0.038338	정확도: 99.10%
41	검증 세트 손실: 0.045629	최선의 손실: 0.038338	정확도: 98.98%
42	검증 세트 손실: 0.051702	최선의 손실: 0.038338	정확도: 99.02%
조기 종료!
[CV]  n_neurons=100, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total=  29.9s
[CV] n_neurons=100, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 
0	검증 세트 손실: 0.061196	최선의 손실: 0.061196	정확도: 98.20%
1	검증 세트 손실: 0.062150	최선의 손실: 0.061196	정확도: 98.08%
2	검증 세트 손실: 0.046554	최선의 손실: 0.046554	정확도: 98.32%
3	검증 세트 손실: 0.050200	최선의 손실: 0.046554	정확도: 98.32%
4	검증 세트 손실: 0.038133	최선의 손실: 0.038133	정확도: 98.51%
5	검증 세트 손실: 0.032050	최선의 손실: 0.032050	정확도: 98.87%
6	검증 세트 손실: 0.040779	최선의 손실: 0.032050	정확도: 98.87%
7	검증 세트 손실: 0.046538	최선의 손실: 0.032050	정확도: 98.71%
8	검증 세트 손실: 0.041340	최선의 손실: 0.032050	정확도: 98.87%
9	검증 세트 손실: 0.040119	최선의 손실: 0.032050	정확도: 98.91%
10	검증 세트 손실: 0.039465	최선의 손실: 0.032050	정확도: 98.94%
11	검증 세트 손실: 0.031864	최선의 손실: 0.031864	정확도: 99.10%
12	검증 세트 손실: 0.033944	최선의 손실: 0.031864	정확도: 99.14%
13	검증 세트 손실: 0.036519	최선의 손실: 0.031864	정확도: 98.98%
14	검증 세트 손실: 0.035934	최선의 손실: 0.031864	정확도: 99.06%
15	검증 세트 손실: 0.039248	최선의 손실: 0.031864	정확도: 98.94%
16	검증 세트 손실: 0.041531	최선의 손실: 0.031864	정확도: 98.91%
17	검증 세트 손실: 0.037235	최선의 손실: 0.031864	정확도: 98.98%
18	검증 세트 손실: 0.035805	최선의 손실: 0.031864	정확도: 98.98%
19	검증 세트 손실: 0.037050	최선의 손실: 0.031864	정확도: 98.98%
20	검증 세트 손실: 0.049961	최선의 손실: 0.031864	정확도: 98.48%
21	검증 세트 손실: 0.027104	최선의 손실: 0.027104	정확도: 99.14%
22	검증 세트 손실: 0.038971	최선의 손실: 0.027104	정확도: 98.98%
23	검증 세트 손실: 0.027453	최선의 손실: 0.027104	정확도: 99.30%
24	검증 세트 손실: 0.047679	최선의 손실: 0.027104	정확도: 99.14%
25	검증 세트 손실: 0.038931	최선의 손실: 0.027104	정확도: 99.14%
26	검증 세트 손실: 0.041281	최선의 손실: 0.027104	정확도: 99.26%
27	검증 세트 손실: 0.051883	최선의 손실: 0.027104	정확도: 98.91%
28	검증 세트 손실: 0.034985	최선의 손실: 0.027104	정확도: 99.34%
29	검증 세트 손실: 0.036515	최선의 손실: 0.027104	정확도: 99.14%
30	검증 세트 손실: 0.035565	최선의 손실: 0.027104	정확도: 99.22%
31	검증 세트 손실: 0.049567	최선의 손실: 0.027104	정확도: 99.10%
32	검증 세트 손실: 0.043402	최선의 손실: 0.027104	정확도: 99.06%
33	검증 세트 손실: 0.041818	최선의 손실: 0.027104	정확도: 99.06%
34	검증 세트 손실: 0.038107	최선의 손실: 0.027104	정확도: 99.26%
35	검증 세트 손실: 0.040006	최선의 손실: 0.027104	정확도: 99.06%
36	검증 세트 손실: 0.037485	최선의 손실: 0.027104	정확도: 99.10%
37	검증 세트 손실: 0.043721	최선의 손실: 0.027104	정확도: 99.02%
38	검증 세트 손실: 0.041980	최선의 손실: 0.027104	정확도: 99.14%
39	검증 세트 손실: 0.035519	최선의 손실: 0.027104	정확도: 99.22%
40	검증 세트 손실: 0.048534	최선의 손실: 0.027104	정확도: 98.71%
41	검증 세트 손실: 0.040161	최선의 손실: 0.027104	정확도: 99.30%
42	검증 세트 손실: 0.032246	최선의 손실: 0.027104	정확도: 99.14%
조기 종료!
[CV]  n_neurons=100, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total=  29.8s
[CV] n_neurons=90, learning_rate=0.05, batch_size=500, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 
0	검증 세트 손실: 2.478998	최선의 손실: 2.478998	정확도: 94.53%
1	검증 세트 손실: 0.458788	최선의 손실: 0.458788	정확도: 95.15%
2	검증 세트 손실: 0.140459	최선의 손실: 0.140459	정확도: 97.73%
3	검증 세트 손실: 0.120113	최선의 손실: 0.120113	정확도: 97.50%
4	검증 세트 손실: 0.089016	최선의 손실: 0.089016	정확도: 98.55%
5	검증 세트 손실: 0.173259	최선의 손실: 0.089016	정확도: 97.03%
6	검증 세트 손실: 0.096427	최선의 손실: 0.089016	정확도: 98.01%
7	검증 세트 손실: 0.072181	최선의 손실: 0.072181	정확도: 98.59%
8	검증 세트 손실: 0.062597	최선의 손실: 0.062597	정확도: 98.63%
9	검증 세트 손실: 0.082563	최선의 손실: 0.062597	정확도: 98.63%
10	검증 세트 손실: 0.066648	최선의 손실: 0.062597	정확도: 98.55%
11	검증 세트 손실: 0.056970	최선의 손실: 0.056970	정확도: 98.75%
12	검증 세트 손실: 0.064460	최선의 손실: 0.056970	정확도: 98.87%
13	검증 세트 손실: 0.055867	최선의 손실: 0.055867	정확도: 98.75%
14	검증 세트 손실: 0.104118	최선의 손실: 0.055867	정확도: 97.97%
15	검증 세트 손실: 0.100488	최선의 손실: 0.055867	정확도: 98.01%
16	검증 세트 손실: 0.060207	최선의 손실: 0.055867	정확도: 98.83%
17	검증 세트 손실: 0.054104	최선의 손실: 0.054104	정확도: 98.87%
18	검증 세트 손실: 0.064933	최선의 손실: 0.054104	정확도: 98.75%
19	검증 세트 손실: 0.048565	최선의 손실: 0.048565	정확도: 99.02%
20	검증 세트 손실: 0.062065	최선의 손실: 0.048565	정확도: 98.75%
21	검증 세트 손실: 0.067455	최선의 손실: 0.048565	정확도: 98.79%
22	검증 세트 손실: 0.086593	최선의 손실: 0.048565	정확도: 98.51%
23	검증 세트 손실: 0.087194	최선의 손실: 0.048565	정확도: 98.71%
24	검증 세트 손실: 0.087956	최선의 손실: 0.048565	정확도: 98.51%
25	검증 세트 손실: 0.075433	최선의 손실: 0.048565	정확도: 98.67%
26	검증 세트 손실: 0.071082	최선의 손실: 0.048565	정확도: 98.91%
27	검증 세트 손실: 0.057649	최선의 손실: 0.048565	정확도: 98.83%
28	검증 세트 손실: 0.068848	최선의 손실: 0.048565	정확도: 98.55%
29	검증 세트 손실: 0.057169	최선의 손실: 0.048565	정확도: 98.79%
30	검증 세트 손실: 0.091134	최선의 손실: 0.048565	정확도: 98.55%
31	검증 세트 손실: 0.080886	최선의 손실: 0.048565	정확도: 98.67%
32	검증 세트 손실: 0.108150	최선의 손실: 0.048565	정확도: 98.32%
33	검증 세트 손실: 0.084943	최선의 손실: 0.048565	정확도: 98.51%
34	검증 세트 손실: 0.094366	최선의 손실: 0.048565	정확도: 98.32%
35	검증 세트 손실: 0.063626	최선의 손실: 0.048565	정확도: 98.79%
36	검증 세트 손실: 0.064163	최선의 손실: 0.048565	정확도: 98.79%
37	검증 세트 손실: 0.130550	최선의 손실: 0.048565	정확도: 98.48%
38	검증 세트 손실: 0.091143	최선의 손실: 0.048565	정확도: 98.32%
39	검증 세트 손실: 0.053978	최선의 손실: 0.048565	정확도: 98.94%
40	검증 세트 손실: 0.063374	최선의 손실: 0.048565	정확도: 98.83%
조기 종료!
[CV]  n_neurons=90, learning_rate=0.05, batch_size=500, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total=  14.9s
[CV] n_neurons=90, learning_rate=0.05, batch_size=500, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 
0	검증 세트 손실: 3.864653	최선의 손실: 3.864653	정확도: 86.28%
1	검증 세트 손실: 0.264261	최선의 손실: 0.264261	정확도: 97.22%
2	검증 세트 손실: 0.173995	최선의 손실: 0.173995	정확도: 97.26%
3	검증 세트 손실: 0.071280	최선의 손실: 0.071280	정확도: 98.28%
4	검증 세트 손실: 0.092237	최선의 손실: 0.071280	정확도: 97.85%
5	검증 세트 손실: 0.129167	최선의 손실: 0.071280	정확도: 96.99%
6	검증 세트 손실: 0.070267	최선의 손실: 0.070267	정확도: 98.08%
7	검증 세트 손실: 0.086551	최선의 손실: 0.070267	정확도: 98.20%
8	검증 세트 손실: 0.096464	최선의 손실: 0.070267	정확도: 98.08%
9	검증 세트 손실: 0.065975	최선의 손실: 0.065975	정확도: 98.83%
10	검증 세트 손실: 0.091872	최선의 손실: 0.065975	정확도: 98.48%
11	검증 세트 손실: 0.069650	최선의 손실: 0.065975	정확도: 98.40%
12	검증 세트 손실: 0.060875	최선의 손실: 0.060875	정확도: 98.55%
13	검증 세트 손실: 0.056098	최선의 손실: 0.056098	정확도: 98.67%
14	검증 세트 손실: 0.087803	최선의 손실: 0.056098	정확도: 98.59%
15	검증 세트 손실: 0.077933	최선의 손실: 0.056098	정확도: 98.63%
16	검증 세트 손실: 0.058565	최선의 손실: 0.056098	정확도: 98.87%
17	검증 세트 손실: 0.060645	최선의 손실: 0.056098	정확도: 98.98%
18	검증 세트 손실: 0.073854	최선의 손실: 0.056098	정확도: 98.75%
19	검증 세트 손실: 0.088291	최선의 손실: 0.056098	정확도: 98.44%
20	검증 세트 손실: 0.078110	최선의 손실: 0.056098	정확도: 98.67%
21	검증 세트 손실: 0.074371	최선의 손실: 0.056098	정확도: 98.36%
22	검증 세트 손실: 0.075018	최선의 손실: 0.056098	정확도: 98.51%
23	검증 세트 손실: 0.056407	최선의 손실: 0.056098	정확도: 98.91%
24	검증 세트 손실: 0.063468	최선의 손실: 0.056098	정확도: 98.79%
25	검증 세트 손실: 0.116141	최선의 손실: 0.056098	정확도: 98.12%
26	검증 세트 손실: 0.058222	최선의 손실: 0.056098	정확도: 98.91%
27	검증 세트 손실: 0.069426	최선의 손실: 0.056098	정확도: 98.83%
28	검증 세트 손실: 0.097741	최선의 손실: 0.056098	정확도: 98.59%
29	검증 세트 손실: 0.073053	최선의 손실: 0.056098	정확도: 98.63%
30	검증 세트 손실: 0.065958	최선의 손실: 0.056098	정확도: 98.79%
31	검증 세트 손실: 0.074085	최선의 손실: 0.056098	정확도: 98.67%
32	검증 세트 손실: 0.077389	최선의 손실: 0.056098	정확도: 98.67%
33	검증 세트 손실: 0.082879	최선의 손실: 0.056098	정확도: 98.63%
34	검증 세트 손실: 0.084573	최선의 손실: 0.056098	정확도: 98.75%
조기 종료!
[CV]  n_neurons=90, learning_rate=0.05, batch_size=500, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total=  12.9s
[CV] n_neurons=90, learning_rate=0.05, batch_size=500, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 
0	검증 세트 손실: 1.545305	최선의 손실: 1.545305	정확도: 93.16%
1	검증 세트 손실: 0.282418	최선의 손실: 0.282418	정확도: 97.15%
2	검증 세트 손실: 0.106239	최선의 손실: 0.106239	정확도: 98.16%
3	검증 세트 손실: 0.078249	최선의 손실: 0.078249	정확도: 98.44%
4	검증 세트 손실: 0.106543	최선의 손실: 0.078249	정확도: 97.77%
5	검증 세트 손실: 0.096182	최선의 손실: 0.078249	정확도: 98.36%
6	검증 세트 손실: 0.085939	최선의 손실: 0.078249	정확도: 98.08%
7	검증 세트 손실: 0.061860	최선의 손실: 0.061860	정확도: 98.44%
8	검증 세트 손실: 0.059406	최선의 손실: 0.059406	정확도: 98.83%
9	검증 세트 손실: 0.044102	최선의 손실: 0.044102	정확도: 98.98%
10	검증 세트 손실: 0.071046	최선의 손실: 0.044102	정확도: 98.63%
11	검증 세트 손실: 0.114026	최선의 손실: 0.044102	정확도: 97.89%
12	검증 세트 손실: 0.069768	최선의 손실: 0.044102	정확도: 98.71%
13	검증 세트 손실: 0.070695	최선의 손실: 0.044102	정확도: 98.51%
14	검증 세트 손실: 0.079249	최선의 손실: 0.044102	정확도: 98.51%
15	검증 세트 손실: 0.076373	최선의 손실: 0.044102	정확도: 98.59%
16	검증 세트 손실: 0.071651	최선의 손실: 0.044102	정확도: 98.67%
17	검증 세트 손실: 0.063991	최선의 손실: 0.044102	정확도: 98.75%
18	검증 세트 손실: 0.074036	최선의 손실: 0.044102	정확도: 98.71%
19	검증 세트 손실: 0.055675	최선의 손실: 0.044102	정확도: 98.94%
20	검증 세트 손실: 0.057518	최선의 손실: 0.044102	정확도: 98.91%
21	검증 세트 손실: 0.071406	최선의 손실: 0.044102	정확도: 98.51%
22	검증 세트 손실: 0.067844	최선의 손실: 0.044102	정확도: 98.79%
23	검증 세트 손실: 0.053762	최선의 손실: 0.044102	정확도: 99.02%
24	검증 세트 손실: 0.071873	최선의 손실: 0.044102	정확도: 98.55%
25	검증 세트 손실: 0.081753	최선의 손실: 0.044102	정확도: 98.44%
26	검증 세트 손실: 0.057524	최선의 손실: 0.044102	정확도: 99.02%
27	검증 세트 손실: 0.065538	최선의 손실: 0.044102	정확도: 98.79%
28	검증 세트 손실: 0.050495	최선의 손실: 0.044102	정확도: 98.87%
29	검증 세트 손실: 0.040231	최선의 손실: 0.040231	정확도: 99.06%
30	검증 세트 손실: 0.050914	최선의 손실: 0.040231	정확도: 98.94%
31	검증 세트 손실: 0.077501	최선의 손실: 0.040231	정확도: 98.63%
32	검증 세트 손실: 0.064035	최선의 손실: 0.040231	정확도: 98.98%
33	검증 세트 손실: 0.089943	최선의 손실: 0.040231	정확도: 98.28%
34	검증 세트 손실: 0.057293	최선의 손실: 0.040231	정확도: 98.94%
35	검증 세트 손실: 0.055064	최선의 손실: 0.040231	정확도: 98.98%
36	검증 세트 손실: 0.045044	최선의 손실: 0.040231	정확도: 98.94%
37	검증 세트 손실: 0.059708	최선의 손실: 0.040231	정확도: 98.91%
38	검증 세트 손실: 0.084063	최선의 손실: 0.040231	정확도: 98.59%
39	검증 세트 손실: 0.051146	최선의 손실: 0.040231	정확도: 99.10%
40	검증 세트 손실: 0.058476	최선의 손실: 0.040231	정확도: 98.87%
41	검증 세트 손실: 0.062926	최선의 손실: 0.040231	정확도: 98.75%
42	검증 세트 손실: 0.060139	최선의 손실: 0.040231	정확도: 98.94%
43	검증 세트 손실: 0.055237	최선의 손실: 0.040231	정확도: 99.06%
44	검증 세트 손실: 0.053879	최선의 손실: 0.040231	정확도: 98.98%
45	검증 세트 손실: 0.065132	최선의 손실: 0.040231	정확도: 99.10%
46	검증 세트 손실: 0.051844	최선의 손실: 0.040231	정확도: 99.14%
47	검증 세트 손실: 0.054467	최선의 손실: 0.040231	정확도: 98.71%
48	검증 세트 손실: 0.071239	최선의 손실: 0.040231	정확도: 99.06%
49	검증 세트 손실: 0.072217	최선의 손실: 0.040231	정확도: 99.06%
50	검증 세트 손실: 0.072872	최선의 손실: 0.040231	정확도: 98.83%
조기 종료!
[CV]  n_neurons=90, learning_rate=0.05, batch_size=500, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total=  18.1s
[CV] n_neurons=50, learning_rate=0.01, batch_size=10, batch_norm_momentum=0.98, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.100603	최선의 손실: 0.100603	정확도: 97.26%
1	검증 세트 손실: 0.095987	최선의 손실: 0.095987	정확도: 96.87%
2	검증 세트 손실: 0.061204	최선의 손실: 0.061204	정확도: 98.28%
3	검증 세트 손실: 0.070166	최선의 손실: 0.061204	정확도: 97.65%
4	검증 세트 손실: 0.057627	최선의 손실: 0.057627	정확도: 98.36%
5	검증 세트 손실: 0.071396	최선의 손실: 0.057627	정확도: 97.69%
6	검증 세트 손실: 0.056442	최선의 손실: 0.056442	정확도: 98.55%
7	검증 세트 손실: 0.043360	최선의 손실: 0.043360	정확도: 98.55%
8	검증 세트 손실: 0.045068	최선의 손실: 0.043360	정확도: 98.59%
9	검증 세트 손실: 0.058310	최선의 손실: 0.043360	정확도: 98.28%
10	검증 세트 손실: 0.058694	최선의 손실: 0.043360	정확도: 98.08%
11	검증 세트 손실: 0.037737	최선의 손실: 0.037737	정확도: 98.75%
12	검증 세트 손실: 0.044625	최선의 손실: 0.037737	정확도: 98.51%
13	검증 세트 손실: 0.044334	최선의 손실: 0.037737	정확도: 98.75%
14	검증 세트 손실: 0.045598	최선의 손실: 0.037737	정확도: 98.75%
15	검증 세트 손실: 0.044164	최선의 손실: 0.037737	정확도: 98.75%
16	검증 세트 손실: 0.044774	최선의 손실: 0.037737	정확도: 98.71%
17	검증 세트 손실: 0.040375	최선의 손실: 0.037737	정확도: 98.94%
18	검증 세트 손실: 0.040069	최선의 손실: 0.037737	정확도: 98.71%
19	검증 세트 손실: 0.045493	최선의 손실: 0.037737	정확도: 98.51%
20	검증 세트 손실: 0.044257	최선의 손실: 0.037737	정확도: 98.55%
21	검증 세트 손실: 0.045531	최선의 손실: 0.037737	정확도: 98.63%
22	검증 세트 손실: 0.043908	최선의 손실: 0.037737	정확도: 98.63%
23	검증 세트 손실: 0.047887	최선의 손실: 0.037737	정확도: 98.67%
24	검증 세트 손실: 0.043792	최선의 손실: 0.037737	정확도: 98.67%
25	검증 세트 손실: 0.037507	최선의 손실: 0.037507	정확도: 98.83%
26	검증 세트 손실: 0.045902	최선의 손실: 0.037507	정확도: 98.75%
27	검증 세트 손실: 0.048083	최선의 손실: 0.037507	정확도: 98.55%
28	검증 세트 손실: 0.049194	최선의 손실: 0.037507	정확도: 98.51%
29	검증 세트 손실: 0.052442	최선의 손실: 0.037507	정확도: 98.75%
30	검증 세트 손실: 0.047821	최선의 손실: 0.037507	정확도: 98.71%
31	검증 세트 손실: 0.040178	최선의 손실: 0.037507	정확도: 98.94%
32	검증 세트 손실: 0.047428	최선의 손실: 0.037507	정확도: 98.79%
33	검증 세트 손실: 0.046033	최선의 손실: 0.037507	정확도: 98.71%
34	검증 세트 손실: 0.043453	최선의 손실: 0.037507	정확도: 98.91%
35	검증 세트 손실: 0.048953	최선의 손실: 0.037507	정확도: 98.59%
36	검증 세트 손실: 0.046497	최선의 손실: 0.037507	정확도: 98.83%
37	검증 세트 손실: 0.050526	최선의 손실: 0.037507	정확도: 98.51%
38	검증 세트 손실: 0.059607	최선의 손실: 0.037507	정확도: 98.48%
39	검증 세트 손실: 0.039519	최선의 손실: 0.037507	정확도: 99.06%
40	검증 세트 손실: 0.040046	최선의 손실: 0.037507	정확도: 98.91%
41	검증 세트 손실: 0.045818	최선의 손실: 0.037507	정확도: 98.63%
42	검증 세트 손실: 0.052572	최선의 손실: 0.037507	정확도: 98.44%
43	검증 세트 손실: 0.049188	최선의 손실: 0.037507	정확도: 98.91%
44	검증 세트 손실: 0.039469	최선의 손실: 0.037507	정확도: 98.87%
45	검증 세트 손실: 0.044195	최선의 손실: 0.037507	정확도: 98.91%
46	검증 세트 손실: 0.048622	최선의 손실: 0.037507	정확도: 98.63%
조기 종료!
[CV]  n_neurons=50, learning_rate=0.01, batch_size=10, batch_norm_momentum=0.98, activation=<function elu at 0x7f8ec4ceef28>, total= 2.0min
[CV] n_neurons=50, learning_rate=0.01, batch_size=10, batch_norm_momentum=0.98, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.121895	최선의 손실: 0.121895	정확도: 96.29%
1	검증 세트 손실: 0.092253	최선의 손실: 0.092253	정확도: 97.15%
2	검증 세트 손실: 0.088004	최선의 손실: 0.088004	정확도: 97.07%
3	검증 세트 손실: 0.060347	최선의 손실: 0.060347	정확도: 98.16%
4	검증 세트 손실: 0.057473	최선의 손실: 0.057473	정확도: 97.93%
5	검증 세트 손실: 0.059368	최선의 손실: 0.057473	정확도: 97.85%
6	검증 세트 손실: 0.046952	최선의 손실: 0.046952	정확도: 98.32%
7	검증 세트 손실: 0.039276	최선의 손실: 0.039276	정확도: 98.63%
8	검증 세트 손실: 0.047805	최선의 손실: 0.039276	정확도: 98.55%
9	검증 세트 손실: 0.052766	최선의 손실: 0.039276	정확도: 98.40%
10	검증 세트 손실: 0.063021	최선의 손실: 0.039276	정확도: 97.93%
11	검증 세트 손실: 0.042493	최선의 손실: 0.039276	정확도: 98.40%
12	검증 세트 손실: 0.045186	최선의 손실: 0.039276	정확도: 98.48%
13	검증 세트 손실: 0.046415	최선의 손실: 0.039276	정확도: 98.59%
14	검증 세트 손실: 0.043055	최선의 손실: 0.039276	정확도: 98.55%
15	검증 세트 손실: 0.049050	최선의 손실: 0.039276	정확도: 98.32%
16	검증 세트 손실: 0.043508	최선의 손실: 0.039276	정확도: 98.63%
17	검증 세트 손실: 0.043853	최선의 손실: 0.039276	정확도: 98.67%
18	검증 세트 손실: 0.044556	최선의 손실: 0.039276	정확도: 98.51%
19	검증 세트 손실: 0.038379	최선의 손실: 0.038379	정확도: 98.75%
20	검증 세트 손실: 0.039012	최선의 손실: 0.038379	정확도: 98.83%
21	검증 세트 손실: 0.045854	최선의 손실: 0.038379	정확도: 98.79%
22	검증 세트 손실: 0.041372	최선의 손실: 0.038379	정확도: 98.63%
23	검증 세트 손실: 0.044562	최선의 손실: 0.038379	정확도: 98.79%
24	검증 세트 손실: 0.030980	최선의 손실: 0.030980	정확도: 98.83%
25	검증 세트 손실: 0.031959	최선의 손실: 0.030980	정확도: 98.98%
26	검증 세트 손실: 0.043089	최선의 손실: 0.030980	정확도: 98.67%
27	검증 세트 손실: 0.041988	최선의 손실: 0.030980	정확도: 98.63%
28	검증 세트 손실: 0.029320	최선의 손실: 0.029320	정확도: 99.14%
29	검증 세트 손실: 0.050636	최선의 손실: 0.029320	정확도: 98.71%
30	검증 세트 손실: 0.045775	최선의 손실: 0.029320	정확도: 98.98%
31	검증 세트 손실: 0.041300	최선의 손실: 0.029320	정확도: 98.71%
32	검증 세트 손실: 0.027898	최선의 손실: 0.027898	정확도: 99.26%
33	검증 세트 손실: 0.033033	최선의 손실: 0.027898	정확도: 98.98%
34	검증 세트 손실: 0.062622	최선의 손실: 0.027898	정확도: 98.71%
35	검증 세트 손실: 0.037295	최선의 손실: 0.027898	정확도: 98.87%
36	검증 세트 손실: 0.041117	최선의 손실: 0.027898	정확도: 98.94%
37	검증 세트 손실: 0.050021	최선의 손실: 0.027898	정확도: 98.48%
38	검증 세트 손실: 0.034783	최선의 손실: 0.027898	정확도: 98.87%
39	검증 세트 손실: 0.034003	최선의 손실: 0.027898	정확도: 99.06%
40	검증 세트 손실: 0.042847	최선의 손실: 0.027898	정확도: 98.71%
41	검증 세트 손실: 0.034893	최선의 손실: 0.027898	정확도: 99.02%
42	검증 세트 손실: 0.036109	최선의 손실: 0.027898	정확도: 98.75%
43	검증 세트 손실: 0.035995	최선의 손실: 0.027898	정확도: 98.87%
44	검증 세트 손실: 0.046147	최선의 손실: 0.027898	정확도: 98.91%
45	검증 세트 손실: 0.035157	최선의 손실: 0.027898	정확도: 98.94%
46	검증 세트 손실: 0.034277	최선의 손실: 0.027898	정확도: 99.10%
47	검증 세트 손실: 0.039010	최선의 손실: 0.027898	정확도: 98.98%
48	검증 세트 손실: 0.058768	최선의 손실: 0.027898	정확도: 98.67%
49	검증 세트 손실: 0.048524	최선의 손실: 0.027898	정확도: 98.75%
50	검증 세트 손실: 0.043241	최선의 손실: 0.027898	정확도: 98.44%
51	검증 세트 손실: 0.041173	최선의 손실: 0.027898	정확도: 98.83%
52	검증 세트 손실: 0.046565	최선의 손실: 0.027898	정확도: 98.83%
53	검증 세트 손실: 0.045326	최선의 손실: 0.027898	정확도: 98.55%
조기 종료!
[CV]  n_neurons=50, learning_rate=0.01, batch_size=10, batch_norm_momentum=0.98, activation=<function elu at 0x7f8ec4ceef28>, total= 2.3min
[CV] n_neurons=50, learning_rate=0.01, batch_size=10, batch_norm_momentum=0.98, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.100030	최선의 손실: 0.100030	정확도: 97.19%
1	검증 세트 손실: 0.070623	최선의 손실: 0.070623	정확도: 98.01%
2	검증 세트 손실: 0.064858	최선의 손실: 0.064858	정확도: 98.01%
3	검증 세트 손실: 0.058851	최선의 손실: 0.058851	정확도: 98.28%
4	검증 세트 손실: 0.047061	최선의 손실: 0.047061	정확도: 98.36%
5	검증 세트 손실: 0.058901	최선의 손실: 0.047061	정확도: 97.97%
6	검증 세트 손실: 0.077585	최선의 손실: 0.047061	정확도: 97.50%
7	검증 세트 손실: 0.040281	최선의 손실: 0.040281	정확도: 98.75%
8	검증 세트 손실: 0.037623	최선의 손실: 0.037623	정확도: 98.91%
9	검증 세트 손실: 0.040125	최선의 손실: 0.037623	정확도: 98.94%
10	검증 세트 손실: 0.035225	최선의 손실: 0.035225	정확도: 98.87%
11	검증 세트 손실: 0.043298	최선의 손실: 0.035225	정확도: 98.91%
12	검증 세트 손실: 0.042809	최선의 손실: 0.035225	정확도: 98.55%
13	검증 세트 손실: 0.041754	최선의 손실: 0.035225	정확도: 98.91%
14	검증 세트 손실: 0.045671	최선의 손실: 0.035225	정확도: 98.75%
15	검증 세트 손실: 0.036880	최선의 손실: 0.035225	정확도: 98.94%
16	검증 세트 손실: 0.030745	최선의 손실: 0.030745	정확도: 99.06%
17	검증 세트 손실: 0.039960	최선의 손실: 0.030745	정확도: 98.71%
18	검증 세트 손실: 0.033983	최선의 손실: 0.030745	정확도: 98.91%
19	검증 세트 손실: 0.041830	최선의 손실: 0.030745	정확도: 98.48%
20	검증 세트 손실: 0.033926	최선의 손실: 0.030745	정확도: 98.98%
21	검증 세트 손실: 0.029316	최선의 손실: 0.029316	정확도: 99.02%
22	검증 세트 손실: 0.032503	최선의 손실: 0.029316	정확도: 99.06%
23	검증 세트 손실: 0.035125	최선의 손실: 0.029316	정확도: 99.10%
24	검증 세트 손실: 0.038176	최선의 손실: 0.029316	정확도: 98.75%
25	검증 세트 손실: 0.039735	최선의 손실: 0.029316	정확도: 98.83%
26	검증 세트 손실: 0.039223	최선의 손실: 0.029316	정확도: 98.98%
27	검증 세트 손실: 0.032711	최선의 손실: 0.029316	정확도: 98.98%
28	검증 세트 손실: 0.033500	최선의 손실: 0.029316	정확도: 99.02%
29	검증 세트 손실: 0.041764	최선의 손실: 0.029316	정확도: 98.83%
30	검증 세트 손실: 0.046980	최선의 손실: 0.029316	정확도: 98.75%
31	검증 세트 손실: 0.041176	최선의 손실: 0.029316	정확도: 98.59%
32	검증 세트 손실: 0.033270	최선의 손실: 0.029316	정확도: 98.98%
33	검증 세트 손실: 0.037823	최선의 손실: 0.029316	정확도: 98.98%
34	검증 세트 손실: 0.032578	최선의 손실: 0.029316	정확도: 98.87%
35	검증 세트 손실: 0.037565	최선의 손실: 0.029316	정확도: 99.02%
36	검증 세트 손실: 0.042676	최선의 손실: 0.029316	정확도: 98.87%
37	검증 세트 손실: 0.036772	최선의 손실: 0.029316	정확도: 98.87%
38	검증 세트 손실: 0.043170	최선의 손실: 0.029316	정확도: 98.75%
39	검증 세트 손실: 0.034908	최선의 손실: 0.029316	정확도: 98.94%
40	검증 세트 손실: 0.036616	최선의 손실: 0.029316	정확도: 98.91%
41	검증 세트 손실: 0.040407	최선의 손실: 0.029316	정확도: 98.98%
42	검증 세트 손실: 0.034894	최선의 손실: 0.029316	정확도: 98.87%
조기 종료!
[CV]  n_neurons=50, learning_rate=0.01, batch_size=10, batch_norm_momentum=0.98, activation=<function elu at 0x7f8ec4ceef28>, total= 1.8min
[CV] n_neurons=120, learning_rate=0.05, batch_size=10, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 
0	검증 세트 손실: 0.212140	최선의 손실: 0.212140	정확도: 94.45%
1	검증 세트 손실: 0.098957	최선의 손실: 0.098957	정확도: 97.19%
2	검증 세트 손실: 0.078246	최선의 손실: 0.078246	정확도: 97.65%
3	검증 세트 손실: 0.066202	최선의 손실: 0.066202	정확도: 98.20%
4	검증 세트 손실: 0.052945	최선의 손실: 0.052945	정확도: 98.48%
5	검증 세트 손실: 0.065469	최선의 손실: 0.052945	정확도: 98.05%
6	검증 세트 손실: 0.130332	최선의 손실: 0.052945	정확도: 96.44%
7	검증 세트 손실: 0.057354	최선의 손실: 0.052945	정확도: 98.55%
8	검증 세트 손실: 0.054194	최선의 손실: 0.052945	정확도: 98.24%
9	검증 세트 손실: 0.059746	최선의 손실: 0.052945	정확도: 98.12%
10	검증 세트 손실: 0.050507	최선의 손실: 0.050507	정확도: 98.32%
11	검증 세트 손실: 0.056456	최선의 손실: 0.050507	정확도: 98.48%
12	검증 세트 손실: 0.056127	최선의 손실: 0.050507	정확도: 98.67%
13	검증 세트 손실: 0.051199	최선의 손실: 0.050507	정확도: 98.20%
14	검증 세트 손실: 0.052454	최선의 손실: 0.050507	정확도: 98.71%
15	검증 세트 손실: 0.050868	최선의 손실: 0.050507	정확도: 98.59%
16	검증 세트 손실: 0.054372	최선의 손실: 0.050507	정확도: 98.32%
17	검증 세트 손실: 0.047549	최선의 손실: 0.047549	정확도: 98.71%
18	검증 세트 손실: 0.066167	최선의 손실: 0.047549	정확도: 98.08%
19	검증 세트 손실: 0.063800	최선의 손실: 0.047549	정확도: 98.59%
20	검증 세트 손실: 0.058271	최선의 손실: 0.047549	정확도: 98.83%
21	검증 세트 손실: 0.040681	최선의 손실: 0.040681	정확도: 99.02%
22	검증 세트 손실: 0.057463	최선의 손실: 0.040681	정확도: 98.83%
23	검증 세트 손실: 0.056186	최선의 손실: 0.040681	정확도: 98.36%
24	검증 세트 손실: 0.037900	최선의 손실: 0.037900	정확도: 98.94%
25	검증 세트 손실: 0.060407	최선의 손실: 0.037900	정확도: 98.91%
26	검증 세트 손실: 0.039482	최선의 손실: 0.037900	정확도: 99.18%
27	검증 세트 손실: 0.083588	최선의 손실: 0.037900	정확도: 98.08%
28	검증 세트 손실: 0.075337	최선의 손실: 0.037900	정확도: 98.59%
29	검증 세트 손실: 0.053983	최선의 손실: 0.037900	정확도: 98.75%
30	검증 세트 손실: 0.047716	최선의 손실: 0.037900	정확도: 98.94%
31	검증 세트 손실: 0.047535	최선의 손실: 0.037900	정확도: 99.02%
32	검증 세트 손실: 0.065004	최선의 손실: 0.037900	정확도: 98.98%
33	검증 세트 손실: 0.053850	최선의 손실: 0.037900	정확도: 99.10%
34	검증 세트 손실: 0.058793	최선의 손실: 0.037900	정확도: 98.83%
35	검증 세트 손실: 0.036635	최선의 손실: 0.036635	정확도: 99.14%
36	검증 세트 손실: 0.049593	최선의 손실: 0.036635	정확도: 99.06%
37	검증 세트 손실: 0.092141	최선의 손실: 0.036635	정확도: 98.36%
38	검증 세트 손실: 0.067755	최선의 손실: 0.036635	정확도: 99.02%
39	검증 세트 손실: 0.053219	최선의 손실: 0.036635	정확도: 99.02%
40	검증 세트 손실: 0.050433	최선의 손실: 0.036635	정확도: 98.91%
41	검증 세트 손실: 0.044516	최선의 손실: 0.036635	정확도: 98.98%
42	검증 세트 손실: 0.049445	최선의 손실: 0.036635	정확도: 98.71%
43	검증 세트 손실: 0.049240	최선의 손실: 0.036635	정확도: 98.87%
44	검증 세트 손실: 0.051228	최선의 손실: 0.036635	정확도: 99.02%
45	검증 세트 손실: 0.085578	최선의 손실: 0.036635	정확도: 98.59%
46	검증 세트 손실: 0.056779	최선의 손실: 0.036635	정확도: 98.79%
47	검증 세트 손실: 0.064794	최선의 손실: 0.036635	정확도: 98.51%
48	검증 세트 손실: 0.072838	최선의 손실: 0.036635	정확도: 98.83%
49	검증 세트 손실: 0.085182	최선의 손실: 0.036635	정확도: 98.40%
50	검증 세트 손실: 0.074836	최선의 손실: 0.036635	정확도: 98.40%
51	검증 세트 손실: 0.059198	최선의 손실: 0.036635	정확도: 98.75%
52	검증 세트 손실: 0.094831	최선의 손실: 0.036635	정확도: 98.36%
53	검증 세트 손실: 0.067013	최선의 손실: 0.036635	정확도: 98.83%
54	검증 세트 손실: 0.056849	최선의 손실: 0.036635	정확도: 98.75%
55	검증 세트 손실: 0.081401	최선의 손실: 0.036635	정확도: 98.16%
56	검증 세트 손실: 0.104219	최선의 손실: 0.036635	정확도: 98.63%
조기 종료!
[CV]  n_neurons=120, learning_rate=0.05, batch_size=10, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 3.1min
[CV] n_neurons=120, learning_rate=0.05, batch_size=10, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 
0	검증 세트 손실: 0.130739	최선의 손실: 0.130739	정확도: 96.33%
1	검증 세트 손실: 0.096265	최선의 손실: 0.096265	정확도: 97.03%
2	검증 세트 손실: 0.076156	최선의 손실: 0.076156	정확도: 97.85%
3	검증 세트 손실: 0.255259	최선의 손실: 0.076156	정확도: 95.78%
4	검증 세트 손실: 0.052834	최선의 손실: 0.052834	정확도: 98.63%
5	검증 세트 손실: 0.070017	최선의 손실: 0.052834	정확도: 97.89%
6	검증 세트 손실: 0.072873	최선의 손실: 0.052834	정확도: 98.20%
7	검증 세트 손실: 0.062900	최선의 손실: 0.052834	정확도: 97.62%
8	검증 세트 손실: 0.074799	최선의 손실: 0.052834	정확도: 98.12%
9	검증 세트 손실: 0.055148	최선의 손실: 0.052834	정확도: 98.59%
10	검증 세트 손실: 0.071833	최선의 손실: 0.052834	정확도: 98.20%
11	검증 세트 손실: 0.067117	최선의 손실: 0.052834	정확도: 98.24%
12	검증 세트 손실: 0.045779	최선의 손실: 0.045779	정확도: 98.63%
13	검증 세트 손실: 0.046497	최선의 손실: 0.045779	정확도: 99.02%
14	검증 세트 손실: 0.042511	최선의 손실: 0.042511	정확도: 98.75%
15	검증 세트 손실: 0.074468	최선의 손실: 0.042511	정확도: 97.89%
16	검증 세트 손실: 0.067823	최선의 손실: 0.042511	정확도: 98.51%
17	검증 세트 손실: 0.049138	최선의 손실: 0.042511	정확도: 98.59%
18	검증 세트 손실: 0.058330	최선의 손실: 0.042511	정확도: 98.63%
19	검증 세트 손실: 0.045549	최선의 손실: 0.042511	정확도: 98.98%
20	검증 세트 손실: 0.058263	최선의 손실: 0.042511	정확도: 98.51%
21	검증 세트 손실: 0.049386	최선의 손실: 0.042511	정확도: 98.67%
22	검증 세트 손실: 0.053419	최선의 손실: 0.042511	정확도: 98.71%
23	검증 세트 손실: 0.048095	최선의 손실: 0.042511	정확도: 98.59%
24	검증 세트 손실: 0.056695	최선의 손실: 0.042511	정확도: 98.55%
25	검증 세트 손실: 0.059468	최선의 손실: 0.042511	정확도: 98.20%
26	검증 세트 손실: 0.035598	최선의 손실: 0.035598	정확도: 98.98%
27	검증 세트 손실: 0.043477	최선의 손실: 0.035598	정확도: 98.83%
28	검증 세트 손실: 0.077709	최선의 손실: 0.035598	정확도: 98.51%
29	검증 세트 손실: 0.069939	최선의 손실: 0.035598	정확도: 98.40%
30	검증 세트 손실: 0.064058	최선의 손실: 0.035598	정확도: 98.71%
31	검증 세트 손실: 0.074587	최선의 손실: 0.035598	정확도: 98.28%
32	검증 세트 손실: 0.058136	최선의 손실: 0.035598	정확도: 98.71%
33	검증 세트 손실: 0.062856	최선의 손실: 0.035598	정확도: 98.48%
34	검증 세트 손실: 0.046335	최선의 손실: 0.035598	정확도: 98.83%
35	검증 세트 손실: 0.066735	최선의 손실: 0.035598	정확도: 98.63%
36	검증 세트 손실: 0.053662	최선의 손실: 0.035598	정확도: 98.91%
37	검증 세트 손실: 0.101943	최선의 손실: 0.035598	정확도: 97.73%
38	검증 세트 손실: 0.050886	최선의 손실: 0.035598	정확도: 98.71%
39	검증 세트 손실: 0.054765	최선의 손실: 0.035598	정확도: 98.48%
40	검증 세트 손실: 0.057015	최선의 손실: 0.035598	정확도: 98.55%
41	검증 세트 손실: 0.060916	최선의 손실: 0.035598	정확도: 98.59%
42	검증 세트 손실: 0.058006	최선의 손실: 0.035598	정확도: 98.79%
43	검증 세트 손실: 0.061985	최선의 손실: 0.035598	정확도: 98.67%
44	검증 세트 손실: 0.077563	최선의 손실: 0.035598	정확도: 98.87%
45	검증 세트 손실: 0.114689	최선의 손실: 0.035598	정확도: 97.11%
46	검증 세트 손실: 0.071443	최선의 손실: 0.035598	정확도: 98.79%
47	검증 세트 손실: 0.067210	최선의 손실: 0.035598	정확도: 98.94%
조기 종료!
[CV]  n_neurons=120, learning_rate=0.05, batch_size=10, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 2.6min
[CV] n_neurons=120, learning_rate=0.05, batch_size=10, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 
0	검증 세트 손실: 0.100971	최선의 손실: 0.100971	정확도: 97.26%
1	검증 세트 손실: 0.136912	최선의 손실: 0.100971	정확도: 96.64%
2	검증 세트 손실: 0.074927	최선의 손실: 0.074927	정확도: 98.08%
3	검증 세트 손실: 0.057939	최선의 손실: 0.057939	정확도: 98.28%
4	검증 세트 손실: 0.076402	최선의 손실: 0.057939	정확도: 97.42%
5	검증 세트 손실: 0.103015	최선의 손실: 0.057939	정확도: 96.95%
6	검증 세트 손실: 0.076994	최선의 손실: 0.057939	정확도: 98.16%
7	검증 세트 손실: 0.067900	최선의 손실: 0.057939	정확도: 98.05%
8	검증 세트 손실: 0.090544	최선의 손실: 0.057939	정확도: 98.28%
9	검증 세트 손실: 0.284188	최선의 손실: 0.057939	정확도: 94.29%
10	검증 세트 손실: 0.046417	최선의 손실: 0.046417	정확도: 98.83%
11	검증 세트 손실: 0.056508	최선의 손실: 0.046417	정확도: 98.55%
12	검증 세트 손실: 0.051637	최선의 손실: 0.046417	정확도: 98.63%
13	검증 세트 손실: 0.060239	최선의 손실: 0.046417	정확도: 98.32%
14	검증 세트 손실: 0.121830	최선의 손실: 0.046417	정확도: 96.25%
15	검증 세트 손실: 0.055006	최선의 손실: 0.046417	정확도: 98.36%
16	검증 세트 손실: 0.062364	최선의 손실: 0.046417	정확도: 98.59%
17	검증 세트 손실: 0.049467	최선의 손실: 0.046417	정확도: 98.55%
18	검증 세트 손실: 0.040422	최선의 손실: 0.040422	정확도: 98.83%
19	검증 세트 손실: 0.063442	최선의 손실: 0.040422	정확도: 98.51%
20	검증 세트 손실: 0.075499	최선의 손실: 0.040422	정확도: 98.24%
21	검증 세트 손실: 0.051109	최선의 손실: 0.040422	정확도: 98.79%
22	검증 세트 손실: 0.059822	최선의 손실: 0.040422	정확도: 98.40%
23	검증 세트 손실: 0.036305	최선의 손실: 0.036305	정확도: 98.87%
24	검증 세트 손실: 0.058390	최선의 손실: 0.036305	정확도: 98.59%
25	검증 세트 손실: 0.042100	최선의 손실: 0.036305	정확도: 98.83%
26	검증 세트 손실: 0.066516	최선의 손실: 0.036305	정확도: 98.83%
27	검증 세트 손실: 0.043694	최선의 손실: 0.036305	정확도: 98.91%
28	검증 세트 손실: 0.054546	최선의 손실: 0.036305	정확도: 98.63%
29	검증 세트 손실: 0.056360	최선의 손실: 0.036305	정확도: 98.48%
30	검증 세트 손실: 0.065390	최선의 손실: 0.036305	정확도: 98.44%
31	검증 세트 손실: 0.067643	최선의 손실: 0.036305	정확도: 98.67%
32	검증 세트 손실: 0.052458	최선의 손실: 0.036305	정확도: 98.94%
33	검증 세트 손실: 0.071327	최선의 손실: 0.036305	정확도: 98.16%
34	검증 세트 손실: 0.067649	최선의 손실: 0.036305	정확도: 98.63%
35	검증 세트 손실: 0.064948	최선의 손실: 0.036305	정확도: 98.63%
36	검증 세트 손실: 0.074286	최선의 손실: 0.036305	정확도: 98.44%
37	검증 세트 손실: 0.054485	최선의 손실: 0.036305	정확도: 98.91%
38	검증 세트 손실: 0.050064	최선의 손실: 0.036305	정확도: 98.94%
39	검증 세트 손실: 0.069414	최선의 손실: 0.036305	정확도: 98.79%
40	검증 세트 손실: 0.061078	최선의 손실: 0.036305	정확도: 98.63%
41	검증 세트 손실: 0.044933	최선의 손실: 0.036305	정확도: 99.02%
42	검증 세트 손실: 0.066873	최선의 손실: 0.036305	정확도: 98.87%
43	검증 세트 손실: 0.066883	최선의 손실: 0.036305	정확도: 98.36%
44	검증 세트 손실: 0.050397	최선의 손실: 0.036305	정확도: 98.91%
조기 종료!
[CV]  n_neurons=120, learning_rate=0.05, batch_size=10, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 2.5min
[CV] n_neurons=120, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 
0	검증 세트 손실: 0.078187	최선의 손실: 0.078187	정확도: 98.16%
1	검증 세트 손실: 0.060955	최선의 손실: 0.060955	정확도: 98.36%
2	검증 세트 손실: 0.058321	최선의 손실: 0.058321	정확도: 98.55%
3	검증 세트 손실: 0.072151	최선의 손실: 0.058321	정확도: 98.12%
4	검증 세트 손실: 0.040339	최선의 손실: 0.040339	정확도: 98.91%
5	검증 세트 손실: 0.047388	최선의 손실: 0.040339	정확도: 98.79%
6	검증 세트 손실: 0.039580	최선의 손실: 0.039580	정확도: 98.94%
7	검증 세트 손실: 0.044446	최선의 손실: 0.039580	정확도: 99.02%
8	검증 세트 손실: 0.036923	최선의 손실: 0.036923	정확도: 99.06%
9	검증 세트 손실: 0.049075	최선의 손실: 0.036923	정확도: 98.67%
10	검증 세트 손실: 0.045303	최선의 손실: 0.036923	정확도: 99.02%
11	검증 세트 손실: 0.060998	최선의 손실: 0.036923	정확도: 98.83%
12	검증 세트 손실: 0.045595	최선의 손실: 0.036923	정확도: 98.98%
13	검증 세트 손실: 0.057564	최선의 손실: 0.036923	정확도: 98.75%
14	검증 세트 손실: 0.038945	최선의 손실: 0.036923	정확도: 98.91%
15	검증 세트 손실: 0.048115	최선의 손실: 0.036923	정확도: 99.18%
16	검증 세트 손실: 0.041777	최선의 손실: 0.036923	정확도: 99.10%
17	검증 세트 손실: 0.047780	최선의 손실: 0.036923	정확도: 98.79%
18	검증 세트 손실: 0.072120	최선의 손실: 0.036923	정확도: 98.24%
19	검증 세트 손실: 0.055985	최선의 손실: 0.036923	정확도: 98.87%
20	검증 세트 손실: 0.045593	최선의 손실: 0.036923	정확도: 99.14%
21	검증 세트 손실: 0.053846	최선의 손실: 0.036923	정확도: 98.79%
22	검증 세트 손실: 0.038386	최선의 손실: 0.036923	정확도: 99.06%
23	검증 세트 손실: 0.052726	최선의 손실: 0.036923	정확도: 98.79%
24	검증 세트 손실: 0.038564	최선의 손실: 0.036923	정확도: 99.06%
25	검증 세트 손실: 0.052008	최선의 손실: 0.036923	정확도: 99.02%
26	검증 세트 손실: 0.034041	최선의 손실: 0.034041	정확도: 99.26%
27	검증 세트 손실: 0.044444	최선의 손실: 0.034041	정확도: 99.22%
28	검증 세트 손실: 0.038965	최선의 손실: 0.034041	정확도: 99.10%
29	검증 세트 손실: 0.038980	최선의 손실: 0.034041	정확도: 98.91%
30	검증 세트 손실: 0.048642	최선의 손실: 0.034041	정확도: 99.06%
31	검증 세트 손실: 0.030676	최선의 손실: 0.030676	정확도: 99.30%
32	검증 세트 손실: 0.067955	최선의 손실: 0.030676	정확도: 98.75%
33	검증 세트 손실: 0.058650	최선의 손실: 0.030676	정확도: 98.79%
34	검증 세트 손실: 0.046943	최선의 손실: 0.030676	정확도: 99.02%
35	검증 세트 손실: 0.039030	최선의 손실: 0.030676	정확도: 99.18%
36	검증 세트 손실: 0.040877	최선의 손실: 0.030676	정확도: 99.26%
37	검증 세트 손실: 0.049345	최선의 손실: 0.030676	정확도: 99.06%
38	검증 세트 손실: 0.044923	최선의 손실: 0.030676	정확도: 99.06%
39	검증 세트 손실: 0.032241	최선의 손실: 0.030676	정확도: 99.10%
40	검증 세트 손실: 0.042731	최선의 손실: 0.030676	정확도: 99.22%
41	검증 세트 손실: 0.063376	최선의 손실: 0.030676	정확도: 98.79%
42	검증 세트 손실: 0.049270	최선의 손실: 0.030676	정확도: 99.22%
43	검증 세트 손실: 0.048825	최선의 손실: 0.030676	정확도: 98.94%
44	검증 세트 손실: 0.047671	최선의 손실: 0.030676	정확도: 99.02%
45	검증 세트 손실: 0.053872	최선의 손실: 0.030676	정확도: 98.83%
46	검증 세트 손실: 0.043402	최선의 손실: 0.030676	정확도: 99.10%
47	검증 세트 손실: 0.053526	최선의 손실: 0.030676	정확도: 98.94%
48	검증 세트 손실: 0.050458	최선의 손실: 0.030676	정확도: 98.94%
49	검증 세트 손실: 0.044060	최선의 손실: 0.030676	정확도: 98.87%
50	검증 세트 손실: 0.048762	최선의 손실: 0.030676	정확도: 98.98%
51	검증 세트 손실: 0.043963	최선의 손실: 0.030676	정확도: 99.14%
52	검증 세트 손실: 0.039025	최선의 손실: 0.030676	정확도: 99.34%
조기 종료!
[CV]  n_neurons=120, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total=  58.4s
[CV] n_neurons=120, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 
0	검증 세트 손실: 0.111888	최선의 손실: 0.111888	정확도: 96.76%
1	검증 세트 손실: 0.049706	최선의 손실: 0.049706	정확도: 98.79%
2	검증 세트 손실: 0.047537	최선의 손실: 0.047537	정확도: 98.59%
3	검증 세트 손실: 0.055002	최선의 손실: 0.047537	정확도: 98.44%
4	검증 세트 손실: 0.057803	최선의 손실: 0.047537	정확도: 98.36%
5	검증 세트 손실: 0.075896	최선의 손실: 0.047537	정확도: 97.77%
6	검증 세트 손실: 0.055984	최선의 손실: 0.047537	정확도: 98.67%
7	검증 세트 손실: 0.067534	최선의 손실: 0.047537	정확도: 98.55%
8	검증 세트 손실: 0.048776	최선의 손실: 0.047537	정확도: 98.91%
9	검증 세트 손실: 0.081232	최선의 손실: 0.047537	정확도: 97.81%
10	검증 세트 손실: 0.039141	최선의 손실: 0.039141	정확도: 98.98%
11	검증 세트 손실: 0.044540	최선의 손실: 0.039141	정확도: 98.83%
12	검증 세트 손실: 0.041863	최선의 손실: 0.039141	정확도: 99.14%
13	검증 세트 손실: 0.045043	최선의 손실: 0.039141	정확도: 98.79%
14	검증 세트 손실: 0.045412	최선의 손실: 0.039141	정확도: 98.91%
15	검증 세트 손실: 0.046455	최선의 손실: 0.039141	정확도: 98.98%
16	검증 세트 손실: 0.045159	최선의 손실: 0.039141	정확도: 98.83%
17	검증 세트 손실: 0.051285	최선의 손실: 0.039141	정확도: 98.83%
18	검증 세트 손실: 0.034931	최선의 손실: 0.034931	정확도: 98.94%
19	검증 세트 손실: 0.049003	최선의 손실: 0.034931	정확도: 98.91%
20	검증 세트 손실: 0.033017	최선의 손실: 0.033017	정확도: 99.26%
21	검증 세트 손실: 0.035224	최선의 손실: 0.033017	정확도: 99.14%
22	검증 세트 손실: 0.052526	최선의 손실: 0.033017	정확도: 98.79%
23	검증 세트 손실: 0.064070	최선의 손실: 0.033017	정확도: 98.48%
24	검증 세트 손실: 0.054564	최선의 손실: 0.033017	정확도: 98.75%
25	검증 세트 손실: 0.059322	최선의 손실: 0.033017	정확도: 98.79%
26	검증 세트 손실: 0.047935	최선의 손실: 0.033017	정확도: 98.94%
27	검증 세트 손실: 0.046030	최선의 손실: 0.033017	정확도: 99.06%
28	검증 세트 손실: 0.086053	최선의 손실: 0.033017	정확도: 98.28%
29	검증 세트 손실: 0.042262	최선의 손실: 0.033017	정확도: 99.18%
30	검증 세트 손실: 0.042905	최선의 손실: 0.033017	정확도: 98.98%
31	검증 세트 손실: 0.051565	최선의 손실: 0.033017	정확도: 99.10%
32	검증 세트 손실: 0.065207	최선의 손실: 0.033017	정확도: 98.55%
33	검증 세트 손실: 0.043525	최선의 손실: 0.033017	정확도: 98.91%
34	검증 세트 손실: 0.048505	최선의 손실: 0.033017	정확도: 99.18%
35	검증 세트 손실: 0.054293	최선의 손실: 0.033017	정확도: 98.79%
36	검증 세트 손실: 0.044403	최선의 손실: 0.033017	정확도: 99.14%
37	검증 세트 손실: 0.045835	최선의 손실: 0.033017	정확도: 99.14%
38	검증 세트 손실: 0.048221	최선의 손실: 0.033017	정확도: 98.87%
39	검증 세트 손실: 0.046241	최선의 손실: 0.033017	정확도: 99.14%
40	검증 세트 손실: 0.059192	최선의 손실: 0.033017	정확도: 99.14%
41	검증 세트 손실: 0.047793	최선의 손실: 0.033017	정확도: 99.22%
조기 종료!
[CV]  n_neurons=120, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total=  46.5s
[CV] n_neurons=120, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 
0	검증 세트 손실: 0.109661	최선의 손실: 0.109661	정확도: 97.15%
1	검증 세트 손실: 0.057337	최선의 손실: 0.057337	정확도: 98.32%
2	검증 세트 손실: 0.076807	최선의 손실: 0.057337	정확도: 97.93%
3	검증 세트 손실: 0.043972	최선의 손실: 0.043972	정확도: 98.59%
4	검증 세트 손실: 0.040494	최선의 손실: 0.040494	정확도: 98.83%
5	검증 세트 손실: 0.048201	최선의 손실: 0.040494	정확도: 98.55%
6	검증 세트 손실: 0.045245	최선의 손실: 0.040494	정확도: 98.36%
7	검증 세트 손실: 0.080178	최선의 손실: 0.040494	정확도: 98.24%
8	검증 세트 손실: 0.035473	최선의 손실: 0.035473	정확도: 98.94%
9	검증 세트 손실: 0.037262	최선의 손실: 0.035473	정확도: 98.98%
10	검증 세트 손실: 0.043671	최선의 손실: 0.035473	정확도: 98.67%
11	검증 세트 손실: 0.041624	최선의 손실: 0.035473	정확도: 98.87%
12	검증 세트 손실: 0.042134	최선의 손실: 0.035473	정확도: 98.98%
13	검증 세트 손실: 0.029472	최선의 손실: 0.029472	정확도: 99.26%
14	검증 세트 손실: 0.026874	최선의 손실: 0.026874	정확도: 99.18%
15	검증 세트 손실: 0.038204	최선의 손실: 0.026874	정확도: 99.06%
16	검증 세트 손실: 0.028434	최선의 손실: 0.026874	정확도: 99.26%
17	검증 세트 손실: 0.043095	최선의 손실: 0.026874	정확도: 98.98%
18	검증 세트 손실: 0.040237	최선의 손실: 0.026874	정확도: 98.91%
19	검증 세트 손실: 0.042846	최선의 손실: 0.026874	정확도: 99.06%
20	검증 세트 손실: 0.041822	최선의 손실: 0.026874	정확도: 99.10%
21	검증 세트 손실: 0.051387	최선의 손실: 0.026874	정확도: 98.83%
22	검증 세트 손실: 0.038324	최선의 손실: 0.026874	정확도: 99.10%
23	검증 세트 손실: 0.037662	최선의 손실: 0.026874	정확도: 99.10%
24	검증 세트 손실: 0.043253	최선의 손실: 0.026874	정확도: 99.26%
25	검증 세트 손실: 0.043117	최선의 손실: 0.026874	정확도: 98.87%
26	검증 세트 손실: 0.036473	최선의 손실: 0.026874	정확도: 99.22%
27	검증 세트 손실: 0.037221	최선의 손실: 0.026874	정확도: 99.02%
28	검증 세트 손실: 0.044277	최선의 손실: 0.026874	정확도: 99.02%
29	검증 세트 손실: 0.035341	최선의 손실: 0.026874	정확도: 99.10%
30	검증 세트 손실: 0.039849	최선의 손실: 0.026874	정확도: 99.02%
31	검증 세트 손실: 0.052319	최선의 손실: 0.026874	정확도: 99.10%
32	검증 세트 손실: 0.053971	최선의 손실: 0.026874	정확도: 98.94%
33	검증 세트 손실: 0.057302	최선의 손실: 0.026874	정확도: 98.83%
34	검증 세트 손실: 0.036608	최선의 손실: 0.026874	정확도: 99.14%
35	검증 세트 손실: 0.052428	최선의 손실: 0.026874	정확도: 98.91%
조기 종료!
[CV]  n_neurons=120, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total=  40.2s
[CV] n_neurons=140, learning_rate=0.05, batch_size=500, batch_norm_momentum=0.999, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 1010.064026	최선의 손실: 1010.064026	정확도: 67.28%
1	검증 세트 손실: 144.496490	최선의 손실: 144.496490	정확도: 75.61%
2	검증 세트 손실: 101.046722	최선의 손실: 101.046722	정확도: 62.71%
3	검증 세트 손실: 14.740313	최선의 손실: 14.740313	정확도: 79.75%
4	검증 세트 손실: 11.709397	최선의 손실: 11.709397	정확도: 79.44%
5	검증 세트 손실: 11.485903	최선의 손실: 11.485903	정확도: 81.47%
6	검증 세트 손실: 3.953874	최선의 손실: 3.953874	정확도: 91.28%
7	검증 세트 손실: 1.972650	최선의 손실: 1.972650	정확도: 94.80%
8	검증 세트 손실: 0.843536	최선의 손실: 0.843536	정확도: 97.50%
9	검증 세트 손실: 0.871858	최선의 손실: 0.843536	정확도: 97.42%
10	검증 세트 손실: 0.691136	최선의 손실: 0.691136	정확도: 97.65%
11	검증 세트 손실: 0.882070	최선의 손실: 0.691136	정확도: 96.33%
12	검증 세트 손실: 0.561596	최선의 손실: 0.561596	정확도: 97.77%
13	검증 세트 손실: 0.486120	최선의 손실: 0.486120	정확도: 98.16%
14	검증 세트 손실: 0.484020	최선의 손실: 0.484020	정확도: 98.16%
15	검증 세트 손실: 0.422796	최선의 손실: 0.422796	정확도: 98.44%
16	검증 세트 손실: 0.386707	최선의 손실: 0.386707	정확도: 98.28%
17	검증 세트 손실: 0.309320	최선의 손실: 0.309320	정확도: 98.71%
18	검증 세트 손실: 0.240735	최선의 손실: 0.240735	정확도: 98.55%
19	검증 세트 손실: 0.342090	최선의 손실: 0.240735	정확도: 98.32%
20	검증 세트 손실: 0.333395	최선의 손실: 0.240735	정확도: 98.55%
21	검증 세트 손실: 0.360702	최선의 손실: 0.240735	정확도: 98.32%
22	검증 세트 손실: 0.373497	최선의 손실: 0.240735	정확도: 97.54%
23	검증 세트 손실: 0.263054	최선의 손실: 0.240735	정확도: 98.32%
24	검증 세트 손실: 0.301029	최선의 손실: 0.240735	정확도: 98.32%
25	검증 세트 손실: 0.265570	최선의 손실: 0.240735	정확도: 98.59%
26	검증 세트 손실: 0.235059	최선의 손실: 0.235059	정확도: 98.67%
27	검증 세트 손실: 0.278470	최선의 손실: 0.235059	정확도: 98.44%
28	검증 세트 손실: 0.267915	최선의 손실: 0.235059	정확도: 98.44%
29	검증 세트 손실: 0.487918	최선의 손실: 0.235059	정확도: 97.07%
30	검증 세트 손실: 0.251736	최선의 손실: 0.235059	정확도: 98.48%
31	검증 세트 손실: 0.282769	최선의 손실: 0.235059	정확도: 98.36%
32	검증 세트 손실: 0.540163	최선의 손실: 0.235059	정확도: 97.73%
33	검증 세트 손실: 0.282167	최선의 손실: 0.235059	정확도: 97.81%
34	검증 세트 손실: 0.286275	최선의 손실: 0.235059	정확도: 98.40%
35	검증 세트 손실: 0.239637	최선의 손실: 0.235059	정확도: 98.44%
36	검증 세트 손실: 0.230052	최선의 손실: 0.230052	정확도: 98.24%
37	검증 세트 손실: 0.205287	최선의 손실: 0.205287	정확도: 98.63%
38	검증 세트 손실: 0.173679	최선의 손실: 0.173679	정확도: 98.87%
39	검증 세트 손실: 0.191841	최선의 손실: 0.173679	정확도: 98.55%
40	검증 세트 손실: 0.159074	최선의 손실: 0.159074	정확도: 98.71%
41	검증 세트 손실: 0.126687	최선의 손실: 0.126687	정확도: 98.87%
42	검증 세트 손실: 0.149708	최선의 손실: 0.126687	정확도: 98.75%
43	검증 세트 손실: 0.254841	최선의 손실: 0.126687	정확도: 98.05%
44	검증 세트 손실: 0.338863	최선의 손실: 0.126687	정확도: 97.42%
45	검증 세트 손실: 0.135585	최선의 손실: 0.126687	정확도: 98.87%
46	검증 세트 손실: 0.147057	최선의 손실: 0.126687	정확도: 98.55%
47	검증 세트 손실: 0.137186	최선의 손실: 0.126687	정확도: 98.59%
48	검증 세트 손실: 0.141723	최선의 손실: 0.126687	정확도: 98.91%
49	검증 세트 손실: 0.133940	최선의 손실: 0.126687	정확도: 98.94%
50	검증 세트 손실: 0.136769	최선의 손실: 0.126687	정확도: 98.94%
51	검증 세트 손실: 0.264432	최선의 손실: 0.126687	정확도: 98.40%
52	검증 세트 손실: 0.237356	최선의 손실: 0.126687	정확도: 98.32%
53	검증 세트 손실: 0.295111	최선의 손실: 0.126687	정확도: 98.16%
54	검증 세트 손실: 0.228898	최선의 손실: 0.126687	정확도: 98.16%
55	검증 세트 손실: 0.227283	최선의 손실: 0.126687	정확도: 98.51%
56	검증 세트 손실: 0.244272	최선의 손실: 0.126687	정확도: 98.28%
57	검증 세트 손실: 0.233691	최선의 손실: 0.126687	정확도: 98.36%
58	검증 세트 손실: 0.462173	최선의 손실: 0.126687	정확도: 97.34%
59	검증 세트 손실: 0.195402	최선의 손실: 0.126687	정확도: 98.63%
60	검증 세트 손실: 0.146608	최선의 손실: 0.126687	정확도: 99.02%
61	검증 세트 손실: 0.213690	최선의 손실: 0.126687	정확도: 98.79%
62	검증 세트 손실: 0.148592	최선의 손실: 0.126687	정확도: 99.10%
조기 종료!
[CV]  n_neurons=140, learning_rate=0.05, batch_size=500, batch_norm_momentum=0.999, activation=<function elu at 0x7f8ec4ceef28>, total=  28.9s
[CV] n_neurons=140, learning_rate=0.05, batch_size=500, batch_norm_momentum=0.999, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 234.979431	최선의 손실: 234.979431	정확도: 85.93%
1	검증 세트 손실: 57.949440	최선의 손실: 57.949440	정확도: 85.57%
2	검증 세트 손실: 28.900074	최선의 손실: 28.900074	정확도: 82.96%
3	검증 세트 손실: 6.395320	최선의 손실: 6.395320	정확도: 90.19%
4	검증 세트 손실: 16.080132	최선의 손실: 6.395320	정확도: 75.84%
5	검증 세트 손실: 12.166788	최선의 손실: 6.395320	정확도: 81.78%
6	검증 세트 손실: 4.962381	최선의 손실: 4.962381	정확도: 88.55%
7	검증 세트 손실: 1.995511	최선의 손실: 1.995511	정확도: 93.90%
8	검증 세트 손실: 1.519193	최선의 손실: 1.519193	정확도: 95.00%
9	검증 세트 손실: 1.121704	최선의 손실: 1.121704	정확도: 96.36%
10	검증 세트 손실: 1.486912	최선의 손실: 1.121704	정확도: 95.23%
11	검증 세트 손실: 0.926115	최선의 손실: 0.926115	정확도: 96.99%
12	검증 세트 손실: 0.586037	최선의 손실: 0.586037	정확도: 98.01%
13	검증 세트 손실: 0.902556	최선의 손실: 0.586037	정확도: 96.79%
14	검증 세트 손실: 0.850522	최선의 손실: 0.586037	정확도: 96.91%
15	검증 세트 손실: 0.789798	최선의 손실: 0.586037	정확도: 96.91%
16	검증 세트 손실: 0.800106	최선의 손실: 0.586037	정확도: 96.79%
17	검증 세트 손실: 0.797817	최선의 손실: 0.586037	정확도: 96.76%
18	검증 세트 손실: 0.632106	최선의 손실: 0.586037	정확도: 97.15%
19	검증 세트 손실: 0.532847	최선의 손실: 0.532847	정확도: 97.50%
20	검증 세트 손실: 0.454667	최선의 손실: 0.454667	정확도: 98.12%
21	검증 세트 손실: 1.047446	최선의 손실: 0.454667	정확도: 95.35%
22	검증 세트 손실: 0.595570	최선의 손실: 0.454667	정확도: 97.19%
23	검증 세트 손실: 0.546675	최선의 손실: 0.454667	정확도: 97.73%
24	검증 세트 손실: 0.615950	최선의 손실: 0.454667	정확도: 96.40%
25	검증 세트 손실: 0.412710	최선의 손실: 0.412710	정확도: 98.24%
26	검증 세트 손실: 0.466116	최선의 손실: 0.412710	정확도: 98.08%
27	검증 세트 손실: 0.348010	최선의 손실: 0.348010	정확도: 98.24%
28	검증 세트 손실: 0.371329	최선의 손실: 0.348010	정확도: 97.97%
29	검증 세트 손실: 0.286016	최선의 손실: 0.286016	정확도: 98.48%
30	검증 세트 손실: 0.391482	최선의 손실: 0.286016	정확도: 98.28%
31	검증 세트 손실: 0.250425	최선의 손실: 0.250425	정확도: 98.75%
32	검증 세트 손실: 0.348643	최선의 손실: 0.250425	정확도: 98.40%
33	검증 세트 손실: 0.276224	최선의 손실: 0.250425	정확도: 98.83%
34	검증 세트 손실: 0.331639	최선의 손실: 0.250425	정확도: 98.48%
35	검증 세트 손실: 0.262888	최선의 손실: 0.250425	정확도: 98.75%
36	검증 세트 손실: 0.493380	최선의 손실: 0.250425	정확도: 97.11%
37	검증 세트 손실: 0.262202	최선의 손실: 0.250425	정확도: 98.48%
38	검증 세트 손실: 0.247989	최선의 손실: 0.247989	정확도: 98.59%
39	검증 세트 손실: 0.220463	최선의 손실: 0.220463	정확도: 98.79%
40	검증 세트 손실: 0.233527	최선의 손실: 0.220463	정확도: 98.55%
41	검증 세트 손실: 0.257290	최선의 손실: 0.220463	정확도: 98.59%
42	검증 세트 손실: 0.219116	최선의 손실: 0.219116	정확도: 98.55%
43	검증 세트 손실: 0.236490	최선의 손실: 0.219116	정확도: 98.44%
44	검증 세트 손실: 0.212678	최선의 손실: 0.212678	정확도: 98.28%
45	검증 세트 손실: 0.197235	최선의 손실: 0.197235	정확도: 98.51%
46	검증 세트 손실: 0.240024	최선의 손실: 0.197235	정확도: 98.44%
47	검증 세트 손실: 0.234043	최선의 손실: 0.197235	정확도: 98.32%
48	검증 세트 손실: 0.201418	최선의 손실: 0.197235	정확도: 98.40%
49	검증 세트 손실: 0.178730	최선의 손실: 0.178730	정확도: 98.67%
50	검증 세트 손실: 0.160614	최선의 손실: 0.160614	정확도: 98.71%
51	검증 세트 손실: 0.150636	최선의 손실: 0.150636	정확도: 98.87%
52	검증 세트 손실: 0.139748	최선의 손실: 0.139748	정확도: 98.87%
53	검증 세트 손실: 0.134207	최선의 손실: 0.134207	정확도: 98.94%
54	검증 세트 손실: 0.131052	최선의 손실: 0.131052	정확도: 98.91%
55	검증 세트 손실: 0.125552	최선의 손실: 0.125552	정확도: 98.94%
56	검증 세트 손실: 0.118856	최선의 손실: 0.118856	정확도: 98.94%
57	검증 세트 손실: 0.115297	최선의 손실: 0.115297	정확도: 98.98%
58	검증 세트 손실: 0.111126	최선의 손실: 0.111126	정확도: 98.98%
59	검증 세트 손실: 0.107343	최선의 손실: 0.107343	정확도: 99.02%
60	검증 세트 손실: 0.104186	최선의 손실: 0.104186	정확도: 99.02%
61	검증 세트 손실: 0.101324	최선의 손실: 0.101324	정확도: 99.02%
62	검증 세트 손실: 0.098560	최선의 손실: 0.098560	정확도: 99.02%
63	검증 세트 손실: 0.095927	최선의 손실: 0.095927	정확도: 99.02%
64	검증 세트 손실: 0.093908	최선의 손실: 0.093908	정확도: 99.02%
65	검증 세트 손실: 0.091727	최선의 손실: 0.091727	정확도: 99.02%
66	검증 세트 손실: 0.087966	최선의 손실: 0.087966	정확도: 99.02%
67	검증 세트 손실: 0.091107	최선의 손실: 0.087966	정확도: 98.94%
68	검증 세트 손실: 0.089075	최선의 손실: 0.087966	정확도: 98.94%
69	검증 세트 손실: 0.086446	최선의 손실: 0.086446	정확도: 98.94%
70	검증 세트 손실: 0.093096	최선의 손실: 0.086446	정확도: 99.02%
71	검증 세트 손실: 0.079422	최선의 손실: 0.079422	정확도: 98.98%
72	검증 세트 손실: 0.154691	최선의 손실: 0.079422	정확도: 98.63%
73	검증 세트 손실: 0.320954	최선의 손실: 0.079422	정확도: 97.30%
74	검증 세트 손실: 0.461011	최선의 손실: 0.079422	정확도: 97.46%
75	검증 세트 손실: 0.302356	최선의 손실: 0.079422	정확도: 98.67%
76	검증 세트 손실: 0.338045	최선의 손실: 0.079422	정확도: 97.62%
77	검증 세트 손실: 0.547740	최선의 손실: 0.079422	정확도: 97.30%
78	검증 세트 손실: 0.302050	최선의 손실: 0.079422	정확도: 98.55%
79	검증 세트 손실: 0.341035	최선의 손실: 0.079422	정확도: 98.40%
80	검증 세트 손실: 0.485129	최선의 손실: 0.079422	정확도: 97.77%
81	검증 세트 손실: 0.313330	최선의 손실: 0.079422	정확도: 98.40%
82	검증 세트 손실: 0.293934	최선의 손실: 0.079422	정확도: 98.40%
83	검증 세트 손실: 0.301956	최선의 손실: 0.079422	정확도: 98.40%
84	검증 세트 손실: 0.302643	최선의 손실: 0.079422	정확도: 98.40%
85	검증 세트 손실: 0.328506	최선의 손실: 0.079422	정확도: 98.48%
86	검증 세트 손실: 0.296302	최선의 손실: 0.079422	정확도: 98.44%
87	검증 세트 손실: 0.531193	최선의 손실: 0.079422	정확도: 97.73%
88	검증 세트 손실: 0.330409	최선의 손실: 0.079422	정확도: 98.36%
89	검증 세트 손실: 0.257414	최선의 손실: 0.079422	정확도: 98.59%
90	검증 세트 손실: 0.207653	최선의 손실: 0.079422	정확도: 98.87%
91	검증 세트 손실: 0.201105	최선의 손실: 0.079422	정확도: 98.94%
92	검증 세트 손실: 0.218980	최선의 손실: 0.079422	정확도: 98.55%
조기 종료!
[CV]  n_neurons=140, learning_rate=0.05, batch_size=500, batch_norm_momentum=0.999, activation=<function elu at 0x7f8ec4ceef28>, total=  42.1s
[CV] n_neurons=140, learning_rate=0.05, batch_size=500, batch_norm_momentum=0.999, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 456.280640	최선의 손실: 456.280640	정확도: 73.34%
1	검증 세트 손실: 115.983658	최선의 손실: 115.983658	정확도: 72.63%
2	검증 세트 손실: 25.859509	최선의 손실: 25.859509	정확도: 77.72%
3	검증 세트 손실: 12.632772	최선의 손실: 12.632772	정확도: 80.88%
4	검증 세트 손실: 4.415475	최선의 손실: 4.415475	정확도: 89.99%
5	검증 세트 손실: 4.715579	최선의 손실: 4.415475	정확도: 87.33%
6	검증 세트 손실: 2.192693	최선의 손실: 2.192693	정확도: 92.53%
7	검증 세트 손실: 1.237276	최선의 손실: 1.237276	정확도: 95.54%
8	검증 세트 손실: 1.262897	최선의 손실: 1.237276	정확도: 95.54%
9	검증 세트 손실: 0.965210	최선의 손실: 0.965210	정확도: 96.64%
10	검증 세트 손실: 1.151526	최선의 손실: 0.965210	정확도: 95.15%
11	검증 세트 손실: 0.667303	최선의 손실: 0.667303	정확도: 97.58%
12	검증 세트 손실: 0.642315	최선의 손실: 0.642315	정확도: 97.11%
13	검증 세트 손실: 0.735906	최선의 손실: 0.642315	정확도: 97.15%
14	검증 세트 손실: 0.400536	최선의 손실: 0.400536	정확도: 97.93%
15	검증 세트 손실: 0.451051	최선의 손실: 0.400536	정확도: 97.97%
16	검증 세트 손실: 0.490637	최선의 손실: 0.400536	정확도: 97.58%
17	검증 세트 손실: 0.416785	최선의 손실: 0.400536	정확도: 98.05%
18	검증 세트 손실: 0.305962	최선의 손실: 0.305962	정확도: 98.16%
19	검증 세트 손실: 0.368471	최선의 손실: 0.305962	정확도: 97.81%
20	검증 세트 손실: 0.300164	최선의 손실: 0.300164	정확도: 98.36%
21	검증 세트 손실: 0.532603	최선의 손실: 0.300164	정확도: 97.38%
22	검증 세트 손실: 0.416303	최선의 손실: 0.300164	정확도: 97.97%
23	검증 세트 손실: 0.252976	최선의 손실: 0.252976	정확도: 98.51%
24	검증 세트 손실: 0.334629	최선의 손실: 0.252976	정확도: 98.05%
25	검증 세트 손실: 0.293906	최선의 손실: 0.252976	정확도: 98.48%
26	검증 세트 손실: 0.319023	최선의 손실: 0.252976	정확도: 98.24%
27	검증 세트 손실: 0.376137	최선의 손실: 0.252976	정확도: 98.01%
28	검증 세트 손실: 0.470712	최선의 손실: 0.252976	정확도: 97.89%
29	검증 세트 손실: 0.296131	최선의 손실: 0.252976	정확도: 98.40%
30	검증 세트 손실: 0.411311	최선의 손실: 0.252976	정확도: 97.81%
31	검증 세트 손실: 0.240356	최선의 손실: 0.240356	정확도: 98.48%
32	검증 세트 손실: 0.237893	최선의 손실: 0.237893	정확도: 98.79%
33	검증 세트 손실: 0.175500	최선의 손실: 0.175500	정확도: 98.91%
34	검증 세트 손실: 0.237413	최선의 손실: 0.175500	정확도: 98.40%
35	검증 세트 손실: 0.243432	최선의 손실: 0.175500	정확도: 98.36%
36	검증 세트 손실: 0.169824	최선의 손실: 0.169824	정확도: 98.75%
37	검증 세트 손실: 0.192019	최선의 손실: 0.169824	정확도: 98.55%
38	검증 세트 손실: 0.251581	최선의 손실: 0.169824	정확도: 98.32%
39	검증 세트 손실: 0.208143	최선의 손실: 0.169824	정확도: 98.71%
40	검증 세트 손실: 0.167066	최선의 손실: 0.167066	정확도: 98.94%
41	검증 세트 손실: 0.203740	최선의 손실: 0.167066	정확도: 98.67%
42	검증 세트 손실: 0.186341	최선의 손실: 0.167066	정확도: 98.67%
43	검증 세트 손실: 0.250975	최선의 손실: 0.167066	정확도: 98.40%
44	검증 세트 손실: 0.209538	최선의 손실: 0.167066	정확도: 98.55%
45	검증 세트 손실: 0.170486	최선의 손실: 0.167066	정확도: 98.91%
46	검증 세트 손실: 0.201155	최선의 손실: 0.167066	정확도: 98.75%
47	검증 세트 손실: 0.202411	최선의 손실: 0.167066	정확도: 98.75%
48	검증 세트 손실: 0.163214	최선의 손실: 0.163214	정확도: 98.59%
49	검증 세트 손실: 0.176403	최선의 손실: 0.163214	정확도: 98.63%
50	검증 세트 손실: 0.333854	최선의 손실: 0.163214	정확도: 97.89%
51	검증 세트 손실: 0.193207	최선의 손실: 0.163214	정확도: 98.55%
52	검증 세트 손실: 0.193022	최선의 손실: 0.163214	정확도: 98.67%
53	검증 세트 손실: 0.183490	최선의 손실: 0.163214	정확도: 98.83%
54	검증 세트 손실: 0.189206	최선의 손실: 0.163214	정확도: 98.67%
55	검증 세트 손실: 0.190531	최선의 손실: 0.163214	정확도: 98.83%
56	검증 세트 손실: 0.229597	최선의 손실: 0.163214	정확도: 98.51%
57	검증 세트 손실: 0.298463	최선의 손실: 0.163214	정확도: 98.12%
58	검증 세트 손실: 0.202690	최선의 손실: 0.163214	정확도: 98.75%
59	검증 세트 손실: 0.217539	최선의 손실: 0.163214	정확도: 98.87%
60	검증 세트 손실: 0.191314	최선의 손실: 0.163214	정확도: 98.87%
61	검증 세트 손실: 0.222471	최선의 손실: 0.163214	정확도: 98.75%
62	검증 세트 손실: 0.183865	최선의 손실: 0.163214	정확도: 98.87%
63	검증 세트 손실: 0.206308	최선의 손실: 0.163214	정확도: 98.75%
64	검증 세트 손실: 0.255746	최선의 손실: 0.163214	정확도: 98.40%
65	검증 세트 손실: 0.199988	최선의 손실: 0.163214	정확도: 98.75%
66	검증 세트 손실: 0.158960	최선의 손실: 0.158960	정확도: 98.75%
67	검증 세트 손실: 0.179000	최선의 손실: 0.158960	정확도: 98.94%
68	검증 세트 손실: 0.137839	최선의 손실: 0.137839	정확도: 98.94%
69	검증 세트 손실: 0.259284	최선의 손실: 0.137839	정확도: 98.55%
70	검증 세트 손실: 0.201989	최선의 손실: 0.137839	정확도: 98.44%
71	검증 세트 손실: 0.171242	최선의 손실: 0.137839	정확도: 98.75%
72	검증 세트 손실: 0.192511	최선의 손실: 0.137839	정확도: 98.79%
73	검증 세트 손실: 0.194389	최선의 손실: 0.137839	정확도: 98.71%
74	검증 세트 손실: 0.177807	최선의 손실: 0.137839	정확도: 98.83%
75	검증 세트 손실: 0.208533	최선의 손실: 0.137839	정확도: 98.79%
76	검증 세트 손실: 0.198413	최선의 손실: 0.137839	정확도: 98.79%
77	검증 세트 손실: 0.176047	최선의 손실: 0.137839	정확도: 98.94%
78	검증 세트 손실: 0.185037	최선의 손실: 0.137839	정확도: 98.71%
79	검증 세트 손실: 0.177991	최선의 손실: 0.137839	정확도: 98.94%
80	검증 세트 손실: 0.141431	최선의 손실: 0.137839	정확도: 98.67%
81	검증 세트 손실: 0.173093	최선의 손실: 0.137839	정확도: 98.83%
82	검증 세트 손실: 0.160719	최선의 손실: 0.137839	정확도: 98.91%
83	검증 세트 손실: 0.151830	최선의 손실: 0.137839	정확도: 99.02%
84	검증 세트 손실: 0.118023	최선의 손실: 0.118023	정확도: 99.18%
85	검증 세트 손실: 0.121695	최선의 손실: 0.118023	정확도: 99.10%
86	검증 세트 손실: 0.128663	최선의 손실: 0.118023	정확도: 98.83%
87	검증 세트 손실: 0.195922	최선의 손실: 0.118023	정확도: 98.67%
88	검증 세트 손실: 0.118394	최선의 손실: 0.118023	정확도: 99.06%
89	검증 세트 손실: 0.121565	최선의 손실: 0.118023	정확도: 99.18%
90	검증 세트 손실: 0.123056	최선의 손실: 0.118023	정확도: 99.10%
91	검증 세트 손실: 0.177495	최선의 손실: 0.118023	정확도: 98.51%
92	검증 세트 손실: 0.165703	최선의 손실: 0.118023	정확도: 98.63%
93	검증 세트 손실: 0.159487	최선의 손실: 0.118023	정확도: 98.75%
94	검증 세트 손실: 0.265186	최선의 손실: 0.118023	정확도: 98.44%
95	검증 세트 손실: 0.203918	최선의 손실: 0.118023	정확도: 98.98%
96	검증 세트 손실: 0.184205	최선의 손실: 0.118023	정확도: 98.71%
97	검증 세트 손실: 0.153483	최선의 손실: 0.118023	정확도: 98.98%
98	검증 세트 손실: 0.163263	최선의 손실: 0.118023	정확도: 98.98%
99	검증 세트 손실: 0.152066	최선의 손실: 0.118023	정확도: 99.14%
100	검증 세트 손실: 0.145097	최선의 손실: 0.118023	정확도: 99.22%
101	검증 세트 손실: 0.198099	최선의 손실: 0.118023	정확도: 98.63%
102	검증 세트 손실: 0.168951	최선의 손실: 0.118023	정확도: 98.71%
103	검증 세트 손실: 0.201277	최선의 손실: 0.118023	정확도: 98.83%
104	검증 세트 손실: 0.194332	최선의 손실: 0.118023	정확도: 98.75%
105	검증 세트 손실: 0.192864	최선의 손실: 0.118023	정확도: 98.67%
조기 종료!
[CV]  n_neurons=140, learning_rate=0.05, batch_size=500, batch_norm_momentum=0.999, activation=<function elu at 0x7f8ec4ceef28>, total=  47.7s
[CV] n_neurons=140, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 
0	검증 세트 손실: 0.078147	최선의 손실: 0.078147	정확도: 98.12%
1	검증 세트 손실: 0.057204	최선의 손실: 0.057204	정확도: 98.20%
2	검증 세트 손실: 0.046853	최선의 손실: 0.046853	정확도: 98.63%
3	검증 세트 손실: 0.049125	최선의 손실: 0.046853	정확도: 98.67%
4	검증 세트 손실: 0.042105	최선의 손실: 0.042105	정확도: 98.67%
5	검증 세트 손실: 0.057231	최선의 손실: 0.042105	정확도: 98.59%
6	검증 세트 손실: 0.055480	최선의 손실: 0.042105	정확도: 98.51%
7	검증 세트 손실: 0.045701	최선의 손실: 0.042105	정확도: 98.87%
8	검증 세트 손실: 0.040086	최선의 손실: 0.040086	정확도: 98.91%
9	검증 세트 손실: 0.055159	최선의 손실: 0.040086	정확도: 98.79%
10	검증 세트 손실: 0.052161	최선의 손실: 0.040086	정확도: 98.87%
11	검증 세트 손실: 0.037863	최선의 손실: 0.037863	정확도: 99.02%
12	검증 세트 손실: 0.051799	최선의 손실: 0.037863	정확도: 98.75%
13	검증 세트 손실: 0.047442	최선의 손실: 0.037863	정확도: 98.79%
14	검증 세트 손실: 0.049529	최선의 손실: 0.037863	정확도: 98.75%
15	검증 세트 손실: 0.059665	최선의 손실: 0.037863	정확도: 98.87%
16	검증 세트 손실: 0.078243	최선의 손실: 0.037863	정확도: 98.36%
17	검증 세트 손실: 0.043728	최선의 손실: 0.037863	정확도: 98.98%
18	검증 세트 손실: 0.042722	최선의 손실: 0.037863	정확도: 98.98%
19	검증 세트 손실: 0.048433	최선의 손실: 0.037863	정확도: 98.98%
20	검증 세트 손실: 0.053723	최선의 손실: 0.037863	정확도: 98.59%
21	검증 세트 손실: 0.046215	최선의 손실: 0.037863	정확도: 98.71%
22	검증 세트 손실: 0.042246	최선의 손실: 0.037863	정확도: 99.06%
23	검증 세트 손실: 0.045643	최선의 손실: 0.037863	정확도: 99.06%
24	검증 세트 손실: 0.048908	최선의 손실: 0.037863	정확도: 99.06%
25	검증 세트 손실: 0.046052	최선의 손실: 0.037863	정확도: 99.10%
26	검증 세트 손실: 0.035846	최선의 손실: 0.035846	정확도: 99.22%
27	검증 세트 손실: 0.049433	최선의 손실: 0.035846	정확도: 99.18%
28	검증 세트 손실: 0.046466	최선의 손실: 0.035846	정확도: 98.98%
29	검증 세트 손실: 0.049366	최선의 손실: 0.035846	정확도: 98.91%
30	검증 세트 손실: 0.072425	최선의 손실: 0.035846	정확도: 98.67%
31	검증 세트 손실: 0.058118	최선의 손실: 0.035846	정확도: 98.71%
32	검증 세트 손실: 0.055882	최선의 손실: 0.035846	정확도: 98.79%
33	검증 세트 손실: 0.050399	최선의 손실: 0.035846	정확도: 98.94%
34	검증 세트 손실: 0.043155	최선의 손실: 0.035846	정확도: 99.06%
35	검증 세트 손실: 0.050494	최선의 손실: 0.035846	정확도: 98.91%
36	검증 세트 손실: 0.040758	최선의 손실: 0.035846	정확도: 99.14%
37	검증 세트 손실: 0.057688	최선의 손실: 0.035846	정확도: 98.94%
38	검증 세트 손실: 0.078430	최선의 손실: 0.035846	정확도: 98.32%
39	검증 세트 손실: 0.041047	최선의 손실: 0.035846	정확도: 99.02%
40	검증 세트 손실: 0.034587	최선의 손실: 0.034587	정확도: 99.22%
41	검증 세트 손실: 0.042730	최선의 손실: 0.034587	정확도: 98.94%
42	검증 세트 손실: 0.038310	최선의 손실: 0.034587	정확도: 99.14%
43	검증 세트 손실: 0.035308	최선의 손실: 0.034587	정확도: 99.18%
44	검증 세트 손실: 0.052728	최선의 손실: 0.034587	정확도: 98.83%
45	검증 세트 손실: 0.043117	최선의 손실: 0.034587	정확도: 99.14%
46	검증 세트 손실: 0.047921	최선의 손실: 0.034587	정확도: 98.87%
47	검증 세트 손실: 0.043315	최선의 손실: 0.034587	정확도: 98.87%
48	검증 세트 손실: 0.057964	최선의 손실: 0.034587	정확도: 98.83%
49	검증 세트 손실: 0.060044	최선의 손실: 0.034587	정확도: 98.98%
50	검증 세트 손실: 0.058755	최선의 손실: 0.034587	정확도: 98.94%
51	검증 세트 손실: 0.054942	최선의 손실: 0.034587	정확도: 98.94%
52	검증 세트 손실: 0.068158	최선의 손실: 0.034587	정확도: 98.79%
53	검증 세트 손실: 0.045620	최선의 손실: 0.034587	정확도: 99.14%
54	검증 세트 손실: 0.055144	최선의 손실: 0.034587	정확도: 98.94%
55	검증 세트 손실: 0.045578	최선의 손실: 0.034587	정확도: 98.94%
56	검증 세트 손실: 0.057760	최선의 손실: 0.034587	정확도: 98.83%
57	검증 세트 손실: 0.043997	최선의 손실: 0.034587	정확도: 99.26%
58	검증 세트 손실: 0.053498	최선의 손실: 0.034587	정확도: 98.98%
59	검증 세트 손실: 0.065459	최선의 손실: 0.034587	정확도: 98.94%
60	검증 세트 손실: 0.054261	최선의 손실: 0.034587	정확도: 98.94%
61	검증 세트 손실: 0.048226	최선의 손실: 0.034587	정확도: 99.10%
조기 종료!
[CV]  n_neurons=140, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total=  29.5s
[CV] n_neurons=140, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 
0	검증 세트 손실: 0.081992	최선의 손실: 0.081992	정확도: 97.26%
1	검증 세트 손실: 0.050278	최선의 손실: 0.050278	정확도: 98.28%
2	검증 세트 손실: 0.049981	최선의 손실: 0.049981	정확도: 98.63%
3	검증 세트 손실: 0.045476	최선의 손실: 0.045476	정확도: 98.44%
4	검증 세트 손실: 0.039363	최선의 손실: 0.039363	정확도: 98.83%
5	검증 세트 손실: 0.052543	최선의 손실: 0.039363	정확도: 98.67%
6	검증 세트 손실: 0.047280	최선의 손실: 0.039363	정확도: 98.59%
7	검증 세트 손실: 0.052698	최선의 손실: 0.039363	정확도: 98.67%
8	검증 세트 손실: 0.055455	최선의 손실: 0.039363	정확도: 98.40%
9	검증 세트 손실: 0.037981	최선의 손실: 0.037981	정확도: 99.18%
10	검증 세트 손실: 0.044999	최선의 손실: 0.037981	정확도: 98.98%
11	검증 세트 손실: 0.037346	최선의 손실: 0.037346	정확도: 99.30%
12	검증 세트 손실: 0.048064	최선의 손실: 0.037346	정확도: 98.83%
13	검증 세트 손실: 0.048961	최선의 손실: 0.037346	정확도: 98.83%
14	검증 세트 손실: 0.049904	최선의 손실: 0.037346	정확도: 98.91%
15	검증 세트 손실: 0.059381	최선의 손실: 0.037346	정확도: 98.75%
16	검증 세트 손실: 0.055561	최선의 손실: 0.037346	정확도: 98.75%
17	검증 세트 손실: 0.056900	최선의 손실: 0.037346	정확도: 98.71%
18	검증 세트 손실: 0.042677	최선의 손실: 0.037346	정확도: 98.83%
19	검증 세트 손실: 0.039957	최선의 손실: 0.037346	정확도: 99.02%
20	검증 세트 손실: 0.045055	최선의 손실: 0.037346	정확도: 98.87%
21	검증 세트 손실: 0.041379	최선의 손실: 0.037346	정확도: 99.14%
22	검증 세트 손실: 0.043492	최선의 손실: 0.037346	정확도: 99.10%
23	검증 세트 손실: 0.048171	최선의 손실: 0.037346	정확도: 99.02%
24	검증 세트 손실: 0.045658	최선의 손실: 0.037346	정확도: 99.10%
25	검증 세트 손실: 0.057954	최선의 손실: 0.037346	정확도: 98.83%
26	검증 세트 손실: 0.061537	최선의 손실: 0.037346	정확도: 98.91%
27	검증 세트 손실: 0.040791	최선의 손실: 0.037346	정확도: 99.02%
28	검증 세트 손실: 0.098123	최선의 손실: 0.037346	정확도: 98.24%
29	검증 세트 손실: 0.048709	최선의 손실: 0.037346	정확도: 98.91%
30	검증 세트 손실: 0.047141	최선의 손실: 0.037346	정확도: 98.71%
31	검증 세트 손실: 0.044248	최선의 손실: 0.037346	정확도: 98.94%
32	검증 세트 손실: 0.052749	최선의 손실: 0.037346	정확도: 99.06%
조기 종료!
[CV]  n_neurons=140, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total=  16.5s
[CV] n_neurons=140, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 
0	검증 세트 손실: 0.064815	최선의 손실: 0.064815	정확도: 98.16%
1	검증 세트 손실: 0.059036	최선의 손실: 0.059036	정확도: 98.24%
2	검증 세트 손실: 0.045541	최선의 손실: 0.045541	정확도: 98.75%
3	검증 세트 손실: 0.061688	최선의 손실: 0.045541	정확도: 98.28%
4	검증 세트 손실: 0.042376	최선의 손실: 0.042376	정확도: 98.91%
5	검증 세트 손실: 0.046549	최선의 손실: 0.042376	정확도: 98.83%
6	검증 세트 손실: 0.041504	최선의 손실: 0.041504	정확도: 99.10%
7	검증 세트 손실: 0.055102	최선의 손실: 0.041504	정확도: 98.79%
8	검증 세트 손실: 0.044209	최선의 손실: 0.041504	정확도: 98.67%
9	검증 세트 손실: 0.051434	최선의 손실: 0.041504	정확도: 98.83%
10	검증 세트 손실: 0.058782	최선의 손실: 0.041504	정확도: 98.67%
11	검증 세트 손실: 0.079655	최선의 손실: 0.041504	정확도: 98.48%
12	검증 세트 손실: 0.051087	최선의 손실: 0.041504	정확도: 98.67%
13	검증 세트 손실: 0.043582	최선의 손실: 0.041504	정확도: 98.79%
14	검증 세트 손실: 0.051048	최선의 손실: 0.041504	정확도: 98.87%
15	검증 세트 손실: 0.048021	최선의 손실: 0.041504	정확도: 98.98%
16	검증 세트 손실: 0.042548	최선의 손실: 0.041504	정확도: 98.94%
17	검증 세트 손실: 0.057092	최선의 손실: 0.041504	정확도: 98.83%
18	검증 세트 손실: 0.055192	최선의 손실: 0.041504	정확도: 98.75%
19	검증 세트 손실: 0.081643	최선의 손실: 0.041504	정확도: 98.55%
20	검증 세트 손실: 0.056583	최선의 손실: 0.041504	정확도: 98.83%
21	검증 세트 손실: 0.076582	최선의 손실: 0.041504	정확도: 98.51%
22	검증 세트 손실: 0.069742	최선의 손실: 0.041504	정확도: 98.40%
23	검증 세트 손실: 0.070782	최선의 손실: 0.041504	정확도: 98.55%
24	검증 세트 손실: 0.050215	최선의 손실: 0.041504	정확도: 98.71%
25	검증 세트 손실: 0.045901	최선의 손실: 0.041504	정확도: 99.06%
26	검증 세트 손실: 0.040296	최선의 손실: 0.040296	정확도: 99.14%
27	검증 세트 손실: 0.050940	최선의 손실: 0.040296	정확도: 98.91%
28	검증 세트 손실: 0.053824	최선의 손실: 0.040296	정확도: 98.94%
29	검증 세트 손실: 0.045648	최선의 손실: 0.040296	정확도: 98.94%
30	검증 세트 손실: 0.038456	최선의 손실: 0.038456	정확도: 98.98%
31	검증 세트 손실: 0.044586	최선의 손실: 0.038456	정확도: 99.02%
32	검증 세트 손실: 0.047818	최선의 손실: 0.038456	정확도: 98.75%
33	검증 세트 손실: 0.043491	최선의 손실: 0.038456	정확도: 98.94%
34	검증 세트 손실: 0.049433	최선의 손실: 0.038456	정확도: 98.94%
35	검증 세트 손실: 0.043584	최선의 손실: 0.038456	정확도: 99.02%
36	검증 세트 손실: 0.071874	최선의 손실: 0.038456	정확도: 98.67%
37	검증 세트 손실: 0.052066	최선의 손실: 0.038456	정확도: 99.02%
38	검증 세트 손실: 0.058991	최선의 손실: 0.038456	정확도: 98.87%
39	검증 세트 손실: 0.060413	최선의 손실: 0.038456	정확도: 98.75%
40	검증 세트 손실: 0.041909	최선의 손실: 0.038456	정확도: 99.02%
41	검증 세트 손실: 0.044576	최선의 손실: 0.038456	정확도: 98.91%
42	검증 세트 손실: 0.052876	최선의 손실: 0.038456	정확도: 99.02%
43	검증 세트 손실: 0.060591	최선의 손실: 0.038456	정확도: 99.02%
44	검증 세트 손실: 0.049364	최선의 손실: 0.038456	정확도: 99.18%
45	검증 세트 손실: 0.058948	최선의 손실: 0.038456	정확도: 98.98%
46	검증 세트 손실: 0.065838	최선의 손실: 0.038456	정확도: 98.87%
47	검증 세트 손실: 0.043338	최선의 손실: 0.038456	정확도: 99.26%
48	검증 세트 손실: 0.075382	최선의 손실: 0.038456	정확도: 98.63%
49	검증 세트 손실: 0.041043	최선의 손실: 0.038456	정확도: 99.14%
50	검증 세트 손실: 0.055140	최선의 손실: 0.038456	정확도: 98.94%
51	검증 세트 손실: 0.056542	최선의 손실: 0.038456	정확도: 98.79%
조기 종료!
[CV]  n_neurons=140, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total=  25.1s
[CV] n_neurons=100, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 
0	검증 세트 손실: 0.092492	최선의 손실: 0.092492	정확도: 97.58%
1	검증 세트 손실: 0.061308	최선의 손실: 0.061308	정확도: 98.24%
2	검증 세트 손실: 0.064455	최선의 손실: 0.061308	정확도: 97.97%
3	검증 세트 손실: 0.064591	최선의 손실: 0.061308	정확도: 98.08%
4	검증 세트 손실: 0.048778	최선의 손실: 0.048778	정확도: 98.63%
5	검증 세트 손실: 0.080401	최선의 손실: 0.048778	정확도: 97.89%
6	검증 세트 손실: 0.049132	최선의 손실: 0.048778	정확도: 98.36%
7	검증 세트 손실: 0.051769	최선의 손실: 0.048778	정확도: 98.55%
8	검증 세트 손실: 0.071332	최선의 손실: 0.048778	정확도: 98.44%
9	검증 세트 손실: 0.071764	최선의 손실: 0.048778	정확도: 98.48%
10	검증 세트 손실: 0.110190	최선의 손실: 0.048778	정확도: 97.93%
11	검증 세트 손실: 0.064752	최선의 손실: 0.048778	정확도: 98.55%
12	검증 세트 손실: 0.066177	최선의 손실: 0.048778	정확도: 98.67%
13	검증 세트 손실: 0.087177	최선의 손실: 0.048778	정확도: 98.40%
14	검증 세트 손실: 0.119275	최선의 손실: 0.048778	정확도: 97.73%
15	검증 세트 손실: 0.051321	최선의 손실: 0.048778	정확도: 98.79%
16	검증 세트 손실: 0.045919	최선의 손실: 0.045919	정확도: 98.83%
17	검증 세트 손실: 0.064225	최선의 손실: 0.045919	정확도: 98.44%
18	검증 세트 손실: 0.081066	최선의 손실: 0.045919	정확도: 98.36%
19	검증 세트 손실: 0.114460	최선의 손실: 0.045919	정확도: 98.08%
20	검증 세트 손실: 0.054040	최선의 손실: 0.045919	정확도: 98.67%
21	검증 세트 손실: 0.162678	최선의 손실: 0.045919	정확도: 96.91%
22	검증 세트 손실: 0.073115	최선의 손실: 0.045919	정확도: 98.83%
23	검증 세트 손실: 0.053513	최선의 손실: 0.045919	정확도: 98.98%
24	검증 세트 손실: 0.055864	최선의 손실: 0.045919	정확도: 98.94%
25	검증 세트 손실: 0.053494	최선의 손실: 0.045919	정확도: 99.06%
26	검증 세트 손실: 0.057841	최선의 손실: 0.045919	정확도: 98.91%
27	검증 세트 손실: 0.256817	최선의 손실: 0.045919	정확도: 97.42%
28	검증 세트 손실: 0.083137	최선의 손실: 0.045919	정확도: 98.63%
29	검증 세트 손실: 0.091150	최선의 손실: 0.045919	정확도: 98.87%
30	검증 세트 손실: 0.088372	최선의 손실: 0.045919	정확도: 98.87%
31	검증 세트 손실: 0.071191	최선의 손실: 0.045919	정확도: 98.87%
32	검증 세트 손실: 0.091082	최선의 손실: 0.045919	정확도: 99.10%
33	검증 세트 손실: 0.115246	최선의 손실: 0.045919	정확도: 98.24%
34	검증 세트 손실: 0.077569	최선의 손실: 0.045919	정확도: 98.94%
35	검증 세트 손실: 0.060783	최선의 손실: 0.045919	정확도: 98.98%
36	검증 세트 손실: 0.119128	최선의 손실: 0.045919	정확도: 98.55%
37	검증 세트 손실: 0.182822	최선의 손실: 0.045919	정확도: 98.12%
조기 종료!
[CV]  n_neurons=100, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total=  38.5s
[CV] n_neurons=100, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 
0	검증 세트 손실: 0.176941	최선의 손실: 0.176941	정확도: 94.53%
1	검증 세트 손실: 0.084157	최선의 손실: 0.084157	정확도: 97.38%
2	검증 세트 손실: 0.100879	최선의 손실: 0.084157	정확도: 97.58%
3	검증 세트 손실: 0.082315	최선의 손실: 0.082315	정확도: 97.89%
4	검증 세트 손실: 0.066953	최선의 손실: 0.066953	정확도: 98.20%
5	검증 세트 손실: 0.075969	최선의 손실: 0.066953	정확도: 98.28%
6	검증 세트 손실: 0.068412	최선의 손실: 0.066953	정확도: 98.44%
7	검증 세트 손실: 0.071382	최선의 손실: 0.066953	정확도: 98.36%
8	검증 세트 손실: 0.100406	최선의 손실: 0.066953	정확도: 97.42%
9	검증 세트 손실: 0.059413	최선의 손실: 0.059413	정확도: 98.63%
10	검증 세트 손실: 0.088878	최선의 손실: 0.059413	정확도: 98.08%
11	검증 세트 손실: 0.292542	최선의 손실: 0.059413	정확도: 94.61%
12	검증 세트 손실: 0.062154	최선의 손실: 0.059413	정확도: 98.32%
13	검증 세트 손실: 0.057846	최선의 손실: 0.057846	정확도: 98.67%
14	검증 세트 손실: 0.053826	최선의 손실: 0.053826	정확도: 98.87%
15	검증 세트 손실: 0.075626	최선의 손실: 0.053826	정확도: 98.71%
16	검증 세트 손실: 0.272922	최선의 손실: 0.053826	정확도: 96.56%
17	검증 세트 손실: 0.069157	최선의 손실: 0.053826	정확도: 98.16%
18	검증 세트 손실: 0.049368	최선의 손실: 0.049368	정확도: 98.75%
19	검증 세트 손실: 0.109019	최선의 손실: 0.049368	정확도: 98.44%
20	검증 세트 손실: 0.096686	최선의 손실: 0.049368	정확도: 98.16%
21	검증 세트 손실: 0.053000	최선의 손실: 0.049368	정확도: 99.02%
22	검증 세트 손실: 0.053864	최선의 손실: 0.049368	정확도: 98.98%
23	검증 세트 손실: 0.071373	최선의 손실: 0.049368	정확도: 98.94%
24	검증 세트 손실: 0.049000	최선의 손실: 0.049000	정확도: 99.02%
25	검증 세트 손실: 0.059150	최선의 손실: 0.049000	정확도: 98.75%
26	검증 세트 손실: 0.073564	최선의 손실: 0.049000	정확도: 98.87%
27	검증 세트 손실: 0.189299	최선의 손실: 0.049000	정확도: 97.77%
28	검증 세트 손실: 0.054280	최선의 손실: 0.049000	정확도: 99.06%
29	검증 세트 손실: 0.065188	최선의 손실: 0.049000	정확도: 98.51%
30	검증 세트 손실: 0.066261	최선의 손실: 0.049000	정확도: 98.91%
31	검증 세트 손실: 0.062475	최선의 손실: 0.049000	정확도: 98.83%
32	검증 세트 손실: 0.073695	최선의 손실: 0.049000	정확도: 98.55%
33	검증 세트 손실: 0.114874	최선의 손실: 0.049000	정확도: 98.59%
34	검증 세트 손실: 0.087601	최선의 손실: 0.049000	정확도: 98.71%
35	검증 세트 손실: 0.167780	최선의 손실: 0.049000	정확도: 98.48%
36	검증 세트 손실: 0.140684	최선의 손실: 0.049000	정확도: 97.97%
37	검증 세트 손실: 0.091137	최선의 손실: 0.049000	정확도: 98.79%
38	검증 세트 손실: 0.078147	최선의 손실: 0.049000	정확도: 98.67%
39	검증 세트 손실: 0.088146	최선의 손실: 0.049000	정확도: 98.67%
40	검증 세트 손실: 0.065013	최선의 손실: 0.049000	정확도: 98.83%
41	검증 세트 손실: 0.062937	최선의 손실: 0.049000	정확도: 98.98%
42	검증 세트 손실: 0.085397	최선의 손실: 0.049000	정확도: 98.75%
43	검증 세트 손실: 0.201837	최선의 손실: 0.049000	정확도: 97.97%
44	검증 세트 손실: 0.124856	최선의 손실: 0.049000	정확도: 98.36%
45	검증 세트 손실: 0.134501	최선의 손실: 0.049000	정확도: 98.75%
조기 종료!
[CV]  n_neurons=100, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total=  46.0s
[CV] n_neurons=100, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 
0	검증 세트 손실: 0.202825	최선의 손실: 0.202825	정확도: 95.04%
1	검증 세트 손실: 0.084687	최선의 손실: 0.084687	정확도: 97.46%
2	검증 세트 손실: 0.091119	최선의 손실: 0.084687	정확도: 97.34%
3	검증 세트 손실: 0.078418	최선의 손실: 0.078418	정확도: 97.93%
4	검증 세트 손실: 0.084370	최선의 손실: 0.078418	정확도: 98.32%
5	검증 세트 손실: 0.094872	최선의 손실: 0.078418	정확도: 97.34%
6	검증 세트 손실: 0.068847	최선의 손실: 0.068847	정확도: 98.12%
7	검증 세트 손실: 0.064141	최선의 손실: 0.064141	정확도: 98.51%
8	검증 세트 손실: 0.081237	최선의 손실: 0.064141	정확도: 98.16%
9	검증 세트 손실: 0.101669	최선의 손실: 0.064141	정확도: 96.95%
10	검증 세트 손실: 0.066247	최선의 손실: 0.064141	정확도: 98.55%
11	검증 세트 손실: 0.088391	최선의 손실: 0.064141	정확도: 97.97%
12	검증 세트 손실: 0.103469	최선의 손실: 0.064141	정확도: 98.20%
13	검증 세트 손실: 0.083513	최선의 손실: 0.064141	정확도: 98.63%
14	검증 세트 손실: 0.079824	최선의 손실: 0.064141	정확도: 98.36%
15	검증 세트 손실: 0.090558	최선의 손실: 0.064141	정확도: 98.05%
16	검증 세트 손실: 0.054843	최선의 손실: 0.054843	정확도: 98.98%
17	검증 세트 손실: 0.102469	최선의 손실: 0.054843	정확도: 97.97%
18	검증 세트 손실: 0.077001	최선의 손실: 0.054843	정확도: 98.51%
19	검증 세트 손실: 0.059901	최선의 손실: 0.054843	정확도: 98.67%
20	검증 세트 손실: 0.059099	최선의 손실: 0.054843	정확도: 98.87%
21	검증 세트 손실: 0.197959	최선의 손실: 0.054843	정확도: 97.19%
22	검증 세트 손실: 0.077555	최선의 손실: 0.054843	정확도: 98.71%
23	검증 세트 손실: 0.053620	최선의 손실: 0.053620	정확도: 98.91%
24	검증 세트 손실: 0.082991	최선의 손실: 0.053620	정확도: 98.91%
25	검증 세트 손실: 0.090567	최선의 손실: 0.053620	정확도: 98.83%
26	검증 세트 손실: 0.107453	최선의 손실: 0.053620	정확도: 98.75%
27	검증 세트 손실: 0.074406	최선의 손실: 0.053620	정확도: 98.94%
28	검증 세트 손실: 0.157559	최선의 손실: 0.053620	정확도: 97.97%
29	검증 세트 손실: 0.072032	최선의 손실: 0.053620	정확도: 98.51%
30	검증 세트 손실: 0.061326	최선의 손실: 0.053620	정확도: 98.94%
31	검증 세트 손실: 0.080304	최선의 손실: 0.053620	정확도: 98.98%
32	검증 세트 손실: 0.102808	최선의 손실: 0.053620	정확도: 98.71%
33	검증 세트 손실: 0.124063	최선의 손실: 0.053620	정확도: 98.40%
34	검증 세트 손실: 0.071729	최선의 손실: 0.053620	정확도: 98.94%
35	검증 세트 손실: 0.100126	최선의 손실: 0.053620	정확도: 99.10%
36	검증 세트 손실: 0.091374	최선의 손실: 0.053620	정확도: 98.63%
37	검증 세트 손실: 0.078469	최선의 손실: 0.053620	정확도: 99.02%
38	검증 세트 손실: 0.144927	최선의 손실: 0.053620	정확도: 98.75%
39	검증 세트 손실: 0.070875	최선의 손실: 0.053620	정확도: 99.06%
40	검증 세트 손실: 0.075755	최선의 손실: 0.053620	정확도: 98.98%
41	검증 세트 손실: 0.096375	최선의 손실: 0.053620	정확도: 98.87%
42	검증 세트 손실: 0.092725	최선의 손실: 0.053620	정확도: 98.87%
43	검증 세트 손실: 0.225476	최선의 손실: 0.053620	정확도: 98.40%
44	검증 세트 손실: 0.084583	최선의 손실: 0.053620	정확도: 98.91%
조기 종료!
[CV]  n_neurons=100, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total=  45.0s
[CV] n_neurons=50, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 
0	검증 세트 손실: 0.141763	최선의 손실: 0.141763	정확도: 96.99%
1	검증 세트 손실: 0.066788	최선의 손실: 0.066788	정확도: 98.20%
2	검증 세트 손실: 0.055339	최선의 손실: 0.055339	정확도: 98.44%
3	검증 세트 손실: 0.059105	최선의 손실: 0.055339	정확도: 98.36%
4	검증 세트 손실: 0.048296	최선의 손실: 0.048296	정확도: 98.63%
5	검증 세트 손실: 0.070270	최선의 손실: 0.048296	정확도: 98.55%
6	검증 세트 손실: 0.069489	최선의 손실: 0.048296	정확도: 98.32%
7	검증 세트 손실: 0.074403	최선의 손실: 0.048296	정확도: 98.44%
8	검증 세트 손실: 0.047764	최선의 손실: 0.047764	정확도: 98.87%
9	검증 세트 손실: 0.069150	최선의 손실: 0.047764	정확도: 98.48%
10	검증 세트 손실: 0.105997	최선의 손실: 0.047764	정확도: 97.81%
11	검증 세트 손실: 0.083694	최선의 손실: 0.047764	정확도: 98.28%
12	검증 세트 손실: 0.062409	최선의 손실: 0.047764	정확도: 98.55%
13	검증 세트 손실: 0.074875	최선의 손실: 0.047764	정확도: 98.28%
14	검증 세트 손실: 0.046454	최선의 손실: 0.046454	정확도: 98.87%
15	검증 세트 손실: 0.065828	최선의 손실: 0.046454	정확도: 98.63%
16	검증 세트 손실: 0.045871	최선의 손실: 0.045871	정확도: 98.71%
17	검증 세트 손실: 0.047858	최선의 손실: 0.045871	정확도: 98.63%
18	검증 세트 손실: 0.052737	최선의 손실: 0.045871	정확도: 98.75%
19	검증 세트 손실: 0.046744	최선의 손실: 0.045871	정확도: 98.87%
20	검증 세트 손실: 0.050212	최선의 손실: 0.045871	정확도: 98.94%
21	검증 세트 손실: 0.043739	최선의 손실: 0.043739	정확도: 98.94%
22	검증 세트 손실: 0.079386	최선의 손실: 0.043739	정확도: 98.48%
23	검증 세트 손실: 0.062169	최선의 손실: 0.043739	정확도: 98.44%
24	검증 세트 손실: 0.072171	최선의 손실: 0.043739	정확도: 98.40%
25	검증 세트 손실: 0.056711	최선의 손실: 0.043739	정확도: 98.71%
26	검증 세트 손실: 0.059447	최선의 손실: 0.043739	정확도: 98.63%
27	검증 세트 손실: 0.051647	최선의 손실: 0.043739	정확도: 98.98%
28	검증 세트 손실: 0.094550	최선의 손실: 0.043739	정확도: 97.93%
29	검증 세트 손실: 0.069172	최선의 손실: 0.043739	정확도: 98.48%
30	검증 세트 손실: 0.079916	최선의 손실: 0.043739	정확도: 98.28%
31	검증 세트 손실: 0.051154	최선의 손실: 0.043739	정확도: 99.10%
32	검증 세트 손실: 0.071337	최선의 손실: 0.043739	정확도: 98.28%
33	검증 세트 손실: 0.049608	최선의 손실: 0.043739	정확도: 98.98%
34	검증 세트 손실: 0.079539	최선의 손실: 0.043739	정확도: 98.59%
35	검증 세트 손실: 0.096537	최선의 손실: 0.043739	정확도: 98.36%
36	검증 세트 손실: 0.069136	최선의 손실: 0.043739	정확도: 98.71%
37	검증 세트 손실: 0.048167	최선의 손실: 0.043739	정확도: 99.06%
38	검증 세트 손실: 0.059643	최선의 손실: 0.043739	정확도: 98.71%
39	검증 세트 손실: 0.079928	최선의 손실: 0.043739	정확도: 98.40%
40	검증 세트 손실: 0.064932	최선의 손실: 0.043739	정확도: 98.51%
41	검증 세트 손실: 0.068414	최선의 손실: 0.043739	정확도: 98.59%
42	검증 세트 손실: 0.060368	최선의 손실: 0.043739	정확도: 98.71%
조기 종료!
[CV]  n_neurons=50, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total=  12.1s
[CV] n_neurons=50, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 
0	검증 세트 손실: 0.280207	최선의 손실: 0.280207	정확도: 95.15%
1	검증 세트 손실: 0.097537	최선의 손실: 0.097537	정확도: 97.58%
2	검증 세트 손실: 0.065564	최선의 손실: 0.065564	정확도: 98.12%
3	검증 세트 손실: 0.051405	최선의 손실: 0.051405	정확도: 98.79%
4	검증 세트 손실: 0.046678	최선의 손실: 0.046678	정확도: 98.63%
5	검증 세트 손실: 0.068383	최선의 손실: 0.046678	정확도: 98.44%
6	검증 세트 손실: 0.052424	최선의 손실: 0.046678	정확도: 98.83%
7	검증 세트 손실: 0.100878	최선의 손실: 0.046678	정확도: 97.50%
8	검증 세트 손실: 0.076038	최선의 손실: 0.046678	정확도: 97.65%
9	검증 세트 손실: 0.041058	최선의 손실: 0.041058	정확도: 98.87%
10	검증 세트 손실: 0.052101	최선의 손실: 0.041058	정확도: 98.63%
11	검증 세트 손실: 0.092289	최선의 손실: 0.041058	정확도: 97.85%
12	검증 세트 손실: 0.067570	최선의 손실: 0.041058	정확도: 98.59%
13	검증 세트 손실: 0.061777	최선의 손실: 0.041058	정확도: 98.51%
14	검증 세트 손실: 0.052779	최선의 손실: 0.041058	정확도: 98.83%
15	검증 세트 손실: 0.065462	최선의 손실: 0.041058	정확도: 98.44%
16	검증 세트 손실: 0.062188	최선의 손실: 0.041058	정확도: 98.51%
17	검증 세트 손실: 0.058526	최선의 손실: 0.041058	정확도: 98.40%
18	검증 세트 손실: 0.045023	최선의 손실: 0.041058	정확도: 99.18%
19	검증 세트 손실: 0.060911	최선의 손실: 0.041058	정확도: 98.63%
20	검증 세트 손실: 0.061345	최선의 손실: 0.041058	정확도: 98.87%
21	검증 세트 손실: 0.058534	최선의 손실: 0.041058	정확도: 98.67%
22	검증 세트 손실: 0.066216	최선의 손실: 0.041058	정확도: 98.59%
23	검증 세트 손실: 0.080684	최선의 손실: 0.041058	정확도: 98.40%
24	검증 세트 손실: 0.042166	최선의 손실: 0.041058	정확도: 99.02%
25	검증 세트 손실: 0.041973	최선의 손실: 0.041058	정확도: 99.02%
26	검증 세트 손실: 0.069171	최선의 손실: 0.041058	정확도: 98.75%
27	검증 세트 손실: 0.053858	최선의 손실: 0.041058	정확도: 98.91%
28	검증 세트 손실: 0.056761	최선의 손실: 0.041058	정확도: 99.06%
29	검증 세트 손실: 0.058536	최선의 손실: 0.041058	정확도: 98.91%
30	검증 세트 손실: 0.060312	최선의 손실: 0.041058	정확도: 98.91%
조기 종료!
[CV]  n_neurons=50, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total=   9.1s
[CV] n_neurons=50, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 
0	검증 세트 손실: 0.183066	최선의 손실: 0.183066	정확도: 96.25%
1	검증 세트 손실: 0.071020	최선의 손실: 0.071020	정확도: 98.24%
2	검증 세트 손실: 0.060205	최선의 손실: 0.060205	정확도: 98.51%
3	검증 세트 손실: 0.052721	최선의 손실: 0.052721	정확도: 98.44%
4	검증 세트 손실: 0.054612	최선의 손실: 0.052721	정확도: 98.36%
5	검증 세트 손실: 0.090727	최선의 손실: 0.052721	정확도: 97.97%
6	검증 세트 손실: 0.061087	최선의 손실: 0.052721	정확도: 98.36%
7	검증 세트 손실: 0.055393	최선의 손실: 0.052721	정확도: 98.75%
8	검증 세트 손실: 0.061090	최선의 손실: 0.052721	정확도: 98.59%
9	검증 세트 손실: 0.042861	최선의 손실: 0.042861	정확도: 98.94%
10	검증 세트 손실: 0.048577	최선의 손실: 0.042861	정확도: 98.87%
11	검증 세트 손실: 0.062300	최선의 손실: 0.042861	정확도: 98.63%
12	검증 세트 손실: 0.046722	최선의 손실: 0.042861	정확도: 98.94%
13	검증 세트 손실: 0.065796	최선의 손실: 0.042861	정확도: 98.44%
14	검증 세트 손실: 0.050877	최선의 손실: 0.042861	정확도: 98.83%
15	검증 세트 손실: 0.044249	최선의 손실: 0.042861	정확도: 98.94%
16	검증 세트 손실: 0.046493	최선의 손실: 0.042861	정확도: 98.98%
17	검증 세트 손실: 0.057902	최선의 손실: 0.042861	정확도: 98.91%
18	검증 세트 손실: 0.071565	최선의 손실: 0.042861	정확도: 98.67%
19	검증 세트 손실: 0.047269	최선의 손실: 0.042861	정확도: 98.94%
20	검증 세트 손실: 0.053873	최선의 손실: 0.042861	정확도: 98.98%
21	검증 세트 손실: 0.048860	최선의 손실: 0.042861	정확도: 98.94%
22	검증 세트 손실: 0.062678	최선의 손실: 0.042861	정확도: 98.75%
23	검증 세트 손실: 0.058394	최선의 손실: 0.042861	정확도: 98.67%
24	검증 세트 손실: 0.059773	최선의 손실: 0.042861	정확도: 98.79%
25	검증 세트 손실: 0.047675	최선의 손실: 0.042861	정확도: 98.91%
26	검증 세트 손실: 0.059630	최선의 손실: 0.042861	정확도: 98.91%
27	검증 세트 손실: 0.054685	최선의 손실: 0.042861	정확도: 98.87%
28	검증 세트 손실: 0.058963	최선의 손실: 0.042861	정확도: 98.87%
29	검증 세트 손실: 0.043266	최선의 손실: 0.042861	정확도: 99.14%
30	검증 세트 손실: 0.053470	최선의 손실: 0.042861	정확도: 98.83%
조기 종료!
[CV]  n_neurons=50, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.98, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total=   9.1s
[CV] n_neurons=160, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 
0	검증 세트 손실: 0.092615	최선의 손실: 0.092615	정확도: 97.81%
1	검증 세트 손실: 0.115838	최선의 손실: 0.092615	정확도: 97.38%
2	검증 세트 손실: 0.068658	최선의 손실: 0.068658	정확도: 98.24%
3	검증 세트 손실: 0.061574	최선의 손실: 0.061574	정확도: 98.32%
4	검증 세트 손실: 0.047035	최선의 손실: 0.047035	정확도: 98.94%
5	검증 세트 손실: 0.068900	최선의 손실: 0.047035	정확도: 98.51%
6	검증 세트 손실: 0.052929	최선의 손실: 0.047035	정확도: 98.63%
7	검증 세트 손실: 0.047051	최선의 손실: 0.047035	정확도: 98.75%
8	검증 세트 손실: 0.084144	최선의 손실: 0.047035	정확도: 98.51%
9	검증 세트 손실: 0.035242	최선의 손실: 0.035242	정확도: 99.06%
10	검증 세트 손실: 0.048166	최선의 손실: 0.035242	정확도: 98.67%
11	검증 세트 손실: 0.052362	최선의 손실: 0.035242	정확도: 99.06%
12	검증 세트 손실: 0.074768	최선의 손실: 0.035242	정확도: 98.55%
13	검증 세트 손실: 0.051303	최선의 손실: 0.035242	정확도: 98.87%
14	검증 세트 손실: 0.042337	최선의 손실: 0.035242	정확도: 99.02%
15	검증 세트 손실: 0.047022	최선의 손실: 0.035242	정확도: 98.94%
16	검증 세트 손실: 0.074924	최선의 손실: 0.035242	정확도: 98.75%
17	검증 세트 손실: 0.046348	최선의 손실: 0.035242	정확도: 99.02%
18	검증 세트 손실: 0.065701	최선의 손실: 0.035242	정확도: 98.63%
19	검증 세트 손실: 0.054773	최선의 손실: 0.035242	정확도: 98.87%
20	검증 세트 손실: 0.052844	최선의 손실: 0.035242	정확도: 98.75%
21	검증 세트 손실: 0.044779	최선의 손실: 0.035242	정확도: 99.14%
22	검증 세트 손실: 0.041500	최선의 손실: 0.035242	정확도: 99.10%
23	검증 세트 손실: 0.059176	최선의 손실: 0.035242	정확도: 98.79%
24	검증 세트 손실: 0.037933	최선의 손실: 0.035242	정확도: 99.18%
25	검증 세트 손실: 0.062030	최선의 손실: 0.035242	정확도: 98.98%
26	검증 세트 손실: 0.050103	최선의 손실: 0.035242	정확도: 98.94%
27	검증 세트 손실: 0.043000	최선의 손실: 0.035242	정확도: 98.98%
28	검증 세트 손실: 0.079142	최선의 손실: 0.035242	정확도: 98.51%
29	검증 세트 손실: 0.052764	최선의 손실: 0.035242	정확도: 98.98%
30	검증 세트 손실: 0.043246	최선의 손실: 0.035242	정확도: 99.10%
조기 종료!
[CV]  n_neurons=160, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total=  31.3s
[CV] n_neurons=160, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 
0	검증 세트 손실: 0.215852	최선의 손실: 0.215852	정확도: 95.62%
1	검증 세트 손실: 0.063280	최선의 손실: 0.063280	정확도: 98.16%
2	검증 세트 손실: 0.058840	최선의 손실: 0.058840	정확도: 98.63%
3	검증 세트 손실: 0.057257	최선의 손실: 0.057257	정확도: 98.36%
4	검증 세트 손실: 0.060812	최선의 손실: 0.057257	정확도: 98.63%
5	검증 세트 손실: 0.037772	최선의 손실: 0.037772	정확도: 98.71%
6	검증 세트 손실: 0.052452	최선의 손실: 0.037772	정확도: 98.48%
7	검증 세트 손실: 0.065158	최선의 손실: 0.037772	정확도: 98.48%
8	검증 세트 손실: 0.062168	최선의 손실: 0.037772	정확도: 98.67%
9	검증 세트 손실: 0.054397	최선의 손실: 0.037772	정확도: 98.94%
10	검증 세트 손실: 0.071213	최선의 손실: 0.037772	정확도: 98.55%
11	검증 세트 손실: 0.049289	최선의 손실: 0.037772	정확도: 98.91%
12	검증 세트 손실: 0.046745	최선의 손실: 0.037772	정확도: 98.71%
13	검증 세트 손실: 0.047756	최선의 손실: 0.037772	정확도: 99.10%
14	검증 세트 손실: 0.056504	최선의 손실: 0.037772	정확도: 98.55%
15	검증 세트 손실: 0.044482	최선의 손실: 0.037772	정확도: 98.94%
16	검증 세트 손실: 0.049598	최선의 손실: 0.037772	정확도: 99.06%
17	검증 세트 손실: 0.075394	최선의 손실: 0.037772	정확도: 98.87%
18	검증 세트 손실: 0.043138	최선의 손실: 0.037772	정확도: 99.22%
19	검증 세트 손실: 0.050550	최선의 손실: 0.037772	정확도: 98.79%
20	검증 세트 손실: 0.044722	최선의 손실: 0.037772	정확도: 99.10%
21	검증 세트 손실: 0.051287	최선의 손실: 0.037772	정확도: 98.87%
22	검증 세트 손실: 0.046767	최선의 손실: 0.037772	정확도: 98.87%
23	검증 세트 손실: 0.075630	최선의 손실: 0.037772	정확도: 98.71%
24	검증 세트 손실: 0.078609	최선의 손실: 0.037772	정확도: 98.71%
25	검증 세트 손실: 0.053032	최선의 손실: 0.037772	정확도: 98.79%
26	검증 세트 손실: 0.056442	최선의 손실: 0.037772	정확도: 98.83%
조기 종료!
[CV]  n_neurons=160, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total=  27.6s
[CV] n_neurons=160, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 
0	검증 세트 손실: 0.110308	최선의 손실: 0.110308	정확도: 97.38%
1	검증 세트 손실: 0.103582	최선의 손실: 0.103582	정확도: 97.50%
2	검증 세트 손실: 0.077819	최선의 손실: 0.077819	정확도: 97.97%
3	검증 세트 손실: 0.048839	최선의 손실: 0.048839	정확도: 98.67%
4	검증 세트 손실: 0.054243	최선의 손실: 0.048839	정확도: 98.87%
5	검증 세트 손실: 0.043279	최선의 손실: 0.043279	정확도: 98.91%
6	검증 세트 손실: 0.042194	최선의 손실: 0.042194	정확도: 98.94%
7	검증 세트 손실: 0.073846	최선의 손실: 0.042194	정확도: 98.59%
8	검증 세트 손실: 0.045791	최선의 손실: 0.042194	정확도: 98.83%
9	검증 세트 손실: 0.047085	최선의 손실: 0.042194	정확도: 99.10%
10	검증 세트 손실: 0.034554	최선의 손실: 0.034554	정확도: 99.06%
11	검증 세트 손실: 0.035371	최선의 손실: 0.034554	정확도: 99.10%
12	검증 세트 손실: 0.029178	최선의 손실: 0.029178	정확도: 99.22%
13	검증 세트 손실: 0.064966	최선의 손실: 0.029178	정확도: 98.79%
14	검증 세트 손실: 0.060175	최선의 손실: 0.029178	정확도: 98.59%
15	검증 세트 손실: 0.065102	최선의 손실: 0.029178	정확도: 98.71%
16	검증 세트 손실: 0.048091	최선의 손실: 0.029178	정확도: 98.94%
17	검증 세트 손실: 0.049929	최선의 손실: 0.029178	정확도: 98.83%
18	검증 세트 손실: 0.053939	최선의 손실: 0.029178	정확도: 98.83%
19	검증 세트 손실: 0.059949	최선의 손실: 0.029178	정확도: 98.75%
20	검증 세트 손실: 0.047010	최선의 손실: 0.029178	정확도: 99.22%
21	검증 세트 손실: 0.041923	최선의 손실: 0.029178	정확도: 98.94%
22	검증 세트 손실: 0.040958	최선의 손실: 0.029178	정확도: 99.10%
23	검증 세트 손실: 0.048497	최선의 손실: 0.029178	정확도: 98.98%
24	검증 세트 손실: 0.045394	최선의 손실: 0.029178	정확도: 98.98%
25	검증 세트 손실: 0.042978	최선의 손실: 0.029178	정확도: 99.06%
26	검증 세트 손실: 0.039780	최선의 손실: 0.029178	정확도: 99.02%
27	검증 세트 손실: 0.038132	최선의 손실: 0.029178	정확도: 99.02%
28	검증 세트 손실: 0.038994	최선의 손실: 0.029178	정확도: 99.37%
29	검증 세트 손실: 0.033430	최선의 손실: 0.029178	정확도: 99.26%
30	검증 세트 손실: 0.036945	최선의 손실: 0.029178	정확도: 99.34%
31	검증 세트 손실: 0.046834	최선의 손실: 0.029178	정확도: 98.98%
32	검증 세트 손실: 0.045647	최선의 손실: 0.029178	정확도: 98.98%
33	검증 세트 손실: 0.044411	최선의 손실: 0.029178	정확도: 99.10%
조기 종료!
[CV]  n_neurons=160, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total=  34.4s
[CV] n_neurons=50, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.171059	최선의 손실: 0.171059	정확도: 95.15%
1	검증 세트 손실: 0.088663	최선의 손실: 0.088663	정확도: 97.58%
2	검증 세트 손실: 0.090951	최선의 손실: 0.088663	정확도: 97.22%
3	검증 세트 손실: 0.073111	최선의 손실: 0.073111	정확도: 97.73%
4	검증 세트 손실: 0.066913	최선의 손실: 0.066913	정확도: 98.01%
5	검증 세트 손실: 0.110773	최선의 손실: 0.066913	정확도: 96.44%
6	검증 세트 손실: 0.064188	최선의 손실: 0.064188	정확도: 98.12%
7	검증 세트 손실: 0.069757	최선의 손실: 0.064188	정확도: 98.05%
8	검증 세트 손실: 0.069276	최선의 손실: 0.064188	정확도: 97.73%
9	검증 세트 손실: 0.063514	최선의 손실: 0.063514	정확도: 98.12%
10	검증 세트 손실: 0.066032	최선의 손실: 0.063514	정확도: 98.24%
11	검증 세트 손실: 0.080535	최선의 손실: 0.063514	정확도: 97.85%
12	검증 세트 손실: 0.060029	최선의 손실: 0.060029	정확도: 98.51%
13	검증 세트 손실: 0.061915	최선의 손실: 0.060029	정확도: 98.32%
14	검증 세트 손실: 0.064874	최선의 손실: 0.060029	정확도: 98.20%
15	검증 세트 손실: 0.072183	최선의 손실: 0.060029	정확도: 98.28%
16	검증 세트 손실: 0.062984	최선의 손실: 0.060029	정확도: 98.36%
17	검증 세트 손실: 0.077526	최선의 손실: 0.060029	정확도: 98.16%
18	검증 세트 손실: 0.077427	최선의 손실: 0.060029	정확도: 98.08%
19	검증 세트 손실: 0.083266	최선의 손실: 0.060029	정확도: 98.08%
20	검증 세트 손실: 0.059525	최선의 손실: 0.059525	정확도: 98.36%
21	검증 세트 손실: 0.124467	최선의 손실: 0.059525	정확도: 97.42%
22	검증 세트 손실: 0.083279	최선의 손실: 0.059525	정확도: 98.28%
23	검증 세트 손실: 0.075264	최선의 손실: 0.059525	정확도: 98.40%
24	검증 세트 손실: 0.077159	최선의 손실: 0.059525	정확도: 98.24%
25	검증 세트 손실: 0.090969	최선의 손실: 0.059525	정확도: 98.08%
26	검증 세트 손실: 0.074036	최선의 손실: 0.059525	정확도: 98.48%
27	검증 세트 손실: 0.094315	최선의 손실: 0.059525	정확도: 98.12%
28	검증 세트 손실: 0.076264	최선의 손실: 0.059525	정확도: 98.24%
29	검증 세트 손실: 0.114763	최선의 손실: 0.059525	정확도: 97.42%
30	검증 세트 손실: 0.091200	최선의 손실: 0.059525	정확도: 98.24%
31	검증 세트 손실: 0.081389	최선의 손실: 0.059525	정확도: 98.36%
32	검증 세트 손실: 0.106775	최선의 손실: 0.059525	정확도: 98.16%
33	검증 세트 손실: 0.079343	최선의 손실: 0.059525	정확도: 98.48%
34	검증 세트 손실: 0.088802	최선의 손실: 0.059525	정확도: 98.32%
35	검증 세트 손실: 0.117636	최선의 손실: 0.059525	정확도: 98.36%
36	검증 세트 손실: 0.117396	최선의 손실: 0.059525	정확도: 98.16%
37	검증 세트 손실: 0.098606	최선의 손실: 0.059525	정확도: 98.01%
38	검증 세트 손실: 0.084177	최선의 손실: 0.059525	정확도: 98.44%
39	검증 세트 손실: 0.086490	최선의 손실: 0.059525	정확도: 98.32%
40	검증 세트 손실: 0.078091	최선의 손실: 0.059525	정확도: 98.28%
41	검증 세트 손실: 0.081495	최선의 손실: 0.059525	정확도: 98.44%
조기 종료!
[CV]  n_neurons=50, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28>, total=  11.8s
[CV] n_neurons=50, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.184570	최선의 손실: 0.184570	정확도: 94.64%
1	검증 세트 손실: 0.093963	최선의 손실: 0.093963	정확도: 97.42%
2	검증 세트 손실: 0.069974	최선의 손실: 0.069974	정확도: 97.81%
3	검증 세트 손실: 0.092989	최선의 손실: 0.069974	정확도: 96.95%
4	검증 세트 손실: 0.066953	최선의 손실: 0.066953	정확도: 97.81%
5	검증 세트 손실: 0.064867	최선의 손실: 0.064867	정확도: 97.77%
6	검증 세트 손실: 0.072278	최선의 손실: 0.064867	정확도: 97.97%
7	검증 세트 손실: 0.068722	최선의 손실: 0.064867	정확도: 97.77%
8	검증 세트 손실: 0.084900	최선의 손실: 0.064867	정확도: 97.34%
9	검증 세트 손실: 0.089994	최선의 손실: 0.064867	정확도: 98.12%
10	검증 세트 손실: 0.075441	최선의 손실: 0.064867	정확도: 98.16%
11	검증 세트 손실: 0.061371	최선의 손실: 0.061371	정확도: 98.51%
12	검증 세트 손실: 0.060653	최선의 손실: 0.060653	정확도: 98.63%
13	검증 세트 손실: 0.067469	최선의 손실: 0.060653	정확도: 98.48%
14	검증 세트 손실: 0.065859	최선의 손실: 0.060653	정확도: 98.44%
15	검증 세트 손실: 0.093166	최선의 손실: 0.060653	정확도: 97.85%
16	검증 세트 손실: 0.067028	최선의 손실: 0.060653	정확도: 98.55%
17	검증 세트 손실: 0.056255	최선의 손실: 0.056255	정확도: 98.67%
18	검증 세트 손실: 0.069464	최선의 손실: 0.056255	정확도: 98.36%
19	검증 세트 손실: 0.066900	최선의 손실: 0.056255	정확도: 98.28%
20	검증 세트 손실: 0.109722	최선의 손실: 0.056255	정확도: 98.01%
21	검증 세트 손실: 0.067366	최선의 손실: 0.056255	정확도: 98.28%
22	검증 세트 손실: 0.066086	최선의 손실: 0.056255	정확도: 98.48%
23	검증 세트 손실: 0.072867	최선의 손실: 0.056255	정확도: 98.44%
24	검증 세트 손실: 0.078491	최선의 손실: 0.056255	정확도: 98.32%
25	검증 세트 손실: 0.065533	최선의 손실: 0.056255	정확도: 98.55%
26	검증 세트 손실: 0.074195	최선의 손실: 0.056255	정확도: 98.44%
27	검증 세트 손실: 0.069133	최선의 손실: 0.056255	정확도: 98.59%
28	검증 세트 손실: 0.089871	최선의 손실: 0.056255	정확도: 98.44%
29	검증 세트 손실: 0.074972	최선의 손실: 0.056255	정확도: 98.24%
30	검증 세트 손실: 0.097003	최선의 손실: 0.056255	정확도: 98.48%
31	검증 세트 손실: 0.106570	최선의 손실: 0.056255	정확도: 98.12%
32	검증 세트 손실: 0.069013	최선의 손실: 0.056255	정확도: 98.51%
33	검증 세트 손실: 0.099714	최선의 손실: 0.056255	정확도: 98.28%
34	검증 세트 손실: 0.111085	최선의 손실: 0.056255	정확도: 98.20%
35	검증 세트 손실: 0.098384	최선의 손실: 0.056255	정확도: 98.28%
36	검증 세트 손실: 0.079746	최선의 손실: 0.056255	정확도: 98.55%
37	검증 세트 손실: 0.079570	최선의 손실: 0.056255	정확도: 98.67%
38	검증 세트 손실: 0.085948	최선의 손실: 0.056255	정확도: 98.55%
조기 종료!
[CV]  n_neurons=50, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28>, total=  11.0s
[CV] n_neurons=50, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.161133	최선의 손실: 0.161133	정확도: 95.19%
1	검증 세트 손실: 0.091983	최선의 손실: 0.091983	정확도: 97.30%
2	검증 세트 손실: 0.078080	최선의 손실: 0.078080	정확도: 97.65%
3	검증 세트 손실: 0.071704	최선의 손실: 0.071704	정확도: 97.77%
4	검증 세트 손실: 0.081327	최선의 손실: 0.071704	정확도: 97.42%
5	검증 세트 손실: 0.066075	최선의 손실: 0.066075	정확도: 97.89%
6	검증 세트 손실: 0.058196	최선의 손실: 0.058196	정확도: 98.48%
7	검증 세트 손실: 0.073338	최선의 손실: 0.058196	정확도: 97.65%
8	검증 세트 손실: 0.055870	최선의 손실: 0.055870	정확도: 98.16%
9	검증 세트 손실: 0.054802	최선의 손실: 0.054802	정확도: 98.36%
10	검증 세트 손실: 0.059678	최선의 손실: 0.054802	정확도: 98.32%
11	검증 세트 손실: 0.063105	최선의 손실: 0.054802	정확도: 98.12%
12	검증 세트 손실: 0.059872	최선의 손실: 0.054802	정확도: 98.55%
13	검증 세트 손실: 0.080143	최선의 손실: 0.054802	정확도: 98.08%
14	검증 세트 손실: 0.051669	최선의 손실: 0.051669	정확도: 98.63%
15	검증 세트 손실: 0.087903	최선의 손실: 0.051669	정확도: 98.28%
16	검증 세트 손실: 0.051712	최선의 손실: 0.051669	정확도: 98.71%
17	검증 세트 손실: 0.070965	최선의 손실: 0.051669	정확도: 98.16%
18	검증 세트 손실: 0.062853	최선의 손실: 0.051669	정확도: 98.59%
19	검증 세트 손실: 0.055163	최선의 손실: 0.051669	정확도: 98.63%
20	검증 세트 손실: 0.066905	최선의 손실: 0.051669	정확도: 98.75%
21	검증 세트 손실: 0.068644	최선의 손실: 0.051669	정확도: 98.55%
22	검증 세트 손실: 0.080125	최선의 손실: 0.051669	정확도: 98.36%
23	검증 세트 손실: 0.088040	최선의 손실: 0.051669	정확도: 98.16%
24	검증 세트 손실: 0.078729	최선의 손실: 0.051669	정확도: 98.36%
25	검증 세트 손실: 0.063293	최선의 손실: 0.051669	정확도: 98.59%
26	검증 세트 손실: 0.060264	최선의 손실: 0.051669	정확도: 98.63%
27	검증 세트 손실: 0.053625	최선의 손실: 0.051669	정확도: 98.87%
28	검증 세트 손실: 0.063638	최선의 손실: 0.051669	정확도: 98.63%
29	검증 세트 손실: 0.071928	최선의 손실: 0.051669	정확도: 98.44%
30	검증 세트 손실: 0.064908	최선의 손실: 0.051669	정확도: 98.98%
31	검증 세트 손실: 0.056927	최선의 손실: 0.051669	정확도: 98.91%
32	검증 세트 손실: 0.073637	최선의 손실: 0.051669	정확도: 98.67%
33	검증 세트 손실: 0.073036	최선의 손실: 0.051669	정확도: 98.67%
34	검증 세트 손실: 0.105667	최선의 손실: 0.051669	정확도: 98.48%
35	검증 세트 손실: 0.065414	최선의 손실: 0.051669	정확도: 98.75%
조기 종료!
[CV]  n_neurons=50, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.9, activation=<function elu at 0x7f8ec4ceef28>, total=  10.3s
[CV] n_neurons=90, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 
0	검증 세트 손실: 0.140822	최선의 손실: 0.140822	정확도: 95.90%
1	검증 세트 손실: 0.082633	최선의 손실: 0.082633	정확도: 97.50%
2	검증 세트 손실: 0.064084	최선의 손실: 0.064084	정확도: 98.05%
3	검증 세트 손실: 0.061194	최선의 손실: 0.061194	정확도: 97.93%
4	검증 세트 손실: 0.061395	최선의 손실: 0.061194	정확도: 98.28%
5	검증 세트 손실: 0.095874	최선의 손실: 0.061194	정확도: 97.11%
6	검증 세트 손실: 0.051429	최선의 손실: 0.051429	정확도: 98.28%
7	검증 세트 손실: 0.069614	최선의 손실: 0.051429	정확도: 98.28%
8	검증 세트 손실: 0.046168	최선의 손실: 0.046168	정확도: 98.59%
9	검증 세트 손실: 0.058167	최선의 손실: 0.046168	정확도: 98.51%
10	검증 세트 손실: 0.061108	최선의 손실: 0.046168	정확도: 98.48%
11	검증 세트 손실: 0.074856	최선의 손실: 0.046168	정확도: 98.20%
12	검증 세트 손실: 0.045359	최선의 손실: 0.045359	정확도: 98.71%
13	검증 세트 손실: 0.054158	최선의 손실: 0.045359	정확도: 98.63%
14	검증 세트 손실: 0.056385	최선의 손실: 0.045359	정확도: 98.98%
15	검증 세트 손실: 0.058765	최선의 손실: 0.045359	정확도: 98.44%
16	검증 세트 손실: 0.059400	최선의 손실: 0.045359	정확도: 98.75%
17	검증 세트 손실: 0.054341	최선의 손실: 0.045359	정확도: 98.83%
18	검증 세트 손실: 0.068342	최선의 손실: 0.045359	정확도: 98.44%
19	검증 세트 손실: 0.063954	최선의 손실: 0.045359	정확도: 98.51%
20	검증 세트 손실: 0.055993	최선의 손실: 0.045359	정확도: 98.63%
21	검증 세트 손실: 0.064808	최선의 손실: 0.045359	정확도: 98.59%
22	검증 세트 손실: 0.057288	최선의 손실: 0.045359	정확도: 98.91%
23	검증 세트 손실: 0.060961	최선의 손실: 0.045359	정확도: 98.59%
24	검증 세트 손실: 0.053204	최선의 손실: 0.045359	정확도: 98.48%
25	검증 세트 손실: 0.063796	최선의 손실: 0.045359	정확도: 98.67%
26	검증 세트 손실: 0.057954	최선의 손실: 0.045359	정확도: 98.71%
27	검증 세트 손실: 0.045796	최선의 손실: 0.045359	정확도: 98.94%
28	검증 세트 손실: 0.050166	최선의 손실: 0.045359	정확도: 98.94%
29	검증 세트 손실: 0.055828	최선의 손실: 0.045359	정확도: 98.79%
30	검증 세트 손실: 0.078270	최선의 손실: 0.045359	정확도: 98.36%
31	검증 세트 손실: 0.063441	최선의 손실: 0.045359	정확도: 98.87%
32	검증 세트 손실: 0.081855	최선의 손실: 0.045359	정확도: 98.36%
33	검증 세트 손실: 0.074538	최선의 손실: 0.045359	정확도: 98.91%
조기 종료!
[CV]  n_neurons=90, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total=  12.6s
[CV] n_neurons=90, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 
0	검증 세트 손실: 0.131295	최선의 손실: 0.131295	정확도: 95.97%
1	검증 세트 손실: 0.077599	최선의 손실: 0.077599	정확도: 97.62%
2	검증 세트 손실: 0.067669	최선의 손실: 0.067669	정확도: 97.93%
3	검증 세트 손실: 0.058339	최선의 손실: 0.058339	정확도: 98.40%
4	검증 세트 손실: 0.067773	최선의 손실: 0.058339	정확도: 98.20%
5	검증 세트 손실: 0.058532	최선의 손실: 0.058339	정확도: 98.05%
6	검증 세트 손실: 0.051651	최선의 손실: 0.051651	정확도: 98.48%
7	검증 세트 손실: 0.070256	최선의 손실: 0.051651	정확도: 98.12%
8	검증 세트 손실: 0.050993	최선의 손실: 0.050993	정확도: 98.44%
9	검증 세트 손실: 0.048529	최선의 손실: 0.048529	정확도: 98.63%
10	검증 세트 손실: 0.056953	최선의 손실: 0.048529	정확도: 98.55%
11	검증 세트 손실: 0.071445	최선의 손실: 0.048529	정확도: 98.40%
12	검증 세트 손실: 0.057251	최선의 손실: 0.048529	정확도: 98.63%
13	검증 세트 손실: 0.063848	최선의 손실: 0.048529	정확도: 98.51%
14	검증 세트 손실: 0.054832	최선의 손실: 0.048529	정확도: 98.94%
15	검증 세트 손실: 0.069416	최선의 손실: 0.048529	정확도: 98.55%
16	검증 세트 손실: 0.047131	최선의 손실: 0.047131	정확도: 98.91%
17	검증 세트 손실: 0.045439	최선의 손실: 0.045439	정확도: 99.26%
18	검증 세트 손실: 0.057264	최선의 손실: 0.045439	정확도: 98.91%
19	검증 세트 손실: 0.057512	최선의 손실: 0.045439	정확도: 98.59%
20	검증 세트 손실: 0.053412	최선의 손실: 0.045439	정확도: 98.98%
21	검증 세트 손실: 0.061222	최선의 손실: 0.045439	정확도: 98.67%
22	검증 세트 손실: 0.061719	최선의 손실: 0.045439	정확도: 98.67%
23	검증 세트 손실: 0.057569	최선의 손실: 0.045439	정확도: 99.02%
24	검증 세트 손실: 0.062489	최선의 손실: 0.045439	정확도: 98.63%
25	검증 세트 손실: 0.069081	최선의 손실: 0.045439	정확도: 98.55%
26	검증 세트 손실: 0.071501	최선의 손실: 0.045439	정확도: 98.59%
27	검증 세트 손실: 0.077435	최선의 손실: 0.045439	정확도: 98.55%
28	검증 세트 손실: 0.065439	최선의 손실: 0.045439	정확도: 98.83%
29	검증 세트 손실: 0.077742	최선의 손실: 0.045439	정확도: 98.71%
30	검증 세트 손실: 0.085174	최선의 손실: 0.045439	정확도: 98.63%
31	검증 세트 손실: 0.050705	최선의 손실: 0.045439	정확도: 98.63%
32	검증 세트 손실: 0.061399	최선의 손실: 0.045439	정확도: 98.79%
33	검증 세트 손실: 0.092911	최선의 손실: 0.045439	정확도: 98.40%
34	검증 세트 손실: 0.073682	최선의 손실: 0.045439	정확도: 98.51%
35	검증 세트 손실: 0.074531	최선의 손실: 0.045439	정확도: 98.36%
36	검증 세트 손실: 0.068441	최선의 손실: 0.045439	정확도: 98.51%
37	검증 세트 손실: 0.073469	최선의 손실: 0.045439	정확도: 98.63%
38	검증 세트 손실: 0.100938	최선의 손실: 0.045439	정확도: 98.24%
조기 종료!
[CV]  n_neurons=90, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total=  14.2s
[CV] n_neurons=90, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 
0	검증 세트 손실: 0.124578	최선의 손실: 0.124578	정확도: 96.01%
1	검증 세트 손실: 0.070664	최선의 손실: 0.070664	정확도: 97.50%
2	검증 세트 손실: 0.054728	최선의 손실: 0.054728	정확도: 98.40%
3	검증 세트 손실: 0.056908	최선의 손실: 0.054728	정확도: 98.32%
4	검증 세트 손실: 0.044010	최선의 손실: 0.044010	정확도: 98.75%
5	검증 세트 손실: 0.059860	최선의 손실: 0.044010	정확도: 98.40%
6	검증 세트 손실: 0.078997	최선의 손실: 0.044010	정확도: 97.73%
7	검증 세트 손실: 0.043646	최선의 손실: 0.043646	정확도: 98.71%
8	검증 세트 손실: 0.052680	최선의 손실: 0.043646	정확도: 98.71%
9	검증 세트 손실: 0.043184	최선의 손실: 0.043184	정확도: 98.83%
10	검증 세트 손실: 0.057058	최선의 손실: 0.043184	정확도: 98.55%
11	검증 세트 손실: 0.052013	최선의 손실: 0.043184	정확도: 98.55%
12	검증 세트 손실: 0.042971	최선의 손실: 0.042971	정확도: 98.83%
13	검증 세트 손실: 0.040537	최선의 손실: 0.040537	정확도: 99.14%
14	검증 세트 손실: 0.056453	최선의 손실: 0.040537	정확도: 98.63%
15	검증 세트 손실: 0.046881	최선의 손실: 0.040537	정확도: 98.75%
16	검증 세트 손실: 0.059996	최선의 손실: 0.040537	정확도: 98.59%
17	검증 세트 손실: 0.068978	최선의 손실: 0.040537	정확도: 98.79%
18	검증 세트 손실: 0.046426	최선의 손실: 0.040537	정확도: 98.91%
19	검증 세트 손실: 0.079138	최선의 손실: 0.040537	정확도: 98.48%
20	검증 세트 손실: 0.081031	최선의 손실: 0.040537	정확도: 98.51%
21	검증 세트 손실: 0.063551	최선의 손실: 0.040537	정확도: 98.67%
22	검증 세트 손실: 0.065991	최선의 손실: 0.040537	정확도: 98.55%
23	검증 세트 손실: 0.056070	최선의 손실: 0.040537	정확도: 98.67%
24	검증 세트 손실: 0.042961	최선의 손실: 0.040537	정확도: 99.02%
25	검증 세트 손실: 0.075129	최선의 손실: 0.040537	정확도: 98.40%
26	검증 세트 손실: 0.040831	최선의 손실: 0.040537	정확도: 98.87%
27	검증 세트 손실: 0.033652	최선의 손실: 0.033652	정확도: 99.18%
28	검증 세트 손실: 0.047560	최선의 손실: 0.033652	정확도: 99.10%
29	검증 세트 손실: 0.045208	최선의 손실: 0.033652	정확도: 99.06%
30	검증 세트 손실: 0.051470	최선의 손실: 0.033652	정확도: 98.94%
31	검증 세트 손실: 0.050538	최선의 손실: 0.033652	정확도: 99.06%
32	검증 세트 손실: 0.045926	최선의 손실: 0.033652	정확도: 99.10%
33	검증 세트 손실: 0.069739	최선의 손실: 0.033652	정확도: 98.59%
34	검증 세트 손실: 0.100661	최선의 손실: 0.033652	정확도: 98.20%
35	검증 세트 손실: 0.059598	최선의 손실: 0.033652	정확도: 98.71%
36	검증 세트 손실: 0.049156	최선의 손실: 0.033652	정확도: 98.83%
37	검증 세트 손실: 0.054560	최선의 손실: 0.033652	정확도: 98.83%
38	검증 세트 손실: 0.069837	최선의 손실: 0.033652	정확도: 98.63%
39	검증 세트 손실: 0.048407	최선의 손실: 0.033652	정확도: 98.91%
40	검증 세트 손실: 0.059486	최선의 손실: 0.033652	정확도: 98.83%
41	검증 세트 손실: 0.048959	최선의 손실: 0.033652	정확도: 99.02%
42	검증 세트 손실: 0.064640	최선의 손실: 0.033652	정확도: 98.91%
43	검증 세트 손실: 0.057914	최선의 손실: 0.033652	정확도: 98.91%
44	검증 세트 손실: 0.071244	최선의 손실: 0.033652	정확도: 98.83%
45	검증 세트 손실: 0.067352	최선의 손실: 0.033652	정확도: 98.87%
46	검증 세트 손실: 0.074187	최선의 손실: 0.033652	정확도: 98.51%
47	검증 세트 손실: 0.051783	최선의 손실: 0.033652	정확도: 98.98%
48	검증 세트 손실: 0.072249	최선의 손실: 0.033652	정확도: 98.63%
조기 종료!
[CV]  n_neurons=90, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total=  17.5s
[CV] n_neurons=140, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 0.063477	최선의 손실: 0.063477	정확도: 98.28%
1	검증 세트 손실: 0.048737	최선의 손실: 0.048737	정확도: 98.51%
2	검증 세트 손실: 0.053888	최선의 손실: 0.048737	정확도: 98.32%
3	검증 세트 손실: 0.047502	최선의 손실: 0.047502	정확도: 98.71%
4	검증 세트 손실: 0.031727	최선의 손실: 0.031727	정확도: 99.06%
5	검증 세트 손실: 0.041483	최선의 손실: 0.031727	정확도: 98.79%
6	검증 세트 손실: 0.048648	최선의 손실: 0.031727	정확도: 98.79%
7	검증 세트 손실: 0.046553	최선의 손실: 0.031727	정확도: 98.79%
8	검증 세트 손실: 0.044340	최선의 손실: 0.031727	정확도: 98.79%
9	검증 세트 손실: 0.031078	최선의 손실: 0.031078	정확도: 99.14%
10	검증 세트 손실: 0.037854	최선의 손실: 0.031078	정확도: 98.98%
11	검증 세트 손실: 0.031460	최선의 손실: 0.031078	정확도: 99.18%
12	검증 세트 손실: 0.042333	최선의 손실: 0.031078	정확도: 98.98%
13	검증 세트 손실: 0.069370	최선의 손실: 0.031078	정확도: 98.44%
14	검증 세트 손실: 0.050184	최선의 손실: 0.031078	정확도: 98.79%
15	검증 세트 손실: 0.056445	최선의 손실: 0.031078	정확도: 99.06%
16	검증 세트 손실: 0.067878	최선의 손실: 0.031078	정확도: 98.48%
17	검증 세트 손실: 0.046472	최선의 손실: 0.031078	정확도: 98.94%
18	검증 세트 손실: 0.046664	최선의 손실: 0.031078	정확도: 98.94%
19	검증 세트 손실: 0.040344	최선의 손실: 0.031078	정확도: 99.06%
20	검증 세트 손실: 0.050834	최선의 손실: 0.031078	정확도: 98.94%
21	검증 세트 손실: 0.043783	최선의 손실: 0.031078	정확도: 99.10%
22	검증 세트 손실: 0.045924	최선의 손실: 0.031078	정확도: 99.10%
23	검증 세트 손실: 0.050211	최선의 손실: 0.031078	정확도: 99.02%
24	검증 세트 손실: 0.050423	최선의 손실: 0.031078	정확도: 98.98%
25	검증 세트 손실: 0.047149	최선의 손실: 0.031078	정확도: 99.10%
26	검증 세트 손실: 0.062115	최선의 손실: 0.031078	정확도: 98.94%
27	검증 세트 손실: 0.066241	최선의 손실: 0.031078	정확도: 98.83%
28	검증 세트 손실: 0.059185	최선의 손실: 0.031078	정확도: 98.59%
29	검증 세트 손실: 0.066729	최선의 손실: 0.031078	정확도: 98.83%
30	검증 세트 손실: 0.055278	최선의 손실: 0.031078	정확도: 98.75%
조기 종료!
[CV]  n_neurons=140, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=<function relu at 0x7f8ec4c8c510>, total=  14.9s
[CV] n_neurons=140, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 0.065311	최선의 손실: 0.065311	정확도: 97.97%
1	검증 세트 손실: 0.047484	최선의 손실: 0.047484	정확도: 98.67%
2	검증 세트 손실: 0.043112	최선의 손실: 0.043112	정확도: 98.71%
3	검증 세트 손실: 0.047656	최선의 손실: 0.043112	정확도: 98.44%
4	검증 세트 손실: 0.043808	최선의 손실: 0.043112	정확도: 98.79%
5	검증 세트 손실: 0.049723	최선의 손실: 0.043112	정확도: 98.48%
6	검증 세트 손실: 0.041190	최선의 손실: 0.041190	정확도: 99.02%
7	검증 세트 손실: 0.044885	최선의 손실: 0.041190	정확도: 98.87%
8	검증 세트 손실: 0.062136	최선의 손실: 0.041190	정확도: 98.44%
9	검증 세트 손실: 0.048816	최선의 손실: 0.041190	정확도: 98.98%
10	검증 세트 손실: 0.037836	최선의 손실: 0.037836	정확도: 99.10%
11	검증 세트 손실: 0.043283	최선의 손실: 0.037836	정확도: 99.06%
12	검증 세트 손실: 0.036957	최선의 손실: 0.036957	정확도: 99.02%
13	검증 세트 손실: 0.039044	최선의 손실: 0.036957	정확도: 99.14%
14	검증 세트 손실: 0.040032	최선의 손실: 0.036957	정확도: 99.26%
15	검증 세트 손실: 0.051030	최선의 손실: 0.036957	정확도: 98.79%
16	검증 세트 손실: 0.037220	최선의 손실: 0.036957	정확도: 98.91%
17	검증 세트 손실: 0.041052	최선의 손실: 0.036957	정확도: 99.06%
18	검증 세트 손실: 0.038708	최선의 손실: 0.036957	정확도: 99.10%
19	검증 세트 손실: 0.036168	최선의 손실: 0.036168	정확도: 99.02%
20	검증 세트 손실: 0.035756	최선의 손실: 0.035756	정확도: 99.30%
21	검증 세트 손실: 0.039414	최선의 손실: 0.035756	정확도: 99.18%
22	검증 세트 손실: 0.037555	최선의 손실: 0.035756	정확도: 99.22%
23	검증 세트 손실: 0.066223	최선의 손실: 0.035756	정확도: 98.91%
24	검증 세트 손실: 0.064371	최선의 손실: 0.035756	정확도: 98.75%
25	검증 세트 손실: 0.048263	최선의 손실: 0.035756	정확도: 98.71%
26	검증 세트 손실: 0.053088	최선의 손실: 0.035756	정확도: 98.79%
27	검증 세트 손실: 0.045680	최선의 손실: 0.035756	정확도: 99.10%
28	검증 세트 손실: 0.039480	최선의 손실: 0.035756	정확도: 99.02%
29	검증 세트 손실: 0.043469	최선의 손실: 0.035756	정확도: 99.18%
30	검증 세트 손실: 0.044092	최선의 손실: 0.035756	정확도: 99.18%
31	검증 세트 손실: 0.040478	최선의 손실: 0.035756	정확도: 99.34%
32	검증 세트 손실: 0.043673	최선의 손실: 0.035756	정확도: 98.98%
33	검증 세트 손실: 0.047034	최선의 손실: 0.035756	정확도: 98.94%
34	검증 세트 손실: 0.047572	최선의 손실: 0.035756	정확도: 99.02%
35	검증 세트 손실: 0.032107	최선의 손실: 0.032107	정확도: 99.22%
36	검증 세트 손실: 0.047321	최선의 손실: 0.032107	정확도: 99.02%
37	검증 세트 손실: 0.045880	최선의 손실: 0.032107	정확도: 98.94%
38	검증 세트 손실: 0.033600	최선의 손실: 0.032107	정확도: 99.37%
39	검증 세트 손실: 0.056154	최선의 손실: 0.032107	정확도: 99.14%
40	검증 세트 손실: 0.056492	최선의 손실: 0.032107	정확도: 99.14%
41	검증 세트 손실: 0.052988	최선의 손실: 0.032107	정확도: 99.02%
42	검증 세트 손실: 0.044204	최선의 손실: 0.032107	정확도: 99.14%
43	검증 세트 손실: 0.049684	최선의 손실: 0.032107	정확도: 99.14%
44	검증 세트 손실: 0.034238	최선의 손실: 0.032107	정확도: 99.22%
45	검증 세트 손실: 0.036250	최선의 손실: 0.032107	정확도: 99.22%
46	검증 세트 손실: 0.033646	최선의 손실: 0.032107	정확도: 99.26%
47	검증 세트 손실: 0.040553	최선의 손실: 0.032107	정확도: 98.83%
48	검증 세트 손실: 0.039866	최선의 손실: 0.032107	정확도: 99.22%
49	검증 세트 손실: 0.037110	최선의 손실: 0.032107	정확도: 99.10%
50	검증 세트 손실: 0.039167	최선의 손실: 0.032107	정확도: 99.18%
51	검증 세트 손실: 0.043983	최선의 손실: 0.032107	정확도: 99.02%
52	검증 세트 손실: 0.056665	최선의 손실: 0.032107	정확도: 99.14%
53	검증 세트 손실: 0.056942	최선의 손실: 0.032107	정확도: 99.02%
54	검증 세트 손실: 0.058014	최선의 손실: 0.032107	정확도: 98.91%
55	검증 세트 손실: 0.056853	최선의 손실: 0.032107	정확도: 98.75%
56	검증 세트 손실: 0.070122	최선의 손실: 0.032107	정확도: 98.75%
조기 종료!
[CV]  n_neurons=140, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=<function relu at 0x7f8ec4c8c510>, total=  26.3s
[CV] n_neurons=140, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=<function relu at 0x7f8ec4c8c510> 
0	검증 세트 손실: 0.064626	최선의 손실: 0.064626	정확도: 97.89%
1	검증 세트 손실: 0.052373	최선의 손실: 0.052373	정확도: 98.32%
2	검증 세트 손실: 0.036296	최선의 손실: 0.036296	정확도: 98.98%
3	검증 세트 손실: 0.038425	최선의 손실: 0.036296	정확도: 98.91%
4	검증 세트 손실: 0.036733	최선의 손실: 0.036296	정확도: 98.91%
5	검증 세트 손실: 0.056489	최선의 손실: 0.036296	정확도: 98.32%
6	검증 세트 손실: 0.038087	최선의 손실: 0.036296	정확도: 98.83%
7	검증 세트 손실: 0.044718	최선의 손실: 0.036296	정확도: 98.83%
8	검증 세트 손실: 0.049772	최선의 손실: 0.036296	정확도: 98.75%
9	검증 세트 손실: 0.055939	최선의 손실: 0.036296	정확도: 98.83%
10	검증 세트 손실: 0.043103	최선의 손실: 0.036296	정확도: 98.63%
11	검증 세트 손실: 0.038262	최선의 손실: 0.036296	정확도: 98.98%
12	검증 세트 손실: 0.040300	최선의 손실: 0.036296	정확도: 98.98%
13	검증 세트 손실: 0.050213	최선의 손실: 0.036296	정확도: 98.91%
14	검증 세트 손실: 0.033515	최선의 손실: 0.033515	정확도: 99.02%
15	검증 세트 손실: 0.036253	최선의 손실: 0.033515	정확도: 98.98%
16	검증 세트 손실: 0.063034	최선의 손실: 0.033515	정확도: 98.51%
17	검증 세트 손실: 0.037518	최선의 손실: 0.033515	정확도: 99.10%
18	검증 세트 손실: 0.036804	최선의 손실: 0.033515	정확도: 99.06%
19	검증 세트 손실: 0.051849	최선의 손실: 0.033515	정확도: 98.55%
20	검증 세트 손실: 0.045505	최선의 손실: 0.033515	정확도: 99.06%
21	검증 세트 손실: 0.040961	최선의 손실: 0.033515	정확도: 99.10%
22	검증 세트 손실: 0.054374	최선의 손실: 0.033515	정확도: 99.02%
23	검증 세트 손실: 0.048013	최선의 손실: 0.033515	정확도: 98.83%
24	검증 세트 손실: 0.042267	최선의 손실: 0.033515	정확도: 99.06%
25	검증 세트 손실: 0.030022	최선의 손실: 0.030022	정확도: 99.34%
26	검증 세트 손실: 0.029454	최선의 손실: 0.029454	정확도: 99.34%
27	검증 세트 손실: 0.041724	최선의 손실: 0.029454	정확도: 99.02%
28	검증 세트 손실: 0.037122	최선의 손실: 0.029454	정확도: 99.30%
29	검증 세트 손실: 0.040615	최선의 손실: 0.029454	정확도: 99.18%
30	검증 세트 손실: 0.037711	최선의 손실: 0.029454	정확도: 99.22%
31	검증 세트 손실: 0.045125	최선의 손실: 0.029454	정확도: 99.02%
32	검증 세트 손실: 0.036658	최선의 손실: 0.029454	정확도: 99.02%
33	검증 세트 손실: 0.047035	최선의 손실: 0.029454	정확도: 99.10%
34	검증 세트 손실: 0.037245	최선의 손실: 0.029454	정확도: 98.98%
35	검증 세트 손실: 0.030266	최선의 손실: 0.029454	정확도: 99.26%
36	검증 세트 손실: 0.026520	최선의 손실: 0.026520	정확도: 99.26%
37	검증 세트 손실: 0.032032	최선의 손실: 0.026520	정확도: 99.30%
38	검증 세트 손실: 0.037685	최선의 손실: 0.026520	정확도: 99.22%
39	검증 세트 손실: 0.035736	최선의 손실: 0.026520	정확도: 99.14%
40	검증 세트 손실: 0.036220	최선의 손실: 0.026520	정확도: 99.14%
41	검증 세트 손실: 0.036171	최선의 손실: 0.026520	정확도: 99.26%
42	검증 세트 손실: 0.062166	최선의 손실: 0.026520	정확도: 99.02%
43	검증 세트 손실: 0.044855	최선의 손실: 0.026520	정확도: 99.22%
44	검증 세트 손실: 0.042436	최선의 손실: 0.026520	정확도: 98.87%
45	검증 세트 손실: 0.042494	최선의 손실: 0.026520	정확도: 99.14%
46	검증 세트 손실: 0.040540	최선의 손실: 0.026520	정확도: 99.14%
47	검증 세트 손실: 0.047777	최선의 손실: 0.026520	정확도: 99.14%
48	검증 세트 손실: 0.034800	최선의 손실: 0.026520	정확도: 99.18%
49	검증 세트 손실: 0.038949	최선의 손실: 0.026520	정확도: 99.14%
50	검증 세트 손실: 0.035014	최선의 손실: 0.026520	정확도: 99.14%
51	검증 세트 손실: 0.035409	최선의 손실: 0.026520	정확도: 99.30%
52	검증 세트 손실: 0.034602	최선의 손실: 0.026520	정확도: 99.22%
53	검증 세트 손실: 0.032281	최선의 손실: 0.026520	정확도: 99.37%
54	검증 세트 손실: 0.033641	최선의 손실: 0.026520	정확도: 99.37%
55	검증 세트 손실: 0.033059	최선의 손실: 0.026520	정확도: 99.34%
56	검증 세트 손실: 0.034806	최선의 손실: 0.026520	정확도: 99.34%
57	검증 세트 손실: 0.028019	최선의 손실: 0.026520	정확도: 99.34%
조기 종료!
[CV]  n_neurons=140, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=<function relu at 0x7f8ec4c8c510>, total=  26.7s
[CV] n_neurons=140, learning_rate=0.01, batch_size=500, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 
0	검증 세트 손실: 0.069277	최선의 손실: 0.069277	정확도: 98.20%
1	검증 세트 손실: 0.061487	최선의 손실: 0.061487	정확도: 97.93%
2	검증 세트 손실: 0.041685	최선의 손실: 0.041685	정확도: 98.94%
3	검증 세트 손실: 0.046300	최선의 손실: 0.041685	정확도: 98.63%
4	검증 세트 손실: 0.038092	최선의 손실: 0.038092	정확도: 98.87%
5	검증 세트 손실: 0.063802	최선의 손실: 0.038092	정확도: 98.51%
6	검증 세트 손실: 0.057011	최선의 손실: 0.038092	정확도: 98.44%
7	검증 세트 손실: 0.053442	최선의 손실: 0.038092	정확도: 98.71%
8	검증 세트 손실: 0.032092	최선의 손실: 0.032092	정확도: 99.14%
9	검증 세트 손실: 0.038600	최선의 손실: 0.032092	정확도: 99.14%
10	검증 세트 손실: 0.038476	최선의 손실: 0.032092	정확도: 99.02%
11	검증 세트 손실: 0.045270	최선의 손실: 0.032092	정확도: 98.98%
12	검증 세트 손실: 0.056328	최선의 손실: 0.032092	정확도: 98.83%
13	검증 세트 손실: 0.049206	최선의 손실: 0.032092	정확도: 98.83%
14	검증 세트 손실: 0.044632	최선의 손실: 0.032092	정확도: 98.87%
15	검증 세트 손실: 0.058128	최선의 손실: 0.032092	정확도: 98.63%
16	검증 세트 손실: 0.058684	최선의 손실: 0.032092	정확도: 98.91%
17	검증 세트 손실: 0.056107	최선의 손실: 0.032092	정확도: 98.79%
18	검증 세트 손실: 0.071710	최선의 손실: 0.032092	정확도: 98.51%
19	검증 세트 손실: 0.053441	최선의 손실: 0.032092	정확도: 98.79%
20	검증 세트 손실: 0.037892	최선의 손실: 0.032092	정확도: 99.06%
21	검증 세트 손실: 0.044339	최선의 손실: 0.032092	정확도: 99.02%
22	검증 세트 손실: 0.062378	최선의 손실: 0.032092	정확도: 98.83%
23	검증 세트 손실: 0.049467	최선의 손실: 0.032092	정확도: 99.02%
24	검증 세트 손실: 0.045966	최선의 손실: 0.032092	정확도: 99.14%
25	검증 세트 손실: 0.045151	최선의 손실: 0.032092	정확도: 98.94%
26	검증 세트 손실: 0.050116	최선의 손실: 0.032092	정확도: 98.83%
27	검증 세트 손실: 0.044307	최선의 손실: 0.032092	정확도: 99.02%
28	검증 세트 손실: 0.050716	최선의 손실: 0.032092	정확도: 99.06%
29	검증 세트 손실: 0.077799	최선의 손실: 0.032092	정확도: 98.48%
조기 종료!
[CV]  n_neurons=140, learning_rate=0.01, batch_size=500, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total=  15.0s
[CV] n_neurons=140, learning_rate=0.01, batch_size=500, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 
0	검증 세트 손실: 0.061526	최선의 손실: 0.061526	정확도: 97.97%
1	검증 세트 손실: 0.045697	최선의 손실: 0.045697	정확도: 98.44%
2	검증 세트 손실: 0.053120	최선의 손실: 0.045697	정확도: 98.28%
3	검증 세트 손실: 0.044335	최선의 손실: 0.044335	정확도: 98.51%
4	검증 세트 손실: 0.043921	최선의 손실: 0.043921	정확도: 98.36%
5	검증 세트 손실: 0.052357	최선의 손실: 0.043921	정확도: 98.79%
6	검증 세트 손실: 0.041424	최선의 손실: 0.041424	정확도: 98.87%
7	검증 세트 손실: 0.043853	최선의 손실: 0.041424	정확도: 98.91%
8	검증 세트 손실: 0.037305	최선의 손실: 0.037305	정확도: 98.87%
9	검증 세트 손실: 0.035022	최선의 손실: 0.035022	정확도: 99.06%
10	검증 세트 손실: 0.047999	최선의 손실: 0.035022	정확도: 99.06%
11	검증 세트 손실: 0.050584	최선의 손실: 0.035022	정확도: 98.87%
12	검증 세트 손실: 0.050530	최선의 손실: 0.035022	정확도: 98.59%
13	검증 세트 손실: 0.050269	최선의 손실: 0.035022	정확도: 98.67%
14	검증 세트 손실: 0.067954	최선의 손실: 0.035022	정확도: 98.36%
15	검증 세트 손실: 0.054507	최선의 손실: 0.035022	정확도: 98.98%
16	검증 세트 손실: 0.040587	최선의 손실: 0.035022	정확도: 98.94%
17	검증 세트 손실: 0.063212	최선의 손실: 0.035022	정확도: 98.63%
18	검증 세트 손실: 0.057710	최선의 손실: 0.035022	정확도: 98.75%
19	검증 세트 손실: 0.055299	최선의 손실: 0.035022	정확도: 98.75%
20	검증 세트 손실: 0.057662	최선의 손실: 0.035022	정확도: 98.67%
21	검증 세트 손실: 0.047784	최선의 손실: 0.035022	정확도: 99.06%
22	검증 세트 손실: 0.063486	최선의 손실: 0.035022	정확도: 98.63%
23	검증 세트 손실: 0.063758	최선의 손실: 0.035022	정확도: 98.63%
24	검증 세트 손실: 0.063198	최선의 손실: 0.035022	정확도: 98.71%
25	검증 세트 손실: 0.061762	최선의 손실: 0.035022	정확도: 98.87%
26	검증 세트 손실: 0.053213	최선의 손실: 0.035022	정확도: 98.75%
27	검증 세트 손실: 0.059716	최선의 손실: 0.035022	정확도: 98.75%
28	검증 세트 손실: 0.043507	최선의 손실: 0.035022	정확도: 98.87%
29	검증 세트 손실: 0.047515	최선의 손실: 0.035022	정확도: 98.98%
30	검증 세트 손실: 0.040817	최선의 손실: 0.035022	정확도: 99.06%
조기 종료!
[CV]  n_neurons=140, learning_rate=0.01, batch_size=500, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total=  15.6s
[CV] n_neurons=140, learning_rate=0.01, batch_size=500, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 
0	검증 세트 손실: 0.055981	최선의 손실: 0.055981	정확도: 98.20%
1	검증 세트 손실: 0.050416	최선의 손실: 0.050416	정확도: 98.36%
2	검증 세트 손실: 0.045378	최선의 손실: 0.045378	정확도: 98.44%
3	검증 세트 손실: 0.056748	최선의 손실: 0.045378	정확도: 98.16%
4	검증 세트 손실: 0.035094	최선의 손실: 0.035094	정확도: 98.87%
5	검증 세트 손실: 0.068826	최선의 손실: 0.035094	정확도: 98.16%
6	검증 세트 손실: 0.047269	최선의 손실: 0.035094	정확도: 98.67%
7	검증 세트 손실: 0.034221	최선의 손실: 0.034221	정확도: 99.02%
8	검증 세트 손실: 0.048749	최선의 손실: 0.034221	정확도: 98.87%
9	검증 세트 손실: 0.042339	최선의 손실: 0.034221	정확도: 98.98%
10	검증 세트 손실: 0.050137	최선의 손실: 0.034221	정확도: 98.71%
11	검증 세트 손실: 0.052958	최선의 손실: 0.034221	정확도: 98.75%
12	검증 세트 손실: 0.048541	최선의 손실: 0.034221	정확도: 99.02%
13	검증 세트 손실: 0.062809	최선의 손실: 0.034221	정확도: 98.40%
14	검증 세트 손실: 0.048790	최선의 손실: 0.034221	정확도: 98.83%
15	검증 세트 손실: 0.047352	최선의 손실: 0.034221	정확도: 98.71%
16	검증 세트 손실: 0.054542	최선의 손실: 0.034221	정확도: 98.71%
17	검증 세트 손실: 0.038573	최선의 손실: 0.034221	정확도: 99.18%
18	검증 세트 손실: 0.040756	최선의 손실: 0.034221	정확도: 99.02%
19	검증 세트 손실: 0.041154	최선의 손실: 0.034221	정확도: 99.26%
20	검증 세트 손실: 0.040873	최선의 손실: 0.034221	정확도: 99.30%
21	검증 세트 손실: 0.055550	최선의 손실: 0.034221	정확도: 98.79%
22	검증 세트 손실: 0.064107	최선의 손실: 0.034221	정확도: 98.71%
23	검증 세트 손실: 0.041130	최선의 손실: 0.034221	정확도: 98.94%
24	검증 세트 손실: 0.049754	최선의 손실: 0.034221	정확도: 98.91%
25	검증 세트 손실: 0.049959	최선의 손실: 0.034221	정확도: 98.94%
26	검증 세트 손실: 0.057005	최선의 손실: 0.034221	정확도: 99.06%
27	검증 세트 손실: 0.054901	최선의 손실: 0.034221	정확도: 98.79%
28	검증 세트 손실: 0.052608	최선의 손실: 0.034221	정확도: 98.91%
조기 종료!
[CV]  n_neurons=140, learning_rate=0.01, batch_size=500, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total=  14.7s
[CV] n_neurons=160, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.999, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 
0	검증 세트 손실: 9.738727	최선의 손실: 9.738727	정확도: 85.97%
1	검증 세트 손실: 0.734870	최선의 손실: 0.734870	정확도: 92.38%
2	검증 세트 손실: 0.930431	최선의 손실: 0.734870	정확도: 94.76%
3	검증 세트 손실: 0.983529	최선의 손실: 0.734870	정확도: 93.59%
4	검증 세트 손실: 0.523504	최선의 손실: 0.523504	정확도: 95.62%
5	검증 세트 손실: 0.240284	최선의 손실: 0.240284	정확도: 96.52%
6	검증 세트 손실: 0.574664	최선의 손실: 0.240284	정확도: 94.61%
7	검증 세트 손실: 0.182912	최선의 손실: 0.182912	정확도: 97.50%
8	검증 세트 손실: 0.310844	최선의 손실: 0.182912	정확도: 97.89%
9	검증 세트 손실: 0.130313	최선의 손실: 0.130313	정확도: 98.20%
10	검증 세트 손실: 0.256367	최선의 손실: 0.130313	정확도: 97.30%
11	검증 세트 손실: 0.084459	최선의 손실: 0.084459	정확도: 98.20%
12	검증 세트 손실: 0.133447	최선의 손실: 0.084459	정확도: 98.48%
13	검증 세트 손실: 0.228161	최선의 손실: 0.084459	정확도: 97.03%
14	검증 세트 손실: 0.236479	최선의 손실: 0.084459	정확도: 97.30%
15	검증 세트 손실: 0.156968	최선의 손실: 0.084459	정확도: 98.20%
16	검증 세트 손실: 0.282740	최선의 손실: 0.084459	정확도: 97.34%
17	검증 세트 손실: 0.153333	최선의 손실: 0.084459	정확도: 98.40%
18	검증 세트 손실: 0.666473	최선의 손실: 0.084459	정확도: 96.13%
19	검증 세트 손실: 0.103814	최선의 손실: 0.084459	정확도: 98.71%
20	검증 세트 손실: 0.146087	최선의 손실: 0.084459	정확도: 98.67%
21	검증 세트 손실: 0.197908	최선의 손실: 0.084459	정확도: 97.07%
22	검증 세트 손실: 0.201433	최선의 손실: 0.084459	정확도: 97.97%
23	검증 세트 손실: 0.224857	최선의 손실: 0.084459	정확도: 98.44%
24	검증 세트 손실: 0.200603	최선의 손실: 0.084459	정확도: 97.89%
25	검증 세트 손실: 0.373686	최선의 손실: 0.084459	정확도: 96.95%
26	검증 세트 손실: 0.159758	최선의 손실: 0.084459	정확도: 98.40%
27	검증 세트 손실: 0.243181	최선의 손실: 0.084459	정확도: 98.51%
28	검증 세트 손실: 0.162730	최선의 손실: 0.084459	정확도: 98.48%
29	검증 세트 손실: 0.278361	최선의 손실: 0.084459	정확도: 98.08%
30	검증 세트 손실: 0.321619	최선의 손실: 0.084459	정확도: 97.93%
31	검증 세트 손실: 0.211882	최선의 손실: 0.084459	정확도: 98.63%
32	검증 세트 손실: 0.318474	최선의 손실: 0.084459	정확도: 97.81%
조기 종료!
[CV]  n_neurons=160, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.999, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 2.4min
[CV] n_neurons=160, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.999, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 
0	검증 세트 손실: 22.297178	최선의 손실: 22.297178	정확도: 65.01%
1	검증 세트 손실: 4.458448	최선의 손실: 4.458448	정확도: 79.95%
2	검증 세트 손실: 1.924845	최선의 손실: 1.924845	정확도: 92.53%
3	검증 세트 손실: 0.402342	최선의 손실: 0.402342	정확도: 94.02%
4	검증 세트 손실: 0.743910	최선의 손실: 0.402342	정확도: 94.76%
5	검증 세트 손실: 0.232487	최선의 손실: 0.232487	정확도: 95.39%
6	검증 세트 손실: 0.670266	최선의 손실: 0.232487	정확도: 90.81%
7	검증 세트 손실: 0.424519	최선의 손실: 0.232487	정확도: 96.56%
8	검증 세트 손실: 0.658646	최선의 손실: 0.232487	정확도: 94.02%
9	검증 세트 손실: 0.256298	최선의 손실: 0.232487	정확도: 95.39%
10	검증 세트 손실: 0.344962	최선의 손실: 0.232487	정확도: 96.99%
11	검증 세트 손실: 0.338288	최선의 손실: 0.232487	정확도: 97.46%
12	검증 세트 손실: 0.152054	최선의 손실: 0.152054	정확도: 98.51%
13	검증 세트 손실: 0.288073	최선의 손실: 0.152054	정확도: 96.91%
14	검증 세트 손실: 1.122285	최선의 손실: 0.152054	정확도: 93.00%
15	검증 세트 손실: 0.281588	최선의 손실: 0.152054	정확도: 96.60%
16	검증 세트 손실: 0.234202	최선의 손실: 0.152054	정확도: 98.12%
17	검증 세트 손실: 0.589742	최선의 손실: 0.152054	정확도: 96.79%
18	검증 세트 손실: 0.179324	최선의 손실: 0.152054	정확도: 98.44%
19	검증 세트 손실: 3.749451	최선의 손실: 0.152054	정확도: 91.20%
20	검증 세트 손실: 0.185050	최선의 손실: 0.152054	정확도: 98.08%
21	검증 세트 손실: 0.681894	최선의 손실: 0.152054	정확도: 93.98%
22	검증 세트 손실: 0.121694	최선의 손실: 0.121694	정확도: 98.67%
23	검증 세트 손실: 0.160800	최선의 손실: 0.121694	정확도: 98.40%
24	검증 세트 손실: 0.248986	최선의 손실: 0.121694	정확도: 98.55%
25	검증 세트 손실: 0.359851	최선의 손실: 0.121694	정확도: 97.58%
26	검증 세트 손실: 0.215050	최선의 손실: 0.121694	정확도: 98.36%
27	검증 세트 손실: 0.279318	최선의 손실: 0.121694	정확도: 97.85%
28	검증 세트 손실: 0.220104	최선의 손실: 0.121694	정확도: 98.48%
29	검증 세트 손실: 0.214426	최선의 손실: 0.121694	정확도: 98.28%
30	검증 세트 손실: 0.359162	최선의 손실: 0.121694	정확도: 97.73%
31	검증 세트 손실: 0.216691	최선의 손실: 0.121694	정확도: 98.32%
32	검증 세트 손실: 11.512515	최선의 손실: 0.121694	정확도: 89.60%
33	검증 세트 손실: 0.253163	최선의 손실: 0.121694	정확도: 98.44%
34	검증 세트 손실: 0.217156	최선의 손실: 0.121694	정확도: 97.81%
35	검증 세트 손실: 0.249955	최선의 손실: 0.121694	정확도: 98.20%
36	검증 세트 손실: 0.301939	최선의 손실: 0.121694	정확도: 97.69%
37	검증 세트 손실: 0.596550	최선의 손실: 0.121694	정확도: 96.25%
38	검증 세트 손실: 0.218058	최선의 손실: 0.121694	정확도: 98.51%
39	검증 세트 손실: 0.200049	최선의 손실: 0.121694	정확도: 98.63%
40	검증 세트 손실: 0.262244	최선의 손실: 0.121694	정확도: 98.75%
41	검증 세트 손실: 0.255550	최선의 손실: 0.121694	정확도: 98.59%
42	검증 세트 손실: 0.368755	최선의 손실: 0.121694	정확도: 98.20%
43	검증 세트 손실: 0.283637	최선의 손실: 0.121694	정확도: 98.83%
조기 종료!
[CV]  n_neurons=160, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.999, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 3.2min
[CV] n_neurons=160, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.999, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 
0	검증 세트 손실: 31.787273	최선의 손실: 31.787273	정확도: 58.21%
1	검증 세트 손실: 2.535948	최선의 손실: 2.535948	정확도: 92.18%
2	검증 세트 손실: 0.577870	최선의 손실: 0.577870	정확도: 96.01%
3	검증 세트 손실: 0.326380	최선의 손실: 0.326380	정확도: 97.03%
4	검증 세트 손실: 0.302108	최선의 손실: 0.302108	정확도: 97.50%
5	검증 세트 손실: 0.456826	최선의 손실: 0.302108	정확도: 94.84%
6	검증 세트 손실: 0.551453	최선의 손실: 0.302108	정확도: 94.96%
7	검증 세트 손실: 0.219659	최선의 손실: 0.219659	정확도: 96.25%
8	검증 세트 손실: 0.557994	최선의 손실: 0.219659	정확도: 93.98%
9	검증 세트 손실: 1.279997	최선의 손실: 0.219659	정확도: 85.22%
10	검증 세트 손실: 0.162590	최선의 손실: 0.162590	정확도: 98.24%
11	검증 세트 손실: 0.133032	최선의 손실: 0.133032	정확도: 98.40%
12	검증 세트 손실: 0.301222	최선의 손실: 0.133032	정확도: 96.87%
13	검증 세트 손실: 0.251595	최선의 손실: 0.133032	정확도: 98.32%
14	검증 세트 손실: 0.514565	최선의 손실: 0.133032	정확도: 95.70%
15	검증 세트 손실: 0.254914	최선의 손실: 0.133032	정확도: 98.05%
16	검증 세트 손실: 0.153884	최선의 손실: 0.133032	정확도: 98.16%
17	검증 세트 손실: 0.769023	최선의 손실: 0.133032	정확도: 95.00%
18	검증 세트 손실: 0.177450	최선의 손실: 0.133032	정확도: 97.73%
19	검증 세트 손실: 0.156805	최선의 손실: 0.133032	정확도: 98.63%
20	검증 세트 손실: 0.288163	최선의 손실: 0.133032	정확도: 97.93%
21	검증 세트 손실: 0.164452	최선의 손실: 0.133032	정확도: 98.16%
22	검증 세트 손실: 0.176759	최선의 손실: 0.133032	정확도: 98.40%
23	검증 세트 손실: 0.216264	최선의 손실: 0.133032	정확도: 98.12%
24	검증 세트 손실: 0.280007	최선의 손실: 0.133032	정확도: 98.01%
25	검증 세트 손실: 0.212781	최선의 손실: 0.133032	정확도: 98.36%
26	검증 세트 손실: 0.289238	최선의 손실: 0.133032	정확도: 98.36%
27	검증 세트 손실: 0.163983	최선의 손실: 0.133032	정확도: 98.51%
28	검증 세트 손실: 0.283674	최선의 손실: 0.133032	정확도: 98.48%
29	검증 세트 손실: 0.331548	최선의 손실: 0.133032	정확도: 98.16%
30	검증 세트 손실: 0.297406	최선의 손실: 0.133032	정확도: 98.67%
31	검증 세트 손실: 0.252557	최선의 손실: 0.133032	정확도: 97.50%
32	검증 세트 손실: 0.262748	최선의 손실: 0.133032	정확도: 97.89%
조기 종료!
[CV]  n_neurons=160, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.999, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 2.4min
[CV] n_neurons=100, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 
0	검증 세트 손실: 0.124859	최선의 손실: 0.124859	정확도: 97.26%
1	검증 세트 손실: 0.106536	최선의 손실: 0.106536	정확도: 98.01%
2	검증 세트 손실: 0.089321	최선의 손실: 0.089321	정확도: 97.62%
3	검증 세트 손실: 0.054731	최선의 손실: 0.054731	정확도: 98.51%
4	검증 세트 손실: 0.049337	최선의 손실: 0.049337	정확도: 98.63%
5	검증 세트 손실: 0.107117	최선의 손실: 0.049337	정확도: 97.81%
6	검증 세트 손실: 0.055256	최선의 손실: 0.049337	정확도: 98.51%
7	검증 세트 손실: 0.055912	최선의 손실: 0.049337	정확도: 98.79%
8	검증 세트 손실: 0.059574	최선의 손실: 0.049337	정확도: 98.28%
9	검증 세트 손실: 0.057554	최선의 손실: 0.049337	정확도: 98.67%
10	검증 세트 손실: 0.047892	최선의 손실: 0.047892	정확도: 98.79%
11	검증 세트 손실: 0.063360	최선의 손실: 0.047892	정확도: 98.71%
12	검증 세트 손실: 0.052368	최선의 손실: 0.047892	정확도: 98.91%
13	검증 세트 손실: 0.047311	최선의 손실: 0.047311	정확도: 98.79%
14	검증 세트 손실: 0.056095	최선의 손실: 0.047311	정확도: 98.59%
15	검증 세트 손실: 0.048590	최선의 손실: 0.047311	정확도: 98.98%
16	검증 세트 손실: 0.060837	최선의 손실: 0.047311	정확도: 98.55%
17	검증 세트 손실: 0.043111	최선의 손실: 0.043111	정확도: 98.91%
18	검증 세트 손실: 0.066702	최선의 손실: 0.043111	정확도: 98.75%
19	검증 세트 손실: 0.057129	최선의 손실: 0.043111	정확도: 98.79%
20	검증 세트 손실: 0.054535	최선의 손실: 0.043111	정확도: 99.02%
21	검증 세트 손실: 0.047850	최선의 손실: 0.043111	정확도: 98.79%
22	검증 세트 손실: 0.051106	최선의 손실: 0.043111	정확도: 99.10%
23	검증 세트 손실: 0.039743	최선의 손실: 0.039743	정확도: 99.10%
24	검증 세트 손실: 0.065632	최선의 손실: 0.039743	정확도: 98.44%
25	검증 세트 손실: 0.055955	최선의 손실: 0.039743	정확도: 98.75%
26	검증 세트 손실: 0.051029	최선의 손실: 0.039743	정확도: 98.91%
27	검증 세트 손실: 0.036002	최선의 손실: 0.036002	정확도: 99.26%
28	검증 세트 손실: 0.044668	최선의 손실: 0.036002	정확도: 98.87%
29	검증 세트 손실: 0.061711	최선의 손실: 0.036002	정확도: 98.83%
30	검증 세트 손실: 0.057820	최선의 손실: 0.036002	정확도: 98.71%
31	검증 세트 손실: 0.052321	최선의 손실: 0.036002	정확도: 98.71%
32	검증 세트 손실: 0.063412	최선의 손실: 0.036002	정확도: 98.67%
33	검증 세트 손실: 0.047003	최선의 손실: 0.036002	정확도: 98.87%
34	검증 세트 손실: 0.052387	최선의 손실: 0.036002	정확도: 98.87%
35	검증 세트 손실: 0.046704	최선의 손실: 0.036002	정확도: 99.22%
36	검증 세트 손실: 0.051920	최선의 손실: 0.036002	정확도: 99.10%
37	검증 세트 손실: 0.080661	최선의 손실: 0.036002	정확도: 98.40%
38	검증 세트 손실: 0.047670	최선의 손실: 0.036002	정확도: 98.98%
39	검증 세트 손실: 0.050224	최선의 손실: 0.036002	정확도: 99.14%
40	검증 세트 손실: 0.063234	최선의 손실: 0.036002	정확도: 98.98%
41	검증 세트 손실: 0.058537	최선의 손실: 0.036002	정확도: 98.98%
42	검증 세트 손실: 0.042003	최선의 손실: 0.036002	정확도: 98.98%
43	검증 세트 손실: 0.041883	최선의 손실: 0.036002	정확도: 99.14%
44	검증 세트 손실: 0.047767	최선의 손실: 0.036002	정확도: 99.18%
45	검증 세트 손실: 0.076704	최선의 손실: 0.036002	정확도: 98.55%
46	검증 세트 손실: 0.070268	최선의 손실: 0.036002	정확도: 98.63%
47	검증 세트 손실: 0.091338	최선의 손실: 0.036002	정확도: 98.32%
48	검증 세트 손실: 0.070773	최선의 손실: 0.036002	정확도: 98.91%
조기 종료!
[CV]  n_neurons=100, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total=  33.8s
[CV] n_neurons=100, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 
0	검증 세트 손실: 0.170035	최선의 손실: 0.170035	정확도: 95.93%
1	검증 세트 손실: 0.052680	최선의 손실: 0.052680	정확도: 98.40%
2	검증 세트 손실: 0.059086	최선의 손실: 0.052680	정확도: 98.40%
3	검증 세트 손실: 0.082150	최선의 손실: 0.052680	정확도: 98.05%
4	검증 세트 손실: 0.072233	최선의 손실: 0.052680	정확도: 98.32%
5	검증 세트 손실: 0.049776	최선의 손실: 0.049776	정확도: 98.79%
6	검증 세트 손실: 0.056509	최선의 손실: 0.049776	정확도: 98.55%
7	검증 세트 손실: 0.053337	최선의 손실: 0.049776	정확도: 98.44%
8	검증 세트 손실: 0.045478	최선의 손실: 0.045478	정확도: 98.63%
9	검증 세트 손실: 0.049743	최선의 손실: 0.045478	정확도: 98.79%
10	검증 세트 손실: 0.061758	최선의 손실: 0.045478	정확도: 98.71%
11	검증 세트 손실: 0.050220	최선의 손실: 0.045478	정확도: 98.87%
12	검증 세트 손실: 0.069658	최선의 손실: 0.045478	정확도: 98.32%
13	검증 세트 손실: 0.064037	최선의 손실: 0.045478	정확도: 98.44%
14	검증 세트 손실: 0.057720	최선의 손실: 0.045478	정확도: 98.40%
15	검증 세트 손실: 0.041087	최선의 손실: 0.041087	정확도: 98.91%
16	검증 세트 손실: 0.045688	최선의 손실: 0.041087	정확도: 98.79%
17	검증 세트 손실: 0.107715	최선의 손실: 0.041087	정확도: 98.32%
18	검증 세트 손실: 0.045540	최선의 손실: 0.041087	정확도: 99.02%
19	검증 세트 손실: 0.043185	최선의 손실: 0.041087	정확도: 98.98%
20	검증 세트 손실: 0.053742	최선의 손실: 0.041087	정확도: 98.71%
21	검증 세트 손실: 0.052213	최선의 손실: 0.041087	정확도: 98.98%
22	검증 세트 손실: 0.048429	최선의 손실: 0.041087	정확도: 99.10%
23	검증 세트 손실: 0.093501	최선의 손실: 0.041087	정확도: 98.32%
24	검증 세트 손실: 0.054087	최선의 손실: 0.041087	정확도: 98.94%
25	검증 세트 손실: 0.047718	최선의 손실: 0.041087	정확도: 98.91%
26	검증 세트 손실: 0.049185	최선의 손실: 0.041087	정확도: 98.75%
27	검증 세트 손실: 0.054024	최선의 손실: 0.041087	정확도: 98.51%
28	검증 세트 손실: 0.058370	최선의 손실: 0.041087	정확도: 98.63%
29	검증 세트 손실: 0.058113	최선의 손실: 0.041087	정확도: 98.59%
30	검증 세트 손실: 0.058821	최선의 손실: 0.041087	정확도: 98.75%
31	검증 세트 손실: 0.118758	최선의 손실: 0.041087	정확도: 97.15%
32	검증 세트 손실: 0.043810	최선의 손실: 0.041087	정확도: 99.06%
33	검증 세트 손실: 0.084875	최선의 손실: 0.041087	정확도: 98.55%
34	검증 세트 손실: 0.069467	최선의 손실: 0.041087	정확도: 98.51%
35	검증 세트 손실: 0.054470	최선의 손실: 0.041087	정확도: 98.98%
36	검증 세트 손실: 0.110263	최선의 손실: 0.041087	정확도: 97.93%
조기 종료!
[CV]  n_neurons=100, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total=  25.8s
[CV] n_neurons=100, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 
0	검증 세트 손실: 0.157971	최선의 손실: 0.157971	정확도: 96.64%
1	검증 세트 손실: 0.085125	최선의 손실: 0.085125	정확도: 97.73%
2	검증 세트 손실: 0.075379	최선의 손실: 0.075379	정확도: 98.08%
3	검증 세트 손실: 0.063558	최선의 손실: 0.063558	정확도: 98.44%
4	검증 세트 손실: 0.044068	최선의 손실: 0.044068	정확도: 98.59%
5	검증 세트 손실: 0.049937	최선의 손실: 0.044068	정확도: 98.71%
6	검증 세트 손실: 0.038469	최선의 손실: 0.038469	정확도: 98.91%
7	검증 세트 손실: 0.077721	최선의 손실: 0.038469	정확도: 98.05%
8	검증 세트 손실: 0.042893	최선의 손실: 0.038469	정확도: 98.87%
9	검증 세트 손실: 0.085975	최선의 손실: 0.038469	정확도: 97.93%
10	검증 세트 손실: 0.050317	최선의 손실: 0.038469	정확도: 98.79%
11	검증 세트 손실: 0.076410	최선의 손실: 0.038469	정확도: 98.36%
12	검증 세트 손실: 0.061913	최선의 손실: 0.038469	정확도: 98.59%
13	검증 세트 손실: 0.073930	최선의 손실: 0.038469	정확도: 98.32%
14	검증 세트 손실: 0.047848	최선의 손실: 0.038469	정확도: 98.94%
15	검증 세트 손실: 0.067152	최선의 손실: 0.038469	정확도: 98.63%
16	검증 세트 손실: 0.040366	최선의 손실: 0.038469	정확도: 98.98%
17	검증 세트 손실: 0.040939	최선의 손실: 0.038469	정확도: 99.06%
18	검증 세트 손실: 0.040451	최선의 손실: 0.038469	정확도: 99.14%
19	검증 세트 손실: 0.084523	최선의 손실: 0.038469	정확도: 98.51%
20	검증 세트 손실: 0.049721	최선의 손실: 0.038469	정확도: 98.98%
21	검증 세트 손실: 0.034949	최선의 손실: 0.034949	정확도: 99.06%
22	검증 세트 손실: 0.050379	최선의 손실: 0.034949	정확도: 98.98%
23	검증 세트 손실: 0.056052	최선의 손실: 0.034949	정확도: 98.67%
24	검증 세트 손실: 0.046652	최선의 손실: 0.034949	정확도: 99.10%
25	검증 세트 손실: 0.034469	최선의 손실: 0.034469	정확도: 99.02%
26	검증 세트 손실: 0.060034	최선의 손실: 0.034469	정확도: 98.75%
27	검증 세트 손실: 0.047699	최선의 손실: 0.034469	정확도: 98.87%
28	검증 세트 손실: 0.023849	최선의 손실: 0.023849	정확도: 99.53%
29	검증 세트 손실: 0.032839	최선의 손실: 0.023849	정확도: 98.98%
30	검증 세트 손실: 0.040843	최선의 손실: 0.023849	정확도: 99.10%
31	검증 세트 손실: 0.036232	최선의 손실: 0.023849	정확도: 99.30%
32	검증 세트 손실: 0.075257	최선의 손실: 0.023849	정확도: 98.71%
33	검증 세트 손실: 0.051102	최선의 손실: 0.023849	정확도: 99.10%
34	검증 세트 손실: 0.044406	최선의 손실: 0.023849	정확도: 99.06%
35	검증 세트 손실: 0.046806	최선의 손실: 0.023849	정확도: 99.26%
36	검증 세트 손실: 0.042568	최선의 손실: 0.023849	정확도: 99.30%
37	검증 세트 손실: 0.051491	최선의 손실: 0.023849	정확도: 98.98%
38	검증 세트 손실: 0.038605	최선의 손실: 0.023849	정확도: 99.14%
39	검증 세트 손실: 0.051106	최선의 손실: 0.023849	정확도: 99.06%
40	검증 세트 손실: 0.061185	최선의 손실: 0.023849	정확도: 98.83%
41	검증 세트 손실: 0.061415	최선의 손실: 0.023849	정확도: 98.91%
42	검증 세트 손실: 0.045860	최선의 손실: 0.023849	정확도: 99.18%
43	검증 세트 손실: 0.047549	최선의 손실: 0.023849	정확도: 98.87%
44	검증 세트 손실: 0.048482	최선의 손실: 0.023849	정확도: 99.02%
45	검증 세트 손실: 0.036163	최선의 손실: 0.023849	정확도: 99.10%
46	검증 세트 손실: 0.041805	최선의 손실: 0.023849	정확도: 98.94%
47	검증 세트 손실: 0.040458	최선의 손실: 0.023849	정확도: 99.06%
48	검증 세트 손실: 0.045438	최선의 손실: 0.023849	정확도: 99.26%
49	검증 세트 손실: 0.123784	최선의 손실: 0.023849	정확도: 98.20%
조기 종료!
[CV]  n_neurons=100, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.99, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total=  34.6s
[CV] n_neurons=100, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 
0	검증 세트 손실: 0.211880	최선의 손실: 0.211880	정확도: 93.78%
1	검증 세트 손실: 0.137079	최선의 손실: 0.137079	정확도: 94.92%
2	검증 세트 손실: 0.103738	최선의 손실: 0.103738	정확도: 97.03%
3	검증 세트 손실: 0.156666	최선의 손실: 0.103738	정확도: 95.19%
4	검증 세트 손실: 0.063632	최선의 손실: 0.063632	정확도: 98.16%
5	검증 세트 손실: 0.075008	최선의 손실: 0.063632	정확도: 98.01%
6	검증 세트 손실: 0.081752	최선의 손실: 0.063632	정확도: 97.50%
7	검증 세트 손실: 0.673547	최선의 손실: 0.063632	정확도: 87.88%
8	검증 세트 손실: 0.066437	최선의 손실: 0.063632	정확도: 97.97%
9	검증 세트 손실: 0.083416	최선의 손실: 0.063632	정확도: 98.12%
10	검증 세트 손실: 0.108252	최선의 손실: 0.063632	정확도: 97.15%
11	검증 세트 손실: 0.052522	최선의 손실: 0.052522	정확도: 98.40%
12	검증 세트 손실: 0.067801	최선의 손실: 0.052522	정확도: 98.01%
13	검증 세트 손실: 0.107056	최선의 손실: 0.052522	정확도: 97.15%
14	검증 세트 손실: 0.086343	최선의 손실: 0.052522	정확도: 97.65%
15	검증 세트 손실: 0.052717	최선의 손실: 0.052522	정확도: 98.79%
16	검증 세트 손실: 0.075682	최선의 손실: 0.052522	정확도: 98.05%
17	검증 세트 손실: 0.055845	최선의 손실: 0.052522	정확도: 98.71%
18	검증 세트 손실: 0.082290	최선의 손실: 0.052522	정확도: 97.97%
19	검증 세트 손실: 0.073144	최선의 손실: 0.052522	정확도: 98.24%
20	검증 세트 손실: 0.058481	최선의 손실: 0.052522	정확도: 98.51%
21	검증 세트 손실: 0.113643	최선의 손실: 0.052522	정확도: 98.28%
22	검증 세트 손실: 0.088577	최선의 손실: 0.052522	정확도: 98.36%
23	검증 세트 손실: 0.046414	최선의 손실: 0.046414	정확도: 98.83%
24	검증 세트 손실: 0.054732	최선의 손실: 0.046414	정확도: 98.28%
25	검증 세트 손실: 0.049774	최선의 손실: 0.046414	정확도: 98.83%
26	검증 세트 손실: 0.056705	최선의 손실: 0.046414	정확도: 98.83%
27	검증 세트 손실: 0.068111	최선의 손실: 0.046414	정확도: 98.79%
28	검증 세트 손실: 0.061112	최선의 손실: 0.046414	정확도: 98.75%
29	검증 세트 손실: 0.082492	최선의 손실: 0.046414	정확도: 98.24%
30	검증 세트 손실: 0.466989	최선의 손실: 0.046414	정확도: 94.49%
31	검증 세트 손실: 0.072053	최선의 손실: 0.046414	정확도: 98.83%
32	검증 세트 손실: 0.053139	최선의 손실: 0.046414	정확도: 98.71%
33	검증 세트 손실: 0.088726	최선의 손실: 0.046414	정확도: 97.89%
34	검증 세트 손실: 0.058527	최선의 손실: 0.046414	정확도: 98.71%
35	검증 세트 손실: 0.067056	최선의 손실: 0.046414	정확도: 98.48%
36	검증 세트 손실: 0.064762	최선의 손실: 0.046414	정확도: 98.87%
37	검증 세트 손실: 0.092468	최선의 손실: 0.046414	정확도: 98.20%
38	검증 세트 손실: 0.054660	최선의 손실: 0.046414	정확도: 98.63%
39	검증 세트 손실: 0.064893	최선의 손실: 0.046414	정확도: 98.59%
40	검증 세트 손실: 0.060888	최선의 손실: 0.046414	정확도: 98.79%
41	검증 세트 손실: 0.057694	최선의 손실: 0.046414	정확도: 98.75%
42	검증 세트 손실: 0.108344	최선의 손실: 0.046414	정확도: 98.44%
43	검증 세트 손실: 0.054494	최선의 손실: 0.046414	정확도: 98.67%
44	검증 세트 손실: 0.067370	최선의 손실: 0.046414	정확도: 98.71%
조기 종료!
[CV]  n_neurons=100, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 2.4min
[CV] n_neurons=100, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 
0	검증 세트 손실: 0.125771	최선의 손실: 0.125771	정확도: 96.44%
1	검증 세트 손실: 0.156424	최선의 손실: 0.125771	정확도: 96.33%
2	검증 세트 손실: 0.163165	최선의 손실: 0.125771	정확도: 95.43%
3	검증 세트 손실: 0.087621	최선의 손실: 0.087621	정확도: 97.42%
4	검증 세트 손실: 0.070970	최선의 손실: 0.070970	정확도: 98.20%
5	검증 세트 손실: 0.071215	최선의 손실: 0.070970	정확도: 98.32%
6	검증 세트 손실: 0.055954	최선의 손실: 0.055954	정확도: 98.63%
7	검증 세트 손실: 0.067345	최선의 손실: 0.055954	정확도: 98.05%
8	검증 세트 손실: 0.084220	최선의 손실: 0.055954	정확도: 98.44%
9	검증 세트 손실: 0.073256	최선의 손실: 0.055954	정확도: 98.05%
10	검증 세트 손실: 0.084843	최선의 손실: 0.055954	정확도: 97.69%
11	검증 세트 손실: 0.058626	최선의 손실: 0.055954	정확도: 98.59%
12	검증 세트 손실: 0.109272	최선의 손실: 0.055954	정확도: 97.50%
13	검증 세트 손실: 0.048225	최선의 손실: 0.048225	정확도: 98.83%
14	검증 세트 손실: 0.067430	최선의 손실: 0.048225	정확도: 98.55%
15	검증 세트 손실: 0.061037	최선의 손실: 0.048225	정확도: 98.40%
16	검증 세트 손실: 0.063676	최선의 손실: 0.048225	정확도: 98.40%
17	검증 세트 손실: 0.078240	최선의 손실: 0.048225	정확도: 98.36%
18	검증 세트 손실: 0.098436	최선의 손실: 0.048225	정확도: 97.97%
19	검증 세트 손실: 0.081828	최선의 손실: 0.048225	정확도: 98.67%
20	검증 세트 손실: 0.059240	최선의 손실: 0.048225	정확도: 98.71%
21	검증 세트 손실: 0.115250	최선의 손실: 0.048225	정확도: 97.62%
22	검증 세트 손실: 0.065068	최선의 손실: 0.048225	정확도: 98.44%
23	검증 세트 손실: 0.067888	최선의 손실: 0.048225	정확도: 98.55%
24	검증 세트 손실: 0.103821	최선의 손실: 0.048225	정확도: 97.97%
25	검증 세트 손실: 0.061455	최선의 손실: 0.048225	정확도: 98.83%
26	검증 세트 손실: 0.096361	최선의 손실: 0.048225	정확도: 98.55%
27	검증 세트 손실: 0.058291	최선의 손실: 0.048225	정확도: 98.67%
28	검증 세트 손실: 0.067858	최선의 손실: 0.048225	정확도: 98.48%
29	검증 세트 손실: 0.105515	최선의 손실: 0.048225	정확도: 96.99%
30	검증 세트 손실: 0.056689	최선의 손실: 0.048225	정확도: 98.48%
31	검증 세트 손실: 0.079612	최선의 손실: 0.048225	정확도: 97.89%
32	검증 세트 손실: 0.094362	최선의 손실: 0.048225	정확도: 98.16%
33	검증 세트 손실: 0.061057	최선의 손실: 0.048225	정확도: 98.36%
34	검증 세트 손실: 0.092730	최선의 손실: 0.048225	정확도: 98.16%
조기 종료!
[CV]  n_neurons=100, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 1.8min
[CV] n_neurons=100, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8> 
0	검증 세트 손실: 0.133346	최선의 손실: 0.133346	정확도: 96.68%
1	검증 세트 손실: 0.092253	최선의 손실: 0.092253	정확도: 97.38%
2	검증 세트 손실: 0.136111	최선의 손실: 0.092253	정확도: 95.78%
3	검증 세트 손실: 0.069890	최선의 손실: 0.069890	정확도: 97.81%
4	검증 세트 손실: 0.099141	최선의 손실: 0.069890	정확도: 97.15%
5	검증 세트 손실: 0.066556	최선의 손실: 0.066556	정확도: 98.05%
6	검증 세트 손실: 0.076363	최선의 손실: 0.066556	정확도: 98.05%
7	검증 세트 손실: 0.067370	최선의 손실: 0.066556	정확도: 98.24%
8	검증 세트 손실: 0.140166	최선의 손실: 0.066556	정확도: 97.42%
9	검증 세트 손실: 0.066631	최선의 손실: 0.066556	정확도: 98.08%
10	검증 세트 손실: 0.180645	최선의 손실: 0.066556	정확도: 95.97%
11	검증 세트 손실: 0.042569	최선의 손실: 0.042569	정확도: 98.87%
12	검증 세트 손실: 0.068061	최선의 손실: 0.042569	정확도: 98.05%
13	검증 세트 손실: 0.047307	최선의 손실: 0.042569	정확도: 98.32%
14	검증 세트 손실: 0.095993	최선의 손실: 0.042569	정확도: 98.08%
15	검증 세트 손실: 0.105915	최선의 손실: 0.042569	정확도: 97.65%
16	검증 세트 손실: 0.083543	최선의 손실: 0.042569	정확도: 98.28%
17	검증 세트 손실: 0.111681	최선의 손실: 0.042569	정확도: 97.50%
18	검증 세트 손실: 0.067460	최선의 손실: 0.042569	정확도: 98.67%
19	검증 세트 손실: 0.066219	최선의 손실: 0.042569	정확도: 98.36%
20	검증 세트 손실: 0.050561	최선의 손실: 0.042569	정확도: 98.48%
21	검증 세트 손실: 0.064436	최선의 손실: 0.042569	정확도: 98.32%
22	검증 세트 손실: 0.068323	최선의 손실: 0.042569	정확도: 98.48%
23	검증 세트 손실: 0.070235	최선의 손실: 0.042569	정확도: 98.55%
24	검증 세트 손실: 0.059749	최선의 손실: 0.042569	정확도: 98.71%
25	검증 세트 손실: 0.059526	최선의 손실: 0.042569	정확도: 98.40%
26	검증 세트 손실: 0.055389	최선의 손실: 0.042569	정확도: 98.67%
27	검증 세트 손실: 0.085408	최선의 손실: 0.042569	정확도: 98.20%
28	검증 세트 손실: 0.078196	최선의 손실: 0.042569	정확도: 98.36%
29	검증 세트 손실: 0.059490	최선의 손실: 0.042569	정확도: 98.40%
30	검증 세트 손실: 0.075333	최선의 손실: 0.042569	정확도: 98.59%
31	검증 세트 손실: 0.072249	최선의 손실: 0.042569	정확도: 97.89%
32	검증 세트 손실: 0.116213	최선의 손실: 0.042569	정확도: 97.46%
조기 종료!
[CV]  n_neurons=100, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.9, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 1.7min
[CV] n_neurons=140, learning_rate=0.05, batch_size=10, batch_norm_momentum=0.999, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 3.379658	최선의 손실: 3.379658	정확도: 91.75%
1	검증 세트 손실: 0.982626	최선의 손실: 0.982626	정확도: 89.48%
2	검증 세트 손실: 0.467639	최선의 손실: 0.467639	정확도: 92.10%
3	검증 세트 손실: 0.629243	최선의 손실: 0.467639	정확도: 83.39%
4	검증 세트 손실: 0.319113	최선의 손실: 0.319113	정확도: 94.18%
5	검증 세트 손실: 0.280127	최선의 손실: 0.280127	정확도: 92.46%
6	검증 세트 손실: 0.211779	최선의 손실: 0.211779	정확도: 96.60%
7	검증 세트 손실: 0.101026	최선의 손실: 0.101026	정확도: 98.01%
8	검증 세트 손실: 0.212782	최선의 손실: 0.101026	정확도: 97.58%
9	검증 세트 손실: 0.165132	최선의 손실: 0.101026	정확도: 97.89%
10	검증 세트 손실: 0.206488	최선의 손실: 0.101026	정확도: 98.16%
11	검증 세트 손실: 0.098530	최선의 손실: 0.098530	정확도: 97.50%
12	검증 세트 손실: 0.136034	최선의 손실: 0.098530	정확도: 98.12%
13	검증 세트 손실: 0.156293	최선의 손실: 0.098530	정확도: 97.85%
14	검증 세트 손실: 0.181174	최선의 손실: 0.098530	정확도: 96.64%
15	검증 세트 손실: 0.126481	최선의 손실: 0.098530	정확도: 98.40%
16	검증 세트 손실: 0.575125	최선의 손실: 0.098530	정확도: 95.35%
17	검증 세트 손실: 0.117311	최선의 손실: 0.098530	정확도: 98.32%
18	검증 세트 손실: 0.140160	최선의 손실: 0.098530	정확도: 98.51%
19	검증 세트 손실: 0.087691	최선의 손실: 0.087691	정확도: 98.94%
20	검증 세트 손실: 0.192029	최선의 손실: 0.087691	정확도: 98.36%
21	검증 세트 손실: 0.214761	최선의 손실: 0.087691	정확도: 97.54%
22	검증 세트 손실: 0.227348	최선의 손실: 0.087691	정확도: 98.01%
23	검증 세트 손실: 0.224913	최선의 손실: 0.087691	정확도: 98.12%
24	검증 세트 손실: 0.137710	최선의 손실: 0.087691	정확도: 98.28%
25	검증 세트 손실: 0.212345	최선의 손실: 0.087691	정확도: 97.85%
26	검증 세트 손실: 0.175138	최선의 손실: 0.087691	정확도: 98.75%
27	검증 세트 손실: 0.283096	최선의 손실: 0.087691	정확도: 97.50%
28	검증 세트 손실: 0.463745	최선의 손실: 0.087691	정확도: 96.13%
29	검증 세트 손실: 0.139465	최선의 손실: 0.087691	정확도: 98.48%
30	검증 세트 손실: 0.108919	최선의 손실: 0.087691	정확도: 98.83%
31	검증 세트 손실: 0.254839	최선의 손실: 0.087691	정확도: 97.73%
32	검증 세트 손실: 0.298108	최선의 손실: 0.087691	정확도: 97.97%
33	검증 세트 손실: 0.477420	최선의 손실: 0.087691	정확도: 96.25%
34	검증 세트 손실: 0.171667	최선의 손실: 0.087691	정확도: 98.48%
35	검증 세트 손실: 0.172515	최선의 손실: 0.087691	정확도: 98.75%
36	검증 세트 손실: 0.137779	최선의 손실: 0.087691	정확도: 98.94%
37	검증 세트 손실: 0.201901	최선의 손실: 0.087691	정확도: 98.63%
38	검증 세트 손실: 0.221855	최선의 손실: 0.087691	정확도: 98.24%
39	검증 세트 손실: 0.157483	최선의 손실: 0.087691	정확도: 98.98%
40	검증 세트 손실: 0.384741	최선의 손실: 0.087691	정확도: 96.95%
조기 종료!
[CV]  n_neurons=140, learning_rate=0.05, batch_size=10, batch_norm_momentum=0.999, activation=<function elu at 0x7f8ec4ceef28>, total= 2.7min
[CV] n_neurons=140, learning_rate=0.05, batch_size=10, batch_norm_momentum=0.999, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.420665	최선의 손실: 0.420665	정확도: 95.93%
1	검증 세트 손실: 0.639411	최선의 손실: 0.420665	정확도: 92.49%
2	검증 세트 손실: 0.568680	최선의 손실: 0.420665	정확도: 93.94%
3	검증 세트 손실: 0.240046	최선의 손실: 0.240046	정확도: 96.17%
4	검증 세트 손실: 0.258242	최선의 손실: 0.240046	정확도: 93.16%
5	검증 세트 손실: 0.126659	최선의 손실: 0.126659	정확도: 96.25%
6	검증 세트 손실: 0.401696	최선의 손실: 0.126659	정확도: 92.03%
7	검증 세트 손실: 0.098748	최선의 손실: 0.098748	정확도: 97.77%
8	검증 세트 손실: 0.095541	최선의 손실: 0.095541	정확도: 97.85%
9	검증 세트 손실: 0.109859	최선의 손실: 0.095541	정확도: 98.20%
10	검증 세트 손실: 0.787210	최선의 손실: 0.095541	정확도: 94.61%
11	검증 세트 손실: 0.078854	최선의 손실: 0.078854	정확도: 97.97%
12	검증 세트 손실: 0.238200	최선의 손실: 0.078854	정확도: 95.93%
13	검증 세트 손실: 0.164941	최선의 손실: 0.078854	정확도: 97.81%
14	검증 세트 손실: 0.120243	최선의 손실: 0.078854	정확도: 98.08%
15	검증 세트 손실: 0.237256	최선의 손실: 0.078854	정확도: 97.73%
16	검증 세트 손실: 0.736618	최선의 손실: 0.078854	정확도: 94.64%
17	검증 세트 손실: 0.307341	최선의 손실: 0.078854	정확도: 96.48%
18	검증 세트 손실: 0.105529	최선의 손실: 0.078854	정확도: 98.75%
19	검증 세트 손실: 0.162109	최선의 손실: 0.078854	정확도: 98.08%
20	검증 세트 손실: 0.117121	최선의 손실: 0.078854	정확도: 98.40%
21	검증 세트 손실: 0.170956	최선의 손실: 0.078854	정확도: 98.55%
22	검증 세트 손실: 0.139365	최선의 손실: 0.078854	정확도: 98.20%
23	검증 세트 손실: 0.132150	최선의 손실: 0.078854	정확도: 98.67%
24	검증 세트 손실: 0.085726	최선의 손실: 0.078854	정확도: 98.75%
25	검증 세트 손실: 0.151900	최선의 손실: 0.078854	정확도: 98.63%
26	검증 세트 손실: 0.140471	최선의 손실: 0.078854	정확도: 98.20%
27	검증 세트 손실: 0.225787	최선의 손실: 0.078854	정확도: 97.46%
28	검증 세트 손실: 0.184156	최선의 손실: 0.078854	정확도: 98.48%
29	검증 세트 손실: 0.120329	최선의 손실: 0.078854	정확도: 98.87%
30	검증 세트 손실: 0.162691	최선의 손실: 0.078854	정확도: 98.79%
31	검증 세트 손실: 0.185776	최선의 손실: 0.078854	정확도: 98.55%
32	검증 세트 손실: 0.506007	최선의 손실: 0.078854	정확도: 96.79%
조기 종료!
[CV]  n_neurons=140, learning_rate=0.05, batch_size=10, batch_norm_momentum=0.999, activation=<function elu at 0x7f8ec4ceef28>, total= 2.2min
[CV] n_neurons=140, learning_rate=0.05, batch_size=10, batch_norm_momentum=0.999, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 1.213176	최선의 손실: 1.213176	정확도: 92.38%
1	검증 세트 손실: 0.155421	최선의 손실: 0.155421	정확도: 98.01%
2	검증 세트 손실: 0.106864	최선의 손실: 0.106864	정확도: 97.69%
3	검증 세트 손실: 0.201448	최선의 손실: 0.106864	정확도: 96.44%
4	검증 세트 손실: 0.368151	최선의 손실: 0.106864	정확도: 95.04%
5	검증 세트 손실: 0.226775	최선의 손실: 0.106864	정확도: 97.46%
6	검증 세트 손실: 0.613091	최선의 손실: 0.106864	정확도: 97.15%
7	검증 세트 손실: 0.124042	최선의 손실: 0.106864	정확도: 97.58%
8	검증 세트 손실: 0.091571	최선의 손실: 0.091571	정확도: 98.05%
9	검증 세트 손실: 0.091362	최선의 손실: 0.091362	정확도: 98.08%
10	검증 세트 손실: 0.283615	최선의 손실: 0.091362	정확도: 95.86%
11	검증 세트 손실: 0.189329	최선의 손실: 0.091362	정확도: 98.12%
12	검증 세트 손실: 0.126958	최선의 손실: 0.091362	정확도: 97.89%
13	검증 세트 손실: 0.309816	최선의 손실: 0.091362	정확도: 97.22%
14	검증 세트 손실: 0.089215	최선의 손실: 0.089215	정확도: 98.01%
15	검증 세트 손실: 0.148816	최선의 손실: 0.089215	정확도: 97.97%
16	검증 세트 손실: 0.091953	최선의 손실: 0.089215	정확도: 98.40%
17	검증 세트 손실: 0.223619	최선의 손실: 0.089215	정확도: 97.65%
18	검증 세트 손실: 0.204771	최선의 손실: 0.089215	정확도: 97.62%
19	검증 세트 손실: 0.139097	최선의 손실: 0.089215	정확도: 98.48%
20	검증 세트 손실: 0.386144	최선의 손실: 0.089215	정확도: 96.48%
21	검증 세트 손실: 0.109225	최선의 손실: 0.089215	정확도: 98.24%
22	검증 세트 손실: 0.103933	최선의 손실: 0.089215	정확도: 98.79%
23	검증 세트 손실: 0.120715	최선의 손실: 0.089215	정확도: 98.75%
24	검증 세트 손실: 0.105676	최선의 손실: 0.089215	정확도: 98.75%
25	검증 세트 손실: 0.131960	최선의 손실: 0.089215	정확도: 98.32%
26	검증 세트 손실: 0.260022	최선의 손실: 0.089215	정확도: 97.97%
27	검증 세트 손실: 0.171426	최선의 손실: 0.089215	정확도: 97.69%
28	검증 세트 손실: 0.200766	최선의 손실: 0.089215	정확도: 98.44%
29	검증 세트 손실: 0.103591	최선의 손실: 0.089215	정확도: 98.75%
30	검증 세트 손실: 0.696411	최선의 손실: 0.089215	정확도: 94.68%
31	검증 세트 손실: 0.150714	최선의 손실: 0.089215	정확도: 98.71%
32	검증 세트 손실: 0.178717	최선의 손실: 0.089215	정확도: 98.24%
33	검증 세트 손실: 0.151926	최선의 손실: 0.089215	정확도: 98.48%
34	검증 세트 손실: 0.177869	최선의 손실: 0.089215	정확도: 98.32%
35	검증 세트 손실: 0.176844	최선의 손실: 0.089215	정확도: 98.67%
조기 종료!
[CV]  n_neurons=140, learning_rate=0.05, batch_size=10, batch_norm_momentum=0.999, activation=<function elu at 0x7f8ec4ceef28>, total= 2.4min
[CV] n_neurons=70, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 
0	검증 세트 손실: 0.118445	최선의 손실: 0.118445	정확도: 97.15%
1	검증 세트 손실: 0.096976	최선의 손실: 0.096976	정확도: 97.58%
2	검증 세트 손실: 0.079803	최선의 손실: 0.079803	정확도: 97.19%
3	검증 세트 손실: 0.073884	최선의 손실: 0.073884	정확도: 97.93%
4	검증 세트 손실: 0.080394	최선의 손실: 0.073884	정확도: 97.73%
5	검증 세트 손실: 0.061520	최선의 손실: 0.061520	정확도: 98.51%
6	검증 세트 손실: 0.056961	최선의 손실: 0.056961	정확도: 98.28%
7	검증 세트 손실: 0.088921	최선의 손실: 0.056961	정확도: 98.32%
8	검증 세트 손실: 0.069309	최선의 손실: 0.056961	정확도: 98.59%
9	검증 세트 손실: 0.077232	최선의 손실: 0.056961	정확도: 98.36%
10	검증 세트 손실: 0.090309	최선의 손실: 0.056961	정확도: 98.20%
11	검증 세트 손실: 0.054661	최선의 손실: 0.054661	정확도: 98.63%
12	검증 세트 손실: 0.066232	최선의 손실: 0.054661	정확도: 98.40%
13	검증 세트 손실: 0.068344	최선의 손실: 0.054661	정확도: 98.51%
14	검증 세트 손실: 0.058697	최선의 손실: 0.054661	정확도: 98.75%
15	검증 세트 손실: 0.065090	최선의 손실: 0.054661	정확도: 98.51%
16	검증 세트 손실: 0.065116	최선의 손실: 0.054661	정확도: 98.83%
17	검증 세트 손실: 0.053457	최선의 손실: 0.053457	정확도: 99.02%
18	검증 세트 손실: 0.042730	최선의 손실: 0.042730	정확도: 98.94%
19	검증 세트 손실: 0.073875	최선의 손실: 0.042730	정확도: 98.44%
20	검증 세트 손실: 0.071922	최선의 손실: 0.042730	정확도: 98.83%
21	검증 세트 손실: 0.076648	최선의 손실: 0.042730	정확도: 98.71%
22	검증 세트 손실: 0.151328	최선의 손실: 0.042730	정확도: 96.91%
23	검증 세트 손실: 0.092234	최선의 손실: 0.042730	정확도: 98.28%
24	검증 세트 손실: 0.053222	최선의 손실: 0.042730	정확도: 98.87%
25	검증 세트 손실: 0.053362	최선의 손실: 0.042730	정확도: 98.44%
26	검증 세트 손실: 0.037808	최선의 손실: 0.037808	정확도: 98.91%
27	검증 세트 손실: 0.058370	최선의 손실: 0.037808	정확도: 98.75%
28	검증 세트 손실: 0.064635	최선의 손실: 0.037808	정확도: 98.67%
29	검증 세트 손실: 0.096080	최선의 손실: 0.037808	정확도: 98.71%
30	검증 세트 손실: 0.082699	최선의 손실: 0.037808	정확도: 98.83%
31	검증 세트 손실: 0.077647	최선의 손실: 0.037808	정확도: 98.75%
32	검증 세트 손실: 0.075896	최선의 손실: 0.037808	정확도: 98.67%
33	검증 세트 손실: 0.084469	최선의 손실: 0.037808	정확도: 98.94%
34	검증 세트 손실: 0.070606	최선의 손실: 0.037808	정확도: 98.83%
35	검증 세트 손실: 0.086963	최선의 손실: 0.037808	정확도: 98.75%
36	검증 세트 손실: 0.111779	최선의 손실: 0.037808	정확도: 98.36%
37	검증 세트 손실: 0.100355	최선의 손실: 0.037808	정확도: 98.55%
38	검증 세트 손실: 0.084490	최선의 손실: 0.037808	정확도: 98.83%
39	검증 세트 손실: 0.109431	최선의 손실: 0.037808	정확도: 98.75%
40	검증 세트 손실: 0.057646	최선의 손실: 0.037808	정확도: 98.87%
41	검증 세트 손실: 0.081654	최선의 손실: 0.037808	정확도: 98.75%
42	검증 세트 손실: 0.102338	최선의 손실: 0.037808	정확도: 98.87%
43	검증 세트 손실: 0.075442	최선의 손실: 0.037808	정확도: 98.94%
44	검증 세트 손실: 0.097639	최선의 손실: 0.037808	정확도: 98.71%
45	검증 세트 손실: 0.116718	최선의 손실: 0.037808	정확도: 98.51%
46	검증 세트 손실: 0.117353	최선의 손실: 0.037808	정확도: 98.63%
47	검증 세트 손실: 0.124984	최선의 손실: 0.037808	정확도: 98.67%
조기 종료!
[CV]  n_neurons=70, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total=  40.3s
[CV] n_neurons=70, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 
0	검증 세트 손실: 0.155967	최선의 손실: 0.155967	정확도: 95.90%
1	검증 세트 손실: 0.079732	최선의 손실: 0.079732	정확도: 97.93%
2	검증 세트 손실: 0.074790	최선의 손실: 0.074790	정확도: 97.77%
3	검증 세트 손실: 0.064969	최선의 손실: 0.064969	정확도: 98.28%
4	검증 세트 손실: 0.071460	최선의 손실: 0.064969	정확도: 97.97%
5	검증 세트 손실: 0.077138	최선의 손실: 0.064969	정확도: 98.32%
6	검증 세트 손실: 0.068602	최선의 손실: 0.064969	정확도: 98.16%
7	검증 세트 손실: 0.087255	최선의 손실: 0.064969	정확도: 98.01%
8	검증 세트 손실: 0.075463	최선의 손실: 0.064969	정확도: 98.36%
9	검증 세트 손실: 0.108870	최선의 손실: 0.064969	정확도: 97.97%
10	검증 세트 손실: 0.079243	최선의 손실: 0.064969	정확도: 98.36%
11	검증 세트 손실: 0.056590	최선의 손실: 0.056590	정확도: 98.55%
12	검증 세트 손실: 0.073756	최선의 손실: 0.056590	정확도: 98.44%
13	검증 세트 손실: 0.090901	최선의 손실: 0.056590	정확도: 97.81%
14	검증 세트 손실: 0.104134	최선의 손실: 0.056590	정확도: 98.12%
15	검증 세트 손실: 0.067356	최선의 손실: 0.056590	정확도: 98.48%
16	검증 세트 손실: 0.088926	최선의 손실: 0.056590	정확도: 98.32%
17	검증 세트 손실: 0.079066	최선의 손실: 0.056590	정확도: 98.40%
18	검증 세트 손실: 0.106283	최선의 손실: 0.056590	정확도: 98.16%
19	검증 세트 손실: 0.117949	최선의 손실: 0.056590	정확도: 97.65%
20	검증 세트 손실: 0.058870	최선의 손실: 0.056590	정확도: 98.55%
21	검증 세트 손실: 0.076907	최선의 손실: 0.056590	정확도: 98.48%
22	검증 세트 손실: 0.091253	최선의 손실: 0.056590	정확도: 98.08%
23	검증 세트 손실: 0.091407	최선의 손실: 0.056590	정확도: 98.20%
24	검증 세트 손실: 0.075287	최선의 손실: 0.056590	정확도: 98.75%
25	검증 세트 손실: 0.065180	최선의 손실: 0.056590	정확도: 98.59%
26	검증 세트 손실: 0.077303	최선의 손실: 0.056590	정확도: 98.67%
27	검증 세트 손실: 0.068367	최선의 손실: 0.056590	정확도: 98.75%
28	검증 세트 손실: 0.070591	최선의 손실: 0.056590	정확도: 98.55%
29	검증 세트 손실: 0.051162	최선의 손실: 0.051162	정확도: 98.79%
30	검증 세트 손실: 0.075537	최선의 손실: 0.051162	정확도: 98.63%
31	검증 세트 손실: 0.097779	최선의 손실: 0.051162	정확도: 98.44%
32	검증 세트 손실: 0.167454	최선의 손실: 0.051162	정확도: 98.24%
33	검증 세트 손실: 0.161405	최선의 손실: 0.051162	정확도: 98.44%
34	검증 세트 손실: 0.102506	최선의 손실: 0.051162	정확도: 98.59%
35	검증 세트 손실: 0.115067	최선의 손실: 0.051162	정확도: 98.71%
36	검증 세트 손실: 0.136748	최선의 손실: 0.051162	정확도: 98.28%
37	검증 세트 손실: 0.070474	최선의 손실: 0.051162	정확도: 98.79%
38	검증 세트 손실: 0.090449	최선의 손실: 0.051162	정확도: 98.55%
39	검증 세트 손실: 0.075310	최선의 손실: 0.051162	정확도: 98.67%
40	검증 세트 손실: 0.090262	최선의 손실: 0.051162	정확도: 98.51%
41	검증 세트 손실: 0.091393	최선의 손실: 0.051162	정확도: 98.87%
42	검증 세트 손실: 0.105684	최선의 손실: 0.051162	정확도: 98.63%
43	검증 세트 손실: 0.157863	최선의 손실: 0.051162	정확도: 98.48%
44	검증 세트 손실: 0.126184	최선의 손실: 0.051162	정확도: 98.63%
45	검증 세트 손실: 0.095349	최선의 손실: 0.051162	정확도: 98.71%
46	검증 세트 손실: 0.134807	최선의 손실: 0.051162	정확도: 98.79%
47	검증 세트 손실: 0.108948	최선의 손실: 0.051162	정확도: 98.91%
48	검증 세트 손실: 0.094183	최선의 손실: 0.051162	정확도: 98.67%
49	검증 세트 손실: 0.116607	최선의 손실: 0.051162	정확도: 98.83%
50	검증 세트 손실: 0.105446	최선의 손실: 0.051162	정확도: 98.67%
조기 종료!
[CV]  n_neurons=70, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total=  42.8s
[CV] n_neurons=70, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8> 
0	검증 세트 손실: 0.518100	최선의 손실: 0.518100	정확도: 91.44%
1	검증 세트 손실: 0.091071	최선의 손실: 0.091071	정확도: 97.34%
2	검증 세트 손실: 0.065991	최선의 손실: 0.065991	정확도: 97.97%
3	검증 세트 손실: 0.096091	최선의 손실: 0.065991	정확도: 97.93%
4	검증 세트 손실: 0.065404	최선의 손실: 0.065404	정확도: 98.16%
5	검증 세트 손실: 0.094921	최선의 손실: 0.065404	정확도: 97.69%
6	검증 세트 손실: 0.063330	최선의 손실: 0.063330	정확도: 98.32%
7	검증 세트 손실: 0.080486	최선의 손실: 0.063330	정확도: 98.01%
8	검증 세트 손실: 0.059139	최선의 손실: 0.059139	정확도: 98.79%
9	검증 세트 손실: 0.049634	최선의 손실: 0.049634	정확도: 98.55%
10	검증 세트 손실: 0.078806	최선의 손실: 0.049634	정확도: 98.16%
11	검증 세트 손실: 0.044441	최선의 손실: 0.044441	정확도: 98.71%
12	검증 세트 손실: 0.063934	최선의 손실: 0.044441	정확도: 98.40%
13	검증 세트 손실: 0.069075	최선의 손실: 0.044441	정확도: 98.51%
14	검증 세트 손실: 0.079248	최선의 손실: 0.044441	정확도: 98.08%
15	검증 세트 손실: 0.071419	최선의 손실: 0.044441	정확도: 98.48%
16	검증 세트 손실: 0.046318	최선의 손실: 0.044441	정확도: 98.75%
17	검증 세트 손실: 0.058561	최선의 손실: 0.044441	정확도: 98.59%
18	검증 세트 손실: 0.075758	최선의 손실: 0.044441	정확도: 98.67%
19	검증 세트 손실: 0.083009	최선의 손실: 0.044441	정확도: 98.12%
20	검증 세트 손실: 0.089859	최선의 손실: 0.044441	정확도: 98.71%
21	검증 세트 손실: 0.052805	최선의 손실: 0.044441	정확도: 98.87%
22	검증 세트 손실: 0.053694	최선의 손실: 0.044441	정확도: 98.67%
23	검증 세트 손실: 0.051802	최선의 손실: 0.044441	정확도: 98.83%
24	검증 세트 손실: 0.055365	최선의 손실: 0.044441	정확도: 99.06%
25	검증 세트 손실: 0.065847	최선의 손실: 0.044441	정확도: 98.63%
26	검증 세트 손실: 0.072963	최선의 손실: 0.044441	정확도: 98.59%
27	검증 세트 손실: 0.040547	최선의 손실: 0.040547	정확도: 98.98%
28	검증 세트 손실: 0.051811	최선의 손실: 0.040547	정확도: 98.94%
29	검증 세트 손실: 0.062280	최선의 손실: 0.040547	정확도: 98.75%
30	검증 세트 손실: 0.077613	최선의 손실: 0.040547	정확도: 98.63%
31	검증 세트 손실: 0.284400	최선의 손실: 0.040547	정확도: 97.46%
32	검증 세트 손실: 0.074472	최선의 손실: 0.040547	정확도: 98.67%
33	검증 세트 손실: 0.068215	최선의 손실: 0.040547	정확도: 98.71%
34	검증 세트 손실: 0.071241	최선의 손실: 0.040547	정확도: 98.71%
35	검증 세트 손실: 0.059362	최선의 손실: 0.040547	정확도: 98.98%
36	검증 세트 손실: 0.041344	최선의 손실: 0.040547	정확도: 99.10%
37	검증 세트 손실: 0.079203	최선의 손실: 0.040547	정확도: 98.79%
38	검증 세트 손실: 0.050785	최선의 손실: 0.040547	정확도: 98.91%
39	검증 세트 손실: 0.078625	최선의 손실: 0.040547	정확도: 98.83%
40	검증 세트 손실: 0.092492	최선의 손실: 0.040547	정확도: 98.63%
41	검증 세트 손실: 0.058838	최선의 손실: 0.040547	정확도: 99.06%
42	검증 세트 손실: 0.087397	최선의 손실: 0.040547	정확도: 98.55%
43	검증 세트 손실: 0.074119	최선의 손실: 0.040547	정확도: 98.75%
44	검증 세트 손실: 0.065719	최선의 손실: 0.040547	정확도: 98.67%
45	검증 세트 손실: 0.071939	최선의 손실: 0.040547	정확도: 98.71%
46	검증 세트 손실: 0.060181	최선의 손실: 0.040547	정확도: 99.14%
47	검증 세트 손실: 0.070087	최선의 손실: 0.040547	정확도: 98.94%
48	검증 세트 손실: 0.239547	최선의 손실: 0.040547	정확도: 98.59%
조기 종료!
[CV]  n_neurons=70, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=<function leaky_relu.<locals>.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total=  41.1s
[CV] n_neurons=30, learning_rate=0.01, batch_size=500, batch_norm_momentum=0.999, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.293761	최선의 손실: 0.293761	정확도: 91.48%
1	검증 세트 손실: 0.755442	최선의 손실: 0.293761	정확도: 83.54%
2	검증 세트 손실: 0.293596	최선의 손실: 0.293596	정확도: 93.39%
3	검증 세트 손실: 0.197692	최선의 손실: 0.197692	정확도: 95.07%
4	검증 세트 손실: 0.212457	최선의 손실: 0.197692	정확도: 94.88%
5	검증 세트 손실: 0.364270	최선의 손실: 0.197692	정확도: 93.55%
6	검증 세트 손실: 0.139716	최선의 손실: 0.139716	정확도: 97.42%
7	검증 세트 손실: 0.160663	최선의 손실: 0.139716	정확도: 97.22%
8	검증 세트 손실: 0.114988	최선의 손실: 0.114988	정확도: 97.89%
9	검증 세트 손실: 0.135900	최선의 손실: 0.114988	정확도: 97.97%
10	검증 세트 손실: 0.130165	최선의 손실: 0.114988	정확도: 98.08%
11	검증 세트 손실: 0.252014	최선의 손실: 0.114988	정확도: 96.95%
12	검증 세트 손실: 0.215489	최선의 손실: 0.114988	정확도: 96.76%
13	검증 세트 손실: 0.249277	최선의 손실: 0.114988	정확도: 96.83%
14	검증 세트 손실: 0.131245	최선의 손실: 0.114988	정확도: 98.32%
15	검증 세트 손실: 0.167363	최선의 손실: 0.114988	정확도: 98.16%
16	검증 세트 손실: 0.180978	최선의 손실: 0.114988	정확도: 98.08%
17	검증 세트 손실: 0.182313	최선의 손실: 0.114988	정확도: 98.12%
18	검증 세트 손실: 0.140347	최선의 손실: 0.114988	정확도: 98.48%
19	검증 세트 손실: 0.193538	최선의 손실: 0.114988	정확도: 98.01%
20	검증 세트 손실: 0.162612	최선의 손실: 0.114988	정확도: 98.16%
21	검증 세트 손실: 0.178196	최선의 손실: 0.114988	정확도: 97.85%
22	검증 세트 손실: 0.186191	최선의 손실: 0.114988	정확도: 98.05%
23	검증 세트 손실: 0.136903	최선의 손실: 0.114988	정확도: 98.40%
24	검증 세트 손실: 0.121833	최선의 손실: 0.114988	정확도: 98.63%
25	검증 세트 손실: 0.125330	최선의 손실: 0.114988	정확도: 98.51%
26	검증 세트 손실: 0.125204	최선의 손실: 0.114988	정확도: 98.48%
27	검증 세트 손실: 0.110843	최선의 손실: 0.110843	정확도: 98.75%
28	검증 세트 손실: 0.107576	최선의 손실: 0.107576	정확도: 98.63%
29	검증 세트 손실: 0.099938	최선의 손실: 0.099938	정확도: 98.79%
30	검증 세트 손실: 0.097566	최선의 손실: 0.097566	정확도: 98.83%
31	검증 세트 손실: 0.090593	최선의 손실: 0.090593	정확도: 98.71%
32	검증 세트 손실: 0.085572	최선의 손실: 0.085572	정확도: 98.75%
33	검증 세트 손실: 0.086057	최선의 손실: 0.085572	정확도: 98.79%
34	검증 세트 손실: 0.076039	최선의 손실: 0.076039	정확도: 98.83%
35	검증 세트 손실: 0.073952	최선의 손실: 0.073952	정확도: 98.79%
36	검증 세트 손실: 0.074455	최선의 손실: 0.073952	정확도: 98.75%
37	검증 세트 손실: 0.077019	최선의 손실: 0.073952	정확도: 98.79%
38	검증 세트 손실: 0.070785	최선의 손실: 0.070785	정확도: 98.75%
39	검증 세트 손실: 0.069751	최선의 손실: 0.069751	정확도: 98.83%
40	검증 세트 손실: 0.068790	최선의 손실: 0.068790	정확도: 98.87%
41	검증 세트 손실: 0.068468	최선의 손실: 0.068468	정확도: 98.79%
42	검증 세트 손실: 0.070198	최선의 손실: 0.068468	정확도: 98.75%
43	검증 세트 손실: 0.064942	최선의 손실: 0.064942	정확도: 98.75%
44	검증 세트 손실: 0.067820	최선의 손실: 0.064942	정확도: 98.75%
45	검증 세트 손실: 0.067032	최선의 손실: 0.064942	정확도: 98.75%
46	검증 세트 손실: 0.064981	최선의 손실: 0.064942	정확도: 98.75%
47	검증 세트 손실: 0.063061	최선의 손실: 0.063061	정확도: 98.83%
48	검증 세트 손실: 0.061428	최선의 손실: 0.061428	정확도: 98.87%
49	검증 세트 손실: 0.067527	최선의 손실: 0.061428	정확도: 98.75%
50	검증 세트 손실: 0.061451	최선의 손실: 0.061428	정확도: 98.83%
51	검증 세트 손실: 0.060914	최선의 손실: 0.060914	정확도: 98.94%
52	검증 세트 손실: 0.060045	최선의 손실: 0.060045	정확도: 98.91%
53	검증 세트 손실: 0.060342	최선의 손실: 0.060045	정확도: 98.91%
54	검증 세트 손실: 0.060420	최선의 손실: 0.060045	정확도: 98.91%
55	검증 세트 손실: 0.060165	최선의 손실: 0.060045	정확도: 98.87%
56	검증 세트 손실: 0.061292	최선의 손실: 0.060045	정확도: 98.67%
57	검증 세트 손실: 0.065017	최선의 손실: 0.060045	정확도: 98.94%
58	검증 세트 손실: 0.479919	최선의 손실: 0.060045	정확도: 96.13%
59	검증 세트 손실: 0.400706	최선의 손실: 0.060045	정확도: 96.99%
60	검증 세트 손실: 0.320223	최선의 손실: 0.060045	정확도: 97.30%
61	검증 세트 손실: 0.334299	최선의 손실: 0.060045	정확도: 98.01%
62	검증 세트 손실: 0.264431	최선의 손실: 0.060045	정확도: 98.20%
63	검증 세트 손실: 0.229154	최선의 손실: 0.060045	정확도: 98.28%
64	검증 세트 손실: 0.261920	최선의 손실: 0.060045	정확도: 98.44%
65	검증 세트 손실: 0.237270	최선의 손실: 0.060045	정확도: 98.20%
66	검증 세트 손실: 0.263530	최선의 손실: 0.060045	정확도: 98.20%
67	검증 세트 손실: 0.247358	최선의 손실: 0.060045	정확도: 98.08%
68	검증 세트 손실: 0.231528	최선의 손실: 0.060045	정확도: 98.05%
69	검증 세트 손실: 0.183060	최선의 손실: 0.060045	정확도: 98.44%
70	검증 세트 손실: 0.229961	최선의 손실: 0.060045	정확도: 98.28%
71	검증 세트 손실: 0.205281	최선의 손실: 0.060045	정확도: 98.32%
72	검증 세트 손실: 0.207094	최선의 손실: 0.060045	정확도: 98.48%
73	검증 세트 손실: 0.223835	최선의 손실: 0.060045	정확도: 98.28%
조기 종료!
[CV]  n_neurons=30, learning_rate=0.01, batch_size=500, batch_norm_momentum=0.999, activation=<function elu at 0x7f8ec4ceef28>, total=  16.1s
[CV] n_neurons=30, learning_rate=0.01, batch_size=500, batch_norm_momentum=0.999, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.353487	최선의 손실: 0.353487	정확도: 89.72%
1	검증 세트 손실: 0.170060	최선의 손실: 0.170060	정확도: 95.62%
2	검증 세트 손실: 0.144062	최선의 손실: 0.144062	정확도: 96.33%
3	검증 세트 손실: 0.107548	최선의 손실: 0.107548	정확도: 97.58%
4	검증 세트 손실: 0.144815	최선의 손실: 0.107548	정확도: 97.07%
5	검증 세트 손실: 0.186889	최선의 손실: 0.107548	정확도: 96.76%
6	검증 세트 손실: 0.148381	최선의 손실: 0.107548	정확도: 97.34%
7	검증 세트 손실: 0.127165	최선의 손실: 0.107548	정확도: 97.93%
8	검증 세트 손실: 0.170552	최선의 손실: 0.107548	정확도: 97.42%
9	검증 세트 손실: 0.293297	최선의 손실: 0.107548	정확도: 96.05%
10	검증 세트 손실: 0.222563	최선의 손실: 0.107548	정확도: 97.11%
11	검증 세트 손실: 0.213661	최선의 손실: 0.107548	정확도: 97.42%
12	검증 세트 손실: 0.228014	최선의 손실: 0.107548	정확도: 97.11%
13	검증 세트 손실: 0.195099	최선의 손실: 0.107548	정확도: 97.77%
14	검증 세트 손실: 0.191703	최선의 손실: 0.107548	정확도: 97.93%
15	검증 세트 손실: 0.195506	최선의 손실: 0.107548	정확도: 97.89%
16	검증 세트 손실: 0.170240	최선의 손실: 0.107548	정확도: 98.12%
17	검증 세트 손실: 0.252191	최선의 손실: 0.107548	정확도: 97.58%
18	검증 세트 손실: 0.192234	최선의 손실: 0.107548	정확도: 98.01%
19	검증 세트 손실: 0.181073	최선의 손실: 0.107548	정확도: 98.28%
20	검증 세트 손실: 0.175975	최선의 손실: 0.107548	정확도: 98.08%
21	검증 세트 손실: 0.173205	최선의 손실: 0.107548	정확도: 98.24%
22	검증 세트 손실: 0.229891	최선의 손실: 0.107548	정확도: 97.69%
23	검증 세트 손실: 0.180947	최선의 손실: 0.107548	정확도: 98.40%
24	검증 세트 손실: 0.302480	최선의 손실: 0.107548	정확도: 96.83%
조기 종료!
[CV]  n_neurons=30, learning_rate=0.01, batch_size=500, batch_norm_momentum=0.999, activation=<function elu at 0x7f8ec4ceef28>, total=   6.4s
[CV] n_neurons=30, learning_rate=0.01, batch_size=500, batch_norm_momentum=0.999, activation=<function elu at 0x7f8ec4ceef28> 
0	검증 세트 손실: 0.751562	최선의 손실: 0.751562	정확도: 80.30%
1	검증 세트 손실: 0.212701	최선의 손실: 0.212701	정확도: 94.45%
2	검증 세트 손실: 0.226318	최선의 손실: 0.212701	정확도: 94.72%
3	검증 세트 손실: 0.128307	최선의 손실: 0.128307	정확도: 96.25%
4	검증 세트 손실: 0.131049	최선의 손실: 0.128307	정확도: 96.79%
5	검증 세트 손실: 0.158078	최선의 손실: 0.128307	정확도: 96.60%
6	검증 세트 손