ARIM-Academy：　基礎編　Scikit-learn（予測）¶

本編の目標¶

本演習では、ボストン市の住宅価格を予測するための代表的なデータセットであるBoston Housingデータセットを利用し、機械学習の基礎を習得します。このデータセットには、住宅価格の中央値（MEDV）をはじめ、犯罪率、部屋数、地域ごとの特性など、多岐にわたる特徴量が含まれています。

1. データ前処理

実世界のデータであるため、欠損値や異常値が含まれている可能性があります。また、特徴量のスケールが異なる場合、モデルの学習に悪影響を与えることがあります。そこで、本演習では、欠損値の補完、異常値の検出・除去、標準化や正規化といったデータ前処理の手法を学びます。これにより、モデルの精度向上に繋がるデータの整形を行います。

2. さまざまな回帰モデルの構築と比較

線形回帰、ランダムフォレストなど、代表的な回帰モデルを構築し、それぞれのモデルの予測性能を比較します。各モデルの特性を理解し、どのモデルがボストン市の住宅価格を最も正確に予測できるかを実験的に検証します。

3. モデル評価

構築したモデルの性能を評価するために、平均二乗誤差（MSE）や決定係数（R2スコア）などの評価指標を用います。これらの指標に基づいて、モデルの精度を定量的に評価し、より良いモデルへと改善するための指針を得ます。

4. 特徴量の重要度分析

モデルの学習過程で、各特徴量が予測にどの程度貢献しているのかを分析します。これにより、住宅価格に最も影響を与える要因を特定し、モデルの解釈性を高めることができます。また、特徴量選択の際に役立つ情報を得ることも可能です。

データセット¶

【利用にあたっての注意】

このようにオープンソースのデータセットであっても、時代とともに時代にそぐなくなるデータもあることを念頭におきながら、データ解析をする必要もあります。

教材への接続¶

google colabにおけるオンラインの場合にこのラインを実行します。（Google colabに接続しない場合には不要）

1.データセットの読み込みと前処理¶

ライブラリのインポート¶

カリキュラムで扱うpythonのライブラリをimport文でロードします。 機械学習のライブラリであるscikit-learnは後半でimportします。

サンプルファイルの読み込み¶

pandasライブラリのread_csv()関数は、CSVファイルを読み込んでpandasのDataFrame形式に変換する関数です。ここでは、[data]フォルダ内に保存されているBoston.csvファイルをDataFrameとして読み込み、その結果をdfという変数に格納します。

不必要・不適切な特徴量の削除¶

pandasライブラリではデータフレームから特定の行や列を削除する操作でdrop()メソッドを使います。ここではデータフレームdfからblackという名前の列を削除ます。

2. データの探索的分析 (EDA)¶

探索的データ分析 (EDA) は、データに潜むパターンや特徴、関係性を視覚的に捉え、データに対する深い理解を得るための最初のステップです。EDAを通じて、データの品質を確認し、モデル構築に向けた準備を進めます。

EDAの目的¶

EDAの主な目的は以下の通りです。

• データの理解: データセットの構造、変数の意味、データの分布などを把握します。
• データの可視化: グラフや図を用いて、データの分布、パターン、異常値などを視覚的に表現します。
• 変数間の関係性の探索: 相関分析やクロス集計などを行い、変数間の関係性を明らかにします。
• データの前処理への示唆: 欠損値の処理、外れ値の検出、特徴量エンジニで実施するデータ前処理への示唆を得ます。

EDAの重要性¶

EDAは、データ分析の成功を左右する重要なステップです。EDAを通じて得られた知見は、以下の点に役立ちます。

• 適切なモデル選択: データの特性に基づいて、最適な機械学習モデルを選択できます。
• 特徴量エンジニアリング: 新しい特徴量を作成したり、既存の特徴量を加工したりすることで、モデルの性能を向上させることができます。
• データの品質向上: 欠損値や外れ値を検出し、適切な処理を行うことで、モデルの精度を向前処理への示唆を得ます。

EDAの手法¶

EDAの手法は多岐にわたりますが、代表的な手法として以下が挙げられます。

2.1 概要統計量の算出¶

• 目的: データの全体的な傾向を把握します。
• 手法: 平均値、中央値、標準偏差、最小値、最大値などを計算します。
• ツール: pandasのdescribe()関数など

2.2 ペアプロットと相関係数の計算¶

• 目的: 数値型変数間の関係性を可視化し、相関関係を定量的に評価します。
• 手法: 散布図行列を作成し、各変数間の相関係数を計算します。
• ツール: seabornのpairplot()関数、pandasのcorr()関数など

2.3 データの可視化¶

• 目的: データの分布、パターン、異常値などを視覚的に捉えます。
• 手法: ヒストグラム、箱ひげ図、散布図、バイオリンプロットなど
• ツール: matplotlib、seabornなど

3つのぞれぞれのデータ分析についてみてみましょう

①概要統計¶

概要統計（Descriptive Statistics）は、データセットの要約統計量を計算することで、データの特徴や分布を理解する手法です。出力される指標は、平均、中央値、最小値、最大値、標準偏差、四分位数です。

pandasライブラリに含まれているdescribe()メソッドを使うとデータセットの概要統計を簡単に取得することができます。 具体的には、describe()関数は以下の統計情報を計算します：

1. カウント（Count）: データの非欠損値の数を示します。
2. 平均（Mean）: データの平均値を示します。
3. 標準偏差（Standard Deviation）: データのばらつきの尺度を示します。
4. 最小値（Minimum）: データの最小値を示します。
5. 第一四分位数（25th Percentile）: データの下位25%の値を示します。
6. 中央値（Median）: データの中央値（50thパーセンタイル）を示します。
7. 第三四分位数（75th Percentile）: データの上位25%の値を示します。
8. 最大値（Maximum）: データの最大値を示します。

②　ペアプロット（散布図行列）¶

ペアプロット（Pair plot）は、データセット内の複数の数値変数の組み合わせに基づいた散布図行列を可視化する手法です。これにより、変数間の相関やパターンを把握することができます。

ペアプロットを作成するライブラリは幾つかありますが、Seabornライブラリのpairplot()メソッドは比較的に簡単にデータセット内の数値変数の組み合わせに基づいて散布図行列を作成し、各変数間の散布図やヒストグラムを表示します。

pairplot()メソッドには、さまざまなオプションを持ちます。たとえば、hueパラメータを使用すると、カテゴリ変数に基づいて散布図の色分けが行えます。また、diag_kindパラメータを使用すると、対角線上に表示されるヒストグラムやカーネル密度推定プロットの種類を指定することもできます。

表示させる変数名を絞り込んでみましょう。pairplot()のメソッドでは次のようにデータフレームの変数名を指定することで対応できます。

③ピアソン相関係数¶

ピアソンの相関係数は、2つの変数の間の線形関係の強さと方向を示す統計的指標です。値は-1から1の範囲を取り、以下のように解釈されます：

1：完全な正の相関（変数が同じ方向に変動）
0：相関なし（変数間に線形関係がない）
-1：完全な負の相関（変数が逆の方向に変動）

相関係数の絶対値が大きいほど、2つの変数間の線形関係が強いことを示します。

pandasのcorr()メソッドを使用すると数値データを持つ全ての列間の相関係数を計算し、相関行列として出力します。

④相関係数のヒートマップ¶

相関係数の数値だけでは、変数間の関係を直感的に捉えづらいことがあります。そこで、ヒートマップを用いて相関係数行列を可視化することで、変数間の関係性を視覚的に把握します。seabornライブラリのheatmap()関数は、DataFrame内の数値データの相関係数を色で表現したヒートマップを簡単に作成できます。さらに、annot=Trueオプションを指定することで、各セルに相関係数の数値を表示し、より詳細な情報を得ることができます。

3.着目する特徴量のグラフ化¶

ペアプロットでは対象とするすべての相関グラフとヒストグラムを出力しました。ここでは、特に着目する特徴量のグラフについてmatpltlibを使って描画する流れを学びます。

頻度分析（ヒストグラム）¶

Boston Housingデータセットにおける住宅価格の分布を視覚化するヒストグラムを表示し、価格帯ごとの頻度をみてみましょう。

相関図¶

Boston Housingデータセットを使って、住宅価格 (medv) と部屋数 (rm) との関係を示す散布図を作成してみましょう。

特定の数値のフィルタリング¶

Boston Housingデータセットでは、住宅価格（MEDV）の上限が50に設定されており、実際の価格が50を超える住宅はすべて50と記録されています。このため、データの分布が歪んでいる可能性があります。特に高価格帯の住宅を分析する際には、この上限値の影響を考慮する必要があります。そこで、ここでは50を超える価格のデータを除外し、分析を進めることにします。

単回帰モデル¶

線形回帰モデルは、複数の入力変数（特徴量）と一つの出力変数（目的変数）の間の関係を、直線または平面（多次元の場合）で表すモデルです。つまり、入力変数の値が変化すると、出力変数の値が線形に変化するという仮定に基づいています。この中で、最も単純なモデルが「単回帰」です。単回帰は、一つの入力変数と一つの出力変数の間の関係を直線で表すモデルです。

本節では、Pythonの機械学習ライブラリであるscikit-learnを用いて、単回帰分析を行う方法を解説します。

①Scikit-learnライブラリのインポート¶

Scikit-learnライブラリのlinear_modelモジュールから線形回帰モデルのためのクラスであるLinearRegressionクラスをインポートします。

②変数の指定¶

LinearRegressionモデルには2次元の配列（特徴量）を渡す必要があります。Xとyを次のようにして2次元のデータとしてリスト化します。

③機械学習モデル作成¶

[1] 機械学習モデルの設定（インスタンス化）：
単回帰を含む機械学習モデルをScikit-learnで行う場合、まず機械学習モデルのクラスをインスタンス化します。ここでは線形回帰モデルを適用するので、線形回帰モデルのクラスであるLinearRegression()をmodel（インスタンス変数）として指定して、インスタンスを作成します。

[2] モデルの訓練（Fitting）：
続いてインスタンスに`fit()'メソッドを作用させて、与えられたデータに基づいて、入力変数と出力変数の関係を最もよく説明する線形関数の係数を計算し、フィッティングします。これは機械学習では訓練（Training）と称されます。

以下のように2行で実質的な機械学習モデルの構築とトレーニングが完了します

④出力変数の予測値の計算¶

訓練済みの線形回帰モデルを使用して、入力データXに基づいて予測値を計算する方法は、predict()メソッドを使います。以下の例ではmodel.predict(X)の結果は、入力データに対する予測された出力変数（目的変数）の値であり、y_predという変数に格納されます。

⑤予測値の可視化¶

データに対して④で予測された値（予測値）を布置し、実際の価格と予測された価格をプロットします。

⑥モデルの評価¶

モデルの性能を評価するために、いくつかの指標を用います。代表的な指標として、平均二乗誤差（MSE）、平均絶対誤差（MAE）、決定係数（R²スコア）などが挙げられます。

今回は、決定係数と相関係数に注目してモデルを評価します。決定係数は、モデルが実際のデータの変動をどれくらい説明できているかを示す指標です。一方、相関係数は、予測値と実際の値の間の線形な関係の強さを表します。

決定係数は、一般的に0から1の値をとり、1に近いほどモデルの当てはまりが良いことを示します。また、相関係数は-1から1の値をとり、1に近ければ強い正の相関、-1に近ければ強い負の相関、0に近ければ相関がないことを示します。

【解説】
① 係数： model.coef_ は線形回帰モデルの係数（回帰係数）を表します。この場合、model.coef_[0] は、最初の特徴量の係数を表示します。もし複数の特徴量がある場合は、model.coef_ は配列で、各要素が対応する特徴量の係数になります。

② 切片： model.intercept_ は線形回帰モデルの切片（回帰直線がY軸と交わる点の値）を表示します。これは、すべての特徴量がゼロの場合の予測値です。

③ 決定係数： model.score(X, y) はモデルの決定係数 ( R^2 ) を計算します。決定係数 ( R^2 ) は、モデルがどれだけデータの分散を説明できるかを示す指標で、1に近いほどモデルの説明力が高いことを意味します。決定係数の定義式は以下の通りです：

ここで、RSS（残差平方和）はモデルの予測と実際の値の差の平方和、TSS（全平方和）は実際の値とその平均値との差の平方和です。{:.3f} は、出力を小数点以下3桁にフォーマットして表示するための指定です。

④ 相関係数： 相関係数は決定係数の平方根です。相関係数の定義式は以下の通りです：

ここで、( r ) は相関係数であり、( R^2 ) は決定係数です。相関係数は、実際の値と予測値との線形関係の強さを示します。相関係数の計算は、np.sqrt(_squared) で行います。 形関係の強さを示します。相関係数の計算は、np.sqrt r_squared) で行います。

4. scikit-learnによる機械学習モデルの比較¶

データセットの指定¶

住宅価格が50を超えるデータを除外することで、モデルへの影響を軽減し、より正確な予測モデルを構築することを目指します。そこで、以下の手順でデータセットを定義します。

• データの絞り込み: 住宅価格が50以下のデータのみを抽出。
• 説明変数の選択: 全ての13種類の指標を説明変数として利用。

【解説】説明変数と目的変数¶

Pythonの操作の観点から説明変数（特徴量）と目的変数（ターゲット変数）について説明します。

機械学習や統計分析では、データセット内の変数を説明変数と目的変数に分けて扱います。

説明変数（または特徴量）は、データセット内の独立変数であり、予測や解析のための情報を提供します。これらの変数は、目的変数に影響を与える可能性がある特徴や属性を表しています。説明変数は、予測モデルの入力として使用され、それぞれのデータポイントに関する情報を提供します。

目的変数（またはターゲット変数）は、予測や分析の対象となる変数であり、説明変数に基づいて予測される値です。目的変数は、モデルが学習しようとする対象であり、予測の精度やモデルの評価に使用されます。

Pythonにおいて、データセット内の説明変数と目的変数は、通常、NumPy配列、pandasのデータフレーム、またはSciPyのスパース行列の形式で表現されます。これらのデータ構造を操作して、説明変数と目的変数を適切に抽出し、モデルの学習や予測に使用します。

データセットの分割（Data set splitting）¶

機械学習モデルの性能を正確に評価するためには、モデルを学習させる訓練データと、学習済みのモデルの性能を評価するためのテストデータにデータを分割する必要があります。scikit-learnのtrain_test_split()関数を使用すると、この分割を簡単に実行できます。

【解説】データセットの分割¶

train_test_split関数は、Pythonのscikit-learnライブラリの一部として提供されている関数であり、データセットをトレーニングデータとテストデータに分割するために使用されます。

機械学習のモデルを構築する際には、利用可能なデータをトレーニングデータとテストデータに分割する必要があります。トレーニングデータを使用してモデルを学習し、テストデータを使用してモデルのパフォーマンスを評価します。

train_test_split関数は、以下のように使用されます：

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

上記のコードでは、Xは説明変数（特徴量）のデータセットを表し、yは目的変数（ターゲット変数）のデータセットを表します。

test_sizeパラメータは、テストデータの割合を指定します。例えば、test_size=0.2とすると、データセットの20%がテストデータとして分割され、残りの80%がトレーニングデータとして使用されます。

random_stateパラメータは、データの分割を行う際の乱数シードを指定します。これにより、データセットをランダムに分割する際に再現性を持たせることができます。同じ乱数シードを使用すると、実行ごとに同じ分割結果が得られます。

train_test_split関数は、指定されたデータセット（Xとy）をトレーニングデータとテストデータに分割し、それぞれのデータセットをX_train、X_test、y_train、y_testに格納します。

このようにデータを分割することで、モデルのトレーニングにはX_trainとy_trainを使用し、モデルの評価や予測にはX_testとy_testを使用することができます。これにより、モデルのパフォーマンスを客観的に評価し、未知のデータに対する予測性能を推定することが可能となります。

train_test_split関数は、機械学習のワークフローにおいて非常に便利で頻繁に使用される関数です。データの分割により、モデルの過学習や未知のデータへの汎化能力の低下を評価することができます。

モデル選択¶

scikit-learnは、機械学習モデルの実装や評価を支援するための豊富なツールセットを提供しています。予測タスクにおいて、scikit-learnではさまざまな分類アルゴリズムが利用可能です。モデルの選択は、データの特性やタスクの要件に基づいて行う必要があります。

以下に、scikit-learnの予測モデルの一部とその特徴を紹介します。

1. サポートベクターマシン（Support Vector Machines, SVM）

   • 線形または非線形の分類を行います。
   • マージン最大化を通じて境界を定義し、データを分類します。
   • データの分離が明確でない場合や、高次元のデータセットに適しています。

2. 決定木（Decision Trees）

   • 非線形な分類を行うためのモデルで、条件に基づいてデータを分割します。
   • データの特徴量の重要度を理解することができます。

3. ランダムフォレスト（Random Forests）

   • 複数の決定木を組み合わせたアンサンブル学習法であり、分類の正確性と汎化能力を向上させます。
   • 高い精度が要求される場合や、特徴量の重要度を評価したい場合に使用されます。

4. ニューラルネットワーク（Neural Networks）

   • 複数の層で構成されたネットワークを使用して、非線形な分類を行います。
   • 大規模なデータセットや高度なパターンの抽出が必要な場合に適しています。

これらはscikit-learnの一部ですが、その他にも多くの分類モデルが提供されています。モデルの選択は、データセットの特性、データのサイズ、求められる精度、計算負荷などの要素を考慮しながら行う必要があります。また、選んだモデルのハイパーパラメータの調整や交差検証を行うことも重要です。

1. 線形重回帰¶

機械学習で最も汎用的なモデルの一つである線形重回帰モデルを作成してみましょう。 単回帰分析と同様に、複数の説明変数を用いて目的変数を予測するモデルです。

①　モデル構築¶

LinearRegression クラスは、Scikit-learnライブラリから提供される線形回帰モデルのクラスです。線形重回帰では、複数の特徴量（独立変数）を使用して目的変数（従属変数）を予測するモデルを構築します。

②　特徴量の評価（重要度）¶

線形回帰モデルの係数（重み）と切片を出力しましょう。また、線形回帰モデルの係数をPandasのSeries型に変換することで、各説明変数が目的変数に与える影響をより視覚的に捉えやすくなります。これにより、モデルの解釈が容易になり、より深い分析が可能になります。

可視化¶

線形回帰モデルの各説明変数の係数を棒グラフで可視化し、どの説明変数が目的変数に最も大きな影響を与えているかを視覚的に確認してみましょう。

• 直感的な理解: 棒グラフの長さによって、各説明変数の影響の大きさを一目瞭然にわかります。
• 重要変数の特定: 絶対値が大きい係数を持つ変数が、目的変数に大きな影響を与えていることがわかります。
• 正負の判断: 係数の符号から、説明変数と目的変数の関係が正の相関か負の相関かがわかります

③　モデルの評価：精度の計算¶

モデルの汎化性能を評価するために、決定係数（R²スコア）を用いて訓練データとテストデータのスコアを比較します。

過学習: モデルが訓練データに過度に適合し、新しいデータに対しては性能が低下する現象です。訓練データのR²スコアが高く、テストデータのR²スコアが低い場合、過学習が疑われます。
汎化性能: モデルが未知のデータに対しても高い予測精度を示す能力です。訓練データとテストデータのR²スコアが近い場合、モデルは汎化性能が高いと考えられます。
す。

訓練データ¶

テストデータ¶

④　観測値-予測値プロット¶

機械学習モデルの予測結果と実際の観測値を散布図で可視化したグラフです。このプロットは、モデルの予測精度を評価し、予測誤差の傾向を把握する上で非常に有効です。

理想的なプロット: 予測値と観測値がほぼ一致する場合、データ点が対角線上に近接して分布します。これは、モデルがデータの傾向を正しく捉えていることを示します。
誤差の傾向: データ点が対角線から大きく外れている場合、モデルの予測に誤差が含まれていることを示します。また、誤差が特定の範囲で偏っている場合、モデルに改善の余地があることを示唆します。

2.Lasso回帰¶

Lasso回帰は、線形回帰モデルにL1正則化項を追加することで、特徴選択と過学習防止という二つの効果を実現する手法です。

【1】特徴選択
L1正則化項は、モデルの複雑さを抑える働きがあり、多くの場合、一部の回帰係数を厳密に0にします。これにより、目的変数にほとんど影響を与えない無関係な特徴量を自動的にモデルから除外することができます。この特徴選択機能は、高次元のデータにおいて、モデルの解釈性を高め、過学習を防ぐ上で非常に有効です。

【2】過学習防止
L1正則化は、モデルの複雑さを制限することで、過学習を抑制します。過学習とは、モデルが訓練データに過度に適合しすぎてしまい、新しいデータに対しては予測精度が低下する現象です。Lasso回帰は、この過学習問題に対処し、モデルの汎化性能を向上させることができます。

Lasso回帰は、特徴量が多く、モデルの解釈性や汎化性能を重視する場面で特に有効な手法です。特徴選択と過学習防止という二つの効果を同時に実現できるため、様々な分野で活用されています。

①　モデル構築¶

Lasso は、Scikit-learnライブラリから提供されるLasso回帰のクラスよりインスタンスを作成することができます。特徴量（説明変数）と目的変数の設定についても線形重回帰と同じ手続きで進められます。

②　特徴量の評価（重要度）¶

Lassoにより二つの説明変数が0になり、次元削減がなされています。

③　モデルの評価：精度の計算¶

訓練データ¶

テストデータ¶

④　観測値-予測値プロット¶

3. ランダムフォレスト¶

ランダムフォレストは、複数の決定木をランダムに組み合わせることで、高い予測精度と安定性を両立させたアンサンブル学習モデルです。主な特徴は以下の通りです。

【1】アンサンブル学習による高精度化と過学習防止
複数の決定木を組み合わせることで、単一の決定木よりもより複雑なパターンを学習し、予測精度を高めることができます。また、各決定木は異なる特徴量を重視するため、特定の特徴量に過度に依存してしまうことを防ぎ、過学習のリスクを低減します。

【2】特徴量の重要度評価
ランダムフォレストは、各特徴量が予測にどれだけ貢献しているかを定量的に評価する機能を持っています。この機能を活用することで、重要な特徴量を特定し、モデルの解釈性を高めることができます。

ランダムフォレストは、高い予測精度と解釈性の両方を兼ね備えた強力な機械学習モデルです。様々な分野で活用されており、特に特徴量が多く、複雑なデータに対して有効です。

①　モデル構築¶

RandomForestRegressor() は、Scikit-learnにおけるランダムフォレスト回帰のクラスです。RandomForestRegressor(n_estimators=10) で、10本の決定木を使用するランダムフォレスト回帰モデルを作成しています。なお、n_estimators は、ランダムフォレストに含まれる決定木の数を指定するパラメータです。

②　特徴量の評価（重要度）¶

③　モデルの評価：精度の計算¶

訓練データ¶

テストデータ¶

④　観測値-予測値プロット¶

Closing：おわりに¶

さらに機械学習モデルの精度をあげるために、k-foldクロスバリデーションやハイパーパラメータ調整を行います。

k-foldクロスバリデーション（k-fold cross-validation）

機械学習モデルの性能を評価するための手法です。通常、データセットをトレーニングセットとテストセットに分割してモデルを評価しますが、クロスバリデーションでは、データセットを複数の部分集合に分割し、それぞれをトレーニングセットとテストセットとして使用します。

具体的な手順は以下の通りです。

1. データセットをk個の部分集合（フォールド）に分割します。通常、kは5または10がよく使用されます。

2. k個の部分集合のうちの1つをテストセットとし、残りのk-1個の部分集合をトレーニングセットとします。

3. モデルをトレーニングセットで学習させ、テストセットで評価します。

4. ステップ2-3をk回繰り返し、k個のモデルを作成し、評価します。

5. k回の評価結果を平均化し、モデルの性能を推定します。

クロスバリデーションは、モデルの性能を正確に評価するために使用されます。各フォールドがテストセットとして使用されるため、全てのデータがモデルの評価に使用されるため、モデルの性能評価がより信頼性の高い結果を提供します。また、データの分割方法による結果のバイアスを軽減する効果もあります。

クロスバリデーションは、ハイパーパラメータのチューニングや異なるモデルの比較など、機械学習のさまざまなタスクで広く使用されます。

ハイパーパラメータ（hyperparameter）

機械学習モデルのハイパーパラメータは、モデルの振る舞いやパフォーマンスに影響を与える設定値です。ハイパーパラメータの適切な調整は、モデルの性能を最適化するために非常に重要です。ハイパーパラメータ調整の一般的な手法には、グリッドサーチ、ランダムサーチ、ベイズ最適化などがあります。

• グリッドサーチ（Grid Search）：

グリッドサーチでは、事前に指定されたハイパーパラメータ値の組み合わせの中から最適な組み合わせを探索します。具体的には、調整したいハイパーパラメータの範囲を指定し、それらのパラメータの組み合わせをすべて試して最適な組み合わせを見つける手法です。ただし、組み合わせの数が非常に多い場合は計算コストが高くなる可能性があります。

• ランダムサーチ（Random Search）：

ランダムサーチでは、ハイパーパラメータの範囲内からランダムに組み合わせを選択し、それらの組み合わせでモデルを評価します。グリッドサーチと比較して効率的な探索が可能であり、特定の範囲内でのハイパーパラメータの重要度を把握するのに役立ちます。

• ベイズ最適化（Bayesian Optimization）：

ベイズ最適化は、事前の知識を利用して最適なハイパーパラメータを探索する手法です。モデルの評価結果を利用して、パラメータ空間内で最適な探索を行います。ベイズ最適化は、少ない評価回数で最適なハイパーパラメータを見つけることができる場合があります。

これらの手法は、ハイパーパラメータの探索空間と目的関数の特性に合わせて選択する必要があります。また、クロスバリデーションなどを使用して、ハイパーパラメータの選択によるモデルの性能を適切に評価することも重要です。