Data Science チュートリアル

機械学習においては、モデルを学習する前に予測対象を変換する必要がよくあります。これには、多クラスラベルを 2 値インジケータ行列に変換する、または非数値ラベルを数値ラベルにエンコードするなどのタスクが含まれます。

この実験では、scikit-learn の sklearn.metrics.pairwise サブモジュールを調べます。このモジュールは、サンプルセット間のペアワイズ距離と親和性を計算するためのユーティリティを提供します。

このチュートリアルでは、Scikit - learn でカーネル近似手法を使用するプロセスを案内します。

多くの現実世界のデータセットには欠損値が含まれており、完全な数値データを前提とする機械学習アルゴリズムを使用する際に問題を引き起こす可能性があります。そのような場合、利用可能なデータを最大限活用するために欠損値を適切に処理することが重要です。一般的な戦略の 1 つは補完であり、これはデータの既知の部分に基づいて欠損値を埋めることを意味します。

この実験では、scikit - Learn に利用可能な前処理技術を探ります。前処理は、学習アルゴリズムに適した形式に生データを変換するのに役立つため、機械学習のワークフローにおいて不可欠なステップです。標準化、スケーリング、正規化、カテゴリカル特徴のエンコーディング、欠損値の補完、多項式特徴の生成、およびカスタムトランスフォーマーの作成など、様々な前処理技術を扱います。

この実験では、scikit - learn ライブラリを使って特徴抽出を行う方法を学びます。特徴抽出は、生データを機械学習アルゴリズムが使用できる数値特徴に変換するプロセスです。これには、テキストや画像など、さまざまな種類のデータから関連情報を抽出することが含まれます。

ハイパーパラメータは、推定器によって直接学習されないパラメータです。これらは、推定器クラスのコンストラクタに引数として渡されます。推定器のハイパーパラメータを調整することは、効果的な機械学習モデルを構築する際の重要なステップです。これには、モデルの最良の性能をもたらすハイパーパラメータの最適な組み合わせを見つけることが含まれます。

部分依存性プロット（PDP）と個別条件期待値（ICE）プロットは、目的変数と一連の入力特徴量の間の相互作用を可視化し分析するための便利なツールです。PDP は目的変数と入力特徴量の間の依存性を示し、ICE プロットは各個々のサンプルに対する予測の特徴量に対する依存性を可視化します。これらのプロットは、目的変数と入力特徴量の関係を理解するのに役立ちます。

機械学習においては、モデルによる予測の品質を評価することが重要です。これにより、モデルがどの程度機能しているか、正確な予測を行うために信頼できるかを理解することができます。scikit - learn ライブラリは、予測の品質を定量化するためのいくつかのメトリックと評価方法を提供しています。

この実験では、予測モデルにおける特徴量の重要度を決定するために使用されるモデル検査技術であるパーミュテーション特徴量重要度法について学びます。この技術は、解釈が難しい非線形または不透明なモデルに対して特に役立つ場合があります。

scikit-learn では、パイプラインと複合推定器を使用して、複数のトランスフォーマーと推定器を単一のモデルに結合します。これは、データ処理に固定された一連のステップ（特徴選択、正規化、分類など）がある場合に便利です。パイプラインは、共通のパラメータ選択にも使用でき、クロスバリデーション中にテストデータの統計情報が学習済みモデルに漏れないようにするためにも使用できます。

機械学習において、各推定器にはその利点と欠点があります。推定器の汎化誤差は、バイアス、分散、ノイズに分解できます。推定器のバイアスは、異なる学習セットに対する平均誤差であり、分散は学習セットの変化に対する感度を示します。ノイズはデータの特性です。

この実験では、scikit - learn が提供する行列分解手法を使って信号をコンポーネントに分解するというトピックを検討します。主成分分析 (Principal Component Analysis: PCA)、独立成分分析 (Independent Component Analysis: ICA)、非負行列分解 (Non - negative Matrix Factorization: NMF) などの手法を扱います。この実験では、信号をそのコンポーネントに分解するプロセスを段階的に案内します。

機械学習において、交差検証は独立したデータセット上でモデルの性能を評価するために使用される手法です。これは、モデルが新しい未見のデータにどの程度一般化できるかをより良く推定することで、オーバーフィッティングを防ぐのに役立ちます。

この実験では、非線形次元削減の手法である多様体学習を検討します。次元削減は、3 次元以上のデータを解釈するのが難しいため、高次元データセットの可視化によく使われます。多様体学習アルゴリズムは、基礎となる構造を維持したデータの低次元表現を見つけることを目的としています。

この実験では、確率変数の確率密度関数を推定するために使用される手法である密度推定を探求します。具体的には、密度を推定する非パラメトリック手法であるカーネル密度推定に焦点を当てます。

共分散推定は、集団の共分散行列を推定するために使用される重要な統計手法です。共分散行列は、データセット内の変数間の関係を記述し、データの散布図の形状に関する貴重な洞察を提供することができます。この実験では、Python の sklearn.covariance パッケージを使用して、共分散行列を推定する様々な方法を検討します。

バイクラスタリングは、データ行列の行と列を同時にクラスタリングする方法です。これにより、データ行列内に特定の特性を持つ部分行列を識別することができます。バイクラスタリングは、データ分析、画像処理、バイオインフォマティクスを含むさまざまな分野で役立ちます。