機器學習 習 中的資料預處理和降維

機器習和資料結構演算法首先要解決的是降維。

降維在機器習中是必要的，原因如下：

降維提高了計算效率。 降維有助於通過減少特徵數量來避免過度擬合，從而限制模型的複雜性。

處理維度災難：隨著維度數量的增加，訓練模型所需的資料量實際上呈指數級增長。 這被稱為“維度災難”。

降維有助於降低資料的維數，從而更容易訓練模型並避免維度災難。

高維資料的視覺化可能具有挑戰性，因為很難在 2D 或 3D 檢視上顯示多個維度。 降維技術，如PCA或T-SNE，可以幫助將資料的維數降低到較低的數字，從而更容易視覺化和理解資料點之間的關係。 PCA是一項古老的技術，但T-SNE被視為用於視覺化高維資料的最先進的技術。

列歸一化和列向量化是機器 習 中常用的兩種資料預處理技術。

列標準化：這裡將資料壓縮成乙個單位立方體正方形，並消除了儲存資料時使用的刻度。 將特徵縮放到公共區域，以確保機器 習 模型中的所有特徵權重相等。 防止具有較大值的特徵主導模型的輸出。

它將處理該特徵，使其進入範圍介於 [0,1] 之間的通用比例，而不考慮特徵的單個比例。

通過確保要素位於單位超立方方中，提高基於距離的演算法（如 k-nn 和 SVM）的效能。 為某些機器習演算法（如神經網路）準備資料，這些演算法在規範化輸入特徵時效能更好。

列向量化：也稱為均值居中。 該過程將處理在任何給定軸上均值為 = 0 且標準差為 1 的要素，無論其分布如何。

將分類資料轉換為可通過機器習演算法處理的數值格式。

通過將高維稀疏資料（如文字資料）轉換為向量格式來降低其維數。

為某些需要數字輸入特徵的機器習演算法（如樸素貝葉斯）準備資料。

通過降低處理分類資料的計算複雜度，提高某些機器習演算法的效能，例如隨機森林和梯度助推器。