機器習中的平衡和非平衡資料集以及如何解決它們

在機器習中，不平衡資料集是每個類中樣本數量不相等的資料集。 例如，如果資料集有兩個類別，其中乙個類別有 95% 的樣本，另乙個類別只有 5%，則資料集是不平衡的。

另一方面，平衡資料集是每個類中樣本數量大致相等的資料集。 平衡的資料集是可取的，因為它們可以防止機器習模型偏向多數類。

可以使用多種技術來解決不平衡的資料集，例如重取樣、修改成本函式和使用不同的演算法。 重取樣是通過對少數類進行過取樣或對多數類進行欠取樣來更改資料集中樣本數的過程。

過取樣是增加少數樣本數量的過程，而欠取樣是減少多數樣本數量的過程。

有多種過取樣和欠取樣技術，包括：

隨機過取樣：該技術涉及隨機複製少量樣本，直到達到所需的平衡水平。

隨機欠取樣：該技術涉及從大多數類別中隨機刪除樣本，直到達到所需的平衡水平。

SMOTE（合成少數過取樣技術）：SMOTE 通過從少量類別中選擇相似樣本並建立乙個新樣本作為這些相似樣本的線性組合來建立合成樣本。

Tomek 鏈結：Tomek 鏈結是來自不同類的樣本對，它們彼此非常接近。 使用 Tomek 鏈結進行欠取樣涉及從此類對中刪除大多數類樣本。

Adasyn（自適應合成取樣）：Adasyn 通過使用密度分布為少數類別生成合成樣本。

在分類中，過取樣和欠取樣用於在訓練模型之前平衡資料集。 目標是確保模型不會偏向多數類別，這可能導致少數類別表現不佳。