XGBoost处理类别不平衡数据的几种经典方法与效果对比

Peng Yan 2026-08-05 09:04

一、类别不平衡数据问题概述

在实际的数据挖掘和机器学习项目里，我们经常会碰到类别不平衡的数据。啥叫类别不平衡呢？就是数据集中不同类别的样本数量差异特别大。比如说，在信用卡欺诈检测里，正常交易的数量那是远远多于欺诈交易的；在疾病诊断中，健康人的样本通常也比患病者的样本多很多。

要是直接用这些不平衡的数据来训练模型，模型很容易偏向样本数量多的类别，导致对样本数量少的类别识别效果很差。就好比一个人只见过很多正常的苹果，没见过几个坏苹果，那他在判断苹果好坏的时候，就很可能把坏苹果也当成好苹果。所以啊，处理类别不平衡数据就变得很重要了，尤其是当我们使用 XGBoost 这种强大的机器学习算法的时候。

二、XGBoost 简介

XGBoost 是一种非常流行的梯度提升库，它的全称是 Extreme Gradient Boosting。 gradients 指的是梯度，它是一种能够最小化损失函数的方法，大家可以联想下山的过程，我们总是希望朝着最陡峭的方向前进，这样能最快到达山底，梯度就是这个陡峭的方向。而 Boosting 是一种集成学习方法，说简单点，就是把好多弱的学习器组合起来，形成一个强大的学习器。打个比方，就像一群小蚂蚁各自的力量很弱，但它们团结起来就能搬动比自己重很多的东西。

XGBoost 很厉害，它的训练速度快，预测精度高，还能自动处理特征的缺失值。它在很多数据挖掘竞赛和实际项目里都取得了很好的成绩，所以很多开发者都喜欢用它。下面是一个简单的 XGBoost 使用示例，技术栈是 Python：

import xgboost as xgb
import numpy as np
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split

# 生成一个简单的分类数据集
X, y = make_classification(n_samples=1000, n_features=10, n_informative=5, n_classes=2, random_state=42)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 将数据转换为 XGBoost 支持的 DMatrix 格式
dtrain = xgb.DMatrix(X_train, label=y_train)
dtest = xgb.DMatrix(X_test)

# 定义模型参数
params = {
    'objective': 'binary:logistic',  # 二分类问题
    'eval_metric': 'logloss',  # 评估指标为对数损失
    'max_depth': 3,  # 树的最大深度
    'eta': 0.1  # 学习率
}

# 训练模型
num_round = 100
model = xgb.train(params, dtrain, num_round)

# 进行预测
y_pred = model.predict(dtest)

# 简单输出前 10 个预测结果
print(y_pred[:10])

在这个例子中，我们先创建了一个简单的二分类数据集，然后把它分成训练集和测试集。接着把数据转换成 XGBoost 能处理的 DMatrix 格式，定义好模型的参数，训练模型，最后进行预测并输出前 10 个预测结果。

三、处理类别不平衡数据的经典方法

3.1 重采样方法

重采样方法主要有过采样和欠采样两种。

3.1.1 过采样

过采样就是增加少数类别的样本数量。最常用的过采样方法是随机过采样，简单来说，就是把少数类别的样本进行复制。假设在一个数据集中，好苹果有 90 个，坏苹果只有 10 个，随机过采样就是多复制一些坏苹果，让坏苹果的数量和好苹果差不多。

下面是一个使用 Python 的 imblearn 库进行随机过采样的示例：

from imblearn.over_sampling import RandomOverSampler
from sklearn.datasets import make_classification
import numpy as np

# 生成不平衡数据集
X, y = make_classification(n_samples=1000, n_classes=2, weights=[0.9, 0.1], random_state=42)

# 创建随机过采样对象
ros = RandomOverSampler(random_state=42)

# 进行过采样
X_resampled, y_resampled = ros.fit_resample(X, y)

# 输出采样前后少数类样本数量
print(f"采样前少数类样本数量: {np.sum(y == 1)}")
print(f"采样后少数类样本数量: {np.sum(y_resampled == 1)}")

在这个示例中，我们先创建了一个不平衡的数据集，然后使用 RandomOverSampler 进行随机过采样，最后输出采样前后少数类样本的数量。可以看到，采样后少数类样本数量增加了。

3.1.2 欠采样

欠采样就是减少多数类别的样本数量。随机欠采样就是从多数类中随机选择一部分样本删除。还是拿苹果的例子来说，就是从 90 个好苹果中随机拿走一些，让好苹果和坏苹果数量差不多。

下面是一个使用 Python 的 imblearn 库进行随机欠采样的示例：

from imblearn.under_sampling import RandomUnderSampler
from sklearn.datasets import make_classification
import numpy as np

# 生成不平衡数据集
X, y = make_classification(n_samples=1000, n_classes=2, weights=[0.9, 0.1], random_state=42)

# 创建随机欠采样对象
rus = RandomUnderSampler(random_state=42)

# 进行欠采样
X_resampled, y_resampled = rus.fit_resample(X, y)

# 输出采样前后多数类样本数量
print(f"采样前多数类样本数量: {np.sum(y == 0)}")
print(f"采样后多数类样本数量: {np.sum(y_resampled == 0)}")

在这个示例中，我们同样先创建不平衡数据集，然后使用 RandomUnderSampler 进行随机欠采样，最后输出采样前后多数类样本的数量，可以看到多数类样本数量减少了。

3.2 调整样本权重

XGBoost 可以通过调整样本的权重来处理类别不平衡问题。我们可以给少数类别的样本赋予更高的权重，这样模型在训练的时候就会更加关注这些少数类样本。

下面是一个调整样本权重的示例：

import xgboost as xgb
import numpy as np
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split

# 生成不平衡数据集
X, y = make_classification(n_samples=1000, n_classes=2, weights=[0.9, 0.1], random_state=42)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 计算样本权重
weights = np.ones(len(y_train))
weights[y_train == 1] = 9  # 给少数类样本赋予更高的权重

# 将数据转换为 XGBoost 支持的 DMatrix 格式
dtrain = xgb.DMatrix(X_train, label=y_train, weight=weights)
dtest = xgb.DMatrix(X_test)

# 定义模型参数
params = {
    'objective': 'binary:logistic',
    'eval_metric': 'logloss',
    'max_depth': 3,
    'eta': 0.1
}

# 训练模型
num_round = 100
model = xgb.train(params, dtrain, num_round)

# 进行预测
y_pred = model.predict(dtest)

print(y_pred[:10])

在这个示例中，我们先创建了一个不平衡的数据集，然后计算样本权重，给少数类样本赋予了更高的权重。接着把数据转换为 DMatrix 格式并传入权重，最后训练模型进行预测。

3.3 修改评估指标

在类别不平衡的情况下，使用传统的评估指标（如准确率）可能会误导我们。因为即使模型把所有样本都预测为多数类，准确率可能也会很高。所以我们需要使用一些更适合类别不平衡数据的评估指标，比如精确率、召回率、F1 值和 AUC - ROC 等。

精确率就是模型预测为正类的样本中，实际为正类的比例；召回率是实际为正类的样本中，被模型预测为正类的比例；F1 值是精确率和召回率的调和平均数；AUC - ROC 是ROC曲线下的面积，它能反映模型在不同阈值下的分类性能。

下面是一个使用这些评估指标的示例：

from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
import xgboost as xgb
from sklearn.metrics import precision_score, recall_score, f1_score, roc_auc_score

# 生成不平衡数据集
X, y = make_classification(n_samples=1000, n_classes=2, weights=[0.9, 0.1], random_state=42)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 将数据转换为 XGBoost 支持的 DMatrix 格式
dtrain = xgb.DMatrix(X_train, label=y_train)
dtest = xgb.DMatrix(X_test)

# 定义模型参数
params = {
    'objective': 'binary:logistic',
    'eval_metric': 'logloss',
    'max_depth': 3,
    'eta': 0.1
}

# 训练模型
num_round = 100
model = xgb.train(params, dtrain, num_round)

# 进行预测
y_pred_proba = model.predict(dtest)
y_pred = (y_pred_proba > 0.5).astype(int)

# 计算评估指标
precision = precision_score(y_test, y_pred)
recall = recall_score(y_test, y_pred)
f1 = f1_score(y_test, y_pred)
auc_roc = roc_auc_score(y_test, y_pred_proba)

print(f"精确率: {precision}")
print(f"召回率: {recall}")
print(f"F1 值: {f1}")
print(f"AUC - ROC: {auc_roc}")

在这个示例中，我们先创建了一个不平衡的数据集，然后训练模型进行预测。接着计算了精确率、召回率、F1 值和 AUC - ROC，并输出这些评估指标的值。

四、效果对比与分析

4.1 实验设置

我们使用一个模拟的不平衡数据集，其中多数类样本占 90%，少数类样本占 10%。将数据集划分为训练集（80%）和测试集（20%）。分别使用上述三种方法处理数据，然后训练 XGBoost 模型，最后使用精确率、召回率、F1 值和 AUC - ROC 来评估模型的性能。

4.2 实验结果与分析

通过实验，我们发现不同的处理方法对模型性能的提升效果不同。

重采样方法中，过采样可以增加少数类样本的多样性，但可能会导致过拟合，因为有些样本是复制出来的。欠采样会减少数据量，可能会丢失一些有用的信息。不过总体来说，重采样后的模型在少数类的召回率上有明显提升。

调整样本权重的方法比较简单直接，它能让模型更加关注少数类样本。在一些情况下，使用调整样本权重的方法可以在不改变数据集的情况下提升模型对少数类的识别能力，模型的 F1 值和 AUC - ROC 可能会有较好的表现。

修改评估指标可以更准确地反映模型在类别不平衡数据上的性能。如果我们只看准确率，可能会觉得模型效果不错，但实际上模型对少数类的识别能力很差。使用精确率、召回率、F1 值和 AUC - ROC 等指标，可以让我们更全面地了解模型的性能。

五、应用场景

处理类别不平衡数据在很多领域都有应用，比如：

5.1 金融领域

在信用卡欺诈检测中，正常交易的数量远远多于欺诈交易。使用 XGBoost 处理类别不平衡数据，可以提高对欺诈交易的识别能力，减少金融损失。

5.2 医疗领域

在疾病诊断中，健康人的样本通常比患病者的样本多。通过处理类别不平衡数据，可以提高对疾病的诊断准确率，帮助医生更早地发现疾病。

5.3 网络安全领域

在入侵检测中，正常的网络访问行为远远多于入侵行为。处理类别不平衡数据可以提高对网络入侵的检测能力，保障网络安全。

六、技术优缺点

6.1 优点

重采样方法：简单易懂，实现起来比较方便，能直接改变数据集的分布，让模型更加关注少数类样本。
调整样本权重：不需要改变数据集，只需要在训练模型时调整样本的权重，计算成本较低。
修改评估指标：能更准确地评估模型在类别不平衡数据上的性能，帮助我们选择更合适的模型。

6.2 缺点

重采样方法：过采样可能会导致过拟合，欠采样可能会丢失有用信息。
调整样本权重：权重的设置比较依赖经验，没有一个通用的方法来确定最佳的权重。
修改评估指标：只是一种评估手段，不能直接提升模型的性能，还需要结合其他方法来处理数据。

七、注意事项

在使用重采样方法时，要注意过拟合和信息丢失的问题。可以使用交叉验证等方法来评估模型的性能，避免过拟合。
调整样本权重时，要多尝试不同的权重设置，找到最适合数据集的权重。
修改评估指标时，要根据具体的业务需求选择合适的指标。比如在信用卡欺诈检测中，可能更关注召回率，因为我们希望尽可能多地发现欺诈交易。

八、文章总结

处理类别不平衡数据是机器学习中的一个重要问题，尤其是当我们使用 XGBoost 这样强大的算法时。本文介绍了三种经典的处理方法，包括重采样方法（过采样和欠采样）、调整样本权重和修改评估指标，并通过详细的示例进行了说明。通过实验对比，我们发现不同的方法对模型性能的提升效果不同，在实际应用中需要根据具体情况选择合适的方法。同时，我们还介绍了这些方法的应用场景、优缺点和注意事项，希望能帮助开发者更好地处理类别不平衡数据。

XGBoost处理类别不平衡数据的几种经典方法与效果对比

一、类别不平衡数据问题概述

二、XGBoost 简介

三、处理类别不平衡数据的经典方法

3.1 重采样方法

3.1.1 过采样

3.1.2 欠采样

3.2 调整样本权重

3.3 修改评估指标

四、效果对比与分析

4.1 实验设置

4.2 实验结果与分析

五、应用场景

5.1 金融领域

5.2 医疗领域

5.3 网络安全领域

六、技术优缺点

6.1 优点

6.2 缺点

七、注意事项

八、文章总结

Comments

关联文章

AI助手

一、类别不平衡数据问题概述

二、XGBoost 简介

三、处理类别不平衡数据的经典方法

3.1 重采样方法

3.1.1 过采样

3.1.2 欠采样

3.2 调整样本权重

3.3 修改评估指标

四、效果对比与分析

4.1 实验设置

4.2 实验结果与分析

五、应用场景

5.1 金融领域

5.2 医疗领域

5.3 网络安全领域

六、技术优缺点

6.1 优点

6.2 缺点

七、注意事项

八、文章总结

同分类面试题

Comments

关联文章

AI助手