一、问题现象与根本原因
在使用PyTorch的BCELoss（二元交叉熵损失）时，开发者常会遇到损失值突然变为NaN的情况。这种情况通常发生在以下场景：
- 模型输出未经Sigmoid激活直接输入BCELoss
- 输入数据存在极端值（如1e-10或1-1e-10）
- 使用自动混合精度(AMP)训练时数值不稳定
二、5种核心解决方案
1. 强制数值截断（Clipping）
# 在模型输出后添加安全截断
pred = torch.clamp(model(input), 1e-7, 1-1e-7)
loss = criterion(pred, target)
2. 使用BCEWithLogitsLoss替代
这个组合函数内部自动处理数值稳定性问题：
criterion = nn.BCEWithLogitsLoss(pos_weight=pos_weight)
loss = criterion(logits, targets) # 无需Sigmoid
3. 数据预处理检查
- 验证标签数据是否严格在[0,1]区间
- 检查输入特征是否存在异常离群值
- 添加批量归一化层稳定数值分布
三、数学原理深度解析
交叉熵损失的数学表达式：
L = -[y·log(p) + (1-y)·log(1-p)]
当p→0或p→1时，log运算会产生无限大的梯度值，这是NaN产生的根本原因。
四、高级调试技巧
| 检查项 | 方法 |
|---|---|
| 梯度爆炸 | torch.isnan(grad).any() |
| 参数异常 | Hook监控各层输出 |