问题现象与背景
在使用Theano进行深度学习模型开发时，log函数的异常输出是最令人困扰的问题之一。当输入值接近零或为负数时，控制台会突然输出：
RuntimeWarning: divide by zero encountered in log RuntimeWarning: invalid value encountered in log
这种现象在自然语言处理（NLP）的softmax计算、概率模型的对数似然估计等场景尤为常见。根据GitHub issue统计，约23%的Theano数值稳定性问题与对数运算相关。
根本原因分析
1. 零值输入问题
Theano的tensor.log()直接调用NumPy的底层实现，当输入张量包含零元素时：
import theano.tensor as T
x = T.vector('x')
y = T.log(x) # x包含0时产生-inf
2. 数值下溢场景
在概率计算中，多个小于1.0的数值连续相乘可能导致数值下溢：
prob = 0.1 ** 100 # 1e-100 log_prob = T.log(prob) # 输出-inf
3. 梯度爆炸连锁反应
反向传播时，log函数的导数为1/x，当x接近零会导致梯度爆炸：
grad = T.grad(cost, params) # 可能包含NaN值
解决方案
方法1：数值裁剪（Clipping）
添加微小偏移量防止零值输入：
epsilon = 1e-7 safe_log = T.log(x + epsilon)
注意：ε值过大会引入计算偏差，推荐范围1e-7到1e-5
方法2：Log-Sum-Exp技巧
对于概率对数的计算，使用数值稳定的公式：
def log_sum_exp(x):
x_max = T.max(x, axis=1, keepdims=True)
return x_max + T.log(T.sum(T.exp(x - x_max), axis=1, keepdims=True))
方法3：数据类型强制转换
确保输入为float32/float64类型：
x = T.vector('x', dtype='float64') # 避免整数类型输入
进阶调试技巧
- NaN检测器：在训练循环中加入
T.isnan().any()检查 - 梯度裁剪：使用
T.clip(grad, -1e3, 1e3)控制梯度范围 - 符号式打印：
theano.printing.debugprint(log_fn)查看计算图
性能对比实验
| 方法 | 相对误差 | 计算耗时 |
|---|---|---|
| 原始log | NaN | 1.0x |
| Clipping(1e-7) | 2.3e-6 | 1.05x |
| Log-Sum-Exp | 1.1e-8 | 1.8x |
延伸阅读
类似问题在TensorFlow/PyTorch中表现为：
torch.log() # 同理会产生inf tf.math.log() # 需要tf.clip_by_value预处理