问题现象与诊断
当使用sentence-transformers的embed_documents方法处理大规模文本时，常见报错形式包括：
RuntimeError: CUDA out of memory或
MemoryError: Unable to allocate array with shape...这种现象通常发生在以下场景：
- 批量处理超过10万条文本记录时
- 使用大型模型如all-mpnet-base-v2时
- GPU显存小于16GB的机器上
核心原因分析
通过内存分析工具（如memory_profiler）可定位三个主要内存瓶颈：
- 模型加载开销：基础BERT模型通常占用1.2-3.5GB内存
- 中间矩阵计算：512维向量对100k文本产生(100000×512)的临时矩阵
- Python对象开销：原生列表存储方式导致额外30%内存占用
7种解决方案对比
| 方法 | 内存降低 | 速度影响 | 代码改动 |
|---|---|---|---|
| 分批处理 | 70-90% | +15% | 低 |
| 使用FP16 | 50% | -5% | 中 |
| 内存映射 | 40% | +30% | 高 |
1. 分块处理实现方案
from tqdm import tqdm
def safe_embed(docs, model, batch_size=512):
embeddings = []
for i in tqdm(range(0, len(docs), batch_size)):
batch = docs[i:i + batch_size]
emb = model.encode(batch, convert_to_tensor=True)
embeddings.extend(emb.cpu().numpy()) # 立即释放GPU内存
return np.stack(embeddings)
2. 量化精度优化
通过混合精度训练可显著降低内存：
model = SentenceTransformer('all-MiniLM-L6-v2', device='cuda')
model.half() # 转换为FP16
进阶优化策略
对于超大规模数据集（>1M条），建议：
- 使用
Dask进行分布式计算 - 采用ONNX Runtime替代原生PyTorch
- 启用
pin_memory加速CPU-GPU传输
性能基准测试
在NVIDIA T4显卡（16GB）上的测试数据：
| 方法 | 最大处理量 | 内存峰值 | |---------------|-----------|---------| | 原始方案 | 50k | 15.2GB | | 分块+FP16 | 500k | 8.1GB | | ONNX优化版 | 1M+ | 4.3GB |