问题现象与背景
在使用PyTorch进行自然语言处理(NLP)任务时，torch.nn.functional.embedding是构建词嵌入层的核心方法。许多开发者在调用该方法时会遇到如下错误提示：
RuntimeError: Expected tensor for argument #1 'indices' to have scalar type Long; but got torch.FloatTensor instead
这个错误明确指出了问题根源：输入张量的数据类型不符合要求。embedding方法要求输入索引必须是Long类型(64位整数)，但实际接收到的却是Float类型(32位浮点数)。
根本原因分析
产生这个错误的主要原因包括：
- 数据预处理不当：原始数据转换为张量时未指定dtype=torch.long
- 自动类型推断失败：PyTorch的自动类型推断机制在某些情况下会生成FloatTensor
- 中间操作改变类型：张量经过某些数学运算后被自动转换为浮点类型
- GPU/CPU传输问题：数据在设备间传输时可能发生意外的类型转换
解决方案
方法1：显式类型转换
最直接的解决方案是使用long()方法转换张量类型：
import torch
# 错误示例
input = torch.tensor([1, 2, 3]) # 默认为FloatTensor
# 正确做法
input = torch.tensor([1, 2, 3], dtype=torch.long)
# 或转换现有张量
fixed_input = input.long()
embedding = torch.nn.functional.embedding(fixed_input, embedding_matrix)
方法2：创建时指定类型
推荐在张量创建时就明确指定类型：
# 从numpy数组创建时
import numpy as np
arr = np.array([1, 2, 3], dtype=np.int64)
tensor = torch.from_numpy(arr) # 自动保持int64类型
方法3：类型检查与断言
在复杂流程中添加类型检查：
assert input.dtype == torch.long, "Input must be LongTensor"
最佳实践
- 建立输入验证机制，确保进入embedding层的数据类型正确
- 使用类型注释明确函数对输入类型的要求
- 在数据加载管道中加入类型转换步骤
- 对混合精度训练场景要特别注意类型一致性
扩展知识
理解PyTorch的类型系统有助于避免类似问题：
| 类型 | 说明 | 对应方法 |
|---|---|---|
| torch.long | 64位整数 | long() |
| torch.int | 32位整数 | int() |
| torch.float | 32位浮点 | float() |
在NLP任务中，词索引必须使用long类型，因为：
- 整数索引才能正确映射到嵌入矩阵的行
- 浮点数可能导致意想不到的舍入误差
- GPU加速对整数运算有特殊优化
常见误区
开发者常犯的几个错误：
- 认为所有数值张量都可以直接用于embedding
- 忽略数据加载器输出的类型
- 在自定义Dataset类中未处理类型转换
- 混淆torch.int和torch.long的区别