问题现象与背景
当开发者使用spacy.blank()方法创建空白语言模型时，经常会遇到如下报错：
ValueError: [E002] Can't find factory for 'tokenizer'
这个错误通常发生在尝试加载或使用新创建的空白模型时，特别是在配置了自定义管道组件但未正确处理基础组件依赖的情况下。根据spacy官方文档统计，这属于blank方法使用过程中最高频的报错之一。
根本原因分析
该错误的核心原因是spacy的组件工厂系统未能找到创建tokenizer所需的工厂函数。具体涉及以下技术细节：
- 语言类注册缺失：未正确注册目标语言的Lang类
- 配置文件冲突：meta.json或config.cfg中tokenizer配置不完整
- 版本兼容性问题：spacy版本升级导致的工厂函数路径变更
- 虚拟环境污染：多个spacy版本共存导致工厂函数加载混乱
5种解决方案
方案1：明确指定语言
最基本的解决方法是创建空白模型时显式声明语言：
nlp = spacy.blank("en") # 明确使用英语
这会使spacy自动加载对应语言的默认tokenizer工厂。
方案2：手动注册工厂
对于自定义语言场景，需要手动注册tokenizer工厂：
from spacy.language import Language
@Language.factory("tokenizer")
def create_tokenizer(nlp, name):
return nlp.tokenizer
方案3：检查配置文件
确保项目中的config.cfg包含正确的tokenizer配置段：
[components.tokenizer] factory = "tokenizer"
方案4：降级或升级spacy
某些版本(如3.0-3.2)存在已知的工厂注册问题，建议：
pip install spacy==3.5.0 # 稳定版本
方案5：完整初始化流程
采用标准化的模型创建流程：
from spacy.lang.en import English nlp = English() # 替代blank方法
深度技术解析
spacy的组件工厂系统采用延迟加载机制，tokenizer作为基础组件具有特殊地位：
- 模型初始化时首先加载tokenizer
- 工厂函数通过装饰器注册到全局registry
- 默认tokenizer会根据语言类型自动选择分词算法
- blank方法跳过了预置语言的自动配置流程
最佳实践建议
为避免此类问题，推荐以下开发规范：
- 始终明确指定语言代码
- 复杂项目使用
spacy project命令管理配置 - 自定义组件时实现完整的工厂接口
- 在CI流程中加入工厂函数测试用例
扩展应用场景
理解此错误有助于处理其他组件类似问题：
| 组件类型 | 常见工厂错误 | 解决方案 |
|---|---|---|
| Tokenizer | E002 | 本文方案 |
| Tagger | E003 | 注册POS标签集 |
| NER | E004 | 配置实体类型 |