本文旨在解决 tokenizers 包特定版本（如 0.12.1）在较新 Rust 编译器环境下安装失败的问题。核心原因在于 Rust 编译器的严格性更新导致旧版 tokenizers 代码不再兼容。教程提供了两种主要解决方案：一是升级 tokenizers 及其相关依赖（如 transformers）到兼容版本；二是临时性地通过设置环境变量来使用旧版 Rust 工具链进行编译。

tokenizers 包安装与 Rust 兼容性问题分析

在使用 pip install tokenizers==0.12.1 命令尝试安装 tokenizers 包时，用户可能会遇到编译错误，尤其是在使用 python 3.6.15 和 rust 1.72.0 或更高版本时。这类错误通常表现为 rust 编译器的警告和错误信息，例如关于可变变量（mutable）的警告和更关键的“将 &t 转换为 &mut t 是未定义行为”的类型转换错误。

warning: variable does not need to be mutable      --> tokenizers-libsrcmodelsunigrammodel.rs:265:21       |   265 |                 let mut target_node = &mut best_path_ends_at[key_pos];       |                     ----^^^^^^^^^^^       |                     |       |                     help: remove this `mut`   ...   error: casting `&T` to `&mut T` is undefined behavior, even if the reference is unused, consider instead using an `UnsafeCell`      --> tokenizers-libsrcmodelsbpetrainer.rs:526:47       |   522 |                     let w = &words[*i] as *const _ as *mut _;       |                             -------------------------------- casting happened here   ...   526 |                         let word: &mut Word = &mut (*w);       |                                               ^^^^^^^^^       |       = note: for more information, visit <https://doc.rust-lang.org/book/ch15-05-interior-mutability.html>       = note: `#[deny(invalid_reference_casting)]` on by default  warning: `tokenizers` (lib) generated 3 warnings error: could not compile `tokenizers` (lib) due to the previous error; 3 warnings emitted

这些错误的核心原因是 Rust 编译器在 1.73.0 版本左右变得更加严格，对某些不安全或潜在未定义行为的类型转换进行了限制。旧版本的 tokenizers 代码中存在此类转换，导致在新版 Rust 编译器下无法通过编译。tokenizers 官方已在 0.14.1 及更高版本中修复了这些兼容性问题。

解决方案一：升级 tokenizers 及其相关依赖

最推荐的解决方案是升级 tokenizers 包到兼容新版 Rust 编译器的版本。然而，这通常会带来依赖链上的变化，特别是对于依赖 tokenizers 的其他库，例如 transformers。

1. 升级 tokenizers 版本： 将 tokenizers 升级到 0.14.1 或更高版本，这些版本已经修复了与新版 Rust 编译器的兼容性问题。

   pip install tokenizers>=0.14.1

2. 同步升级 transformers 版本： 如果你的项目依赖于 transformers 库，并且它要求旧版 tokenizers（例如 transformers==4.19.1 可能要求 tokenizers<0.13），那么仅升级 tokenizers 会导致依赖冲突。在这种情况下，你需要同时升级 transformers 到一个兼容新版 tokenizers 的版本。例如，transformers>=4.36 通常与 tokenizers>=0.14.1 兼容。

   pip install transformers>=4.36 tokenizers>=0.14.1

3. 修改 requirements.txt 文件： 如果你的项目使用 requirements.txt 文件管理依赖，你需要修改文件中对应的行：

   - tokenizers==0.12.1 - transformers==4.19.1 + tokenizers>=0.14.1 + transformers>=4.36

   然后重新安装依赖：

   pip install -r requirements.txt

注意事项：

• 在升级核心依赖库时，务必进行充分的测试，以确保项目的功能不受影响。某些旧项目可能与新版本的库不完全兼容。
• 如果你的项目强制要求使用特定旧版本的 tokenizers，并且无法升级，那么可能需要考虑第二种解决方案。

解决方案二：使用旧版 Rust 工具链（临时性方案）

如果项目对 tokenizers 的版本有严格限制，无法升级，你可以通过强制使用一个较旧的、对代码检查不那么严格的 Rust 编译器版本来绕过这个问题。这可以通过设置 RUSTUP_TOOLCHAIN 环境变量来实现。

1. 确认兼容的 Rust 版本： 根据 tokenizers 官方社区的讨论，Rust 1.72.1 或更早版本可能不会出现此编译错误。你可以尝试使用这些版本。

2. 安装特定 Rust 工具链： 如果你还没有安装 rustup，请先安装它。然后使用 rustup 安装一个旧版工具链。例如，安装 1.72.1 版本：

   rustup install 1.72.1

3. 设置 RUSTUP_TOOLCHAIN 环境变量： 在执行 pip install 命令之前，将 RUSTUP_TOOLCHAIN 环境变量设置为你希望使用的旧版 Rust 工具链。

   • Linux/macOS:

     

     快转字幕

     新一代 AI 字幕工作站，为创作者提供字幕制作、学习资源、会议记录、字幕制作等场景，一键为您的视频生成精准的字幕。

     362

     查看详情

     export RUSTUP_TOOLCHAIN=1.72.1 pip install tokenizers==0.12.1 unset RUSTUP_TOOLCHAIN # 安装完成后可以取消设置

   • Windows (Command Prompt):

     set RUSTUP_TOOLCHAIN=1.72.1 pip install tokenizers==0.12.1 set RUSTUP_TOOLCHAIN= # 安装完成后可以取消设置

   • Windows (PowerShell):

     $env:RUSTUP_TOOLCHAIN="1.72.1" pip install tokenizers==0.12.1 Remove-Item Env:RUSTUP_TOOLCHAIN # 安装完成后可以取消设置

注意事项：

• 这种方法是临时的解决方案，不推荐作为长期策略。因为它依赖于一个过时的 Rust 工具链，可能无法获得最新的性能优化、安全补丁或语言特性。
• 每次需要编译依赖 Rust 的旧版 Python 包时，都可能需要重复设置此环境变量。
• 确保你安装的旧版 Rust 工具链与你的系统兼容。

总结

当遇到 tokenizers 包因 Rust 编译器兼容性问题而安装失败时，首选且最稳健的解决方案是升级 tokenizers 及其相关的 Python 依赖（如 transformers）到最新且兼容的版本。如果项目存在严格的版本限制，无法升级 tokenizers，则可以考虑临时性地通过设置 RUSTUP_TOOLCHAIN 环境变量来使用一个旧版的 Rust 编译器进行编译。无论采用哪种方法，都应在生产环境部署前进行充分的测试，以确保项目的稳定性和功能完整性。