android-ndk开发(12): 获取ndk内置clang的版本详情
android-ndk开发(12): 获取ndk内置clang的版本详情
1. 概要
android-ndk 从 r21 版本支持 lld 链接器， 从 r22 版本默认使用 lld 链接器。 最近发现 r21 ~ r25 版本的 lld 链接器有 bug， 在生成可执行文件时， 按命令行提示 lld 默认启用 --no-allow-shlib-undefined 选项， 但实际却表现为 --allow-shlib-undefined 选项; 而在 r26 版本中， 这个 bug 被修复了。
也就是说， ndk 里内置的 lld 和 LLVM 官方的 lld 在 major.minor 版本号一致时， 一个链接报错， 一个不报错， 这让人很困惑。
能否找到 ndk 内置的 clang 和 lld 的版本信息？ 能否精确找到编译这了 clang 和 lld 的 LLVM 源代码仓库、 commit hash？ 因为一旦有了 commit hash， 就可以溯源， 知道为什么会有这个 bug， 以及是否已经修复了这个 bug。
ndk 的 changelog 里没提到这些事， 不过一番尝试， 我找到了答案， 现在记录如下。
2. toolchains/llvm/prebuilt/$HOST_TAG 来源
下载 android-ndk 后会看到 toolchains/llvm/prebuilt/$HOST_TAG 目录， 里面有 clang 和 lld 的二进制文件。 它们是怎么来的？
LLVM 官方仓库： https://github.com/llvm/llvm-project.git
toolchains/llvm-project 仓库： https://android.googlesource.com/toolchain/llvm-project ， 是谷歌安卓团队魔改版本的 LLVM 的源代码， 定期会从 LLVM 上游同步 (grafted commit). 它的一个镜像： https://github.com/msft-mirror-aosp/toolchain.llvm-project.git
toolchains/llvm_android 仓库： https://android.googlesource.com/toolchain/llvm_android ， 看起来是用于编译 clang 的仓库， README.md 也提到了安卓团队用到的 clang 的来龙去脉。
prebuilts 仓库： https://android.googlesource.com/platform/prebuilts/clang/host , 用于存放编译好的 clang 二进制文件。
ndk 源码仓库: https://android.googlesource.com/platform/ndk, 其中 toolchains/llvm/prebuilt/$HOST_TAG 目录是从 prebuilts 仓库下载的， 也就是编译好的二进制文件。
也就是说， 从上面5个仓库， 最终大体得到了 android-ndk 里的 clang 和 lld 等工具链的二进制文件。 这些来龙去脉， 在 https://android.googlesource.com/toolchain/llvm_android/+/refs/heads/mirror-goog-main-llvm-toolchain-source/README.md 有详细描述。
3. 在 manifest.xml 查看版本详情
以 ndk-r27c 为例：
/Users/zz/soft/android-ndk/r27c/toolchains/llvm/prebuilt/darwin-x86_64/manifest_12470979.xml
<project path="toolchain/llvm-project" name="toolchain/llvm-project" revision="d8003a456d14a3deb8054cdaa529ffbf02d9b262" />
也就是说： ndk-r27c 的 toolchains/llvm/prebuilt/$HOST_TAG 目录， 对应的 LLVM 源代码， 位于 toolchain/llvm-project 仓库 (https://android.googlesource.com/toolchain/llvm-project), commit 为 d8003a456d14a3deb8054cdaa529ffbf02d9b262。
commit d8003a456d14a3deb8054cdaa529ffbf02d9b262 (msft-mirror-aosp/llvm-r522817)
Merge: 477610d4d0d9 3c92011b600b
Author: Yi Kong <yikong@google.com>
Date: Mon Feb 19 19:10:28 2024 +0800Merge 3c92011b60 for LLVM update to 522817Test: presubmitChange-Id: If946b1b427b2a2434b8a06b042b8954200aa0c92
这和直接查看 ndk-r27c 里的 clang --version 的输出能对应上：
➜ r27c ./toolchains/llvm/prebuilt/darwin-x86_64/bin/clang --version
Android (12470979, +pgo, -bolt, +lto, -mlgo, based on r522817c) clang version 18.0.3 (https://android.googlesource.com/toolchain/llvm-project d8003a456d14a3deb8054cdaa529ffbf02d9b262)
Target: x86_64-apple-darwin23.6.0
Thread model: posix
InstalledDir: /Users/zz/soft/android-ndk/r27c/./toolchains/llvm/prebuilt/darwin-x86_64/bin
4. 手动下载二进制
既然 android ndk 内置的预编译的 clang 工具链是从 toolchain/llvm-project 仓库编译的， 那么我们也可以直接从这个仓库下载预编译的二进制文件。
汇总各个 ndk release 版本对应的预编译 clang 下载网址：
| ndk | clang | based on | prebuilt link | prebuilt 魔改信息 |
|---|---|---|---|---|
| ndk-r17c | 6.0.2 | r316199 | https://android.googlesource.com/platform/prebuilts/clang/host/windows-x86/+/refs/heads/ndk-release-r17/clang-4691093/ | N/A |
| ndk-r18b | 7.0.2 | r328903 | https://android.googlesource.com/platform/prebuilts/clang/host/windows-x86/+/refs/heads/ndk-release-r18/clang-r328903/ | N/A |
| ndk-r19c | 8.0.2 | r339409 | https://android.googlesource.com/platform/prebuilts/clang/host/windows-x86/+/refs/heads/ndk-release-r19/clang-r339409b/ | N/A |
| ndk-r20b | 8.0.7 | r346389c | https://android.googlesource.com/platform/prebuilts/clang/host/windows-x86/+/refs/heads/ndk-release-r20/clang-r346389c/ | N/A |
| ndk-r21e | 9.0.9 | r365631c3 | https://android.googlesource.com/platform/prebuilts/clang/host/windows-x86/+/refs/heads/ndk-release-r21/clang-r365631c3/ | N/A |
| ndk-r22b | 11.0.5 | r399163b1 | https://android.googlesource.com/platform/prebuilts/clang/host/windows-x86/+/refs/heads/ndk-release-r22/clang-r399163b1/ | N/A |
| ndk-r23c | 12.0.9 | r416183c2 | https://android.googlesource.com/platform/prebuilts/clang/host/windows-x86/+/refs/heads/ndk-release-r23/clang-r416183c2/ | N/A |
| ndk-r24 | 14.0.1 | r437112b | https://android.googlesource.com/platform/prebuilts/clang/host/windows-x86/+/refs/heads/ndk-r24-release/clang-r437112b/ | clang_source_info.md |
| ndk-r25c | 14.0.7 | r450784d1 | https://android.googlesource.com/platform/prebuilts/clang/host/windows-x86/+/refs/heads/ndk-r25-release/clang-r450784d1/ | clang_source_info.md |
| ndk-r26d | 17.0.2 | r487747e | https://android.googlesource.com/platform/prebuilts/clang/host/windows-x86/+/refs/heads/ndk-r26-release/clang-r487747e/ | clang_source_info.md |
| ndk-r27c | 18.0.3 | r522817c | https://android.googlesource.com/platform/prebuilts/clang/host/windows-x86/+/refs/heads/ndk-r27-release/clang-r522817c/ | clang_source_info.md |
| ndk-r28b | 19.0.0 | r530567d | https://android.googlesource.com/platform/prebuilts/clang/host/windows-x86/+/refs/heads/ndk-r28-release/clang-r530567d/ | clang_source_info.md |
这样有什么好处呢？ 可以固定 ndk 版本， 但是更换工具链版本， 那么如果交叉编译的表现有差别， 说明是工具链的问题， 比如我遇到的 LLD 链接器行为的差异， 在 ndk-r26b 中， 通过使用 ndk-r25c 的 lld， 发现了不一样的行为。
4. 总结
android-ndk 使用的 clang / lld 等二进制工具， 是谷歌安卓团队魔改、 编译为二进制、 上传到专门的仓库， 再在 ndk 的发行阶段下载打包。
android-ndk 的 manifest.xml 文件记录了对应的 commit hash。 不过， 仍然需要知道这些仓库的完整地址， 才能得到源码、 切换代码到 commit hash、 或者下载编译好的工具链压缩包。
toolchains/llvm-project 提供了详实的 commit 历史记录， 可以用来排查 bug 的来龙去脉， 比如是 LLVM 官方的 bug， 还是安卓团队没有及时从上游同步导致的 bug。
而直接使用 toolchains/llvm-project 仓库编译的二进制文件， 可以让 ndk 使用不同版本的工具链， 可以快速确定是工具链的问题， 还是 ndk 其他文件的问题。