Qemu调试ARM64 linux内核 IOMMU(SMMU)驱动环境搭建

平台环境

安装64位ARM GCC编译器

sudo apt-get install gcc-aarch64-linux-gnu
sudo apt-get install libncurses5-dev build-essential git bison flex libssl-dev

gcc 版本为gcc version 9.4.0。

Step1:编译busybox-1.33.1.tar.bz2:

git clone https://gitee.com/jiangwei0512/busybox.git

打开静态库编译选项

make menuconfig
Settings --->[*] Build static binary (no shared libs) 

指定编译工具&编译

export ARCH=arm64
export CROSS_COMPILE=aarch64-linux-gnu-
make
make install

编译完成，在busybox目录下生成_install目录。

定制文件系统

为了init进程能正常启动， 需要对busybox生成的_install文件目录再额外进行一些配置：

根目录添加etc、dev和lib目录

$ cd busybox-1.33.1/_install
$ mkdir etc dev lib

在etc目录分别创建文件fstab,init.d/rcS,inittab,inittab，并且编辑内容如下：

fstab:

#device  mount-point    type     options   dump   fsck order
proc /proc proc defaults 0 0
tmpfs /tmp tmpfs defaults 0 0
sysfs /sys sysfs defaults 0 0
tmpfs /dev tmpfs defaults 0 0
debugfs /sys/kernel/debug debugfs defaults 0 0
kmod_mount /mnt 9p trans=virtio 0 0

inittab:

::sysinit:/etc/init.d/rcS
::respawn:-/bin/sh
::askfirst:-/bin/sh
::ctrlaltdel:/bin/umount -a -r

profile:

#!/bin/sh
export HOSTNAME=czl
export USER=root
export HOME=/home
export PS1="[$USER@$HOSTNAME \W]\# "
PATH=/bin:/sbin:/usr/bin:/usr/sbin
LD_LIBRARY_PATH=/lib:/usr/lib:$LD_LIBRARY_PATH
export PATH LD_LIBRARY_PATH

init.d/rcS:

mkdir -p /sys
mkdir -p /tmp
mkdir -p /proc
mkdir -p /mnt
/bin/mount -a
mkdir -p /dev/pts
mount -t devpts devpts /dev/pts
echo /sbin/mdev > /proc/sys/kernel/hotplug
mdev -s

rcS需要有执行权限：

sudo chmod a+x rcS

这里对这几个文件做一点说明：

1. busybox 作为linuxrc启动后， 会读取/etc/profile, 这里面设置了一些环境变量和shell的属性
2. 根据/etc/fstab提供的挂载信息， 进行文件系统的挂载
3. busybox 会从 /etc/inittab中读取sysinit并执行， 这里sysinit指向了/etc/init.d/rcS,所以rcS需要有执行权限。
4. /etc/init.d/rcS 中 ，mdev -s 这条命令很重要， 它会扫描/sys目录，查找字符设备和块设备，并在/dev下mknod。

dev目录添加控制台设备节点：

$ sudo mknod console c 5 1
$ sudo mknod null c 1 3

这一步很重要， 没有console这个文件， 用户态的输出没法打印到串口上。

经过上述步骤改动后的目录结构如下：

lib目录：拷贝lib库，支持动态编译的应用程序运行：

$ cp /usr/aarch64-linux-gnu/lib/*.so*  -a .

Step2-编译内核:

下载内核，使用5.16.12版。

wget -c https://mirrors.tuna.tsinghua.edu.cn/kernel/v5.x/linux-5.16.12.tar.gz

配置，编译内核：

根据arch/arm64/configs/defconfig 文件生成.config

make defconfig ARCH=arm64

将下面的配置加入.config文件中

make menuconfig ARCH=arm64

CONFIG_DEBUG_INFO=y
CONFIG_INITRAMFS_SOURCE="/home/czl/Workspace/aarch64/busybox/busybox/_install" 
CONFIG_INITRAMFS_ROOT_UID=0
CONFIG_INITRAMFS_ROOT_GID=0
CONFIG_UEVENT_HELPER=y

CONFIG_INITRAMFS_SOURCE是指定kernel ramdisk的位置指向上一步busybox编译出来的_install目录，这样指定之后ramdisk会直接被编译到kernel 镜像中。

CONFIG_UEVENT_HELPER支持生成/proc/sys/kernel/hotplug节点，否则rcS脚本会报错。

执行编译内核

make ARCH=arm64 Image -j8  CROSS_COMPILE=aarch64-linux-gnu-

这里指定target为Image 会只编译kernel, 不会编译modules， 这样会增加编译速度.

Step3-编译QEMU

qemu最好源码编译， 用apt-get直接安装的qemu可能版本过低，导致无法启动arm64内核。这里使用4.2.1版本的qemu.

wget https://download.qemu.org/qemu-4.2.1.tar.xz

安装依赖

$ sudo apt install libpixman-1-dev

解压后配置编译：

./configure --target-list=x86_64-softmmu,x86_64-linux-user,arm-softmmu,arm-linux-user,aarch64-softmmu,aarch64-linux-user --enable-kvm --prefix=/home/czl/Workspace/aarch64/linux-kernel/qemu/installmake 
make install

Step4-启动linux内核

/home/czl/Workspace/aarch64/linux-kernel/qemu/install/bin/qemu-system-aarch64 -m 512M -smp 4 -cpu cortex-a57 -machine virt -kernel arch/arm64/boot/Image -append "rdinit=/linuxrc nokaslr console=ttyAMA0 loglevel=8" -nographic

这里对于参数做一些解释：

-m 512M 内存为512M

-smp 4 4核

-cpu cortex-a57cpu 为cortex-a57

-kernel kernel镜像文件

-append传给kernel 的cmdline参数。其中rdinit指定了init进程；nokaslr 禁止内核起始地址随机化，这个很重要， 否则GDB调试可能有问题；console=ttyAMA0指定了串口，没有这一步就看不到linux的输出；

-nographic禁止图形输出.

调试IOMMU（SMMU）

打开内核SMMU支持：

CONFIG_ARM_SMMU=y
CONFIG_ARM_SMMU_V3=y
CONFIG_ARM_SMMU_V3_SVA=y

CONFIG_ARM_SMMU针对SMMU V1和V2的支持驱动，CONFIG_ARM_SMMU_V3支持SVA，我们顺带把CONFIG_ARM_SMMU_V3_SVA打开，但是SVA机制需要设备和IOMMU同时支持，QEMU环境下可能无法验证。

重新编译内核后，在QEMU启动行中加入"iommu=smmuv3"即可支持ARM SMMUV3，命令如下：

$ /home/czl/Workspace/aarch64/linux-kernel/qemu/install/bin/qemu-system-aarch64 -m 512M -smp 4 -cpu cortex-a57 -machine virt,iommu=smmuv3 -kernel arch/arm64/boot/Image -append "rdinit=/linuxrc nokaslr console=ttyAMA0 loglevel=8" -nographic

进入系统后，可以看到系统启动阶段成功创建了IOMMU GROUP0，并且将PCI 0000:00:00.0加入到了此GROUP。

GDB 调试

由于环境是arm64内核，因此需要用gdb-multiarch来进行调试，gdb-multiarch 是 GDB 的一个特定版本或变体，专门为简化多架构调试而生，GDB是“标准”的调试器。它本身也支持多种架构，但通常一次只能针对一种架构，并且在编译时就已经确定了其默认的目标架构。gdb-multiarch是 GDB 的一个“包装”或特殊构建版本。它的核心仍然是 GDB，但其设计目标是能够方便地切换和调试不同CPU架构的代码，而无需用户自己重新编译 GDB。

gdb-multiarch在运行时动态选择目标架构。它内部集成了对众多架构（如 ARM, AArch64, MIPS, RISC-V, x86, PowerPC 等）的支持。

gdb-multiarch安装方式：

sudo apt install gdb-multiarch

调试ARM64内核：

QEMU端启动内核心增加"-S -s"参数，用于进入调试模式并监听来自GDB的连接：

$ /home/czl/Workspace/aarch64/linux-kernel/qemu/install/bin/qemu-system-aarch64 -m 512M -smp 4 -cpu cortex-a57 -machine virt,iommu=smmuv3 -kernel arch/arm64/boot/Image -append "rdinit=/linuxrc nokaslr console=ttyAMA0 loglevel=8" -nographic -S -s

GDB端，执行如下命令进入调试：

$ gdb-multiarch -tui vmlinux -ex "target remote localhost:1234"

在命令行中输入如下命令，增加或者减少GDB命令交互窗口和源码展示窗分割线的位置：

gdb:winheight cmd +1
gdb:winheight cmd -1

SMMU探测入口堆栈,可以看到，用的确实是arm-smmu-v3的驱动：

分配PGD

write CD:

使用LEGACY方式非SVA建立IOMMU页表

对于io设备来说，其stream ID是固定的，在配置io device的dma相关操作时，非常重要的一点就是如何将sid号读取到。实现该部分的函数：iommu_fwspec_init/iommu_fwspec_add_ids，前者负责将struct iommu_fwspec和设备进行初步绑定，后者将SID填充进上一步绑定的iommu_fwspec对象中。

有了结构体iommu_fwspec，就有了io device的设备硬件信息，将会在iommu device probe和attach中发挥重要作用。

参考文档

https://zhuanlan.zhihu.com/p/552686677

https://zhuanlan.zhihu.com/p/12342437416

---

结束