linux-5.10.110内核源码分析 - bcm2711 pcie BAR地址分配
1、pcie地址(bcm2711 Address Maps)
1.1、pcie地址(Address Maps)
1.2、dts(ranges)
pcie0: pcie@7d500000 {
compatible = "brcm,bcm2711-pcie";
reg = <0x0 0x7d500000 0x0 0x9310>;
device_type = "pci";
#address-cells = <3>;
#interrupt-cells = <1>;
#size-cells = <2>;
interrupts = <GIC_SPI 147 IRQ_TYPE_LEVEL_HIGH>,
<GIC_SPI 148 IRQ_TYPE_LEVEL_HIGH>;
interrupt-names = "pcie", "msi";
interrupt-map-mask = <0x0 0x0 0x0 0x7>;
interrupt-map = <0 0 0 1 &gicv2 GIC_SPI 143
IRQ_TYPE_LEVEL_HIGH>,
<0 0 0 2 &gicv2 GIC_SPI 144
IRQ_TYPE_LEVEL_HIGH>,
<0 0 0 3 &gicv2 GIC_SPI 145
IRQ_TYPE_LEVEL_HIGH>,
<0 0 0 4 &gicv2 GIC_SPI 146
IRQ_TYPE_LEVEL_HIGH>;
msi-controller;
msi-parent = <&pcie0>;
ranges = <0x02000000 0x0 0xc0000000 0x6 0x00000000
0x0 0x40000000>;
/*
* The wrapper around the PCIe block has a bug
* preventing it from accessing beyond the first 3GB of
* memory.
*/
dma-ranges = <0x02000000 0x0 0x00000000 0x0 0x00000000
0x0 0xc0000000>;
brcm,enable-ssc;
};
从dts及bcm2711 Address Maps可以看到，pcie的cpu域地址为0x0600000000-0x063fffffff，大小为0x40000000。
2、pcie初始化(brcm_pcie_probe)
2.1、添加资源到pci_host_bridge->windows(pci_add_resource_offset)
对于当前调用栈，pci_add_resource_offset函数的resources参数即为pci_host_bridge->windows，参数res即为dts里面描述的ranges的cpu域地址范围0x0600000000-0x063fffffff以及其他数据，参数offset即为cpu域地址到pci地址的偏移(dts里面cpu域地址-pci域地址)。
2.2、添加资源到pci_bus->resources(pci_bus_add_resource)
2.3、ep配置空间映射(brcm_pcie_map_conf)
配置空间映射(brcm_pcie_map_conf)，bcm2711所有设备配置空间的cpu域地址都是一个地址，通过写PCIE_EXT_CFG_INDEX索引寄存器来区分对不同设备配置空间的读写:
2.4、BAR0资源读取计算(__pci_read_base)
__pci_read_base读取计算BAR0的资源：
计算方法参考上图，计算过程大致可以解释为向BAR写全1，其中上图中的4-25位固定为0，写1之后仍然为0，0-3也是固定的，写1保持不不变；
pci_size的：
u64 size = mask & maxbase; /* Find the significant bits */是将0-3位清0，清0之后，size的高位都为1，低位都为0。
pcie_size的：
size = size & ~(size-1);“(size-1)”因为size的低位都为0，都需要向前借1，借1减1之后0变成1，也就是上图的0-25位都变成1，因为25位需要向26位借1，所以26位变成0，最终就是26位之外的二进制位都为1，“~(size-1)”取反之后除26位之外为1，其他位都为0，“size & ~(size-1)”最终结果还是第26位为1，也就是BAR大小，2的26次方。
3、BAR资源分配(pci_bus_alloc_resource)
3.1、资源管理方式(resource)
BAR资源管理大致如下所示，已分配的资源链接到child，如果资源没有分配那么child为空，child、sibling之间按地址从小到大链接在一起，child及sibling都是已经分配了的资源，child、sibling及sibling、sibling之间的空隙为没有分配的空闲资源(BAR资源要求对齐，对齐之后BAR资源之间有空隙)，child之前及最后一个sibling之后的资源为空闲资源：
3.2、查找空闲资源(__find_resource)
查找空闲资源主要过程就是依次在最前面的空闲资源、已分配的资源节点之间、最后空闲资源里
面查找符合要求的资源区间，然后返回该区间，这里没有分配资源，仅返回空闲区间：
/*
* Find empty slot in the resource tree with the given range and
* alignment constraints
*/
static int __find_resource(struct resource *root, struct resource *old,
struct resource *new,
resource_size_t size,
struct resource_constraint *constraint)
{
struct resource *this = root->child; // 已分配的资源链表
struct resource tmp = *new, avail, alloc;
tmp.start = root->start; // 从root->start开始查找空闲资源
/*
* Skip past an allocated resource that starts at 0, since the assignment
* of this->start - 1 to tmp->end below would cause an underflow.
*/
if (this && this->start == root->start) { // 已经有分配资源，并且root->start已经被分配出去，那么从root->child之后开始查找空闲资源
tmp.start = (this == old) ? old->start : this->end + 1; // old有值为重新分配内存的情况，这里不考虑，从this->end + 1开始查找空闲资源，也就是root->child之后
this = this->sibling; // this指向下一个已分配的资源节点(tmp是介于两个已分配资源节点之间的空闲资源)
}
for(;;) {
if (this)
tmp.end = (this == old) ? this->end : this->start - 1; // tmp的结束地址指向下一个已分配资源的开始地址的前一个地址，空闲资源的结束地址
else
tmp.end = root->end; // tmp之后没有已经分配的资源节点，tmp到资源的最后都是空闲资源
if (tmp.end < tmp.start) // 前后两个节点之间没有空闲资源的情况(两个资源节点的内存紧挨着)
goto next;
resource_clip(&tmp, constraint->min, constraint->max);
arch_remove_reservations(&tmp);
/* Check for overflow after ALIGN() */
avail.start = ALIGN(tmp.start, constraint->align); // 起始地址对齐(对齐之后的地址作为空闲资源的起始地址)
avail.end = tmp.end; // 可用资源的结束地址(tmp.end之后已经被分配了)
avail.flags = new->flags & ~IORESOURCE_UNSET;
if (avail.start >= tmp.start) { // 对齐之后的地址大于等于tmp.start(对齐之后的地址在空闲资源范围内，而不是与前一个已经分配的资源节点的地址重叠冲突)
alloc.flags = avail.flags;
alloc.start = constraint->alignf(constraint->alignf_data, &avail,
size, constraint->align); // 根据pcie硬件参数等，对分配的资源地址进行对齐
alloc.end = alloc.start + size - 1; // 起始地址对齐之后，更新结束地址
if (alloc.start <= alloc.end && // 没看到什么情况会不成立，除非size小于等于0
resource_contains(&avail, &alloc)) { // alloc的地址在可用资源地址范围之内，那么alloc作为查找到的可用资源保存到new，这个时候只是返回一个可用的范围，没有真正申请资源
new->start = alloc.start;
new->end = alloc.end;
return 0;
}
}
next: if (!this || this->end == root->end)
break;
if (this != old) // (对于非重新分配内存，需要更新tmp.start，对于重新分配资源，如果this是旧的节点，那么可以把旧的节点再次分配给新的资源)
tmp.start = this->end + 1; // tmp.start更新为当前sibling结束地址的下一个地址
this = this->sibling; // sibling跟前一个节点之间的空闲资源不满足需要申请的资源，查找当前sibling及下一个sibling之间的空闲资源
}
return -EBUSY;
}
3.3、申请空闲资源(__request_resource)
__request_resource申请空闲资源比较简单，主要就是将前面查找到的空闲资源按起始地址大小插入到pci_bus->resources->child已分配资源链表：
/* Return the conflict entry if you can't request it */
static struct resource * __request_resource(struct resource *root, struct resource *new)
{
resource_size_t start = new->start; // 新申请资源的起始地址
resource_size_t end = new->end; // 新申请资源的结束地址
struct resource *tmp, **p;
if (end < start)
return root;
if (start < root->start)
return root;
if (end > root->end)
return root;
p = &root->child; // 已分配资源的第一个节点
for (;;) {
tmp = *p; // root->child或者tmp->sibling
if (!tmp || tmp->start > end) { // 第一次循环，如果tmp为空，那么资源没有分配，new就是第一个分配的资源节点，root->child指向new即可，非第一次循环tmp为空，表示已经查找到已经分配资源节点的最后一个节点的下一个节点，也就是NULL，那么new就是最后一个节点
new->sibling = tmp; // new节点的下一个节点(new是最后一个节点，那么tmp为NULL，如果new不是最后一个节点，那么tmp是new的下一个节点)
*p = new; // 第一次分配内存资源的情况下，root->child = new；非第一次内存分配，new插入p节点后
new->parent = root;
return NULL;
}
p = &tmp->sibling; // 保存前一个节点的sibling，用于记录new的前区节点
if (tmp->end < start)
continue;
return tmp;
}
}
4、写BAR寄存器(pci_std_update_resource)
4.1、cpu域转pci域地址(pcibios_resource_to_bus)
资源里面分配的地址是cpu域地址，BAR里面保存的是pci域地址，需要找到资源在哪个resource里面，找到pci域到cpu域的地址偏移，cpu域地址减去一个偏移才是BAR寄存器要写入的值，res是cpu域地址，region是最终的pci域地址：
4.2、更新BAR(pci_std_update_resource)
