错误处理

错误分类

PCIE 错误可以简单2类 ：

• Uncorrectable error （不可纠正）
  • Fatal error （致命）
  • Non-Fatal error （非致命）
• Correctable error （可纠正）

这种分类的好处是可以将功能错误和性能错误分隔开，Correctable 属于性能相关的错，因为它是可以自动纠正的，不需要软件参与，不会影响功能，只会影响性能，Uncorrectable error 属于功能错误，硬件不能自动恢复，可能会影响功能。不可纠正的错按照严重等级又可以分为 Fatal 和 Non-Fatal。

这些又可以发生在数据链路层，物理层，传输层和内部。

Correctable Error

Correctable error 可以通过链路进入 Recovery 或者重传等方式来纠正，不会丢失任何信息，整个过程硬件自动完成，不需要借助软件操作。

Correctable Error 的具体类别如下，Correctable Error Status寄存器的不同比特用于表明改错误是否发生过：

其中 Advisory Non-Fatal Error 又是比较特殊的，它是由某些 Non-Fatal Error 演变而来。

Receiver Error

receiver error

Bad TLP

Flit 模式下没有 Bad TLP 这种错误*

下面这些情况会触发 bad tlp:

• 如果 TLP 是 nullified （无效），但 LCRC 与计算值的逻辑“非”运算结果并不相符。
• 接收到 TLP 中的 LCRC 和计算的不一致
• 如果 TLP Sequence Number 跟期望值不一样， TLP Sequence Number 不满足 (NEXT_RCV_SEQ – TLP Sequence Number) mod 4096 > 2048 且清掉了 NAK_SCHEDULED 标志
• 如果 TLP Sequence Number 跟期望值不一样， TLP Sequence Number 不满足 (NEXT_RCV_SEQ – TLP Sequence Number) mod 4096 > 2048 且设置了 NAK_SCHEDULED 标志，这里是允许但是不推荐设置为 Bad TLP

Bad DLLP

Flit 模式下没有 Bad DLLP 这种错误*

下面这些情况会触发 bad dllp:

• 接受到 DLLPs 中的 CRC 值跟计算出来的不匹配

Advisory Non-Fatal Error

在某些情况下，检查 Non-Fatal 的逻辑可能认为改错误不需要恢复，但是实际情况这种 Non-Fatal是需要恢复的，或者它甚至根本不需要任何恢复措施。

例如，如果软件尝试用 configuration read (配置读) 去访问不存在的设备或功能，Completer 返回的 Completion 中 Completion Status 会是 UR，这会向软件发出错误信号，既软件收到的内容是有误的。Completer 除了发送 ERR_NONFATAL Msg 来发出错误信号之外，Completer 不需要其他软件来发出错误信号。既不需要返回 UR 的 Completion。

事实上，在某些平台上，使用 ERR_NONFATAL 发出错误信号会导致系统错误，从而中断正常的软件探测。

Advisory Non-Fatal Error 主要取决于具体错误和检测代理的角色(Requester, Completer 或者 Receiver )。在某些情况下，启用 AER 的代理在发送 non-fatal error 信号时，实际向软件发送的是 ERR_COR Msg 而不是 ERR_NON FATAL Msg。如果代理不支持 AER，则软件在接收到 ERR_COR 时无法区分是 Advisory Non-Fatal Error（Advisory Non-Fatal Error 是 AER中的一个功能） 还是用于评估链路完整性的Correctable Error，所以没有 AER 功能的代理对于这些情况不会发送任何 error msg。

对于通常属于 Advisory Non-Fatal Error 的情况，如果软件希望某个具有 AER 特性的代理应被视为更为严重的情况，那么软件可以将 uncorrectable error 的严重等级提升至 fatal. 。在这种情况下，如果代理功能已启用，该代理将用 ERR_FATAL 标识该错误。

以下是 Advisory Non-Fatal 的具体情况。请注意，同一个或不同类别的错误（correct able，non-fatl, fatal ）可能会出现在同一个 TLP 中，且可能存在多处此类错误。

比如 ： 不预期的 Completion 可能也是 poisoned 的，针对这种情况，建议报告 Unexpeced Completion，并且不报告接收到 Poisoned TLP

Complter 发送 UR/CA Stauts 的 Completion

Completer 在收到 Non-Posted 请求后，如果需要记录是一个 uncorrectable error，通常是发送 cpl status 为 UR （Unsupported Request） 或者 CA(Completer Abort) 的 Completion，如果 UR/CA 的严重等级是 non-fatal，Complter 在这种情况下必须处理为 Advisory Non-Fatal Error。支持 AER 的 Complter 通过发送 ERR_COR Msg 来记录 non-fatal error （如果启用）。不支持 AER 的 Completer 在这种情况下不会发送 error msg。 如果 UR/CA 的严重等级是 fatal, 则当成fatal error 来处理

Intermediate Receiver （中间接收方）

当接收机接收到一个TLP，但是这个 TLP 的最终目录的不是指向自己，且该 TLP 是一个 non-fatal 的错误，中间的接收机必须把这个处理为 Advisory Non-Fatal Error。如果接收机支持 AER 并且使能了错误记录，那么会通过发送 ERR_COR msg 来记录这个错误。如果接受不支持 AER，在这种情况下将不会发送 error msg。

例如 ： switch 在路由的 TLP 中检测到了 poison 或者错误的 ECRC，即使该错误在 TLP 路由规则中属于 uncorrectable (但不是 non-fatal )，中间的接收机必须把这处理为 Advisory Non-Fatal Error，这样一来，TLP 的最终接收方（即请求 TLP 的 Completer，或者 Completion TLP 需要发送给的 Requester ）就能够根据自身的错误设置更恰当地处理错误了。例如，某个特定的 Completer 检测到 Memory Write 是 posion 的，可能会将该错误屏蔽（从而不会发出信号），而同一层级中的另一个 Completer 则可能会以 ERR_NONFATAL 标识该错误。

Poisoned TLP Egress Blocked error 永远不会被当作中间接收方的情况进行处理，因为该错误并非在处理接收到的 TLP 过程中被检测到的。

当一个 TLP 在两个 Root Ports 之间点对点传输时，如果 RC 检测到了一个 non-fatal error，但是 RC 在继续传播事务时并不支持传播这些错误相关的信息（比如 TLP Digest, EP 位或者 equivalent），且使能了错误记录，则 RC 必须发送 ERR_NONFATAL 来记录这个错误并且不能在继续转发该事务。

比如 ： 一个（RC）需要在 Root Ports 之间点对点的转发 poisoned TLP，但 RC 的内部架构并不支持 poison 指示功能。

Ultimate PCI Express Receiver of a Poisoned TLP or IDE TLP with PCRC Check Failed

最终的 PCIe 接收方收到的 Poisoned TLP 或者 IDE TLP 中 PCRC 检查不过

当最终的 PCIe 接收方收到一个 poisoned TLP，如果严重等级是 non-fatal 并且接收机选择不把这种情况处理为 uncorrectable error，接收既必须把这种情况处理为 Advisory Non-Fatal Error。

当在最终目的地端口确定一个 IDE TLP 会出现 PCRC 检查失败的错误时，如果该严重性为非 non-fatal，并且接收方以允许继续运行的方式处理了 poisoned 的数据，接收机必须将这种情况处理为 Advisory Non-Fatal Error，接收机如果支持 AER 并且使能了错误记录，则通过发送 ERR_COR msg 来记录该错误，不支持 AER 的接收机在这种情况下不会发送 error msg

在下列情况下，接收机紧张处理为 Advisory Non-Fatal Error:

1. 把某个错误当成 Correctable Error 后，并且在配置正确的情况下持续工作，但是会导致数据静默错误(突然出错，没法纠正)
2. pcie6.2 2.7.2.1 中的一些规则需要处理为 uncorrectable error

例如 ： RC 收到的一笔 Memroy Write TLP 是 poisoned 的，该 TLP 的目标是 host memory, 如果 RC 继续传播该 poisoned 数据到 host memory，如果使能了错误记录，则 RC 需要发送 ERR_COR 来记录该错误；如果 RC 不继续传播 poison 数据到 host memroy, 在使能了错误记录的情况下，RC 通过发送 ERR_NONFATAL msg 来记录该错误

Requester 收到了一笔 Memory Read Completion TLP，该 TLP 是 poisoned 的，如果 Requester 在内部传播了 poisoned 的数据，或者像处理带有 UR/CA 的 Completion 那样来处理此错误，在使能了错误记录的情况下，通过发送 ERR_COR msg 来记录该错误，如果 Requester 未能以一种能确保系统继续运行的方式处理 poison 的数据，在使能了错误记录的情况下，他通过发送 ERR_NONFATAL 来记录这个错误

Requester with Completion Timeout

适用出 Root Ports 之外的 Requester 执行 programmed I/O (PIO).

当 Requester 发送出一个 Non-Posted 请求，等待对应的 Completion 超时后，Requester 允许随后在发送一个单独的请求来从错误中恢复。Requester 允许尝试恢复 0 次，1 次和多次（有限次），但是如果使能了错误记录且如果不再进行任何进一步的恢复尝试的话，则需要通过发送 uncorrectable error msg 来记录这个错误。

如果 Completion Timeout 的严重等级是 non-fatal, 并且 Requester 选择通过发出新的请求来尝试进行恢复操作，Requester 必须首先把当前错误情况情况当作 Advisory Non-Fatal Error ，如果 Requster 具有 AER 且使能了错误记录，通过发送 ERR_COR msg 来记录这个错误，Requester 如果不具备 AER，在这种情况下不会发送 error msg。

请注意，只有在 Non-Posted 没有产生任何副作用的情况下，Requester 才能通过自动恢复机制从 Completion Timeout 机制中恢复过来，但这也可能取决于本规范范围之外的其他因素。

Receiver of an Unexpected Completion

当接收机收到一个 unexpected Completion 并且 unexpected completion 的严重等级是 non-fatal, 接收机必须把这种情况处理为 Advisory Non-Fatal 错误。如果接收机支持 AER 且使能了错误记录，则需要发送 ERR_COR msg 来记录，不支持 AER 的接收机在此情况下不会发送 error msg.

如果 unexpected completion 是错误路由的结果，相关联的 Requester 最终会触发 Completion Timeout 机制，Requester 可以选择尝试恢复，接收机通过将 unexpected completion 的视为 Advisory Non-Fatal Error，可以避免对 Requester 恢复过程的干扰。

Uncorrectable Errors

Uncorrectable Errors 不能通过重新进入Recovery等简单方式来恢复，协议没有定义任何机制来纠正这些错误，上报 uncorrectable error 跟 PCI/PCI-X 中设置 SERR# 类似，

Uncorrectable Error 的具体类别如下，Uncorrectable Error Status （AER 中偏移地址为 04h）寄存器用来表示 PCI Express Function 检测到的每一种单独的错误。当某个错误状态被置起来后，就表明检测到了相应的错误（只有支持 AER 的 Function 才会置位），但是反过来就不一定了，发生了某个错误后，并不一定就会置位对应的比特，还涉及到该种错误类型是否被屏蔽 （mask）以及该种错误的严重等级 （serviery）。系统软件可以往对应的比特写 1 来清掉对应的比特，某个 Function 没有实现的寄存器比特必须在硬件上固定为 0.

Uncorrectable Error 按照严重程度可以分为 Non-Fatal Error 和 Fatal Error，将 Non-Fatal Errors 与 Fatal Errors 区分开来的好处：

• 设备或系统管理软件中的请求者/接收者可以不重置链路上的组件
• 不干扰正在进行的其他事务的情况下可以尝试恢复

是否屏蔽某种错误是由 AER 中 Uncorrectable Error Mask Register (偏移地址为 08h) 来决定，当对应比特设置为 1 时，就表示屏蔽该种错误，及时产生了该种错误，也不会记录在 AER 中的 Uncorrectable Error Register 中。

也可以通过设置 uncorrectable error 的严重等级，让该错误变为 Fatal 或者 Non-Fatal，具体是由 AER 中的 Uncorrectable Error Severity Register (偏移地址为0Ch) 寄存器来控制，如果为 1，则该错误是 Fatal，如果是 0，则对应的错是 non-Fatal 的，而某些 Non-Fatal 在特定情况下又可以变为 advisory non fatal（比如Unexpected Completion），属于 correctable error，不同的错 severity 默认值不一样，因为某些错误默认是 Fatal 的

Note 1 ： 如果对应的 mask 实现了，则 Severity 也需要实现，否则硬件固定为 0

Fatal Errors

Fatal Errors 表明链路或者硬件已经不在可信。对于 Fatal Errors，需要链路复位来重新获得可靠的操作，平台如何处理 Fatal Errors，和怎么限制 Fatal Errors 的效果，需要平台自定义实现。

在 Uncorrectable Errors 中，下面这些属于 Fatal Error :

• Data Link Protocol Error
• Surprise Down
• Receiver Overflow
• Flow Control Protocol Error
• Malformed TLP
• IDE Check Failed

Data Link Protocol Error

下面这些行为会触发 Data Link Protocol Error:

• non Flit mode 下
  • 收到 Ack 和 Nak DLLPs 时，如果由 AckNak_Seq_Num 指定的 sequence number 与 unacknowledged TLP （没回 ack 的 TLP ）或 ACKD_SEQ 中的值不匹配 – non Flit mode
• flit mode 下
  • non-NOP TLPs , Flit 的 bytes 0 到 127 或者 bytes 128 到 235 中，少于 8 个 TLPs（包括不完整的 TLP） – flit mode
  • 收到 Flit Usage 字段为保留的 Flit (可选检查)
  • 收到 Flit_Marker 中 Flit_Status 为保留编码的 Flit (可选检查)
  • 收到无效 sequence number 的 Flit
  • 违反 TLP 组包规则
  • 收到 Ack Flit 或者 Nak Flit 中，Flit Sequence Number 无效且下面条件都不满足
    • ((NEXT_TX_FLIT_SEQ_NUM – 1) – N) mod 1023 > MAX_UNACKNOWLEDGED_FLITS
    • (N – ACKD_FLIT_SEQ_NUM) mod 1023 > MAX_UNACKNOWLEDGED_FLITS

Non-Fatal Errors

Non-Fatal Errors 是指无法修正的错误，这类错误会导致特定传输不可靠，但链接本身仍能正常运行。与该事务无关的设备不会受到此错误的影响。

在 Uncorrectable Errors 中，下面这些属于 Non-Fatal Error :

• Poisoned TLP Received
• Poisoned TLP Egress Blocked
• ECRC Check Failed
• Unsupported Request (UR)
• Completion Timeout
• Completer Abort
• Unexpected Completion
• ACS Violation
• MC Blocked TLP
• AtomicOp Egress Blocked
• DMWr Request Egress Blocked
• TLP Translation Egress Blocked
• TLP Prefix Blocked
• Misrouted IDE TLP
• PCRC Check Failed

错误来源

在pcie中，错误可能是由于链路上发生，或者是在内部产生。

物理层错误列表

数据链路层错误列表

传输层错误列表

错误相关寄存器和信号

错误信号和记录

在pcie标准协议中，分为必须检查的错误和可选检查的错误。每一种错误要么是跟port关联，要么是跟一个特殊设置关联(或者多功能设备中的一个function)。

PCIe定义了两种错误示范:baseline capability和AER。Baseline capability需要所有PCIe设置都支持，Baseline capability定义了最小的错误报告需求。AER定义了更多鲁棒性(robust)的错误，在PCI Express Capability结构中实现。

所有的SR-IOV设备必须支持baseline Capability,通过一定的修改来考虑降低成本和实现复杂性的目标。AER Extended Capability是可选的，但是AER在PF中是不先实现通过一定的修改来考虑降低成本和实现复杂性的目标的

错误相关的寄存器

command 和 StatusError Control/Status

针对具有Type 1配置空间头的Root Port

• primary side Error Control/Status 寄存器表示跟Root Complex内部关联产生的一些错
• secondary side Error Control/Status寄存器表示链路上检测到的错误，链路是指Root Port对应的链路

针对具有Type 1配置空间头的Swtich Upstream Ports

• primary side Error Control/Status寄存器表示Switch的Upstream Link(上游链路)检测到的错误
• secondary side Error Control/Status寄存器表示Switch内部检测到的错误

针对具有Type 1配置空间头的Switch Downstream Ports

• primary side Error Control/Status寄存器表示Switch内部逻辑检测到的错
• secondary side Error Control/Status寄存器表示Switch的Downstream Link(下游链路)检测的错误

Command 寄存器

Device Status 寄存器

Secondary Status寄存器

高级错误报告扩展能力(AER)

PCI Express Advanced Error Report(AER)是一个可选的能力,

Advanced Error Reporting Extend Capability Header(Offset 00h)

Advanced Error Reporting Extended Capability 是001h

错误处理流程

错误上传流程

×

感谢您的支持，请扫码打赏