# 性能测评结果说明
性能测评结果包括单个推理请求性能输出结果和端到端性能输出结果，参数说明如下：

## 单个推理请求性能输出结果
部分统计指标解释如下所示：
+ P75 / P90 / P99：以 TPOT 为例，表示所有请求的 TPOT 值分别处于第 75、90、99 百分位的性能表现。
+ E2EL（End-to-End Latency）：单个请求从发送到接收全部响应的总时延。
+ TTFT（Time To First Token）：首个 Token 返回的时延。
+ TPOT（Time Per Output Token）：输出阶段每个 Token 的平均生成时延（不含首个 Token）。
+ ITL（Inter-token Latency）：相邻 Token 间的平均间隔时延（不含首个 Token）。
+ InputTokens：请求的输入 Token 数量。
+ OutputTokens：请求生成的输出 Token 数量。
+ OutputTokenThroughput：输出 Token 的吞吐率（Token/s）。
+ Tokenizer：Tokenizer 编码耗时。
+ Detokenizer：Detokenizer 解码耗时。

|Performance Parameters|Stage|Average|Max|Min|Median|P75|P90|P99|N|
| ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- |
|E2EL|统计此参数的阶段|平均请求时延|最大请求时延|最小请求时延|请求时延中位数|请求时延75分位值|请求时延90分位值|请求时延99分位值|测试数据量，来源于输入参数|
|TTFT|统计此参数的阶段|首个token平均时延|首个token最大时延|首个token最小时延|首个token中位数时延|首个token75分位时延|首个token90分位时延|首个token99分位时延|测试数据量，来源于输入参数|
|TPOT|统计此参数的阶段|Decode阶段平均时延|最大Decode阶段时延|最小Decode阶段时延|Decode阶段中位数时延|75分位Decode阶段时延|90分位每条请求Decode阶段平均时延|99分位Decode阶段时延|测试数据量，来源于输入参数|
|ITL|统计此参数的阶段|token间平均时延|token间最大时延|token间最小时延|token间中位数时延|token间75分位时延|token间90分位时延|token间99分位时延|测试数据量，来源于输入参数|
|InputTokens|统计此参数的阶段|输入token平均长度|最大输入token长度|最小输入token长度|输入token中位数长度|75分位输入token长度|90分位输入token长度|99分位输入token长度|测试数据量，来源于输入参数|
|OutputTokens|统计此参数的阶段|输出token平均长度|最大输出token长度|最小输出token长度|输出token中位数长度|75分位输出token长度|90分位输出token长度|99分位输出token长度|测试数据量，来源于输入参数|
|OutputTokenThroughput|统计此参数的阶段|平均输出吞吐|最大输出吞吐|最小输出吞吐|中位数输出吞吐|输出吞吐75分位|输出吞吐90分位|输出吞吐99分位|测试数据量，来源于输入参数|

## 端到端性能输出结果
| 参数                           | 说明                    |
| ---------------------------- | ---------------------  |
| **Benchmark Duration**       | 测试任务的总执行时间            |
| **Total Requests**           | 请求总数量                 |
| **Failed Requests**          | 请求失败数量（包含无响应或响应为空）    |
| **Success Requests**         | 成功返回的请求数量（包括空响应与非空响应） |
| **Concurrency**              | 实际平均并发数               |
| **Max Concurrency**          | 配置的最大并发数              |
| **Request Throughput**       | 请求级吞吐率（请求数/秒）         |
| **Total Input Tokens**       | 所有请求的总输入 Token 数      |
| **Prefill Token Throughput** | Prefill 阶段的 Token 吞吐率 |
| **Total Output Tokens**      | 所有请求生成的总输出 Token 数    |
| **Input Token Throughput**   | 输入 Token 吞吐率          |
| **Output Token Throughput**  | 输出 Token 吞吐率          |
| **Total Token Throughput**   | 总 Token 吞吐率（输入 + 输出）  |