推理器（Inferencer）概述

推理器（Inferencer）是 AISBench 中负责执行模型推理的核心组件，它连接了数据集、检索器（Retriever）和模型，负责将处理好的提示词（Prompt）发送给模型进行推理，并收集和管理推理结果。

核心功能

推理器在 AISBench 的评测流程中承担以下核心职责：

数据准备：从检索器（Retriever）获取数据列表，包括输入提示词、标准答案等信息
模型调用：根据模型类型（API 模型或本地模型）采用不同的方式调用模型进行推理
- API 模型：通过异步 HTTP 请求调用服务化推理接口
- 本地模型：直接调用本地加载的模型进行批量推理
结果管理：收集、处理和保存推理结果，包括：
- 模型生成的文本内容
- 推理状态（成功/失败）
- 性能指标（如延迟、吞吐量等，在性能模式下）
- 错误信息（如果推理失败）
状态跟踪：在性能测评模式下，跟踪和统计请求状态，包括：
- 已发送请求数（post）
- 已接收响应数（rev）
- 失败请求数（failed）
- 已完成请求数（finish）

推理器采用分层设计，包含以下基类：

推理器可以根据需要同时继承 BaseApiInferencer 和 BaseLocalInferencer，以同时支持 API 模型和本地模型。

AISBench 目前支持以下推理器类型：

功能：用于生成式任务的推理器，支持文本生成、问答等任务。

特点：

适用场景：

功能：用于多轮对话任务的推理器，支持多轮交互式对话场景。

特点：

同时支持 API 模型和本地模型
支持多种推理模式：
- every：逐轮推理，将模型上一轮输出作为下一轮输入
- last：仅对最后一轮进行推理
- every_with_gt：逐轮推理，但使用标准答案而非模型输出
支持性能测评模式

适用场景：

功能：用于困惑度（Perplexity）评估的推理器，通过计算每个选项的困惑度来选择答案，主要用于多选题（MCQ）任务。

特点：

适用场景：

实现文件：ppl_inferencer.py

功能：用于函数调用任务的推理器，支持模型调用外部函数或工具的场景。

特点：

适用场景：

根据不同的任务类型和模型类型，选择合适的推理器：

任务类型	模型类型	推荐推理器
文本生成、问答	API 模型	GenInferencer
文本生成、问答	本地模型	GenInferencer
多轮对话	API 模型	MultiTurnGenInferencer
多轮对话	本地模型	MultiTurnGenInferencer
多选题（MCQ）	API 模型	PPLInferencer
函数调用	API 模型	BFCLV3FunctionCallInferencer

推理器在 AISBench 的评测流程中与其他组件紧密协作：

与 Retriever 的关系：
- 推理器通过 get_data_list 方法从 Retriever 获取数据
- Retriever 负责生成 in-context examples 和 prompt
与 Model 的关系：
- 推理器调用 Model 的 generate 方法进行推理
- 对于 API 模型，推理器通过 HTTP 请求调用模型服务
- 对于本地模型，推理器直接调用模型实例
与 OutputHandler 的关系：
- 推理器使用 OutputHandler 管理和保存推理结果
- 不同类型的推理器使用不同的 OutputHandler
与 Dataset 的关系：
- 推理器从 Dataset 配置中获取推理相关的参数
- 如 max_out_len 等参数可以从数据集配置中获取