Prompt 概述

提示词（Prompt）是语言模型（LLM）的输入，用于指导模型生成内容或计算困惑度（Perplexity，PPL）。提示词的构造方式会对被评测模型的性能产生重大影响。在 AISBench 中，如何将数据集转换为一系列提示词的过程由模板（Template）来定义。

AISBench 将模板拆分为两部分：数据侧的模板和模型侧的模板。在评测模型时，数据会先后经过数据侧和模型侧的模板处理，最终转化为模型所需的输入格式。

• 数据侧的模板被称为 prompt_template，它定义了如何将数据集的字段转化为提示词的过程。

• 模型侧的模板被称为 meta_template，它定义了模型如何将这些提示词转化为自身期望的输入格式。

通过这种分离设计，AISBench 实现了数据集配置与模型配置的解耦，使得同一数据集可以适配不同的模型，同一模型也可以适配不同的数据集。