1 评审规则

初赛：初赛采用结果提交的方式进行线上评审，由工具对参赛作品进行自动化评分，申请评测的流程详见比赛指南。

决赛：

（1）首先采用线上私榜评测方式，选手将看不到最终的评测题目。参赛选手可根据比赛指南自行申请评测（自动化评分），触发后工具会自动拉取Gitee代码仓指定分支，构建本地RAG知识问答服务，并基于该服务在问题集上进行评测，最后根据评测结果实时更新榜单排名。

（2）线下路演，由评审委员会对参赛作品进行专家评分，结合自动化评分得出最终得分。【注意】如放弃参加线下路演，则视为放弃决赛评奖资格，奖励回退为优秀奖。

评审标准：包括RAG算法的性能、创新性、优化效果和实际应用价值等。

评审过程：全程记录，确保公平公正。

注意事项：

请务必确保每次触发评测前，可使用代码仓的被提交分支通过一键启动的方法完成系统部署。

评测完成后对应分数会在排行榜进行公布并更新排名。为了限制刷榜，初赛阶段每个队伍每天提交评测次数不可超过1次，决赛阶段每个队伍每天提交评测次数不可超过1次，请合理安排评测节奏。更多评测注意事项详见比赛指南。

2 评测数据

初赛阶段采用结果提交的评测方式，由选手提交赛题答案文件，线上自动评测出成绩，评测数据示例如下：

复赛阶段采用私榜评测方式，参赛选手无法看到最终的评测题目。

每个评测样本问题的答案都可在本赛题提供的原始语料文档中找到答案，且都由领域专家标注且经过交叉验证得到。

本赛题使用文本嵌入模型来计算人工标注答案和RAG系统生成答案的文本语义相似度，具体来说就是说将上述两个答案分别使用嵌入模型转化为向量表示，然后计算这两个向量的预先相似度，作为这两个文本的语义相关性得分。

除了语义相似外，本赛题还将重点关注RAG系统生成的答案中是否包含专家标注答案中提及的关键事实信息。评估模型将从专家标注答案中识别出能反映主旨的关键事实短语，然后校验RAG系统生成的答案中是否出现这些关键事实短语，从而来判断生成答案的准确性和完整性。具体可参考以下示例：

问题：太初元碁的产品矩阵中有哪些一体机产品？

专家标注答案：太初元碁的产品矩阵中有3款一体机产品：T1118 高密训练一体机、I1004 推理一体机、T1008 训练一体机

关键事实短语：“T1118”、“高密训练一体机”、“I1004”、“推理一体机”、“T1008”、“训练一体机”

RAG系统生成答案：太初元碁有以下一体机产品：T1118高密训练一体机和T1008训练一体机

评分：“T1118”、“高密训练一体机”、“T1008”、“训练一体机”四个事实短语被命中，相关性得分为 4/6 = 0.667

每个评测题目的得分为答案语义相关性得分和关键事实相关性得分的加权和：

评测题目得分 = 0.4 * 语义相关性得分 + 0.6 * 关键事实相关性得分

最终根据所有评测题目计算队伍当前提交评测所获得分数，即为自动化评分：

自动化评分 = 所有评测题目的得分之和 / 评测集合问题总数

由专家组成评审团，按照公平、公正、公开的原则对团队提交的最终作品进行综合评审。

方案	完备性（15分）	是否将常见的一些挑战和场景都考虑在内？有无针对每种情况进行对比实验？
	可复现（20分）	是否可成功部署RAG系统，并复现评测效果？
	创新性（15分）	在功能设计或实现方法等方面是否有亮眼的创新？
代码	文档&注释完整性（10分）	在代码实现时是否有相应代码注释，并在必要时提供文档说明
代码	项目质量（40分）	代码仓以开源形式发布，关键技术实现可作为高质量PR合入Teco-RAG原型框架

最终将上述各子项得分累加后，除以100，即为专家评分结果。

最终得分为自动化评分和专家评分的加权和，以此得分作为最终排名依据。

final_score = 0.8 * 自动化评分 + 0.2 * 专家评分

初赛提交截止后，我们会根据榜单排名决定进入决赛的参赛者/队伍（Top10），并且校验方案的可行性。过程中若发现明显的作弊或恶意刷榜行为，将取消该队伍的参赛资格，晋级空缺名额后补。Top10队伍在决赛阶段竞争一、二、三等奖，Top11-20获得优秀奖。

【注意】如决赛队伍放弃参加线下路演，则视为放弃决赛评奖资格，奖励回退为优秀奖。

原则上所有获奖作品需要开源，如有特殊情况需经终审评审专家集体决策同意可部分开源。