LLM 评测基线回归门禁
产品介绍
面向 AI 应用、智能体、内容生成与模型选型团队:对一次候选评测做离线的基线回归门禁。输入基准时间(带时区)、metric_definitions[](metric_id/direction/scale/pass_threshold/max_allowed_regression/weight/可选 cases)、cases[](case_id/slice/criticality)、baseline_results[] 与 candidate_results[](case_id/metric_id/score 或 label/judge_id/可选 scale/dataset_version/evaluated_at)、可选 human_labels[] 与 min_coverage。规则:只比较相同 case/metric;higher 指标回归阈值为分数下降超过 max_allowed_regression,lower 为上升超过阈值,binary 为 true→false;关键用例(criticality=critical)回归或未达通过阈值即 CRITICAL_CASE_FAIL;裁判模型变化、结果声明量表与指标量表不一致、数据集版本变化一律标 NOT_COMPARABLE 并从统计中排除;覆盖率低于 min_coverage 记 COVERAGE_GAP,关键用例缺结果额外记 MISSING_CRITICAL_CASE;权重合计既不等于 1 也不等于 100 时记 WEIGHTS_NOT_CLOSED 并把总体至少降为 PARTIAL。聚合分只用各指标通过率(同一 0–100% 量纲)按权重归一化计算,不跨量表相加原始分;若聚合分未变差而存在关键用例失败,显式标 aggregate_masks_critical。人工标注与模型裁判分栏统计一致率,不合并进通过/失败判定。输出 PASS / REGRESSION / CRITICAL_CASE_FAIL / COVERAGE_GAP / NOT_COMPARABLE / PARTIAL / INVALID,附逐指标与逐 slice 差异、最大回归样本、关键失败、裁判/数据漂移与人工复核队列。不调用任何模型、不重评分、不声称自动分数等于真实业务质量、不输出无样本支撑的统计显著性。触发词:评测门禁、基线回归、LLM 评测、A/B 评测、裁判模型、量表漂移、关键用例、slice 覆盖。联系邮箱:43298568@qq.com。
资源信息
许可证信息摘自官方源,可能过时或缺失。商用前请以原仓库的 LICENSE 文件为准。
信息边界说明
本页信息摘自官方文档,仅作技术信息呈现,不代表本站的判断或推荐。价格、配额、可用性以官方最新说明为准。你离开本站后的任何行为(申请 Key、付费、部署、商用),本站不做任何承诺与担保。
同类推荐
编程专家Pro.Skill
官方未说明编程专家 Pro:融合编程专家 2.0.3 工程专题与编程大神的鸿蒙 ArkTS/ArkUI、微信小程序和小游戏开发资料。用于项目实现、根因调试、审查、重构、测试、架构性能分析及多端开发验证。支持自然语言和 @专题标识,按任务读取包内知识;只问概念时直接回答。
编程大神.Skill
官方未说明【全栈能力】编程大神.Skill:面向复杂真实项目的高阶全栈编程助手。不止生成代码,而是从一句目标接手陌生代码库,拆解需求、补齐实现、追到根因、完成重构、联调前后端,并把结果推进到能运行、能验证、能交付。覆盖 Web、后端、脚本、iOS、安卓、鸿蒙 ArkUI、微信小程序及其他技术栈,支持中英文工程、疑难 Bug、跨模块任务和长任务续做;用构建、日志、真实入口、设备或接口证据说明结果。仅问概念时直接回答,要求落地时持续推进到验收或明确阻塞。
编程专家.Skill
需申请 Key编程专家.Skill P8级编程助手,25年实战经验技能Skill,全栈:Java/Php网站/软件项目、API设计、Bug诊断、代码生成、代码审查、重构、测试用例、性能基准、技术选型、文档生成、任务拆解、Spec驱动、Karpathy规范、CMS二次开发、前端设计、MySQL/Mariadb、项目知识图谱,以及工程纪律层(根因调试硬闭环、阶段导航、事故复盘/SLO、威胁建模/供应链安全、生产就绪/渐进式发布、AI编码治理、面向Agent代码可读性、LLM应用安全)。支持 @标识 显式调用跳过路由。
编程专家.Skill
需申请 Key编程专家.Skill P8级编程助手,25年实战经验技能Skill,全栈:Java/Php网站/软件项目、API设计、Bug诊断、代码生成、代码审查、重构、测试用例、性能基准、技术选型、文档生成、任务拆解、Spec驱动、Karpathy规范、CMS二次开发、前端设计、MySQL/Mariadb、项目知识图谱,以及工程纪律层(根因调试硬闭环、阶段导航、事故复盘/SLO、威胁建模/供应链安全、生产就绪/渐进式发布、AI编码治理、面向Agent代码可读性、LLM应用安全)。支持 @标识 显式调用跳过路由。
罗斯蒙德开源项目快速上手
官方未说明【罗斯蒙德开源项目快速上手】南京罗斯蒙德基于已交付项目沉淀的开源项目快速上手场景:默认场景是「讲解整个项目」:给一个本地代码文件夹或仓库地址就直接开讲——先30秒最小扫描、不打断不等回复,一路产出必出五件套:一句话结论(值不值得用)、代码架构(分层+模块依赖+主调用链+扩展机制)、三级能力清单(带高频度与代码位置)、可运行带注释Demo、四段式踩坑点与上手全流程指南,每条结论挂 路径:行号。采用「假设确认表」告知而非卡流程——写一行假设就往下干,用户没回应也照出全量报告,把多轮沟通压缩为零。用户带着需求来时才额外启用「需求满足度评估」分支:先以批处理澄清表把需求歧义问清(≤5问/轮、带默认选项、≤3轮)并冻结需求基线,再逐项做代码审查,给出能否实现、修改位置(文件:行号)、工作量(档位+人日+估算依据)与不涵盖功能的补充方案。三条路由:只讲项目走主线,项目+需求走主线打底+评估,已有单点诉求只出评估。支持分析本地代码路径,无本地路径时联网检索官方文档与源码。触发词:讲解这个项目、解读这个仓库、这个代码是干嘛的、看看这个项目、快速上手、看源码、这个项目怎么用、代码架构、项目结构、核心功能、能力清单、生成 demo、写个示例、踩坑点、注意事项、上手指南、源码分析、依赖注入、开源项目、能不能支持、能不能实现、需要改哪里、改哪些地方、工作量多少、需求满足度、功能项评估、缺口分析、二次开发评估、代码审查。
Github
需申请 Key使用 `gh` CLI 与 GitHub 交互,通过 `gh issue`、`gh pr`、`gh run` 和 `gh api` 管理议题、PR、CI 运行及高级查询。
什么是技能
技能(Skill)是封装好的单项能力,比如文字识别、文档摘要、关键词提取。开发者把调用逻辑和提示词打包,使用者像用插件一样加载即可,无需了解底层模型。启枢技能 收录大量技能,可直接试跑或编入方案。