AI Product Evaluation Workbench
视觉代号 · 天衡演算
把模型试用整理成可回看、可比较的产品评测流程。
项目定位、用户问题与产品目标
基于 Streamlit 的 AI 产品评测工作台，覆盖 Prompt 实验、多模型对比、RAG 文档评测、反馈分析与优化建议。
目标用户与使用场景
需要验证模型能力、比较 Prompt 或模型版本，并保留评测依据的 AI 产品人员。
用户问题
普通对话界面难以同时保留实验条件、横向结果与人工判断，零散试用也不利于复盘。
为什么需要 AI
大模型输出会受到 Prompt、模型与上下文影响，需要用结构化实验和人工复核整理能力边界。
产品目标
让一次模型判断能够回到实验输入、模型输出、人工评分和问题标签。
我的职责
- 01
拆解 Prompt、模型与样本之间的实验关系
- 02
设计多模型对比和人工评分流程
- 03
整理 RAG 问题标签与反馈分析维度
- 04
完成 Streamlit 原型和演示数据入口
产品方案与技术工作流
在 Streamlit 工作台中固定场景、Prompt、模型与样本条件，串联输出留存、人工评分、RAG 问题标注、反馈分析和下一轮优化记录。
- 01选择评测场景
- 02配置 Prompt 与模型
- 03提交样本
- 04保留模型输出
- 05人工评分或标注
- 06查看对比与问题分布
- 07记录下一步优化
Prompt、RAG 与 Agent 技术方案
- 支持 OpenAI-compatible API，模型连接与业务评测数据分开配置
- Prompt 实验保留输入、输出和人工评分
- 多模型对比记录延迟、Token 与成本字段，供同条件观察
- RAG 评测通过问题标签和人工判断暴露检索或回答缺陷
人工确认节点
测试方法与 Evaluation focus
以下内容是项目中记录或计划观察的评测维度，用于指导验证与迭代，不代表已经取得对应结果。
人工评分
模型平均分
RAG 问题标签分布
测试样本数量
响应时间记录
Token 与成本记录
失败案例、边界与风险
演示数据仅用于展示流程；自动建议不替代人工结论；敏感业务数据不进入公开演示
失败类型
- 平均分掩盖单类失败
- 样本不足却形成泛化结论
- 模型或 Prompt 条件变化后仍直接比较
异常与边缘场景
- 模型连接失败
- 结构化输出不完整
- RAG 未命中有效证据
- 演示数据被误当成真实业务结果
迭代记录
模型试用、RAG 评测和反馈分析分散在不同操作中。
- 分析
- 缺少共同的数据入口和可回看的产品评测界面。
- 改动
- 仓库将五个评测模块与演示数据整合到同一 Streamlit 应用。
- 结果
- 当前公开仓库已包含 Prompt 实验、多模型对比、RAG 评测、反馈看板与 AI 优化建议模块。
- 下一步
- 用真实业务测试集继续校准评分说明和失败标签。
产品思考与下一步
评测的重点不是制造单一总分，而是让能力、成本和风险的判断有明确依据。
- 补充真实业务测试集
- 校准人工评分一致性
- 完善模型与 Prompt 版本记录
产品判断
这个项目把“试一下模型”拆成可记录的产品实验：先固定场景、输入和模型条件，再观察输出、人工判断与失败类型。
当前仓库包含
- Prompt 实验台与场景模板
- 多模型输出对比
- RAG 文档评测与问题标签
- 用户反馈和评测看板
- 基于现有记录生成的优化建议
使用边界
仓库内的演示数据用于验证页面与流程，不代表真实用户规模或业务效果。延迟、Token 和成本是评测记录字段，也不构成对模型表现的预设结论。
基于 Streamlit 的 AI 产品评测工作台，覆盖 Prompt 实验、多模型对比、RAG 文档评测、反馈分析与优化建议。
↗界面与过程证据
真实项目截图尚未写入本地。页面先使用原创概念封面保持完整体验，待补充文件已记录在资源清单。