相关文章标签: ai-workflow
-
如何在不破坏生产环境的情况下迁移 AI 工作流的测试/评估管道
关于如何为 AI 工作流更改提示词 (prompt)、模型或评估管道并保持系统稳定的实用笔记。
→ -
评估 chatbot/AI 工作流：基准测试、验证器、LLM 裁判和实际测试用例
关于 LLM 评估的实用笔记：基准测试只是一个起点，而真实产品需要测试用例、验证器、人工审查以及与工作流相关的指标。
→ -
AI 工作流的监控 (Monitoring)：向 Netflix 学习但在小规模应用
为小型 AI 工作流设计恰到好处的监控：日志 (logs)、指标 (metrics)、链路追踪 (traces)、评估 (evaluation) 和业务信号 (business signals)。
→