为什么需要LLM评估？
科学的评估体系是模型迭代的基石。不同任务需要不同评估方法，单一指标无法全面衡量模型能力。
主流Benchmark
- MMLU：多学科知识理解测试
- HumanEval：代码生成能力评估
- GSM8K：数学推理能力测试
- LMSYS Arena：人类偏好投票排名
- HELM：全面语言模型评估
自建评估Pipeline
构建内部评估系统需要考虑：测试数据构建、自动化执行、结果可视化、回归检测等。
人工评估 vs 自动评估
自动评估效率高但可能遗漏细节，人工评估质量高但成本高。最佳实践是两者结合。