目 录
第1章 新的产品形态:大模型产品的出现与能力边界1
1.1 大模型产品的发展脉络 1
1.1.1 人工智能的技术发展 2
1.1.2 互联网的产品发展 3
1.1.3 大模型重塑互联网产品 5
1.1.4 大模型重塑产品经理角色 6
1.2 大模型产品的范围 7
1.2.1 大模型产品的定义 8
1.2.2 大模型与软件工程的差异 9
1.2.3 大模型与机器学习的差异 11
1.2.4 大模型产品与互联网产品的差异 13
1.2.5 大模型产品产业的分化差异 15
1.3 小结 16
第2章 新的职能定位:大模型时代的产品经理 17
2.1 大模型产品经理概述 18
2.1.1 大模型产品经理的定位 18
2.1.2 大模型产品经理的分化 19
2.1.3 大模型产品经理的能力要求 20
2.1.4 大模型产品经理身兼数职的趋势 22
2.2 大模型产品设计的底层思维转变 23
2.2.1 使用模型产品和做模型产品的思维差异 23
2.2.2 对大模型效果的怀疑思维 24
2.2.3 从“先验”到“后验”思维 26
2.2.4 以示例数据为起点的设计思维 27
2.2.5 解决问题是产品经理与工程师的共同工作 28
2.2.6 产研与算力成本时刻纳入设计考量 29
2.2.7 问题可能不是模型导致的 30
2.3 大模型产品的研发流程 31
2.3.1 产品调研 32
2.3.2 竞品分析 33
2.3.3 需求分析 34
2.3.4 示例数据与可行性分析 35
2.3.5 方案设计与评测集准备 36
2.3.6 产品文档撰写与立项评审 37
2.3.7 产品研发与策略调优 38
2.3.8 线上运营与效果迭代 39
2.4 模型侧产品经理的工作范围与团队协作变迁 40
2.4.1 工作内容重构:原型工作的弱化与新的工作项 40
2.4.2 产品团队的角色变化:与算法、数据、研发的协作模式 42
2.4.3 数据能力升级:比算法更懂业务数据 43
2.5 小结 44
第3章 指令书写:大模型产品落地的基础 45
3.1 指令工程和指令书写 46
3.1.1 指令工程是“指令”和“工程” 46
3.1.2 指令可能是唯一的“武器” 46
3.2 理解指令的基础概念 46
3.2.1 指令的角色 46
3.2.2 指令的结构 47
3.2.3 模型上下文的概念 48
3.2.4 超参数对产品效果的影响 49
3.3 指令书写技巧 50
3.3.1 输出格式约束:保证模型结果的可用性 51
3.3.2 思维链:产品可行性评估的利器 52
3.3.3 正向引导:不要对模型说“不要” 53
3.3.4 少样本学习:强化回答风格的双刃剑 54
3.3.5 指令的位置:需要注意的用户输入细节 55
3.3.6 指令拆分:用数量换取质量 55
3.3.7 字符串转义:产品经理也要查Bug 56
3.3.8 好的指令与不好的指令 57
3.3.9 迭代思维:像算法一样迭代指令 58
3.4 指令书写场景示例 58
3.4.1 情绪识别:识别用户的情绪 59
3.4.2 事件提取:提取用户声明的事件 60
3.4.3 聊天总结:提取用户的隐性声明记忆 61
3.4.4 角色扮演:给用户一个友好的服务员 63
3.4.5 文生图Query改写:帮用户使用更复杂的模型 64
3.4.6 HTML页面生成:用大模型画原型图 66
3.4.7 NL2SQL:用大模型查数据 67
3.4.8 单工具调用:用大模型帮用户交友 69
3.4.9 多工具指令:用大模型帮用户点餐 71
3.4.10 数据构造:模型训练的必要手段 73
3.5 大模型局限场景与产品化应对 74
3.5.1 可预期的模型局限场景 75
3.5.2 令人费解的模型局限场景 76
3.6 指令工程的未来发展 77
3.7 小结 78
第4章 模型评测:贯穿产品生命周期的核心工作 79
4.1 模型评测概述 80
4.1.1 模型评测的含义 80
4.1.2 模型评测的必要性 81
4.1.3 产品经理要对模型的最终效果负责 81
4.2 常用任务类型与评测方法 82
4.2.1 客观任务的评测 82
4.2.2 主观任务的评测 84
4.2.3 绝对评估与相对评估 85
4.2.4 主观任务客观化 85
4.2.5 评测指标选择示例 86
4.2.6 多轮能力评估 88
4.2.7 关于裁判大模型评分 88
4.2.8 自动化模型评测 90
4.2.9 性能评估 90
4.2.10 质量监控 92
4.3 示例数据构建 93
4.3.1 示例数据的必要性 93
4.3.2 模型应答理想态设计 93
4.4 评测集构建 94
4.4.1 为什么需要场景化的评测集 94
4.4.2 评测集的来源 95
4.4.3 评测集构建时机 95
4.4.4 评测集构建规范 96
4.4.5 好的评测集和不好的评测集 97
4.4.6 常见评测误区 98
4.5 小结 99
第5章 大模型产品方案设计:从GUI到LUI的转型 100
5.1 大模型产品方案设计概述 101
5.1.1 大模型产品方案设计的含义 101
5.1.2 设计载体转型:从原型图到流程图 101
5.2 大模型产品方案设计场景示例 103
5.2.1 社区舆情监控设计 103
5.2.2 留言板设计 105
5.2.3 用户被动记忆提取设计 106
5.2.4 门店咨询助手设计 107
5.2.5 宣传海报绘本设计 109
5.2.6 小程序页面生成助手设计 110
5.2.7 库存查询设计 111
5.2.8 AI交友设计 112
5.2.9 点餐垂域设计 113
5.2.10 自动化数据构造设计 115
5.3 产品方案的可行性分析 115
5.4 小结 117
第6章 知识库:让模型获取额外信息 118
6.1 知识库技术概述与应用边界 119
6.1.1 知识库的含义 119
6.1.2 知识库解决问题的范围 119
6.1.3 知识库带来的效果 120
6.1.4 知识库的种类 121
6.1.5 知识的不同形态 123
6.1.6 知识库应用的成本及投入 126
6.2 知识库的工作原理 127
6.2.1 向量数据库的原理 127
6.2.2 构建知识库 131
6.2.3 使用知识 133
6.2.4 知识库的效果评测 136
6.3 解析切片策略 139
6.3.1 文本解析策略 139
6.3.2 多模态的解析切片策略 140
6.3.3 好的知识与不好的知识 144
6.4 召回优化策略 145
6.4.1 知识打标与分库策略 145
6.4.2 Query改写策略 147
6.4.3 Rerank策略 152
6.4.4 QA泛化策略 153
6.4.5 混合检索与多路召回策略 156
6.4.6 Embedding微调 159
6.4.7 知识库召回策略的最优路径选择 160
6.4.8 知识自动更新机制 161
6.5 知识库技术拓展 162
6.5.1 实时搜索 162
6.5.2 角标回溯 163
6.5.3 多跳检索知识库 164
6.5.4 多模态知识库现状 165
6.5.5 海量知识的数据治理 166
6.5.6 LLM Wiki 166
6.6 小结 167
第7章 工具调用:让模型联通外部世界 168
7.1 工具调用技术概述与应用边界 169
7.1.1 工具调用的含义 169
7.1.2 工具调用解决问题的范围 170
7.1.3 工具调用带来的效果 170
7.1.4 工具调用的本质 172
7.1.5 工具调用的成本及投入 173
7.2 Function Calling的工作原理 174
7.2.1 一般单轮请求与响应 174
7.2.2 多轮对话的请求与响应 176
7.2.3 Function Calling的请求与响应 177
7.2.4 模型根据接口返回值回答用户问题 180
7.2.5 Function Calling的效果评测 184
7.2.6 Function Calling的底层指令 186
7.3 工具调用效果优化策略 188
7.3.1 反问补槽 188
7.3.2 卡片交互 191
7.3.3 多工具调用 193
7.3.4 工具调用兜底 194
7.3.5 工具功能与效果优化 195
7.3.6 成本节约策略 199
7.4 工具调用技术拓展 201
7.4.1 工具调用前的反思 201
7.4.2 从海量工具中召回工具 202
7.4.3 MCP协议 203
7.4.4 Agent Skills 204
7.5 小结 207
第8章 模型微调:让模型向人类预期对齐 208
8.1 微调技术概述与应用边界 209
8.1.1 微调的含义 209
8.1.2 微调解决的产品问题 210
8.1.3 微调常见技术及特征 211
8.1.4 不同微调在模型生产周期中的作用 212
8.1.5 模型本身也是产品 213
8.1.6 微调的成本及投入 214
8.1.7 判断何时使用微调 215
8.2 产品视角的微调工作流程 216
8.2.1 整体思路 216
8.2.2 训练数据分布分析 217
8.2.3 理想态输出设计 218
8.2.4 自动化数据构造方案设计 221
8.2.5 训练与评测 224
8.2.6 对比实验与效果优化 225
8.3 微调效果的产品优化策略 226
8.3.1 真实语料挖掘:找到产品真正需要提高的能力 226
8.3.2 长尾Case治理:平衡低频的用户需求 227
8.3.3 混合训练:提高模型泛化能力 227
8.3.4 常见的微调误区 228
8.4 小结 229
第9章 AI原生应用:Chatbot产品设计 230
9.1 Chatbot设计核心思路 231
9.1.1 设计思路 231
9.1.2 完整的酒吧场景 231
9.1.3 用户意图与模型应答方式设计 232
9.1.4 架构风格 233
9.2 级联架构 234
9.2.1 级联架构的特征和适用范围 234
9.2.2 级联方案架构图 235
9.3 架构选择—中枢架构 237
9.3.1 中枢架构的特征和适用范围 237
9.3.2 中枢架构的设计—能力工具化 238
9.3.3 中枢方案架构图 243
9.4 饱和式工程架构 244
9.4.1 饱和式工程架构的特征和适用范围 245
9.4.2 记忆机制 246
9.5 Chatbot的优化策略 247
9.5.1 干预机制 247
9.5.2 灰度测试 248
9.5.3 Badcase收集与反馈 248
9.5.4 数据飞轮 249
9.5.5 Harness 250
9.6 AI原生应用的未来发展 251
9.6.1 AI原生应用的发展潜力 251
9.6.2 AI原生应用的发展方向 252
9.7 小结 253
第10章 AI Coding:新的基本能力 255
10.1 AI Coding概述 256
10.2 使用Vibe Coding画原型图 256
10.2.1 Vibe Coding概述 257
10.2.2 Vibe需求文档 258
10.2.3 Vibe原型图设计 260
10.2.4 最终效果展示 262
10.2.5 Vibe概念的泛化 263
10.2.6 Vibe概念的局限 263
10.3 AI Coding的未来发展 264
10.3.1 AI Coding对行业的影响 265
10.3.2 个体需要在未来掌握的Coding能力 265
10.3.3 产品设计者如何面对不断更新的技术 266
10.4 小结 267
附录A 主要术语解释
