前 言
技术背景
过去两年,AI领域发生的最大变化,不是模型又聪明了多少,而是能力的形态变多了。看懂照片、凭一句话画出海报、让静态图动起来、把文字念成清晰的人声、给一段视频写一首原创配乐——这些在几年前分属不同学科、不同团队、不同预算量级的事情,如今都变成了可以随手调用的接口。业界把这类跨越图像、文字、语音、视频的能力统称为多模态。
这些能力的成熟速度,比大多数人的预期更快。以视频为例,2026年年初的新一代模型已经支持文本、图片、音频、视频四种模态一起输入,并能原生做到音画同步;到了2026年年中,单段生成时长达到30秒,一次可联合参考的素材多达50个,图像模型、语音模型与基座大模型也在同一节奏上换代。画面、声音和文字的生成质量,已经越过了“能不能用”这条线,进入了“够不够工业交付”的讨论。
但是,能力多不等于产品多。真正卡住绝大多数人的,从来不是“有没有模型”,而是三个更朴素的问题。
能力是散的。识图归识图,出图归出图,配音归配音。一个真实需求往往需要它们首尾相接——先看懂产品照片,再想清楚步骤,然后画出插图,最后还得逐格检查文字有没有写错。把散落的能力串成一条会传递上下文的生产线,是一项工程活儿。
门槛还在。会写提示词的人和需要这个结果的人,往往不是同一批人。中介需要装修效果图,但不打算学什么叫“参考图权重”;小店主需要开业海报,但没时间研究怎么让AI把店名一字不错地写进画面。经验存在少数人的“手感”里,而手感是没法转发的。
从“能跑”到“能用”隔着一整段路。预览窗口中“点击”一下就出结果,只证明作者本人能用;换成别人访问、并发调用、要计费、要留痕、出问题要撤回来,就是另外一回事。
与此同时,另一件事正在发生:自然语言成了新的开发接口。以往做一个能上传图片、调用模型、联网检索、渲染出像样界面的应用,至少要依靠前端、后端、接口三套技术,工期以周计;而现在,把需求描述清楚,AI会自己规划任务、初始化工程、编写前后端代码、自测验证,最后交出一个可预览、可上线的成品。门槛从“会不会写代码”,转移到了“能不能把想要的东西讲明白”。
本书选择扣子作为贯穿全书的工具,正是因为它把这三件事装进了同一个平台:模型能力可直接调用,开发环境用大白话(自然语言)驱动,交付形态覆盖网页、小程序、移动App、工作流与多Agent应用。能力、开发、交付在一处闭合——这是本书所有案例得以成立的前提。
写作初心
写这本书的直接动因,来自笔者被反复问到的三类问题:“AI这么厉害,我到底能拿它做点什么?”“我照着教程做了,为什么做出来的东西没法给别人用?”“这些活我也能写,但值不值得从零写一遍?”提问的人不缺工具,也不缺热情,缺的是一个从头到尾走通过一次的完整样本。
所以本书不是模型原理科普,也不是提示词技巧合集,它只回答一个问题:
围绕这个问题,全书要交到读者手里的是四种能力。
一是把需求说清楚。零代码开发的成败,几乎全部押在需求描述上。第1章就会给出一套可以套用在任何项目上的模板——七要素指令法:目标、输入、处理流程、输出结构、界面交互、边界约束、风格基调。七项要素填齐,再复杂的应用需求也能说得明明白白。这套模板此后每一章都会重填一遍,直到它变成读者的记忆。
二是把能力串起来。本书的核心范式叫模态接力:把一种能力的产出当作下一种能力的输入,一棒接一棒往下传。识图的结果“喂”给检索,检索的结果“喂”给写作,写作的结果“喂”给生图,生图的结果再“喂”回识图去做校验。本书从三棒接力起步,最终跑通一条八棒接力的完整生产线。
三是把产出管住。AI会犯错,这是前提而不是意外。所以本书从第4章起就引入质量校验闭环——让AI读回自己的产出、逐条比对、发现错误就带着修正提示重来;并在流水线的关键位置固定留一道人的确认环节。一句话概括本书的人机分工观:AI起草,人拍板。
四是把东西送出门。最后一章不新增任何功能,专讲部署:网页发布成可访问站点,工作流与Agent开放API或WebSDK,移动应用打包成安装包,小程序提交审核,再用日志、分析与回滚建立生产闭环。能生成,只是起点;能部署、能观察、能恢复,才是闭环。
还有一条写在最前面的原则:书中的每一次生成、每一次报错、每一次返工,都来自真实的开发过程。凡是中途翻过车的地方,笔者都尽量原样保留了翻车的过程与修复的思路,而不是只把最漂亮的那一版本端上桌。看别人怎么把事情做对固然有用,看别人怎么把做错的事情改对,价值更大。
内容概括
本书共13章,每一章造一个能用的东西,同时交付一到三个可复用的方法。全书分为四个板块,层层递进。
第一板块 打地基(第1和第2章)
从一幅照片开始。第1章做一台二手物品全能估价引擎:上传照片,AI识别品类品牌成色、联网查行情、给出估价区间、顺手写好转卖文案。第2章走向接力链的下一棒——生成:几句话加一幅产品照,产出门头效果图、产品展示美图与带文字的开业海报。这两章第一次交出七要素指令法与模态接力,也第一次解决那个让无数人头疼的老问题:怎样让AI生成的图一个字都不出错。
第二板块 把生成做成生产(第3~6章)
第3章换一种打法——不造工具,直接向AI要成品,用图生视频做一条20秒的猫咪vlog,并立下贯穿全书的判断标准:一次性需求找创作,重复性需求建工厂。第4章回到工厂思路,做产品爆炸结构图,引入结构化生图与质量校验闭环。第5章做装修效果图生成器,讲透参数化封装——把专家提示词封装成按钮,让会写的人封装一次,不会写的人各自受益。第6章请来第三位队友“文本大模型”,让它负责“想”,做分步说明书生成器,攻克全书最难的一关:图内密集文字。
第三板块 给流水线装上耳朵(第7~10章)
第7章把出口从眼睛换到耳朵,做儿童睡前故事有声机,学语音合成的声音参数化、儿童场景的内容安全负面清单,以及“场景决定载体”——第一次不做网页,做小程序。第8章做BGM音乐魔方,交付两级提示词、异步任务范式与候选对比交互。第9章是全书的大合奏:科普短视频工厂,八种能力同台,先联网查证再开口,两段式生成视频,最后交付一整包分轨素材而非一条成片。第10章做有声书与播客双模工厂,第一次不做页面,只画一幅带条件分支的工作流程图。
第四板块 工程进阶与上线(第11~13章)
第11章把单向流水线“掰”成一个圈——循环工程:六个Agent分工协作,生成、评审、诊断、修补、再生成,一幅几乎不可能一次做对的中文工程信息图,从第一轮的26分自己爬到第四轮的92分,每一分的涨落都写在明面上。第12章打断“你提交、它加工、你查收”的老节奏,做实时语音陪练:交互从异步变同步,难点从“生成得好不好”变成“接不接得上”,最终打包成APK装进手机。第13章送所有成果出门,把预览中的成品变成产品。
每一章的骨架是统一的:先看成品 → 讲清这个场景的痛点与对应的传统做法 → 本章新知识 → 用七要素写需求 → 动手开发 → 实测验收 → 小结与商用延伸。读者随时可以按图索骥。
全书知识体系如表0-1所示。
表0-1 全书知识体系
板块 章次 造出什么 学会什么方法
一 第1、2章 二手物品全能估价引擎 / 实体店开店物料工坊 七要素指令法;模态接力入门;视觉理解、联网检索、文生图与图生图;让AI生成的图一个字都不出错
二 第3~6章 小猫打工vlog / 产品爆炸结构图工厂 / 一键装修效果图生成器 / 分步说明书生成器 一次性需求找创作,重复性需求建工厂;结构化生图与质量校验闭环;参数化封装;三模型接力攻克图内密集文字
三 第7~10章 儿童睡前故事有声机 / 短视频原创BGM / 科普短视频工厂 / 有声书与播客双模工厂 语音合成与声音参数化;内容安全前置;两级提示词与异步任务;先查证后生成、来源留痕;分轨素材包;场景决定载体
四 第11~13章 多Agent自评自改流水线 / 实时语音陪练 / 把前12章成果部署上线 循环工程与状态机;实时语音三件套;域名、密钥、API与WebSDK;日志、分析与Trace;版本回滚与上线闭环
学习方法
动手,不停留于纸面。每一章的成品都可以在几分钟到十几分钟内复现。只读不做,读到的是故事;跟着做一遍,拿到的才是方法。建议每章都实际开一个项目跑到底,哪怕结果和书上不完全一样——生成式模型天然带有随机性,不一样的地方,恰恰是最值得琢磨的地方。
把七要素抄在便签上。这套模板会在每一章重复出现,重复不是凑字数,是刻意练习。建议把七个要素抄下来贴在显示器旁,往后无论做什么应用,先按七要素把需求过一遍,开发就成功了一大半。
重点读“翻车现场”。本书没有把失败去掉:第4章有一次坦诚的生图翻车,第8章记录了环境中没有现成音乐模型时AI如何绝处求生,第11章原样放出了那幅满屏错字的废图,第12章复盘了AI写前后端时最容易掉进的契约坑。成功案例告诉你路怎么走,“翻车现场”告诉你坑在哪里,后者往往更值钱。
换素材重做一遍。每章末尾都有“商用延伸”,把它当作业来做:用自己的产品照、自己的房子、自己的孩子名字、自己的话题重跑一次。能把案例迁移到自己的场景,才算真正掌握。
抓方法,别抠截图。AI平台迭代很快,按钮位置、菜单名称、模型版本随时可能变化。本书正文会尽量说明“为什么这样做”而不只是“点击哪里”。若遇到界面与书中截图不一致,请以方法为准,在新界面里找到对应的入口即可。
阅读顺序建议。第1、2章请务必按顺序读完,它们是全书方法论的地基;第3~10章可以按兴趣跳读,需要什么先读什么;第11~13章建议在至少完整做完三个案例之后再读,届时对“为什么需要评审循环”“为什么必须回滚”会有切身体会。
适合读者
有真实需求但自认“不懂技术”的小店主、二手卖家、电商运营、短视频创作者、自媒体作者、母婴与教育从业者。本书所有案例都来自这类真实、具体、算得清账的需求。学习本书不要求任何编程基础,只要求能把想要完成的东西看明白、讲清楚。
想把重复劳动固化成工具的产品、运营、设计与市场人员。如果你的团队中存在这样一类工作:高频、重复、格式统一、经验掌握在少数几个人手上——本书讲的正是如何把这类经验封装成一个人人能用的应用。
教师、教研与培训从业者。书中的分步说明书、有声内容、知识短视频、语音陪练等案例,可以直接迁移到教学素材生产与课程交付场景。
有编程基础的开发者。本书对你的价值不在语法,而在AI应用特有的工程范式:质量校验闭环、异步任务与轮询、两级提示词、多Agent循环工程、前后端契约对齐、多模态应用上线的成本与权利风险控制。这些内容在传统工程书中很少被系统地整理出来。
本书不适合谁。如果你想学的是模型原理、训练与微调、算法实现,或者想深入某个模型的底层机制,本书帮不上忙,建议另择专著。本书立足的位置是应用层:如何用好扣子平台现成的能力,把自然语言描述的需求变成能交付、能维护、能商用的产品。
配套下载
本书配套PPT课件、提示词文件、配图PDF文件、教学大纲以及作者答疑微信群,读者可用微信扫描下面二维码获取。
鸣谢
感谢本书编辑在选题与体例上的耐心打磨,让这些零散的实践成长为一本有骨架的书。感谢扣子团队持续迭代出的产品能力,让“用大白话造应用”从一句口号变成了可以逐页演示的事实。感谢正在翻开这本书的你。
多模态开发是一件门槛正在快速消失、想象力却刚刚开始的事。愿你在合上本书之后做出的第一个AI应用,恰好解决那个在心里悬了很久的难题。
祝你阅读愉快,动手更愉快。
叶彦辛
2026年8月
