"大多数商业软件通常采用迭代开发的方式,部署后还可以进行显著的改进和调整。与此不同,大语言模型(LLM)开发成本高、修改难度大,因此需要在前期进行精心的规划、严格的数据标准控制及精准的技术实现。将LLM集成到实际产品中,会影响运营的方方面面,包括应用生命周期、数据处理流程、计算成本、安全性等。如果操作不当,可能导致高昂的失败成本。
《大模型产品化手册:工程化方法与实践》将介绍如何制订一个LLMOps计划,帮助你将AI应用从设计顺利过渡到交付。你将学习如何准备LLM数据集,掌握高效的训练技巧,如LoRA(低秩适应)和RLHF(基于人类反馈的强化学习),以及如何通过行业基准来评估模型性能。在学习过程中,你还将通过三个有趣的项目,实践所学的技能:创建并训练定制的大语言模型,开发一个VSCode AI编码插件,以及将小型模型部署到树莓派上。
主要内容
? 平衡成本与性能
? 再训练与负载测试
? 针对普通硬件优化模型
? 在Kubernetes集群上部署"
