Transformer正在颠覆AI领域。市面上有这么平台和Transformer模型，哪些最符合你的需求？ 将引领你进入Transformer的世界，将讲述不同模型和平台的优势，指出如何消除模型的缺点和问题。本书将引导你使用Hugging Face从头开始预训练一个RoBERTa模型，包括构建数据集、定义数据整理器以及训练模型等。 《基于GPT-3、ChatGPT、GPT-4等Transformer架构的自然语言处理》分步展示如何微调GPT-3等预训练模型。研究机器翻译、语音转文本、文本转语音、问答等NLP任务，并介绍解决NLP难题的技术，甚至帮助你应对假新闻焦虑(详见第13章)。 从书中可了解到，诸如OpenAI的高级平台将Transformer扩展到语言领域、计算机视觉领域，并允许使用DALL-E 2、ChatGPT和GPT-4生成代码。通过本书，你将了解到Transformer的工作原理以及如何实施Transformer来决NLP问题。 主要内容 ? 了解用于解决复杂语言问题的新技术 ? 将GPT-3与T5、GPT-2和基于BERT的Transformer的结果进行对比 ? 使用TensorFlow、PyTorch和GPT-3执行情感分析、文本摘要、非正式语言分析、机器翻译等任务 ? 了解ViT和CLIP如何标注图像(包括模糊化)，并使用DALL-E从文本生成图像 ? 学习ChatGPT和GPT-4的高级提示工程机制

Denis Rothman 毕业于法国巴黎索邦大学和狄德罗大学，设计了首批获得专利的编码和嵌入系统，编写了首批获得专利的AI 认知机器人和机器人。他的职业生涯始于为Moët et Chandon 提供NLP(自然语言处理)聊天机器人，并为空中客车公司(前身为Aerospatiale)提供AI 战术防御优化器。此后，Denis 为IBM 和**品牌开发了AI资源优化器，并最终发展为在全球范围内使用的APS(高级规划和调度)解决方案。

前 言 Transformer 是自然语言理解(Natural Language Understanding，NLU)的游戏规则改变者，NLU 是自然语言处理(Natural Language Processing，NLP)的一个子集。NLU已成为全球数字经济中AI 的支柱之一。 Transformer 模型标志着AI 新时代的开始。语言基础已成为语言建模、聊天机器人、个人助理、问答、文本摘要、语音转文本、情绪分析、机器翻译等的支柱。社交网络正在取代实体接触，电子商务正在取代实体购物，数字报纸、流媒体正在取代实体剧院，远程文档咨询正在取代实体访问，远程工作正在取代现场办公，我们正在见证数百个领域的类似趋势。如果没有理解AI 语言，社会上使用网络浏览器、流媒体服务和任何涉及语言的数字活动都将非常困难。我们的社会从物理信息到海量数字信息的范式转变迫使AI 进入一个新时代。AI 已经发展到数十亿级参数模型，以应对万亿级单词数据集的挑战。 Transformer 架构具有革命性和颠覆性，它打破了过往RNN 和CNN 的主导地位。BERT 和GPT 模型放弃了循环网络层，使用自注意力机制取而代之。Transformer 模型优于RNN 和CNN。这是AI 历史上划时代的重大变化。 Transformer 编码器和解码器包含单独训练的注意力头(attention head)，并能使用GPU、TPU 等尖端硬件进行并行化。注意力头可以使用GPU 运行，从而为十亿级参数模型和即将出现的万亿级参数模型打开大门。OpenAI 在一台具有10 000个GPU和285 000 个CPU 内核的...