目录

第1章深度学习软硬件概述

视频讲解： 21分钟，8集

1.1深度学习基础

1.1.1深度学习的定义与发展历程

1.1.2神经网络基本原理

1.1.3深度学习主要应用领域

1.2深度学习系统工作流程

1.3深度学习软件栈

1.3.1框架前端

1.3.2计算图中间表示

1.3.3框架后端运行时

1.3.4深度学习编译器

1.3.5硬件代码生成器

1.3.6框架调试工具链

1.3.7数学库

1.3.8硬件抽象运行时

1.3.9硬件驱动与固件

1.3.10硬件调试工具链

1.3.11硬件概述

1.3.12总结

1.4深度学习硬件平台

1.4.1处理单元

1.4.2异构架构

1.4.3总结

1.5深度学习系统面临的挑战

1.5.1计算效率与能耗

1.5.2内存带宽与数据移动

1.5.3模型规模与复杂度增长

1.5.4部署环境的多样性

第2章软件框架

视频讲解： 23分钟，8集

2.1深度学习软件框架

2.1.1PyTorch总体概述

2.1.2PyTorch核心模块

2.1.3TensorFlow总体概述

2.1.4两框架比较

2.2中间表示

2.2.1计算图概述

2.2.2TorchDynamo

2.2.3TorchScript

2.2.4ONNX

2.2.5IR级别的优化技术

2.2.6硬件感知的IR设计

2.3未来发展趋势

第3章深度学习编译器

视频讲解： 19分钟，6集

3.1深度学习编译器概述

3.1.1系统结构

3.1.2工作流程

3.1.3对外接口

3.1.4典型深度学习编译器

3.1.5应用场景

3.1.6总结

3.2TVM概述

3.2.1系统结构

3.2.2工作流程

3.2.3应用场景

3.2.4总结

3.3TVM关键技术

3.3.1TVM关键模块

3.3.2TVMScript

3.3.3中间表示的转换

3.3.4对外扩展接口

3.3.5TVM与LLVM的结合

3.3.6TVM与CUDA的结合

3.3.7TVM与第三方算子库结合

3.3.8添加新GPU的支持

3.4深度学习编译优化技术

3.4.1算子优化

3.4.2图结构优化

3.4.3硬件感知优化

3.4.4其他模型优化方法

3.5硬件代码生成器概述

3.6LLVM概述

3.6.1框架

3.6.2流程

3.6.3应用场景

3.6.4优缺点

3.6.5总结

3.7LLVM前中端关键技术

3.7.1前端处理过程

3.7.2IRBuilder

3.7.3抽象语法树

3.7.4LLVM IR

3.7.5中端处理过程

3.8LLVM后端代码生成器

3.8.1代码生成器架构

3.8.2代码生成器工作流程

3.8.3生成器实现途径

3.8.4LLVM后端新硬件的扩展

3.9编译器与生成器的协同工作

3.10TPU、NPU与GPU比较

3.11未来发展趋势

第4章深度学习算法库

视频讲解： 9分钟，3集

4.1算法库概述

4.1.1算法库主要功能

4.1.2常见深度学习算法库

4.1.3并行编程

4.1.4库函数的基本结构

4.1.5库函数内部并行化

4.1.6算法库与学习框架的融合

4.1.7算法库、运行时、驱动之间的融合

4.1.8总结

4.2算法库的优化技术

4.3算法库未来发展趋势

第5章底层软件系统

视频讲解： 22分钟，7集

5.1运行时系统概述

5.2图计算运行时

5.3硬件抽象运行时

5.4ONNX Runtime

5.5硬件驱动系统

5.6显卡固件系统

5.7底层软件系统关键技术

5.7.1内存管理技术

5.7.2同步机制

5.7.3事件和流管理

5.7.4核函数装载启动

5.7.5异构可执行文件

5.7.6异构执行模型

5.8GPU、NPU、TPU对比分析

5.9未来发展趋势

第6章底层硬件架构

视频讲解： 28分钟，9集

6.1硬件需求

6.2硬件系统

6.2.1概述

6.2.2硬件的基本结构

6.2.3硬件组织方式

6.2.4工作流程

6.2.5优化技巧

6.2.6总结

6.3硬件关键技术

6.3.1内部高速互连

6.3.2外部高速互连

6.3.3高带宽存储

6.4GPGPU架构分析

6.4.1概述

6.4.2总体架构

6.4.3工作流程

6.4.4关键模块

6.4.5GPGPU常用指令

6.4.6典型应用

6.4.7SIMD与SIMT的比较

6.4.8总结

6.5NPU架构分析

6.5.1概述

6.5.2总体架构及工作流程

6.5.3NPU常用指令

6.5.4NPU与GPU程序执行模型区别

6.5.5NPU优化深度学习运算

6.5.6NPU与GPU总体比较

6.5.7NPU与TPU总体比较

6.5.8应用场景

6.5.9优势与劣势

6.5.10典型产品

6.5.11发展趋势

6.5.12总结

6.6性能与能效评估方法

6.6.1TOPS/W指标解析

6.6.2能耗与计算效率的权衡

6.7新兴计算架构探索

6.7.1存算一体(PIM)技术

6.7.2光子计算与量子计算对深度学习的影响

6.8未来展望

第7章调试和性能分析

视频讲解： 4分钟，1集

7.1深度学习系统调试概述

7.1.1调试的重要性和挑战

7.1.2调试工具和方法概述

7.2模型级调试

7.2.1模型可视化

7.2.2模型单元测试

7.2.3数据集与标签调试

7.3后端系统调试

7.3.1运行时事件捕获

7.3.2运行时异常处理

7.3.3运行时性能监控

7.3.4底层系统调试

7.4系统性能分析

7.4.1性能瓶颈定位

7.4.2性能优化方法

7.5可解释性与可靠性

7.5.1模型可解释性

7.5.2系统可靠性

7.6未来发展趋势

参考文献