PyTorch 面试题及详细答案120题（96-105）-- 性能优化与调试
《前后端面试题》专栏集合了前后端各个知识模块的面试题，包括html，javascript，css，vue，react，java，Openlayers，leaflet，cesium，mapboxGL，threejs，nodejs，mangoDB，SQL，Linux… 。
文章目录
- 一、本文面试题目录
-
-
- 96. 如何查看PyTorch模型的参数量和计算量（FLOPs）？
-
- 原理说明
- 示例代码
- 97. 什么是CUDA？PyTorch如何利用CUDA进行加速？
-
- 原理说明
- 示例代码
- 98. 如何排查PyTorch代码中的GPU内存溢出问题？
-
- 原理说明
- 排查与解决方法
- 示例代码
- 99. 如何优化PyTorch模型的训练速度？请列举至少5种方法。
-
- 原理说明
- 示例代码
- 100. 什么是同步批归一化（SyncBatchNorm）？在分布式训练中为什么需要它？
-
- 原理说明
- 示例代码
- 101. 如何使用PyTorch的`profiler`工具分析模型性能瓶颈？
-
- 原理说明
- 示例代码
- 102. 什么是内存碎片？如何减少PyTorch中的内存碎片？
-
- 原理说明
- 减少内存碎片的方法
- 示例代码
- 103. 如何选择合适的`batch_size`？`batch_size`对训练有什么影响？
-
- 原理说明
- 对训练的影响
- 选择策略
- 示例代码
- 104. 为什么PyTorch中推荐使用`pin_memory=True`？它有什么作用？
-
- 原理说明
- 使用场景
- 示例代码
- 105. 如何在PyTorch中使用半精度（FP16）或bfloat16精度进行训练？
-
- 原理说明
- 示例代码
-
一、本文面试题目录
96. 如何查看PyTorch模型的参数量和计算量（FLOPs）？
原理说明
- 参数量：模型中所有可学习参数（如权重、偏置）的总数，反映模型的大小和存储需求。
- 计算量（FLOPs）：每秒浮点运算次数（Floating Point Operations），反映模型的计算复杂度，常用单位为GFLOPs（10⁹ FLOPs）。
PyTorch中需借助