大模型-高频考点-每日一更【篇二】
问题：dropout如何运作
回答：
dropout仅在训练中应用，而不在推理/评估阶段应用
为了消除drop的神经元带来的激活规模的影响，其实还进行了额外操作：将训练期间的所有激活缩放一个因子1/(1-p)，其中p是dropout率
给出代码示例：
# 定义dropout层
import torch
import torch.nn as nn
dropout_layer = nn.Dropout(0.2)# 训练阶段进行了缩放
dropout_layer.train()
x=torch.rand((1, 5))
# tensor([[0.94, 0.13, 0.93, 0.59, 0.86]])
dropout_layer(x)
# tensor([[0.00, 0.16, 1.16, 0.74, 1.08]])
x/(1-p)
# tensor([[0.94, 0.16, 1.16, 0.74, 1.08]])# 推理/评估阶段
dropout_layer.eval()
x
# tensor([[0.94, 0.13, 0.93, 0.59, 0.86]])
dropout_layer(x)
# tensor([[0.94, 0.13, 0.93, 0.59, 0.86]])结尾
亲爱的读者朋友：感谢您在繁忙中驻足阅读本期内容！您的到来是对我们最大的支持❤️
正如古语所言："当局者迷，旁观者清"。您独到的见解与客观评价，恰似一盏明灯💡，能帮助我们照亮内容盲区，让未来的创作更加贴近您的需求。
若此文给您带来启发或收获，不妨通过以下方式为彼此搭建一座桥梁： ✨ 点击右上角【点赞】图标，让好内容被更多人看见 ✨ 滑动屏幕【收藏】本篇，便于随时查阅回味 ✨ 在评论区留下您的真知灼见，让我们共同碰撞思维的火花
我始终秉持匠心精神，以键盘为犁铧深耕知识沃土💻，用每一次敲击传递专业价值，不断优化内容呈现形式，力求为您打造沉浸式的阅读盛宴📚。
有任何疑问或建议？评论区就是我们的连心桥！您的每一条留言我都将认真研读，并在24小时内回复解答📝。
愿我们携手同行，在知识的雨林中茁壮成长🌳，共享思想绽放的甘甜果实。下期相遇时，期待看到您智慧的评论与闪亮的点赞身影✨！
万分感谢🙏🙏您的点赞👍👍、收藏⭐🌟、评论💬🗯️、关注❤️💚～
自我介绍：一线互联网大厂资深算法研发（工作6年+），4年以上招聘面试官经验（一二面面试官，面试候选人400+），深谙岗位专业知识、技能雷达图，已累计辅导15+求职者顺利入职大中型互联网公司。熟练掌握大模型、NLP、搜索、推荐、数据挖掘算法和优化，提供面试辅导、专业知识入门到进阶辅导等定制化需求等服务，助力您顺利完成学习和求职之旅（有需要者可私信联系）
友友们，自己的知乎账号为“快乐星球”，定期更新技术文章，敬请关注！