如何解决../rtSafe/safeRuntime.cpp (25) - Cuda Error in allocate: 2 (out of memory)
在onnx生成engine的代码执行过程中，用8G显存的GPU跑程序一启动就报错：../rtSafe/safeRuntime.cpp (25) - Cuda Error in allocate: 2 (out of memory)，报这个错倒不一定是因为模型本身太大了，而可能是workspace size值设置得太大了，把代码中
config->setMaxWorkspaceSize(size_t(1) << 40);
改成
config->setMaxWorkspaceSize(size_t(1) << 30);
然后执行程序就不报错了。
但如果是设置了FP16量化模式
config->setFlag(nvinfer1::BuilderFlag::kFP16);
所需的workspace size变大，得需要把上面设置的值试着加大，当然此时GPU显存小了可能跑不了
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.dtcms.com/a/103121.html
如若内容造成侵权/违法违规/事实不符，请联系邮箱：809451989@qq.com进行投诉反馈，一经查实，立即删除！