yoloV8 推理 cpu 占用问题

查看 106|回复 9
作者:dododada   
前文讲过采购服务器,有个兄弟讲钱花在刀把上了。
换了 cpu ,视频分析推理整体的性能提升了三分之一。
但是有个很大的问题,和以前一样的问题,gpu 跑不满,最高 40%; gpu 跑的时候 cpu 倒是占满了。
做了训练测试,用来训练数据 gpu 倒是能跑满。
算法的同事讲 yolov8 检测就是吃 cpu ,因为会有频繁的 gpu/cpu 切换。
找了一些方法,都被算法否掉了。
我不是做算法的,请教一下各位兄弟,yolov8 真的会吃 cpu 么?
如果吃/不吃,有啥办法提升 gpu 的占用么?
mjawp   
检测的预处理和后处理部分应该是 cpu 做的,这一部分想办法独立出来做异步试试
sugarkeek   
我用 yolo 的 trt 部署的时候是在 cpu 吃满的情况下,逐渐增加 gpu 的占用
Motorola3   
可以贴一下你配置的那个帖吗 最近也在准备采购
dododada
OP
  
@mjawp 其实我提了个想法,就是 cpu 的归 cpu ,gpu 的归 gpu ,中间通过内存或者其他方式共享结果数据。就是把消息队列那一套搬过来,但是算法说这样搞要从头开始重新 C++写一遍,代价太高了。
这么一讲,我就想要不要拆掉一块 gpu ,插到我们的训练服务器上去
ktyang   
推理和训练的算力需求是不一样的 不知道你整个 pipeline 是怎么设计的 不太好给具体的建议
ktyang   
@dododada 显存和内存在物理上是两个东西。。。
dododada
OP
  
@Motorola3
2 * Intel Xeon 4316(20C,150W,2.3GHz)
8 * 32GB DDR4-3200MHz RDIMM
1 * SSD_1.92TSATA6Gpbs.2.5in
2 * M6_3.5.7.2K SATA 4TB_HDD
2 * NVDIA RTX 4090 24GB
2 * 2700W 铂金电源模块
1 * 标配导轨,满配散热风扇
目前看起来,这个 U 还是配低了,8 系的估计会更好一些
Motorola3   
@dododada 好的 多谢
dododada
OP
  
@Motorola3 这个电源贵,2000W 的应该就够了; 2 光口和 4 电口的价格差别不太大,主要看网络需求; raid 卡有的只支持 0/1 ,标卡支持 0/1/5/6/10/50/60 ,也是看需求,差价比较大;
您需要登录后才可以回帖 登录 | 立即注册

返回顶部