发新帖

2块GPU走NVLINK运行在SLI模式下,可以把显存和计算资源叠加吗?

[复制链接]
301 0

快来加入 TensorFlowers 大家庭!

您需要 登录 才可以下载或查看,没有帐号?加入社区

x
如果使用两块GPU在SLI模式下,Tensorflow有没有办法把 ‘两块’ 当成  ‘一块’ 使用?

注意不是一机多GPU并行训练的概念,而是在硬件上就被当成一块来处理,2倍的cuda+2倍的显存。

训练模型的时候,如果模型申请显存的空间超过了第一块的显存的限制,会自动调用第二块显卡的显存;并在训练时总是调用两块显卡的计算资源?

显存分配类似双通道内存的概念,计算资源类似“多核CPU“的概念?

现有教程无论是数据并行还是把模型拆到两块GPU上,都是把每一块显卡分开处理的

我知道答案 回答被采纳将会获得10 金币 + 10 金币 已有0人回答
本楼点评(0) 收起
您需要登录后才可以回帖 登录 | 加入社区

本版积分规则

主题

帖子

3

积分
快速回复 返回顶部 返回列表