用tensorflow跑程序遇到的问题

查看全部 · 发表在已解决 2018-6-7 09:55:57

您需要登录才可以下载或查看，没有帐号？加入社区

x

先说一下的我配置，Ubuntu14，gtx1080，cuda9+cudnn7.1.2,anaconda3，python3.6。
我遇到的问题是：正常跑一轮迭代大概9-12s，但是有时会出现跑一轮迭代要几个小时的情况。请问一下会是什么导致了这种情况？

重庆不热已获得悬赏 10 金币+5 金币

云服务器？有可能是和别人一起共享一台机器，然后你的进程被kill掉了？

舟3332 · 发表于 2018-6-8 21:24:43

我猜是不是数据源的问题。如果数据是从网络下载的，有可能有时候延迟很高。

这种问题很难回答。建议提供最小重现。

Assam · 发表于 2018-6-8 21:27:40

舟3332 发表于 2018-6-8 21:24
我猜是不是数据源的问题。如果数据是从网络下载的，有可能有时候延迟很高。

这种问题很难回答。建议提供最 ...

我现在想到的有两种情况：1、因为我是在服务器上跑的，可能会有别人同时也在跑cnn，占了gpu。2、gpu过热导致跑得慢。不过我更倾向于第一种情况，因为同样的代码，在台式机跑的时候没遇到过。

舟3332 · 发表于 2018-6-9 07:09:32

Assam 发表于 2018-6-8 21:27
我现在想到的有两种情况：1、因为我是在服务器上跑的，可能会有别人同时也在跑cnn，占了gpu。2、gpu过热 ...

gpu 占用的情况可以在 nvidia-smi 查看

重庆不热 · 发表于 2018-7-3 16:20:10

云服务器？有可能是和别人一起共享一台机器，然后你的进程被kill掉了？

neverchange · 发表于 2018-7-3 18:31:23

应该是吧，云服务器是共享GPU的，但是不会差这么多，我没有遇到过这个问题

ves · 发表于 2018-7-4 21:03:19

描述信息太少，建议说详细些

ViolinSolo · 发表于 2018-7-5 00:10:10

我感觉是数据的原因，，是不是你的数据质量不平衡呀哥，因为很少会出现这种情况。。如果要不是数据原因，，那你要好好看看你的环境和机器了。。。别的不会出现这种情况的

lytensor · 发表于 2018-7-5 00:13:52

如果数据是一样的，那应该是服务器的问题，可能与别人共用导致资源跟不上，进程被挂起，kill不掉

kdongyi · 发表于 2018-7-15 17:17:34

可能是你云主机的问题

精彩评论9