Replies: 1 comment
-
不好意思,之前没看到这个消息,spawn的问题可能得问一下 PaddlePaddle这个主库的人了 |
Beta Was this translation helpful? Give feedback.
0 replies
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
-
你好,我今天尝试使用paddled的distributed.spwan,发现不能设置自定义类在分布式中的进程通信,好像是paddle的spwan自动帮助实现了每个卡上的类,不像torch-quiver中手动添加reductions来生成每个进程中的类。如果我需要这样处理,应该怎样操作呢,同时,我在使用的时候发现在paddle的spawn下,gpu使用率不高25-30%,是因为nvcc版本的问题么,因为显卡占用率很低。我觉得有可能是pd的问题, 我使用spwan,内部具体是由cupy以及numba来操作gpu,在torch后端的时候,使用multiprocessing.spwan的时候,gpu性能直接吃满,90%+,因为这个在torch-quiver中也有类似的操作,我想问一下这个什么原因呢,因为,我目前使用CuPy和Numba的第三方库实现了PyTorch后端的quiver,谢谢!
Beta Was this translation helpful? Give feedback.
All reactions