111qqz

111qqz

🏢  sensetime
V2EX 第 199431 号会员,加入于 2016-11-01 19:09:26 +08:00
今日活跃度排名 4540
ex-ACMer@HUST
根据 111qqz 的设置,主题列表被隐藏
二手交易 相关的信息,包括已关闭的交易,不会被隐藏
111qqz 最近回复了
价格?
@thinkershare #16 周来忙别的就暂时没有再跟进这个问题了
稍晚一点我把 conda list 还有相关的版本也更新一下
71 天前
回复了 justincnn 创建的主题 硬件 8 寸左右看书的平板有推荐么?
单纯看电子书的话,小米平板 1 挺好的,去年刚买了个拿来用(
@AirCrusher #14
1. 只用一个 torch.matmul 无法复现问题.
甚至两个 linear 的参数也会影响问题的复现.
基本上第二个 linear 的参数的输出是 1 才会复现,如果是其他值,先后 import 不会对结果有影响.

2. 随机种子和`torch.use_deterministic_algorithms(True)` 都设置了.
以及设置了如下这些:

```python

def set_random_seed(seed: int):
"""Set random seed.

Args:
seed (int): Seed to be used.
"""
random.seed(seed)
np.random.seed(seed)
torch.manual_seed(seed)
torch.cuda.manual_seed(seed)
torch.cuda.manual_seed_all(seed)
torch.backends.cudnn.deterministic = True # type: ignore
torch.backends.cudnn.benchmark = False # type: ignore
torch.backends.cudnn.enabled = False # type: ignore
cp.random.seed(seed)


```

问题还是可以复现.
@thinkershare #9 非常感谢协助排查.
不同机器上的结果似乎确实是会不一致的, 之前遇到过使用两种不同型号的 A100GPU 时(A100-PCIE-40GB vs A100-SXM4-40GB),Adam 优化器的结果会有明显区别.

我打算先看看对齐下 CUDA 版本来验证下,确保 cupy 和 torch 使用的是同一个 cuda 版本.
如果还是不行, 打算尝试下你后面提到的步骤
有了更新会 at 你

再次感谢
72 天前
回复了 MrWil 创建的主题 职场话题 tencent 面试之按地摩擦
某 bg 的话,校招生薪资=1 siza=61W (
@thinkershare #4 最开始我也怀疑是种子. 但是种子应该已经设置相同了,而且种子对结果的差异应该比这个要大
@thinkershare #6 感谢,已补充
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3955 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 19ms · UTC 10:23 · PVG 18:23 · LAX 02:23 · JFK 05:23
Developed with CodeLauncher
♥ Do have faith in what you're doing.