April 26, 2020

TPU-v2 是 Tesla V100 16G 性能的 4.75倍?

TPU-v2 是 Tesla V100 16G 性能的 4.75倍?

用Transformers 自带的 MNLI 例子分别在 V100 16G 上和 tpu-8core 上面跑一个 epoch 结果如下:

Tesla V100 16G
TPU-v2 8-core

76/16.0 = 4.75

这样看起来如果不上多机多卡的话 TPU 现在是做实验最好的选择了。