Waymo open dataset 数据集下载后，如何解压

[yiyi1010]

waymo 数据集下载下来是 tar files ，在不同的文件夹中，请问有人知道什么方式解压最方便吗？ 是需要进入不同文件夹，执行 ls *.tar.gz | xargs -n1 tar xzvf 请问有人用过这个数据集吗？ OpenPCDET 和 MMLab, 对于解压方式，是不是也应该不也一样？

[FACEB00K]

waymo 数据集不都是 tfrecord 的形式吗，我只用 gsutil 下载过单独的几个文件

[yiyi1010]

@FACEB00K 谢谢你哈。对，就 gsutil 下载下来的是 tar files ， 你这里是用什么解压的，解压之后应该就是 tf 文件， 你是分别在 training ，testing ，validation 每个文件夹里面 执行 ls *.tar.gz | xargs -n1 tar xzvf ，进行解压吗

[FACEB00K]

@yiyi1010 我用的 Colab 跑的 tutorial code ，数据直接下载在了 Google Drive 里面，`gsutil -m cp -r
"gs://waymo_open_dataset_motion_v_1_1_0/uncompressed" . ` 这个命令下载下来直接就是原来的结构，不需要解压。
anyway ，其实随便怎么解压，最后和原来的目录结构一样就可以了，目录结构不深，随便怎么搞，最后 mv 移动一下就行
By the way ，你数据集下载之后一共多大😭😭😭

[yiyi1010]

@FACEB00K 是的，蛮大的，我全部下载了（ testing ，training ，validation ，domain adaptation 四个文件夹），大概 1.8T ，但是你就是说手动进行处理成 OpenPCDET 需要的样式