PyTorch 在 2014 年之前，神经网络与深度学习还没有大规模地应用于工业界。研究者们开发了一些基本而有效的工具包，来搭建神经网络。其中的代表就是 Caffe、Torch 和 Theano。由于当时的研究主流方向是卷积神经网络 (CNN) 在计算机视觉 (CV) 中的应用，所以这些框架主要关注的是 layers。这种设计完全可以满足研究者们拼接不同卷积层、了解不同神经网络结构效果的目的。 而

PyTorch 数据封装 PyTorch 为我们提供了两个类型 Dataset 和 DataLoader，前者负责创建可被 PyTorch 使用的数据集，而后者负责向训练过程传递数据。 如果想个性化自己的数据集或者数据传递方式，也可以自己重写子类。 Dataset Dataset 是一个抽象类，其完整调用路径是 torch.utils.data.Dataset。自定义的 Dataset 需要继承它

如前文所述，在 PyTorch 训练过程中，一个主要的性能瓶颈就是数据集的导入和预处理。 在一般情况下，PyTorch 的 DataLoader 是实现了 __iter__ 和 __next__ 方法的，在 for 循环中，临时来从硬盘中导入数据，进行预处理并送入显存。这是 PyTorch 的一般实践，可以保证训练稳定地进行而不会出错。但是另一方面，稳定就代表不够高效。以 CIFAR10 数据集为