新闻动态大文件传输

为什么小文件传输慢？为什么复制多个较小的文件时小文件传输速度会降低？

2022-06-18小文件传输

为什么小文件传输慢

在工作中，经常需要进行小文件传输，但是在大量的小文件传输的时候，为什么小文件传输的很慢呢？为什么复制多个较小的文件时，小文件传输速度就会降低，针对着一些问题，小编给大家整理了一些小文件传输为什么那么慢以及小文件传输的解决方案。

假设我要将便携式应用程序目录从PC复制到外部HDD。一个application.exe文件的大小约为4兆字节，但是大多数其他文件的大小仅为数十KB，并且与具有4兆字节的较大文件相比，大多数这些文件的复制/移动时间更长。

传输数据时，如果移动一个大文件，则只需写入一次目录条目，然后传输数据或多或少地连续写入。如果文件很多的情况下，则写入目录信息，移至文件区域并写入数据，然后返回并写入下一个文件的目录条目，然后移回数据区域并来回写入数据。

如果在进行小文件传输，则在源处有一个open + read + close，在目标处有一个open + write + close，并在目标处创建了所有相关属性（ctime / atime / mtime等）。碎片（需要较多的查找时间）也会影响数据速率。例如sata通道的拥塞也可能是一个问题。这也是较大的文件具有更长的连续读取或写入，并且传输速度更快，反而是小文件传输却很慢。

这就是Windows工作的方式，这也是HDD不好的部分。通常，SSD擅长复制小文件。您可以查看有关文件传输速度的HDD和SSD的基准测试。但是您必须知道还有其他地方，例如Windows先读取文件，然后由防病毒软件检查它们，然后将它们写入新的目标文件夹。更不用说剪切文件时，添加了删除过程。因此，更多的文件，增加了更多的“实时”时间来复制更多的文件。

因为写入（外部）HDD的数据没有被缓存，而是直接写入HDD，然后USB驱动器也必须为每个文件工作索引（胖，分配表），因此必须将HDD暂存从文件数据到文件分配数据。因为如果在缓存时失败，则文件将丢失，HDD损坏等。可以缓存内部驱动器。然后，它可以将文件爆裂到硬盘。实际上，它们会像整个商用计算机业务那样使您减速。USB硬盘驱动器上的其他驱动程序不是智能驱动器，也不是硬盘驱动器。人们想要便宜的东西。他们不是在硬盘的描述中说出来的，不，当然不会。他们只提到大文件传输速率。

这样想吧，分配了一个任务，从A点到B点拿走10本书（10个文件），如果它们是单个的，则计算机需要让它拿到B点再回到A点以拿起下一本书等等。而如果需要拿一本相当于10本书总重量的大书，则移动书的时间会更长，但是由于计算机只能走一趟，因此这将是一个更快的过程。

那么针对小文件传输慢，需要复制较小的文件时候，海量的小文件传输速度变慢的情况，镭速提供海量级的小文件传输解决方案，小文件传输每秒5000个以上，百万数量级文件能在5分钟内完成列表，相同文件秒传速度可达每秒20000个，速度比传统的FTP快100倍以上。