百亿级别小文件传输,如何解决海量小文件传输慢难题?
生活中,互联网社交、音频视频、电商、科学实验等各种应用在不断地生产着千万级、亿级甚至百亿级的海量小文件传输。对于海量小文件的理解,通常我们由量化来定义,把大小在1MB以内的文件称为小文件,百万级数量及以上称为海量小文件,LOSF(lots of samll file)。
小文件传输的难点 海量小文件传输与大文件传输有很大差异,传输大文件的性能消耗和瓶颈归结是在带宽上,而海量小文件的传输则不一样。由于海量小文件传输需要频繁打开/关闭文件句柄,但是文件打开后需要读取和写入的内容却极少,故海量小文件的传输瓶颈在IO性能上。
海量小文件传输是科技界公认的难题,众多技术人员一直为之努力,以下为镭速传输——企业级大文件传输的头部品牌给出的两个解题思路。
海量小文件传输解决方案突破点 I/O读写优化技术 I/O输入/输出(Input/Output) ,镭速传输利用的是优异的I/O读写优化技术(可靠、可操作、可升级),支持高达5000个/秒的读写能力,针对海量小文件提供高效支持,提供海量文件高速传输支持服务。
高速传输协议 镭速传输拥有自主研发的raysync高速传输协议,突破传统FTP,HTTP的传输缺陷,能将现有传输效率进行高效提升,达到传统数据传输效率100倍以上,确保海量小文件数据高频,极速传输。