新闻动态大文件传输

大数据传输安全的技术问题和挑战

2021-02-04大数据传输

从数据生产到收集，处理和共享，对大数据传输安全的威胁已渗透到大数据供应链的各个方面。风险原因错综复杂。存在外部攻击和内部数据泄漏，漏洞和管理缺陷，以及使用新技术和新模型所固有的新风险。而且，传统的大数据传输安全风险没有得到缓解，并且继续构成威胁。我们将重点关注和分析对大数据安全的三种威胁，大数据平台安全，数据安全和个人数据安全-以确定对大数据安全的一系列要求。

大数据传输安全的技术问题和挑战

大数据传输平台安全问题与挑战

大数据平台有许多用户，涉及各种场景。传统的安全机制可能无法满足平台的需求。

在需要大数据的情况下，数据是从更多样化的渠道，数据类型，用户角色和应用程序需求中聚合的。访问控制面临许多新问题。

首先，多源数据的大规模融合增加了访问控制策略制定和授权管理的难度。授权过多和授权不足都会造成严重问题。

其次，数据的多样性以及用户角色和需求的细化使查明如何描述对象变得更加困难。传统的访问控制方案经常使用数据属性（例如ID号）来描述访问控制策略中使用的对象。非结构化和半结构化数据无法以相同的方式进行细化，因此无法准确指定用户可以访问的数据范围。这使得很难确定最低授权级别。大数据存储和流量固有的复杂性使实现数据加密变得极为困难。拥有如此庞大的数据存储，密钥管理也是一个亟待解决的问题。

重点关注在大数据平台上发起网络攻击的新方法，以及传统的监控技术如何暴露风险

大数据存储，计算和分析的激增催生了许多新型的高级网络攻击，这些攻击使传统的检测和防御技术严重不足，无法有效抵御入侵。传统检测基于实时检测和基于单个时间点的威胁特征匹配。但是，特别是针对大数据的高级持久威胁（APT）攻击，APT依靠长期的隐蔽攻击实施而具有长远的眼光，并且不具有可以通过实时分析检测到的明显功能，因此无法发现困难得多。

此外，大数据具有低价值密度这一事实使安全分析工具难以查明价值点。黑客可以将其攻击隐藏在大数据中，这使传统检测方法变得困难。结果，发生了针对大数据平台的APT攻击，并且针对大数据平台的大规模分布式拒绝服务（DDoS）攻击并不少见。Verizon的《 2018年数据库漏洞调查报告》显示，有48％的数据泄露与黑客攻击有关。其中，DDoS，网络钓鱼攻击和特权滥用是主要的黑客手段。

主要攻击方法导致数据泄漏

主要的类别，从上至下：黑客攻击，恶意软件，部署或操作错误，社会工程攻击，特权滥用，物理攻击。

数据安全问题与挑战

除了越来越普遍的数据泄漏威胁之外，大数据的大容量和多样化意味着对数据安全性的威胁是新威胁，不同于对传统数据安全性的威胁。

数据泄露的数量持续增长，造成越来越严重的危害

大数据具有巨大的价值和集中的数据存储管理，已成为网络攻击的主要目标。大数据的勒索软件攻击和数据泄露问题变得越来越严重，并且经常发生重大数据安全事件。金雅拓的《 2017年数据泄露水平指数》报告指出，2017年上半年全球数据泄露总数为19亿，已经超过2016年的总数（14亿）。与2016年下半年相比，增长了160％以上。图4显示，从2013年到2017年，全球数据泄露数量有所增加。在中国也有数据泄露事件。2017年3月，京东（JD.com）的试用员工与黑客合谋窃取了与运输，物流和医疗相关的50亿条个人信息，然后在网上黑市上出售了这些信息。

此外，数据泄漏的潜在隐患也令人担忧，截至2017年2月3日，中国共有15046个MongoDB数据库在公共网络上公开，这是一个主要的安全隐患。

数据收集是一种影响决策分析的新风险

在数据收集过程中，大数据的大容量，多样性和多样性使得难以验证数据的真实性和完整性。当前，没有严格的监控措施来确保数据的真实性和可信性。无法识别和消除虚假甚至恶意数据。如果黑客依靠网络攻击将脏数据注入到数据收集过程中，则会破坏数据的真实性。这将故意歪曲从数据分析得出的结论，从而使黑客能够按预期成功地操纵分析结果。

在数据处理期间保护机密性的问题逐渐变得越来越普遍

随着数字经济时代的到来，越来越多的企业或组织需要成为供应链的一部分，并依靠数据流和合作开展生产活动。当企业或组织从事数据协作和共享时，数据将离开组织和系统边界，从而导致跨系统访问或多方数据聚合以执行联合操作。在合作过程中，确保个人信息，商业秘密或唯一数据资源的机密性是企业或组织参与数据共享合作的先决条件，也是确保数据畅通必须解决的问题。

数据流路径的复杂性使可追溯性异常困难

大数据传输应用系统很复杂。频繁的数据共享和交换以复杂的方式互连数据流路径。从生成到破坏，数据不再遵循单向，单路径的简单流模型，并且不再仅限于组织内部的流。相反，数据现在从一个数据控制器流向另一个。在异构网络环境中，跨数据控制器或安全域跟踪完整的数据路径更加困难。借助数据可追溯性，尤其难以确定数据标签的可信度。数据标签和数据内容相互交织的事实提出了更突出的问题，包括安全问题。

个人隐私安全挑战

大数据使用对个人隐私造成的损害不仅限于破坏。大数据的收集，处理和分析数据的方法和能力也严重挑战了传统的个人隐私保护框架和技术能力。

传统的隐私保护技术由于大数据的强大分析能力而面临失败

在大数据环境中，对多源和多类型数据集进行关系分析和深度挖掘的公司可以恢复匿名数据，并且更进一步，可以识别特定个人或获取有价值的个人信息。在传统的隐私保护中，数据控制器选择数据保护技术和参数来保护单个数据集中的个人数据。他们特别使用诸如去标识和掩蔽等技术方法。这些无法处理由多源数据分析和挖掘产生的隐私侵害。

传统的隐私保护技术在适应大数据的非关系数据库方面面临困难

在大数据技术环境中，数据动态变化，并且半结构化和非结构化数据占大多数，其中非结构化数据占总数据的80％以上，非关系数据库（NoSQL）是存储技术收集，管理和处理大数据的规范。当前，非关系数据库使用相对宽松的访问控制机制和不完善的隐私保护工具。关系数据库中经常使用现有的隐私保护技术，例如身份识别和匿名化技术。