网络安全系统的最大秘密：美国联邦调查局如何监视用户数据？

随着美国政府使用互联网监视和跟踪人们的新闻浮出水面，互联网履行其原始使命的前景似乎黯淡。

现代计算技术正在帮助公司和政府准确，快速地分析巨大的数据资源。

其中，数据库系统，机器学习和Hadoop基础结构技术起着非常重要的作用。

世界各地的消费者使用的平均每月网络，电子邮件和数据流量图表仅在五年前。

诸如美国国家安全局（NaTIonal Security Agency，NSA）之类的政府机构希望通过关键字有效地分析数据。

数以百万计的电话，短信和在线聊天记录根本是不可能的任务。

但是目前，使用一系列新技术可以使NSA拥有相对足够的人力和财力来做到这一点。

特别是考虑到这些关键字可能最终会阻止将来释放针对美国的恐怖袭击。

这些新技术可以在单个数据库中存储大量不同类型的数据，并且可以在不使用昂贵的硬件设备且不需要数据分析专家预先设置假设的情况下实现高速数据处理。

哈佛商学院客座教授，数据分析专家汤姆·达文波特（Tom Davenport）指出：“这些新技术为政府节省了大量资金，但也大大提高了政府分析此类数据的能力。

尽管需要数据中心支持才能完成数据分析任务，但是这些技术的成本比几年前要低得多。

＆amp; rdquo;美国国家安全局（NSA）花了12亿美元在犹他州建造了一个大型数据中心，并将于今年秋天投入使用。

目前尚不清楚NSA在覆盖美国的数据中心中使用哪种计算技术。

但是一般来说，这些技术分为三种类型：1.数据库系统use大多数使用SQL编程语言的传统数据库都将数据存储在由行和列组成的表中。

但是，在存储包括电子邮件或文本消息的字符串时，传统的数据库暴露出功能有限的缺点。

而且他们无法处理图片或视频。

2009年底开始出现的新数据库NoSQL（不仅是SQL，而不仅仅是SQL）突破了传统数据库的容量限制，并允许数据分析专家为所有类型的数据创建信息需求。

这些新数据库包括MongoDB，Cassandra和Simple DB。

NoSQL数据库在帮助公司分析非常大的数据集方面显示出非凡的能力。

例如，美国保险数据提供商Verisk AnalyTIcs Inc.的分析师不断针对数十亿客户数据运行各种数据模型和分析方法，以发现虚假的保险索赔记录。

Verisk副总裁兼首席信息官佩里·罗特拉（Perry Rotella）说，使用IBM提供的传统DB2数据库，“整夜完成整个工作需要六个小时”。

之后，分析人员必须花费大量时间来研究数据的结果，并提出新的信息要求，这可能不得不熬夜。

他指出，分析师每次都要花几个星期才能创建新的数据模型。

Verisk最近才开始使用替换后的NoSQL数据库，分析人员可以在30秒内完成相同类型的操作。

Rotella说：“突然，您的模型构建告别了几天之内仅更改一次的传统，并成为实时更新状态。

通过使用NoSQL数据库，您可以在一天内多次运行数据，这大大缩短了获取数据结果的时间。

此功能实在太强大了。

＆amp; rdquo;对于AOL照片交易平台服务提供商Shutterstock Inc.而言，如果没有NoSQL，该公司将无法生存。

Shutterstock拥有超过2400万张图像的存储库，并且每天以10,000张图像的速度增长。

每张图片都有相关的数据，以帮助用户缩小搜索范围。

Shutterstock的数据库还记录了该站点上用户的所有在线行为。

这些行为不仅包括主要决策（例如，他们授权使用哪种图像），还包括一些小细节（例如，鼠标指针经常停留在哪里以及它们停留在哪里）。

具体持续时间。