第五章 大数据和智能革命的技术挑战

字数:435

大数据的数据量大、维度多、数据完备等特点,使得它从收集开始,到存储和处理,再到应用,都与过去的数据方法有很大的不同。因此,使用好大数据也需要在技术和工程上采用与过去不同的方法。

每一次技术革命除了有生产力发展需要,还要有很多技术准备,只有当所有这些必要的技术都成熟时,技术革命才变为可能。历史上虽然不乏“穿越时空”的人,比如达·芬奇和尼古拉·特斯拉,他们能设计出很多后世才用得到的东西,但是由于市场没有准备好,配套的技术不成熟,他们的想法在当时只能算是空想而已。

以大数据为核心的智能革命也是如此,它之所以在今天这个时间点爆发,除了在商业上有了应用的可能性之外,也是因为很多相关技术已经成熟。在未来它要想进一步发展和普及,还需要解决很多技术上的瓶颈。在这一章,我们首先分析产生大数据的技术基础,然后再探讨它所面临的技术挑战。

技术的拐点

数据的产生

信息的存储

传输的技术

信息的处理

数据收集:看似简单的难题

数据存储的压力和数据表示的难题

并行计算和实时处理:并非增加机器那么简单

数据挖掘:机器智能的关键

数据安全的技术

保护隐私:靠大数据长期挣钱的必要条件

小结


小结技术的拐点