巨大的商业利好：相关性、时效性和个性化的重要性
在大数据出现之前，并非我们得不到信息直接的关联性，而是需要花费很长的时间才能收集到足够多的数据，然后再花费更长的时间来验证它，这也是过去大部分传统的企业对于细节数据的收集和处理不是很重视的原因，相比之下他们更看重经验和宏观数据。但是到了大数据时代，这些企业的观念也在慢慢转变。
像沃尔玛连锁店或者梅西百货店这样传统的商店，货物的摆放是很有讲究的。这些店的货架基本上可以分为两种。第一种摆放的商品基本上是固定的，比如1～10排是药品和洗漱用品，11～15排是文具，16～20排是生活用品，等等。这类固定货架是为了方便老顾客每次能够顺利找到他们想要的东西。第二种是商店一进门的货架，摆放的是促销的、当下热门的或者与季节相关的商品，这一类货架虽然数量不多，却产生了可观的营业额。但是，第二类货架该摆什么商品，过去基本上是凭经验来，而积累经验时虽然也用到数据的相关性，但是过程非常缓慢。比如沃尔玛发现在下雨天或者天气恶劣时，手电筒等应急物品卖得很好，这听起来很合理，因此沃尔玛就在坏天气来临之前把这些商品放在一进门的货架上。当然，沃尔玛也发现坏天气时一些方便早餐，比如甜甜圈和蛋糕的销量特别好，因此这些方便早餐和手电筒等应急物品可以放在一起卖。
一些人把这种相关性也看成是大数据的应用，其实它更多的是传统意义上数据的应用，因为它的规律性是慢慢被观察到的。事实上，沃尔玛在20世纪80年代就遍布美国和世界上很多国家了，但是它通过销售数据改进货物摆放搭配是到了21世纪之后的事情。
新一代的百货店做法就不同了，它们从一开始就直接利用数据提升销售。沃尔玛在20多年前每次向美国证监会提交财报时，列举的主要竞争对手是塔吉特连锁店或者Costco（好市多）仓储店，但是如今它最大的竞争对手成了网上的百货店亚马逊。亚马逊的优势倒不在于价格便宜，事实上美国实体店和网上的价格差不太多，这和中国的电商有很大区别，它的优势是能够有针对性地给用户推荐商品，这占到亚马逊销售额的1/3。为什么亚马逊能够做到这一点而沃尔玛做不到呢？这就涉及大数据的时效性等特点了。
图4.5 亚马逊会把男性护肤用品和古典音乐一同推荐
亚马逊在推荐商品方面做得最成功，今天它的销售额中有1/3是靠给用户推荐而产生的。相比沃尔玛，亚马逊有三个优势，首先它的交易数据是即时而完整地记录下来的，而且是随时可以用，可以分析的，因此亚马逊挖掘到类似廉价早餐点心和应急用品的搭配只需要几个小时，而不是多少年。沃尔玛等传统的公司，虽然交易数据都是保留的，但都是支离破碎地存放在各处，有些还是存放在第三方73，用起来并不方便。亚马逊的第二个优势在于它拥有顾客全面的信息，比如张三上周买了一台数码相机，之前他还购买了几个玩具，同一个地址的李四前两天买了婴儿用的浴液。那么可以联想到张三和李四是一家人，他们有个出生不久的婴儿，张三买数码相机或许是为了给孩子照相。他们或许会对在线冲印照片（并做成贺年卡），或者电子相框有兴趣。如果将他们的地址和美国个人住宅信息网站zillow.com联系起来，很容易了解到他们的住房价值，进而估计出他们的收入。这些条件是沃尔玛不具备的。亚马逊的第三个优势在于它的任何市场策略都能马上实现，比如它能够随时捆绑商品，并且随时调整价格进行促销；而美国所有的实体店，调整价格都需要在晚上关门之后进行，因此即使它们数据挖掘的速度和亚马逊一样快（当然这是不可能的），在市场上的反应也跟不上亚马逊这样的电商公司。
对比亚马逊和沃尔玛，我们能够看到大数据时效性和个性化特征带来的好处。今天，在各大电商网站上，商品数量多得已经无法靠浏览来选择。对于购买目标很明确的顾客，可以靠搜索来完成选择，但大部分人逛网店其实并没有太明确的目标。这时候，有针对性的推荐就变得特别重要了。今天，亚马逊的个性化推荐不仅能针对个人的喜好，而且有较强的时效性。当然，亚马逊能做到今天这一步，也是靠较长时间大数据的积累。在亚马逊开始做商品推荐的初期，由于数据量不足，不得不采用不需要太大数据量的同类顾客归类的推荐方式。事实证明将顾客聚类的方式效果非常不好，最终亚马逊不得不放弃这种方式。好在随着亚马逊数据量的积累，它可以采用直接但是需要非常大量数据的方法，即它所谓的“由商品直接推荐商品”（Item to Item），这才使得亚马逊的推荐系统变得准确而有时效性。像沃尔玛这样的百货店，今天能做到把两类商品准确地关联起来已经很不错了，而且比过去大大地提高了营业额，但是，亚马逊却能做到两件具体的商品直接的关联。这样一来，两家商店在吸引顾客方面的差异就显而易见了。2015年7月，亚马逊的市值超过了沃尔玛，这标志着一个新时代的到来——以大数据为基础的电子商务将超越传统的零售商业。后者并非不能利用大数据，只是在个性化和时效性等方面，很难做得像电子商务公司那么有效而已。
美国在线电影、电视租赁公司Netflix（网飞）在业务上比亚马逊更依赖于数据。这家公司是在第一次互联网泡沫期间（1997年）诞生的，在今天算得上是资格最老、上市最早的公司之一了，但是其业务真正发展起来却是几年前大数据时代到来以后的事情。Netflix原本指望通过互联网的优势与原有的电影租赁公司百视通（Blockbuster）和好莱坞录像（Hollywood Video）竞争：用户可以在互联网上选定自己想看的电影，Netflix将电影的DVD（数字多功能光盘）用快递送给用户，用户看完后再将DVD放到一个已付邮资的信封中寄回给Netflix。不过用户手上只能同时保留1～4张DVD，只有Netflix收到寄回的DVD，才会给用户寄出他想看的下一张。Netflix的收费从每月8美元到18美元不等，取决于用户手上能同时保留几张DVD。考虑到邮寄的周期通常是一周，因此算下来大约相当于花2~3美元在家看一场电影。
Netflix在它早期的10年间发展并不快，这不仅因为用户增长不快，而且活跃度也不高。Netflix早期的用户（包括我本人和周围的人）都有一个共同的特点，就是在头几个月把过去想看的电影都看了，接下来就不知道该看什么了。虽然Netflix也会推荐一些好片子给用户，但是由于它并不了解每个人的需求，因此推荐的常常是最热门的或者评分最高的电影，但是个人的口味相差很大，这种缺乏个性化的推荐效果并不好，因此原本订18美元一次保留4部电影的用户，就改成每月花8美元，而原本看得不多每月花8美元的用户就干脆退订了。Netflix后来将邮寄改为通过宽带在线观看，这有点像我在拙著《浪潮之巅》里描述的“根据需求收看”（on demand）。虽然从理论上讲观众省了来回邮寄的时间，应该能看更多的电影，事实却是大部分观众并非如此，因为一开始在线观看并没有解决如何有针对性地推荐电影的问题，大部分用户的活跃度并不高，因此在很长时间里，大家都不看好这家公司。
但是，随着数据量的积累，尤其是和每一个用户相关的各种维度数据的积累，Netflix给每一个用户的推荐越来越靠谱，越来越准确。Netflix不仅知道每个用户看什么风格的电影（风格、题材、导演、演员等）最多，而且知道它给用户推荐的效果是否好（是否点击观看，是否看到一半就转去看别的节目了，等等），这些数据是过去其他传媒公司无法获得的。今天，它的用户所观看的节目有3/4是Netflix推荐的。靠着精准的推荐，Netflix用户的活跃度在不断提升，而一些原先有线电视和卫星电视的付费用户，也开始终止原来的服务（或者退掉部分套餐），改用Netflix。从2008年开始，Netflix的业务量剧增，到了2014年，Netflix的流量已经占到美国峰值流量的1/3以上，74并且为全世界除中国以外的主要国家提供在线电影服务。2016年年初，Netflix的市值已经超过传统的电视网、默多克的Direct TV。
和亚马逊类似，Netflix的数据具有较强的时效性，它可以根据用户的反应很快调整它的市场策略，这种灵活性也是过去那些事先安排好一周节目的有线电视网所不具备的。
时效性很强的个性化的推荐不仅体现在商品上，还可以用于任何意义上的信息搜寻。在Google内部，直到2005年，反对为用户提供相关搜索的声音依然占上风，因为很多人认为应该由用户自己输入他们所要查找的关键词，而不是由搜索引擎引导用户去搜索。事实上，早在2005年，我们就开发出了利用搜索关键词之间的相关性提供相关搜索的技术，我们甚至能够在搜索条中自动地根据用户搜索习惯和输入的一两个字提示出完整的关键词组合。但是这个服务迟迟未上线，因为佩奇和布林并不喜欢这种服务。最终，我们不得不先利用中、日、韩文字打字慢的特殊性说服了两位创始人允许我在这三种语言中试一试，结果这种相关搜索一下子让这三种语言的搜索量增加了10%。不到一年后，佩奇同意把这项技术应用到英语和其他语言中，与中、日、韩语言类似，它对提升英语等其他语言的流量有同样明显的帮助。到了2008年，佩奇在这方面变得激进起来，不仅同意我们在搜索结果页的下方提供相关搜索，而且希望能够在搜索栏内根据用户当前部分输入和历史数据，自动提示搜索的关键词，这使得搜索关键词输入的速度大大提高，Google搜索在用户中的黏性进一步提升。再到后来，由于数据量的增加，特别是能做到针对每一个用户都积累了足够量的历史数据，以至于关键词的提升能够做到完全个性化，也就是说，两个不同用户，在输入一半关键词后，Google给他们的提示常常是不同的。到了2011年，Google不仅积累了大量的用户数据，而且了解了用户使用互联网的行为，甚至是生活的习惯（比如住在哪里，每天工作做些什么事情等），因此进一步提出“无关键词的搜索”，也就是说，对特定用户，根据他某个时间过去的行为，以及当前使用Google产品的场景，自动产生搜索关键词（在用户看来自己没有输入任何关键词），从互联网上查找信息，然后提供给用户。Google基于这项技术最重要的产品就是安卓手机上的Google Now——它可以提示用户接下来该做什么，而这种提示靠的是当时的时间、地点、应用场景和不同用户本身的习惯特点。
图4.6 Google的搜索关键词提示功能，输入部分搜索关键词，Google可以根据该用户的搜索历史和其他用户的常见搜索，提示全部关键词，并且自动填充到搜索框中
从Google的这个案例中我们可以看到，技术的进步可以改变人们的思维方式，从而让产品呈现出新的形态。
