第9章 受欢迎的不一定就是好的
如何拍出一张“好”的自拍照？2015年，一些知名美国媒体报道了一项旨在使用数据科学研究回答这个问题的实验结果。任何熟悉摄影基础知识的人都能预测到结果：拍照时焦点对准，不要截断人物的额头，等等。这个实验使用的方法和我们在第7章中分析“泰坦尼克号”数据时使用的相同。
虽然最初的自拍照片池中包括老年女性、男性和有色人种的照片，但几乎所有的“好照片”中都是年轻白人女性——只是，研究者安德烈·卡帕西（实验时他是斯坦福大学博士生，如今在特斯拉人工智能部门担任主管）当时并没有注意到这一点。卡帕西使用照片的“受欢迎程度”——照片在社交网站上获得“赞”的数量，作为衡量“好照片”的指标。这位数据科学家基于“受欢迎程度”创建了一个具有显著偏见的模型。该模型偏向年轻、顺性别的白人女性的图像，符合一种狭隘的异性恋吸引力定义。假设你是一位年长的黑人男子，你把自拍照交给卡帕西的模型，让它打分。你猜怎么着，模型都不会给你的照片贴上好的标签。你不是白人，不是顺性别女性，也不年轻；因此，你不满足模型所设定的“好”的标准。这个模型对读者在社交上的暗示是，除非你看上去是某个指定的样子，否则你的照片不可能是好看的。这是错的。但凡是个有点善意或理性的人，都不会对别人说出这样的话！
“受欢迎”和“好”的归并对所有涉及对质量的主观判断的计算决策都有影响。换句话说，人类可以区分“受欢迎”和“好”的概念，能够辨别出“受欢迎但不好”的事物（比如拉面汉堡、种族歧视）和“好的但不受欢迎”的事物（比如所得税、限速），并且以公序良俗对这些事物进行排序。（当然，还有像运动和婴儿这种既受欢迎又好的事物。）机器只能使用算法中指定的标准来识别受欢迎的事物，它无法自主识别出这些事物的质量。
这让我们又回到了根本问题上：算法是由人类设计的，人类会将他们无意识的偏见嵌入算法。这种行为几乎都不是故意为之。这并不意味着我们应该甩掉数据科学这个包袱，而意味着我们应该对我们已知的可能会出错的事情保持批判和警觉。如果我们判定了缺省的歧视行为，就可以设计出推进平等观念的系统。
互联网的核心价值之一是万物皆可排名。现在的社会热衷于给事物打分，我不确定这种热衷源自大众对排行的数学狂热，还是说这种数学狂热只是大众对于社会激励的应激反应。但不管是哪一种情况，排名都是王道。大学排名，运动队排名，黑客马拉松排名。学生费尽心思争夺班级排名，学校被排名，企业员工被排名。
每个人都希望自己名列前茅，没有人希望自己垫底，也没有人愿意聘请（或者选择）垫底的人。但是，在我最熟悉的教育领域，教育工作中存在一个逻辑谬误。假设我们的数据池中有1 000名学生和他们的考试成绩，通常考试成绩呈正态分布（贝尔曲线）。一半学生的成绩高于平均水平，一半低于平均水平，而且会有一小部分学生的成绩极高。这种情况是正常的。但是学区办公室和州官员都坚持，他们的目标是让所有学生达到良好水平。但是，除非将良好水平的标准设为0，否则这是不可能的。对学区来说，他们希望所有学生都能得高分，这是受欢迎的。但是，要完成一个不可能实现的理想并不一定是好事。
受欢迎比好更重要，这个观念被刻在互联网搜索的基因里。想想搜索的起源：20世纪90年代，有两位计算机科学研究生不知道接下来要阅读什么。他们的学科只有50年历史，跟数学类那些有几百年历史的学科相比太新了。他们很难搞清楚，除了课内教学大纲提到的内容以外，他们还能读什么。
他们阅读过一些关于分析引文来获得引文索引的数学资料。他们决定尝试将这种数学方法应用到网页上。当年，网页数量还没有那么多。他们的问题是，如何识别最值得看的网页。他们想要一种方法，来识别出值得他们花时间阅读的网页。他们的想法是，这跟学术引用是相似的。在计算机科学中，最常被引用的就是最重要的论文。显然，这个学科最好的论文成了最受欢迎的论文。由此，他们做了一个搜索引擎，能计算出指向某个给定网页的导入链接数量。然后，他们根据页面上导入链接的数量和导出链接的排行，使用一个方程式生成排名。他们把这个排名称为PageRank，以其中一名研究生的名字拉里·佩奇命名。后来，佩奇和他的搭档谢尔盖·布林将他们的算法商业化，创立了世界上最有影响力的公司——谷歌。
在很长一段时间内，PageRank完美运转。受欢迎的网页就是好网页——部分是因为当时网络上的内容非常少，“好”的门槛并不高。但是，随后越来越多的人上网，网络上内容膨胀，谷歌开始在网页上卖广告挣钱。搜索排名模型取自学术出版界，广告模型则取自印刷出版业。
随着人们学会利用PageRank算法来提升他们在搜索结果中的位置，人气成为某种网络通行的货币。谷歌工程师不得不给搜索算法添加新因素，以免垃圾邮件散布者钻系统的空子。他们还给自动补全关键词功能增加了地理位置维度，可以根据你所处位置周围发生的事为你自动补全关键词。比如，你在搜索框中输入“ga”。如果你附近有很多人搜索佐治亚州（Georgia，简称GA）的主题（或UGA足球队），那它就会自动填充为“GA”；如果你附近很多人搜索歌手“Lady Gaga”，那么它就会补全为“Lady Gaga”。现在，谷歌的搜索引擎已经有200多个影响排名的因素，PageRank也已经通过许多其他方法得到增强，包括机器学习。它完美运转，但也有掉链子的时候。
网页设计师设计的新闻阅读版式，就是技术不灵光的一个好例子。报纸的头版是经过精心策划的，不同的区域都有命名：“折叠线上”“折叠线下”最为表意。《华尔街日报》的头版上有一个“非常之道”栏目，又叫A-hed。这个栏目的话题颇为放松轻巧。《华尔街日报》的资深员工巴里·纽曼写道：
……A-hed一开始只是另一个头条新闻栏目，但它很快变成了一个讲述奇闻逸事的轻松栏目。它的标题不是引起读者尖叫的震惊体，而是逗人发笑的调侃体。
据说，伟大的编辑能够创造出让作者倾注才情的环境。1941年，巴尼·基尔戈开创的就是这样的环境。他是现代《华尔街日报》的第一任执行主编，他知道，必须给商业世界倾注一点欢乐。
通过把有趣味的小栏目摆到头版，放在日常苦哈哈的新闻报道周围，基尔戈传达了一个更大的信息：任何能够正儿八经阅读《华尔街日报》的人，都应该有足够的智慧往后退一步，考虑生活离奇的一面……
A-hed做得很好，它不只是一篇新闻特稿。我们的个性、好奇心和激情碰撞出关于这个栏目的想法。A-hed并不是幽默专栏，也不输出观点。
我们不杜撰报道。有时候，一丝辛辣就可以抵消所有的戏谑。人人不同，报道同一件怪事的两位记者总会以自己不同的怪异方式写出怪事的怪异之处。[1]
这跟脸书信息流之类的滚屏阅读方式大不相同，因为报纸编辑会考虑版面内容的混合：轻松的，黑暗的，还有若干中篇幅的报道来平衡版面。头版报纸上的元素都是经过精心编排的。《纽约时报》有一个专门的团队，每天的工作就是手动整理数字网站的首页。很少有其他新闻机构负担得起这些工作，小机构的首页通常每天打理一次，或者按印刷版的头版内容自动填充。报纸编辑的参与提升了报纸的阅读体验感。这是好的，但并不受欢迎：自从社交媒体蚕食世界以来，纸质媒体的流量一直在稳步下降。
现在时兴将公共话语的流失归咎于记者和媒体。我认为责任不在他们，这般指责对社会也没有好处。媒体从印刷到数字的转变，对全国新闻质量确实产生了巨大影响。美国劳工统计局报告称，在2015年的信息产业中，互联网出版和网络搜索门户行业的平均年薪是197 549美元；而报纸出版行业平均年薪仅为48 403美元，无线电广播行业则是56 332美元。[2]有才能的作者和调查记者追求高薪工作去了，新闻编辑室人去楼空，留下来战斗的人越来越少了。
这成了一个问题，因为作弊已被刻在现代计算机技术和现代科技文化的基因中。大概在2002年，伊利诺伊州重新设计25美分硬币上的压印图案，作为全国硬币新设计的一部分。州官员决定举行设计比赛，让公民投票选出他们最喜欢的设计方案。我的一个程序员朋友偏爱其中一个方案——“林肯之地”。设计图案是年轻英俊的亚伯拉罕·林肯手里拿着一本书，背后是伊利诺伊州的轮廓。林肯的左边是芝加哥城市天际线的剪影，右边则是一个农场的轮廓，有农屋、谷仓和筒仓。在我的朋友眼里，这是唯一应该代表她的州加入全国硬币阵容的设计方案。
于是，她决定出手搞点小动作，让天平倾向“诚实的亚伯”（林肯的别称）。
伊利诺伊州政府在网上发起投票，希望这种新型的公民参与方式可以让他们在网上延伸出一个新选区。我的朋友看着投票页面，意识到她可以写一个简单的计算机程序，反复给“林肯之地”投票。她才花几分钟就把程序写好了。她在页面运行了一遍又一遍，投票箱塞满了“林肯之地”的票。最后，这个设计方案获得了压倒性的胜利。2003年，该硬币发行到全国其他地区。
2002年，当我的朋友第一次将此事告诉我时，我觉得很有意思。每次在口袋里的零钱中看到伊利诺伊州的25美分硬币，我就会想起她。一开始，我同意她的观点，给州的硬币投票搞点小动作不过是一个无伤大雅的恶作剧。但在随后的几年里，我转而为那些州官员感到难过。伊利诺伊州官员们误以为他们在这个公民议题上得到了公众史无前例的热烈响应，但实际上他们得到的不过是一个20多岁的年轻人某天上班时无聊的奇想。只是在伊利诺伊州官员眼里，这看起来就跟大量市民参与公民事务毫无二致。当他们以为有成千上万公民真诚地关心硬币的图案设计时，他们也许喜不自胜。肯定还有许多其他决策也基于投票——人们的事业、晋升，甚至美国财政部的内部财务决策。
同样的欺诈活动，每天甚至每小时都在互联网上发生。互联网是一项伟大的发明，但它也释放出了史无前例的欺诈行为和谎言网络。这些行为以迅雷不及掩耳之势发生，法律也难以跟上。在2016年美国总统大选之后，人们对假新闻的兴趣一发不可收拾。科技界对假新闻的存在并不感到意外，让他们感到意外的是人们对假新闻的认真态度。“从什么时候起，人们开始相信网上的一切都是真的了？”一位程序员朋友这样问我。他是真的没有意识到有的人并不了解网页的制作方式，也不知道上网背后的原理。正因为他没有意识到这一点，他也就不知道，有些人以为在互联网上读到的内容跟在合法新闻媒体上读到的内容是同样权威的。其实它们是不一样的，只是两者在今天看起来太像了，如果没有特别留意，就很容易混淆合法信息和非法信息。
很少人会特别留心。
一些技术创造者对此视而不见，因此我们需要包容性技术，还需要调查性新闻来向算法及其发明者问责。从互联网时代初期以来，就有许多披着羊皮的狼一直蹲守着网民。2016年12月，计算机科学家的主要专业协会——美国计算机协会（ACM）自1992年以来首次更新其道德准则。1992年以来，出现了许多道德伦理问题，但是这个行业尚未准备好面对计算机在社会公正问题中所扮演的角色。好在新的道德准则提出了建议，ACM的成员应解决计算系统中的歧视问题——存在歧视情况有部分原因是有数据记者和学者已经采用了算法问责制。[3]
我们来看看18岁的布里莎·博登的案例。她和朋友在佛罗里达州郊区的一条街道上闲逛，发现了一辆未上锁的Huffy自行车和一辆Razor滑板车。两辆都是儿童使用的尺码。他们捡起这两辆小车，试着骑了一下。一位街坊居民报了警。ProPublica网站的记者茱莉娅·安格文在报道中这样写道：“博登和她的朋友被逮捕，并被指控入室盗窃及轻微偷窃罪，被窃物品价值总计80美元。”[4]然后，安格文将博登的犯罪行为与一宗涉案金额也是80美元的违法行为做了比较：41岁的弗农·普拉特在佛罗里达州一家家得宝超市行窃，偷走了价值86.35美元的工具。安格文写道：“他先前曾被判犯有持械抢劫及持械抢劫未遂罪，为此服刑5年。此外，他还另有一起持械抢劫的指控。博登也有一项前科，但那是她在少年时犯下的轻罪。”
这两个人被捕时都得到了一个他们未来犯罪可能性的风险评级——这是常见的电影情节。黑人女孩博登被评定为高风险，白人普拉特则被评定为低风险。此中的风险评估算法“替代性制裁惩教罪犯管理”（COMPAS）试图衡量哪些被拘留者有再次犯罪的风险。开发COMPAS的Northpointe公司，是试图使用定量方法提高警务效率的众多公司之一。他们没有恶意，大多数这些公司的人都是心怀善意的犯罪学家，他们相信自己正以一种数据驱动的方式，在科学思维的范围内操作这些犯罪行为数据。COMPAS算法的设计者和使用这个算法的犯罪学家相信，采用一个数学公式来评估某人是否可能犯下新罪行这种方式是更加公平的。“使用客观、标准化的工具，而不是仅仅通过主观判断，是针对每一位罪犯确定编程需求的最有效办法。”加利福尼亚州劳改与康复局（California Department of Rehabilitation and Correction）在2009年的一份COMPAS情况说明书中写道。[5]
问题是，数学在这里不起作用。安格文写道：“黑人被告被认为未来再次进行暴力犯罪的可能性依然要高出77%，若不区分犯罪类型，这个可能性仍要高出45%。”ProPublica发布了他们用于分析COMPAS算法的数据。这个举动很好，增强了调查的透明度。其他人可以下载这些数据，再做分析，验证ProPublica的分析结果。而且确实有人这么干了。这篇报道在人工智能和机器学习圈子里掀起了一场风暴。紧接着就是热火朝天的争论——那是一场礼貌的学院式辩论，人们写了很多白皮书发布到网络上。其中一个非常重要的文本出自康奈尔大学计算机科学教授乔恩·克莱因伯格、康奈尔大学研究生马尼什·拉加万和哈佛大学经济学教授塞德希尔·穆莱纳桑之手。他们在文中证明，在数学层面上，COMPAS不可能对白人和黑人被告一视同仁。安格文写道：“他们发现，对于所有种族的人士，风险评分可能具有预测性，也可能犯有同等程度的错误——但两者不会同时存在。这是因为，黑人和白人被指控犯罪的频率存在差异。克莱因伯格在论文中说，‘如果两个种族的人口基数比例不同，那你就不可能同时满足两个种族对公平的定义’。”[6]
简而言之，算法无法公平地运行，因为人们会将无意识的偏见嵌入算法。技术沙文主义者引导人们相信，程序代码中的数学公式在某种程度上更好，用来解决社会问题更为公正；但事实并非如此。
COMPAS的评分基于一份137分的问卷。这份问卷会在人们被拘留期间向他们出示，这些问题的答案会被输入你在高中时解过的那种线性方程。问卷会鉴定罪犯的七种“犯罪需要”（或称风险因素），包括“教育背景、职业状况、财务赤字状况”“反社会及亲罪犯的社会关系”，以及“家庭关系、婚姻关系、功能失调的个人关系”等。这些衡量因素都是贫穷的结果，这显然就是卡夫卡式的噩梦。
Northpointe公司没有人意识到这份问卷或它的评估结果可能存在偏见，这跟技术沙文主义者独特的世界观有关。认为数学和计算“更加客观”或“更加公平”的人通常也倾向于以为敲两下键盘就能消除不平等与结构性种族主义。他们认为数字世界与现实世界不同，并且优于现实世界。他们还认为，通过减少人类决策，将决策权出让给计算，我们可以让世界变得更加理性。如果开发团队规模小，成员间又志趣相投，且缺乏多样化的话，这种思维可能看起来就很正常了。但事实上，它并不会让我们的世界变得更加公正和平等。
我不敢笃定技术空想家和自由主义者能够通过使用更多的技术创造出一个更美好的世界，但有些事情肯定会变得更方便。只是，我不信任那个万事皆数字的未来世界愿景。不仅是因为机器偏见，关键在于损耗。数字技术运行效果不佳，而且持续的时间也不见得会长。[7]手机电池电量会耗尽，时间长了还会充不进电。硬盘用了几年后空间满了，笔记本电脑也会发生故障。自动水龙头无法识别我的手的动作，甚至我公寓楼里的电梯用的还是几十年前基于主力技术发明的简单算法——它运行起来很奇怪。我住的那栋公寓楼有多部电梯，每层楼的门廊都一模一样。其中有一部电梯的布线或者芯片有点问题，每隔几周，它的毛病就会出现，只要你按下想去的楼层号码，它就把你带到那一层楼的上一层或下一层。这个情况是不可预料的。我有好几次下了电梯，走到我以为是我家的公寓门口，发现我的钥匙打不开公寓门，才知道我走错了楼层。公寓楼里的其他住户也都遇到过同样的事情。我们在电梯里会聊到这件事。
电梯是一种嵌入了程序的复杂机器，有一个算法决定哪部电梯去到哪个楼层，哪部电梯快速到达大楼的大厅，以及哪部电梯沿途停靠。算法也有不同程度的复杂性——比较新的电梯程序可以给任何时间按下电梯按钮的人优化电梯的路线。在《纽约时报》的办公大楼里，你在中央键盘上按下你的目的地楼层，程序就会引导你进入一部电梯。这部电梯在经过优化的算法下，能将你和其他同时想去相邻楼层的人尽快带到目的地。但是，电梯只有这一项工作，它要在高资质的发明家、结构工程师、机械工程师、销售人员、营销人员、经销商、维修人员和检查人员的共同支持下完成。如果说这么多人一起努力几十年都没能让我公寓楼的电梯完成一项工作，我要如何相信，另一条供应链中类似的高技能人才有能力造出要同时完成多项工作的自动驾驶汽车呢？我要怎么相信它不会害死我，或者我的孩子，或者乘坐校车的其他人的孩子，或者站在公共汽车站等车的无辜孩子呢？
像电梯和自动水龙头这种小东西非常重要，因为它们是大型系统的功能指标。除非这些小东西能正常工作，否则要指望更大的系统能神奇地起作用，那就太天真了。
程序员的无意识偏见已经存在多年。2009年，知名科技博客Gizmodo报道称，惠普的面部跟踪网络摄像头无法识别深肤色的面孔。2010年，微软的Kinect游戏系统被发现在光线不足的情况下难以识别深肤色的用户。苹果手表刚上市时没有包含经期记录器——这可是所有女性用户最常用的自我量化功能。比尔和梅琳达·盖茨基金会的梅琳达·盖茨对这个遗漏评价道：“我不是在挑苹果的刺儿，但一个健康App竟然不能追踪经期？我不知道你们怎么样，但我自己经历了半辈子的月经。这是个明显的纰漏，也是一个我们罔顾女性需求的好例子。”比尔·盖茨也评论了人工智能搜索中女性的缺失：“去实验室看看研究人工智能的人，你会发现这边有一名女性，那边也有一名女性。没有了，就这么多，没有第三位和第四位了。”[8]在实验室以外，科技公司领导层职位的性别平衡情况则好一些——但其实也并不好。据《华尔街日报》汇编的2015年多元化数据，领英是大型科技公司中管理层女性比例最高的，但也仅达到30%。亚马逊、Facebook和谷歌公司分别以24%、23%和22%落后于领英。一般来讲，在市场营销和人力资源部门晋升到高层的女性往往会提升领导层职位的统计数据。这两个部门与社交媒体团队一样，性别平衡数据要比工程类职位更好。然而，在科技公司，实权往往掌握在开发者和工程师手上，而非市场营销人员或人力资源人员。
同样值得考虑的，还有一夜暴富对程序员们的影响。毒品在硅谷发挥着很大的作用，在更大的科技文化圈中也一样。毒品在20世纪60年代就是反主流文化的主要部分，从迷幻药、大麻、迷幻蘑菇、佩奥特仙人掌到快速丸冰毒，不一而足。毒品在科技界一直很受欢迎，但是多年来，只要开发者按期提交代码，就没有人真正在乎过开发者有没有嗑药。现在，随着美国的鸦片毒品危机达到高潮，它带来了一个问题：ADD药物、迷幻药、迷幻蘑菇、大麻、聪明药、死藤水和DIY兴奋剂药物在硅谷和在其他地方的受欢迎程度是一样的，技术专家们在多大程度上促进了这些毒品的普及和分销？“由于竞争激烈的副总裁们和肾上腺素驱动的编程人员推动了创业文化的蓬勃发展，不堪重负的管理者也寻求其他出路，违禁药物和黑市止痛药已经成为走在这个世界最前端的科技景观的一部分。”2014年，《圣荷西水星报》的希瑟·萨默维尔和帕特里克·梅写道。[9]
2014年，加利福尼亚州18岁到25岁的人群中违禁药物的依赖性和滥用率在全美所有州中排名第二。同年，湾区有140万份医疗处方开出了氢可酮——一种常被用于休闲的止痛药。嗑食快速丸可以保持清醒，止痛药则对睡眠有帮助。“硅谷有一种工作狂文化，能以极快的速度处理紧急项目的工作能力在这里几乎是荣誉的象征。”圣地亚哥药物成瘾顾问史蒂夫·阿尔布雷希特对《圣荷西水星报》说，“他们连续好几天都熬夜，许多人就会逐渐借助冰毒和可卡因来保持清醒。红牛和咖啡的效果没有那么强。”在旧金山、马林县和圣马特奥县，每10万人中就有159人次曾因滥用兴奋剂去过医院急诊室。这是全国平均水平（每10万人中有30人次）的5倍。
米歇尔·亚历山大在《新种族隔离主义》（New Jim Crow）一书中写道，所有种族群体在药物使用这一方面的表现是同等的。[10]然而，当贫民社区和有色人种社区被积极监视并被强制遵守药物管制法时，那些创建了监视系统的技术精英似乎逃离了审查。2011年到2013年，一个类似易趣网的毒品交易市场——“丝路”在网络上何等招摇。在其创始人罗斯·乌布利希锒铛入狱后，其他人填补了这个缺口。2014年，亚历克斯·埃尔恩在《卫报》上写道：“DarkMarket（黑暗市场）旨在创建替代在线毒品交易市场‘丝路’的去中心化系统，它已经更名为OpenBazaar（公开市场），以改善其在线形象。OpenBazaar仅仅是一个概念的验证：4月中旬，多伦多的一群黑客草拟了这个计划，获得了2万美元的一等奖奖金。”[11]
两年后，一位名叫布赖恩·霍夫曼的创业者取得OpenBazaar的代码，将其进行商业化，并且获得了风险投资公司联合广场风投（Union Square Ventures）和安德森·霍罗威茨公司（Andreesen Horowitz）的300万美元投资，使用替代数字货币——比特币来运营市场。在这里，我们可以看到彼得·蒂尔和其他人想象中的自由主义天堂—— 一个政府无法触及的新空间。他们的计划似乎奏效了，金融科技公司Lend Edu调查了千禧一代对PayPal旗下的支付应用Venmo的使用情况。33%的受访者表示他们曾使用Venmo购买大麻、安非他命缓释剂、可卡因或其他非法麻醉剂。[12]Vicemo.com的标语是：“看看谁在Venmo上买毒品、酒精和性爱”。这个网站会展示人们发布的Venmo交易记录。没有什么微妙之处。一个典型的交易记录是这样的：“卡登付钱给科迪，买了吃的和大麻。”有些用户则发布了药片或皮下注射针的表情包。“树”“叶子”或“割草”通常代表大麻交易。有些只是玩笑，有些却是实际的大麻交易来往。是不是玩笑都好，在我们的国家挣扎于阿片类药物危机的当下，大麻的交易量竟然如此之大，着实有些令人震惊。[13]
毒品是受欢迎的，一直都是如此。大多数人认为毒品不好，至少对整个社会集体不好。因此，倘若技术被用于促进毒品分销，这种用法对文化利益就产生了反作用。然而，当技术诞生于自由主义价值观下，并且罔顾技术的使用场景，这就是合理的结果。假如任何一个购买或出售毒品的人被逮捕，他的数据被录入COMPAS系统，这必将使另一种公然歧视行为长存。因此，但凡有新技术创新面世，不妨多问问它是否足够好。我们要问，这项新技术对谁有好处？我们做任何技术选择，都必须调查它们更广泛的应用和影响，并且做好准备，去面对我们可能不喜欢的调查结果。
[1] Newman, “What Is an A-Hed?”
[2] US Bureau of Labor Statistics, “Newspaper Publishers Lose over Half Their Employment from January 2001 to September 2016.”
[3] Pasquale, The Black Box Society; Gray, Bounegru, and Chambers, The Data Journal ism Handbook; Diakopoulos, “Algorithmic Accountability”; Diakopoulos, “Account ability in Algorithmic Decision Making”; boyd and Crawford, “Critical Questions for Big Data”; Hamilton and Turner, “Accountability through Algorithm”; Cohen,Hamilton, and Turner, “Computational Journalism”; Houston, Computer-Assisted Reporting.
[4] Angwin et al., “Machine Bias.”
[5] California Department of Corrections and Rehabilitation, “Fact Sheet.”
[6] Angwin and Larson, “Bias in Criminal Risk Scores Is Mathematically Inevitable,Researchers Say”; Kleinberg, Mullainathan, and Raghavan, “Inherent Trade-Offs in the Fair Determination of Risk Scores.”
[7] Bogost, “Why Nothing Works Anymore”; Brown and Duguid, The Social Life of Information.
[8] Hempel, “Melinda Gates Has a New Mission.”
[9] Somerville and May, “Use of Illicit Drugs Becomes Part of Silicon Valley’s Work Culture.”
[10] Alexander and West, The New Jim Crow.
[11] Hern, “Silk Road Successor DarkMarket Rebrands as OpenBazaar.”
[12] Brown, “Nearly a Third of Millennials Have Used Venmo to Pay for Drugs.”
[13] Newman, “Who’s Buying Drugs, Sex, and Booze on Venmo? This Site Will Tell You.”
