1、Buildingwithbigdata数据时代Thedatarevolutionischangingthelandscapeofbusiness数据革命正在重塑商业格局INAshortstorycalled“OnExactitudeinScience”,JorgeLuisBorgesdescribedanempireinwhichcartographersbecamesoobsessivethattheyproducedamapasbigastheempireitself.Thiswassocumbersomethatfuturegenerationsleftittodisintegrate.
2、(“Inthewesterndeserts,tatteredfragmentsofthemaparestilltobefound,shelteringsomeoccasionalbeastorbeggar.”)博尔赫斯在短篇故事关于科学的精确性中写道：帝国的制图者们如此偏执，以至于绘制了一幅与帝国面积同等大小的地图。这副地图毫无实用价值，帝国的后人们最终将其丢弃，任其腐烂。（“在西部的沙漠中，地图的碎片不时可见，有些已经变成了野兽和乞丐的庇护所。”）Asusual,therealityofthedigitalageisoutpacingfiction.Lastyearpeoplestorede
3、nough wk_ad_begin(pid : 21);wk_ad_after(21, function()$(.ad-hidden).hide();, function()$(.ad-hidden).show();); datatofill60,000LibrariesofCongress.Theworlds4billionmobile-phoneusers(12%ofwhomownsmartphones)haveturnedthemselvesintodata-streams.YouTubeclaimstoreceive24hoursofvideoeveryminute.Manufactu
4、rershaveembedded30msensorsintotheirproducts,convertingmutebitsofmetalintodata-generatingnodesintheinternetofthings.Thenumberofsmartphonesisincreasingby20%ayearandthenumberofsensorsby30%.数字时代的发展已经远远超过了人们的想象。人们在去年一年存储的数据足以塞满6万个国会图书馆。地球上的40亿手机用户（其中12%为智能手机用户）夜以继日地生成着新的数据。Youtube声称每分钟能接收到（用户上传）的视频内容时长达2
5、4小时。制造商们在他们的产品中植入了3千万个传感器，将各种本来相互孤立的设备转化为物联网中的一个个数据节点。智能手机和传感器的数量正分别以每年20%和39%的速度递增。TheMcKinseyGlobalInstitute(MGI)hasnoBorges-likequalmsaboutthevalueofallthesedata.Inasuitablyfact-packednewreport,“Bigdata:thenextfrontierforinnovation,competitionandproductivity”,MGIarguesthatdataarebecomingafactorof
6、production,likephysicalorhumancapital.Companiesthatcanharnessbigdatawilltrampledata-incompetents.Dataequity,tocoinaphrase,willbecomeasimportantasbrandequity.MGIinsiststhatthisisnotjustidlefuturology:businessesarealreadyadaptingtobigdata.麦肯锡全球研究所（McKinseyGlobalInstitute，以下简称MGI）对如今的巨量数据持正面态度，丝毫没有博尔赫斯
7、式的担忧。MGI在其最新报告大数据：创新，竞争和生产力的下一个前沿中指出：数据正日益成为与实物资本和人力资源同等重要的生产要素。善于利用数据的公司将在竞争中占据先机，数据价值的重要性将日益与品牌价值比肩。MGI坚称，这不是空洞的未来学，商业活动正逐渐适应充斥海量数据的新环境。Companiesareassemblingmoredetailedpicturesoftheircustomersthaneverbefore.Tesco,aBritishretailer,collects1.5billionnuggetsofdataeverymonthandusesthemtoadjustprices
8、andpromotions.Williams-Sonoma,anAmericanretailer,usesitsknowledgeofits60mcustomers(whichincludessuchdetailsastheirincomeandthevalueoftheirhouses)toproducedifferentiterationsofitscatalogue.Amazon,anonlineretailer,hasclaimedthat30%ofitssalesaregeneratedbyitsrecommendationengine(“youmayalsolike”).Themo
9、bilerevolutionaddsanewdimensiontocustomer-targeting.CompaniessuchasAmericasPlacecastaredevelopingtechnologiesthatallowthemtotrackpotentialconsumersandsendthementicingofferswhentheygetwithinafewyardsofaStarbucks.公司对顾客的了解愈加细致，这是过去从未有过的。英国零售企业乐购（Tesco）每月可以收集15亿条珍贵的信息，并据此来调整价格和进行促销。美国零售商威廉姆斯一索诺玛(William
10、s-Sonoma)利用已有的6000万顾客的信息（包括他们的收入和房屋价值）来拟定不同版本的销售目录。网络商城亚马逊（Amazon）声称他们30%的销售收入来自于名为“youmayalsolike”的推荐引擎。移动通信革命催生了崭新的目标客户营销手段。在美国，Placecast和类似公司正在开发新的技术，以帮助他们来定位潜在顾客，并在他们接近商户时向其发送具有吸引力的广告。 Thedatarevolutionisdisruptingestablishedindustriesandbusinessmodels.ITfirmsarenosingtheirwayintothehealth-carem
11、arket:GoogleHealthandMicrosoftHealthVaultbothallowconsumerstotracktheirhealthandrecordtheirtreatments.Manufacturersarehasteningtheirtransformationintoservicecompanies:allthosesensorsallowthemtomonitortheirproductsandseeiftheyneedrepairinglongbeforetheybreakdown.BMWusessensor-datatotellitscustomerswh
12、entheircarsneedtobeserviced,forexample.Insurancefirmscannowmonitorthedrivingstylesoftheircustomersandofferthemratesbasedontheircompetence(orrecklessness)ratherthantheirageandsex.数据革命正给各行各业和已有商业模式带来冲击。IT公司正将他们的触角伸向保健领域人们已经能够通过GoogleHealth和MicrosoftHealthVault提供的服务来跟踪自己的健康状况并保存医疗记录。制造商们正加速转型为服务商产品中植入的
13、传感器使得厂商能够监控自己的产品，以及时对其进行修理。宝马就是其中之一，该公司通过监控传感器数据，即时提醒客户对车辆进行维护。通过数据监测，保险公司现在能够监控投保人的驾驶习惯，从而可以根据其行为模式而非性别或年龄来制定差别化的保险费率。Thisrevolutionischanginggovernment,too.Taxauthoritiesaregettingbetteratspottingspongers(forexample,byflaggingpeoplewhoclaimunemploymentpayaswellasoccupational-injurybenefits).Health
14、servicesareminingclinicaldatatogaugethecost-effectivenessofdrugs.Afteradetailedstudyofitsclients,theGermanFederalLabourAgencymanagedtocutitsannualspendingby10billion($14billion)overthreeyearswhilealsoreducingthelengthoftimepeoplespentoutofwork.数据革命同样给政府部门带来裨益。税收部门监控偷漏税行为的能力得到了提高（举例来说，政府可以通过技术手段重点关注那
15、些声称失业却能够取得不输于工伤保险的收入的人）；卫生部门可以通过检视门诊数据来分析药品的成本效益。通过对其客户进行详尽地研究，德国联邦劳工局（theGermanFederalLabourAgency）得以在3年内逐步将年支出削减100亿欧元（140亿美元），同时减少了人们的工作时间。MGIarguesthatthedatadelugecouldcreateanewwaveofproductivitygrowth.Properlyused,bigdatacouldsavetheAmericanhealth-caresystem$300billionayearandtheEuropeanpubli
16、csector250billion.Itcouldalsoenableretailerstoincreasetheiroperatingmarginsby60%.ButitishardtoreadthesefigureswithoutsuccumbingtoBorges-styledoubts.Willbigcompaniesandbiggovernmentsusebigdatatotrampleonthelittleman?AndisthismountainofdatareallyasusefulasMGIsdata-headsthink?MGI认为，海量数据能够催生新一波的生产力增长。通过
17、合理利用数据进行决策，我们可以为美国保健系统节省3000亿美元、为欧洲公共部门节省2500亿欧元。合理利用数据还将使零售商的运营效率在目前的基础上提高60%。然而，面对数据洪流，我们仍须保持博尔赫斯式的怀疑态度：大公司和政府会不会利用数据优势来践踏普通民众的权利？海量数据真的像MGI的数据狂人们所言，有如此巨大的功用？ 及类似的零售商通过对零售数据的熟练驾驭开启了“大卖场革命”（大型郊区卖场加上超低价格）。今日的海量数据也将为未来的变革打下基础。Internetsecurity网络安全Mistrustauthority不信任权威Ahackingattackexposesdeeperflawsi
18、ntheinternetssecurityinfrastructure一次黑客攻击暴露了互联网安全架构的深层隐患Sep10th2011|fromtheprinteditionFORallitsvaunteddecentralisation,theinternetisatop-downaffairwhenitcomestosecurity.Usersaretoldwhomtotrustbydigitalcertificates,whichallowawebsiteto displayapadlocksymbolandputthe“s”inthehttps:/prefixtowebaddresse
19、s.Thesecertificatesareissuedtowebsitesbyseveralhundredcompaniesthatpridethemselvesontheirsecurityandreputationforprobity.Alistofsuchcertificateauthoritiesisbuiltintoweb-browsersoftware.Ifasitedisplaysacertificateissuedbyaproperauthority,thebrowserwillloadthepagewithnoobjection.Itshouldallworkfineint
20、heory.Butinpracticetheguardiansofinternetsecurityseembadlytoneedguardingthemselves.尽管因特网自诩分权化管理，当遇到安全问题时他俨然一个管理严密的组织。数字证书告知用户哪些网站可以放心浏览，通过网页显现出“锁形”以及网页链接以https:/开头的方式。这些证书是数以百计的在安全方面以安全和名誉方权威著称的公司颁发给网站的。一系列认证证书被嵌入到浏览器中。如果网页显示了特定公司颁发的证书，浏览器将会加载页面。这在理论上行得通，但是实际上网络保护者似乎更需要保护他们自己。OnSeptember6thoneofthew
21、orldsbiggestcertificateauthorities,GlobalSign,temporarilystoppedissuingthemfollowingnewclaimsbyanassailantunderthename“ComodoHacker”.Claimingtobeactingalone,hehasalreadybrokenintoaDutchissuer,DigiNotar,hijackingitssystemandissuinghundredsofboguscertificatesfordomainsincludingFacebook,TwitterandGoogl
22、e,aswellasforAmerican,British,Israeliandothergovernmentagencies.9月6日，网络安全与数字认证机构GlobalSign在自称“Comodo黑客”发出新声明以后，已暂时停止数字认证的发放。黑客声称单独行动，他已经成功的入侵了荷兰数字认证机构DigiNotar，劫持系统并颁发了数百个用于攻击Facebook,Twitter和Google以及美国英国以色列以及其他政府部门的虚假数字认证。Thesedodgydocumentscouldallowmischief-makerstoimpersonatesupposedlysecurewebs
23、ites.ManysecurityanalystsfretthatthefakecertificateshavebeenusedtosnooponIranianusersofGmail,Googlese-mailservice.这些危险文件能够让始作俑者假做出看起来安全的网站。许多安全分析员为假冒认证已被用来以监控伊朗公民的Gmail帐户活动（google的邮件服务）而感到惴惴不安TheDutchgovernmentreliedonDigiNotartoauthenticatemanyofitswebsites.Itsinteriorminister,PietHeinDonner,saidth
24、atsitesforthecountryssocial-security,policeandtaxauthoritiesmightbecompromised.Heurgedcitizenswhowantedtobeonthesafesidetousepenandpaperindealingswiththestate.荷兰依赖DigiNotar认证许多政府网站。该国内务部长PietHeinDonnersay称国内社会保障、警察以及税务当局的网站可能已经被波及，他敦促国民为了以防万一在涉及到与国家的交易中使用纸笔的原始方法。Securitypunditshavelongbeenringingala
25、rmbellsaboutthepossibilityofsuchanattackthedigitalequivalentofburglarsbreakingintoalocksmithsshop.AnewreportonDigiNotarisscathingaboutitssecurity.Manyfeelthisimbroglio,plusanapparentlyrelatedoneinMarchinvolvinganItalianauthorityaffiliatedwithComodo,abigAmericanissuer,showsthatthesystemurgentlyneedsa
26、noverhaul.“ComodoHacker”claimsalsotohavecrackedsecurityatthreeother(sofarunnamed)issuers.长期以来安全专家一直都在为此类攻击敲警钟这种攻击好比窃贼入侵锁店。一篇关于DigiNotar的新报告对其安全情况毫不留情的批评。很多人都觉察到了这个错综复杂的局面 以及表面上的关联事件：牵扯到三月份意大利隶属于Comodo（美国大型认证商）的认证中心。事件表明系统亟待彻底改进。Comodo黑客也宣称冲击了其他三个认证商（迄今为止还未透漏其名字）Oneproposalistocreatenewdigitalnotarie
27、sthatwouldperformregularscansofallsecureserversontheinternet.Ratherthanrelyingonabuilt-inlistofcertificateissuers,asatpresent,browserswouldinsteadmatchthecertificatesthatasitepresentedtothoseinthenotariesrepository.GoogleistestingasimilarideacalledCertificateCatalog.ThecompanyhopestoincludeitinitsCh
28、romebrowser,whicheveninitsexistingformwouldhavespottedthefakecertificateissuedforGooglebyDigiNotar.一项提议是开创新数字认证体系，该体系会定期扫描网络安全服务器。浏览器将使网站提供的数字认证证书以及公证信息库里的相匹配来确保安全而不是现行的内置认证商。Google也在尝试类似的方法，称之为证书目录。公司希望将其嵌入到其发行的Chrome浏览器，能够使现行版本的浏览器都能够识别DigiNotar颁发给google的假证书。Othersarelesssanguine.BruceSchneier,ani
29、nternet-securityexpert,doubtsthatanysuchfixwillwork.Theproblem,hesays,isnottechnologicalitisaboutincentives.Thosewhohavestakesintheexistingsystem,betheycertificateauthorities,browser-makers,orgovernments,havenointerestinmendingit.Manyusersarewillingtoforgosecurityforthesakeofconvenience,evenignoring
30、warningsontheirbrowsersaboutexpiredorunrecognisedcertificates.MrSchneierlikensdiscussingtherelativemeritsoftheproposedfixestodiscussingwhatcolourtopainttankswhileinthemiddleofabattle.其他人就不是这么乐观了。网络安全专家BruceSchneier怀疑这样的做法能否有一丝效果。问题不出在技术上而是出在于动机上。那些和现行系统有利害关系的所有者认证商、浏览器公司无意修复。为了图方便，许多用户愿意放弃安全措施，甚至忽视浏
31、览器上给出的过期或者无法识别证书的警告。Schneier先生将推荐方修复方法的相关特性比作讨论给战场中坦克涂什么样的颜色。Thebroaderproblem,saysSethSchoenoftheElectronicFrontierFoundation,anadvocacygroup,isthatthepeoplemostatriskfrompryinggovernmentsinAfrica,theMiddleEastandAsiaalltoooftenuseantiquatedequipmentandsubstandardsoftwarethatismorevulnerabletohacki
32、ng.FewIranians,forexample,useChrome.ItbecameavailabletowebusersthereonlyinJanuary,afterAmericaeasedtradesanctionsagainsttheIslamicrepublic.“更广泛的问题在于，来自于非洲、中东以及亚洲等热衷窥探的政府的网民处于最危险的境地，他们经常使用陈旧的电脑设备、不安全的软件这都将使他们更容易受攻击”，来自电子前沿基金会一个游说团体的SethSchoen表示。比如说伊朗网民很少使用Chrome浏览器，在美国放松了对伊朗的贸易制裁后他仅在一月份可以使用.Onlinepri
33、vacy网络隐私 及类似的零售商通过对零售数据的熟练驾驭开启了“大卖场革命”（大型郊区卖场加上超低价格）。今日的海量数据也将为未来的变革打下基础。Internetsecurity网络安全Mistrustauthority不信任权威Ahackingattackexposesdeeperflawsintheinternetssecurityinfrastructure一次黑客攻击暴露了互联网安全架构的深层隐患Sep10th2011|fromtheprinteditionFORallitsvaunteddecentralisation,theinternetisatop-downaffairwhen
34、itcomestosecurity.Usersaretoldwhomtotrustbydigitalcertificates,whichallowawebsiteto displayapadlocksymbolandputthe“s”inthehttps:/prefixtowebaddresses.Thesecertificatesareissuedtowebsitesbyseveralhundredcompaniesthatpridethemselvesontheirsecurityandreputationforprobity.Alistofsuchcertificateauthoriti
35、esisbuiltintoweb-browsersoftware.Ifasitedisplaysacertificateissuedbyaproperauthority,thebrowserwillloadthepagewithnoobjection.Itshouldallworkfineintheory.Butinpracticetheguardiansofinternetsecurityseembadlytoneedguardingthemselves.尽管因特网自诩分权化管理，当遇到安全问题时他俨然一个管理严密的组织。数字证书告知用户哪些网站可以放心浏览，通过网页显现出“锁形”以及网页链
36、接以https:/开头的方式。这些证书是数以百计的在安全方面以安全和名誉方权威著称的公司颁发给网站的。一系列认证证书被嵌入到浏览器中。如果网页显示了特定公司颁发的证书，浏览器将会加载页面。这在理论上行得通，但是实际上网络保护者似乎更需要保护他们自己。OnSeptember6thoneoftheworldsbiggestcertificateauthorities,GlobalSign,temporarilystoppedissuingthemfollowingnewclaimsbyanassailantunderthename“ComodoHacker”.Claimingtobeactinga
37、lone,hehasalreadybrokenintoaDutchissuer,DigiNotar,hijackingitssystemandissuinghundredsofboguscertificatesfordomainsincludingFacebook,TwitterandGoogle,aswellasforAmerican,British,Israeliandothergovernmentagencies.9月6日，网络安全与数字认证机构GlobalSign在自称“Comodo黑客”发出新声明以后，已暂时停止数字认证的发放。黑客声称单独行动，他已经成功的入侵了荷兰数字认证机构Di
38、giNotar，劫持系统并颁发了数百个用于攻击Facebook,Twitter和Google以及美国英国以色列以及其他政府部门的虚假数字认证。Thesedodgydocumentscouldallowmischief-makerstoimpersonatesupposedlysecurewebsites.ManysecurityanalystsfretthatthefakecertificateshavebeenusedtosnooponIranianusersofGmail,Googlese-mailservice.这些危险文件能够让始作俑者假做出看起来安全的网站。许多安全分析员为假冒认证已
39、被用来以监控伊朗公民的Gmail帐户活动（google的邮件服务）而感到惴惴不安TheDutchgovernmentreliedonDigiNotartoauthenticatemanyofitswebsites.Itsinteriorminister,PietHeinDonner,saidthatsitesforthecountryssocial-security,policeandtaxauthoritiesmightbecompromised.Heurgedcitizenswhowantedtobeonthesafesidetousepenandpaperindealingswithth
40、estate.荷兰依赖DigiNotar认证许多政府网站。该国内务部长PietHeinDonnersay称国内社会保障、警察以及税务当局的网站可能已经被波及，他敦促国民为了以防万一在涉及到与国家的交易中使用纸笔的原始方法。Securitypunditshavelongbeenringingalarmbellsaboutthepossibilityofsuchanattackthedigitalequivalentofburglarsbreakingintoalocksmithsshop.AnewreportonDigiNotarisscathingaboutitssecurity.Manyfe
41、elthisimbroglio,plusanapparentlyrelatedoneinMarchinvolvinganItalianauthorityaffiliatedwithComodo,abigAmericanissuer,showsthatthesystemurgentlyneedsanoverhaul.“ComodoHacker”claimsalsotohavecrackedsecurityatthreeother(sofarunnamed)issuers.长期以来安全专家一直都在为此类攻击敲警钟这种攻击好比窃贼入侵锁店。一篇关于DigiNotar的新报告对其安全情况毫不留情的批评
42、。很多人都觉察到了这个错综复杂的局面 以及表面上的关联事件：牵扯到三月份意大利隶属于Comodo（美国大型认证商）的认证中心。事件表明系统亟待彻底改进。Comodo黑客也宣称冲击了其他三个认证商（迄今为止还未透漏其名字）Oneproposalistocreatenewdigitalnotariesthatwouldperformregularscansofallsecureserversontheinternet.Ratherthanrelyingonabuilt-inlistofcertificateissuers,asatpresent,browserswouldinsteadmatchthecertificatesthatasitepresentedtothoseinthenotariesrepository.GoogleistestingasimilarideacalledCertificateCatalog.ThecompanyhopestoincludeitinitsChromebrowser,whicheve
