为什么你的大数据项目会失败？
2018-02-28 10:20:00
次
——聊聊废墟之中的大数据应用
引言：近年来大数据、人工智能概念喧嚣尘上，各类大数据应用层出不穷。这些融合了海量数据、高性能计算平台、智能算法、酷炫的数据可视化效果的企业级大数据应用产品成为了企业的新的宠儿。“大平台、微应用”,“数据智能应用”，一时间，大数据应用建设项目如雨后春笋般涌现，但在目前大部分的商业实践中我们看到，传统企业斥巨资建设的大数据应用，仿佛还没有找到商业价值的转化点。笔者结合自身在之前某大型央企的供职经历，从一名信息化从业者（IT狗）角度的出发，聊聊对此类问题的认识。姑妄之言，且读且珍惜。
注：大数据应用是个很宽泛的概念，本文所指的大数据应用，重点为以数据为基础，以算法为支撑的，指导企业经营运转与决策的数据分析产品。如当下流行的客户画像系统、预测性维修、精准营销等系统。
一、为什么企业热衷“大数据”、“AI”？——聊聊现象
因为，确实有用。追求效率、适应快速变化的商业竞争环境，是企业生存的必备条件。而基于海量数据的应用，能有效指导企业快速掌握用户的个性化需求，实现精准营销，能够帮助企业打通数据关节，实现精准预测与智能决策，加快企业经营运转、提高生产效率，降低生产成本，实现数据价值变现。这些华丽的宣传词背后的商业价值，对于企业来说，具有致命的诱惑。
二是大数据带来的行业巨大冲击力，倒逼企业数字化转型升级。以阿里巴巴、京东、蚂蚁金融、滴滴打车等为代表的互联网企业所带来的行业颠覆，让传统企业战战兢兢，在这个已经到来的数据时代，不变革，就等死。
三是经过了二十年企业信息化建设，当下已经到了收割“数据红利”的有利时机。企业多年的数据积累以及第三方数据的开放、跨界融合，让这场数据革命有了更为广阔的想象空间。
四是企业形象与品牌建设需要向互联网化转型，需要新鲜的概念包装，需要显示出与潮流与时俱进的企业活力。很多企业领导说，别人都在上，我们也得上，这无可厚非。
然而，时至今日，“大数据”已经被说烂了，人工智能也已经闪亮登场了，Gartner已经把大数据从技术炒作曲线中移除了，但是大多数企业中仍然鲜见其成功案例，很多企业抓住了大数据这根稻草，但仍在泥沼中喘息。数据转型、数据驱动，概念嗷嗷上天，落地寥寥无几。
钱也没少花、数据也没少买，大数据平台也没少建，专业团队也没少请，各类资源都在全力保障，数据平台也搭建起来了，数据也集成进去了，眼瞅着“大平台、微应用”的梦想要实现了，但是最终还是悲哀的发现，我们怀揣的希望与憧憬，看到的却是数据平台为无人问津，各类基于平台之上的大数据应用在废墟之中横亘残落。
二、为什么会失败——聊聊原因
（1）再强大的平台，也无法管理混乱的数据。大数据应用依赖于基础的数据平台。而企业多年来积累的数据，缺乏标准的体系梳理，缺乏有效的数据管理机制，数据结构混乱，数据质量低下，好不容易梳理规范的数据进入系统，没过多久，又再次陷入混乱。数据基础不完备，盲目的上Hadoop平台，又没有完善的数据管控机制，最终也只能沦为废墟无人问津。
（2）再大的数据，也无法唤醒无视它的人。IT部门鼓捣着进行平台建设，到处拿着鸡毛当令箭收集数据，业务人员疲于应付，这一场由IT主导的数据革命，本身从源头上，就是错误的。业务人员不清楚由IT自己臆想捣鼓的数据应用究竟要表达什么，让IT改个需求又费时费力，与其浪费时间，不如老样子，跟着感觉走。
（3）再智能的算法，也无法真正的理解业务。算法和数据都是冷冰冰的，没有温度，它们只是工具、手段。没有与业务融合，没有实际的应用场景，算法只能是院校学术论文。不能带来巨大的业务价值导向，无法实际解决用户痛点，没有业务人员深度的参与，无论多牛的算法，都没法挖掘出深刻的业务洞察。
总体而言，企业大数据建设项目最突出的问题，总结三点：
1.缺乏“用数据说话”的意识与文化；
2.缺乏行之有效的数据管理体系；
3.业务应用引导项目建设，而非本末倒置；
为了避免项目成果最终沦为数据废墟，企业应当结合自身特点，寻找最适合自身的数据转型之路。
三、我们怎么办——聊聊方法
以往的大数据建设的核心思路都是：先建平台或数据中心，构建分析工具，打造数据应用。这样的主要问题在于，对于中小企业，由于规划能力的不足，数据基础不扎实，很难在初期设计好整体的全貌，会造成极大的建设风险。因此，在战略层面，需要解决好数据应用的价值定位（解决什么业务问题，预期达到什么样的目标）；在执行层面，形成自上而下的推动过程，进行企业数据文化的培养建立。在方法论层面，我们提出以数据应用为核心的企业大数据能力建设思路：
（1）应用先行，先轻后重。挑选实际业务中最具价值的、数据基础较为完备的、数据分析诉求较为强烈的业务场景，进行固化。在应用逐步积累的情况下，数据平台的建设也会一个自然而然的过程，用户可在建设过程中，适时投入，对于反应不佳的应用可以快速调整，具有更灵活的控制权与主动权。这样的方式，留有充分的试错空间，可避免投入较大成本问题；
（2）先易后难，稳步推进。这类数据应用的开发，可以先从基本指标体系的建设，设定监控的KPI，监控关键业务经营指标，逐步实现企业的数据透明化运营。以此来建立和推动企业的数据文化与意识的培养。然后可以引入高级分析团队（通常企业内部是不具备这样的人才的），针对特定的业务场景，与业务人员深入协商沟通、确定关键业务分析目标与关键因素，借助算法与分析引擎，构建业务模型，形成智能的数据应用产品，持续评估，不断提升模型的泛化性能与可解释性，这样可引起业务人员的极大关注度与兴趣，帮助业务人员更好的进行分析与决策。让数据应用落到实处。
（3）以用促管，以管优用。用一部分，理一部分，以数据产品应用，倒逼数据管理制度的优化与完善。在数据湖大行其道，以及Hadoop生态体系已完全成熟的今天，我们可以尝试采用更加柔性灵活的数据标准规范。
（4）数据创新，人人参与。数据应用具有巨大的想象空间与创新可能，需要充分调动与发挥企业人员的主观能动性，推动业务自主进行数据分析，让更多的业务人员能够通过统一的平台进行数据价值的洞察、分析，充分发挥业务人员的行业经验（如举办内部的数据分析竞赛），不断发掘新的数据应用，以此促进企业数字化转型进程。
四、工欲善其事必先利其器——聊聊工具
根据如上的思路，不难看出，数据分析与应用开发工具是其关键核心。此类工具，一是要能够融合企业各类数据，具备基础的数据管理的功能；二是简单易上手，开发速度快，无编码，让支持业务用户也能自己开发；三是需要内置高级算法的能够支持预测、优化、自动决策与调度功能；四是能够支撑多用户协作的、能与其他系统无缝融合，五是高性能，同时价格不宜过高。
国内外数据分析工具丰富，如SAS、SPSS、Tableau、Qlik，国内如永洪、帆软等，但能支撑复杂的智能算法，又能支撑自助式分析的功能的工具相对较少，再此笔者冒昧推荐由美林数据自主研发的Tempo大数据分析平台。该平台内置可视化、挖掘的一体化数据分析模块，可使用Tempo快速完成大屏、仪表盘的制作，也可拖曳式的实现复杂的机器学习算法流程的建立，构建自主的预测性数据产品。目前Tempo大数据分析平台在工业大数据领域、金融行业、有着较为广泛的应用，有兴趣的可访问http://www.asktempo.com了解。
五、结语——聊聊未来
在不远的将来，大数据平台将会成为坚实的管道，而数据应用将逐步向轻量级、场景化、实时性、智能化的方向发展，人们在关注数据应用的业务价值的同时，也将追求更便捷、开箱即用的应用体验，会按角色进行场景的细化，会更追求实时、高效，会更加关注智能化的交互体验，此外更会与其他系统整合，形成以分析-决策-行动为闭环的应用链条，星星之火，可以燎原，一个个微小灵活的数据应用，势必将在曾经的废墟之上，熠熠生辉。
方案咨询
Tempo大数据分析平台
Tempo商业智能平台
Tempo人工智能平台
Tempo数据工厂平台
Tempo数据资产管理平台
Tempo主数据管理平台
首页
陕公网安备 61019002000171号
