大数据崛起
据数邦客2017年5月的调查报告显示,32.5%的公司正在搭建大数据平台,32.5%的公司已经在生产环境实践大数据,并有成功的用例/产品;24.5%的公司已经做了足够的了解,开发准备就绪;基本不了解的只占3000 企业用户的13.5%。再加上近年来人工智能(AI)迅速发展迅速,人工智能需要庞大数据的支援,方能发挥其最大作用。由此可见,未来各行业发展的大趋势都是往大数据发展。
什么是“大数据”?麦肯锡全球研究所给出的定义是:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。
我们正处于一个大数据飞速发展的时代,我们所做的一切事,不论是在互联网中或者是互联网之外,都会留下数字的痕迹。比如刷卡购物,网络搜索,手机上网,乃至在网上每一个小小的点击都会被一一记录下来。所谓大数据,其大小或复杂性使得无法通过常用技术以合理的成本并在可接受的时限内对其进行捕获、管理和处理。大数据技术,就是通过特殊的技术,从各种各样类型的海量数据中,快速获得有价值信息。
Apache在全球与中国的庞大影响力
说起大数据技术,就不得不提到Apache Hadoop。Apache是全球大数据行业规模最大也最具影响力的开源团体。Apache软件基金会(也就是Apache Software Foundation,简称为ASF)是一个专门为支持开源软件项目的非盈利团体,成立于1999年,成立的原因是一群技术员认为尖端技术不应该只停留在几家大的IT巨头,而应该是开源共享,所以项目里的软件都是开发后免费共享使用的。经过20年发展,目前ASF已经发展了超过300个项目,大部分世界级数据企业都在使用这些软件。
Hadoop是ASF众多开源项目之一,它是一个专门负责处理大数据储存和分析的开源软件,也是目前市场上最为广泛应用的大数据开发工具。Hadoop是雅虎员工 Doug Cutting 根据谷歌2003年发布的学术论文研究而来。自2009年开发以来,Hadoop使用比率一直上升,随着大数据的发展趋势,以低廉的存储和快速的处理能力,迅速在企业中蔓延开去。直到2013年10月發布的Hadoop 2.0,该软件已成為大数据和人工智能方案的核心组件,调查发现,接近四成的受访企业倾向选择 Hadoop 作为大数据平台的技术架构。
现在Hadoop的用户包括全球科技巨头包括社交网站脸书(Facebook),领英(LinkedIn),推特(Twitter)及电子商贸公司阿里巴巴等,这些公司每天需要处理海量的数据;比如推特平均每一秒钟便有约 6000条转发,阿里巴巴去年双十一的成交额高达168亿,证明Hadoop在商业应用上的价值。按照目前的创新速度和较低的要求来看,未来五年会有更多的中小型企业拥有自己的 Hadoop 架构。Hadoop有望在未来于企业各个角落得到广泛的应用。据福布斯(Forbes)预测,到2022年,全球Hadoop市场将达990亿美元,每年复式增长率为42%,当中超过三分之一增长来自亚太地区。
大数据人才紧缺
各行各业,大数据技术应用也越来越广泛,对于大数据人才的需求也越来越大。据数联寻英发布的《大数据人才报告》显示,目前全国的大数据人才只有46万,未来3-5年内大数据人才的缺口将高达150万。
据职业社交平台领英(LinkedIn)发布的《2016年中国互联网最热职位人才报告》显示,研发工程师、产品经理、人力资源、市场营销、运营和数据分析是当下中国互联网行业需求最旺盛的六类人才职位。其中研发工程师需求量最大,而数据分析人才最为稀缺。领英报告表明,数据分析人才的供给指数最低,仅为0.05,属于高度稀缺。数据分析人才跳槽速度也最快,平均跳槽速度为19.8个月,与此同时,行业薪资溢价严重,职场新人年薪高出互联网普通技术人员134%,有5-8年工作经验的人才,则比互联网行业普通技术人员高出78.04%。
据中国商业联合会数据分析专业委员会统计,未来中国基础性数据分析人才缺口将达到1400万,而BAT企业招聘的职位里,60%以上都在招大数据人才。
学习大数据还需要专业认证
企业对新型大数据分析和预测技术人才的热情和需求正在超过传统的商业智能和信息管理人才,未来5年大数据人才缺口会持续增长。学习掌握大数据技术,成了越来越多人实现职场高薪梦的路径之一。
香港中文大学商学院副教授,香港大学SPACE中国商学院客席副教授,OpenCertHub主席湛家扬博士Dr. Toa Charm,一直专注于研究大数据与人工智能在商业的应用。他曾任香港数码港公共使命总监,在多家跨国、香港及内地科技及金融服务公司担任高管职位,在创新及科技行业拥有超过30年的管理、营销、咨询、创业和培训经验。
他认为中国内地以至其他先进国家,大数据发展已踏入火热阶段。“未来数年是发展大数据的重要时刻,最重要还是要拥有足够的人才。作为打工一族,大家不应惧怕被职场淘汰,反而及早积极提升技能,并取得相关专业认证,便能在职场走上更高层次,前景依然乐观。”
大部分人都不是科学家,可能认为不须学懂高端的人工智能科技,对大数据的概念和应用也缺乏基本认识。但湛家扬博士则认为“不管是什么行业,由金融、零售、地产、物流及旅游等,以至前线、后勤或管理层的岗位,大数据皆会带来深远影响,掌握大数据科技已是不可或缺。”
总结以上趋势,要在未来职业规划上有更好的发展,无论是赛道上的选择,或者希望升职加薪,提升个人职能竞争力,成为大数据人才将是一个值得投资的方向。
文章来源：未知 文章标题：在互联网裁员潮里，掌握大数据技术，实现职场高薪梦的钥匙 本文地址：