1.大数据概论

1.1大数据概念

大数据(Big Data):指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海星、高增长率和多样化的信息资产。 大数据主要解决，海量数据的采集、存储和分析计算问题。

按顺序给出数据存储单位: bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB.

1Byte= 8bit

1K=1024Byte

1MB= 1024K

1G=1024M

1T = 1024G

1P=1024T

1.2 大数据特点（5V）

1、volume(大量) 截至目前，人类生产的所有印刷材料的数据星是200PB，而历史上全人类总共说过的话的数据星大约是5EB。当，典型个人计算机硬盘的容量为TB量级，而—些大企业的类&居量已经接游B量级。

2、velocity ( 高速) 这是大数据区分于传统漱据挖掘的最显著特征。根据IDC的“数字宇宙”的报告，预计到2025年，全球数据使用量将达到163ZB。在如此海量的数据面前，处理数据的效率就是企业的生命

天猫双十一:

2017年3分01秒，天猫交易额招过100亿

2020年96秒，天猫交易额招过100222亿

3、variety (多样) 这种类型的多样性也让数据被分为结构化⒁据和非结构化数据。相对于以往便于存储的以数据库文本为主的结构化数据，非结构化数据越来越多，包括网络日志、音频、视频、图片、地理位置信息等，这些多类型的数据对数据的处理能力提出了更高要求。

4、value (低价值密度) 价值密度的高低与数据总量的大小成反比比，数据价值密度相对较低，或者说是浪里淘沙却又弥足珍贵。随着互联网以及物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何结合业务逻辑并通过强大的机器算法来挖掘数据价值，是大数据时代最需要解决的问题。

5.Veracity(数据的真实性)

数据的真实性,准确性和可信赖度,提升数据的质量,质量提高了,会间接的提高其他的4V水平.

1.3 大数据应用场景

大数据无处不在，大数据应用于各个行业，包括金融、汽车、餐饮、电信、能源、体能和娱乐等在内的社会各行各业都已经融入了大数据的印迹。

• 制造业，利用工业大数据提升制造业水平，包括产品故障诊断与预测、分析工艺流程、改进生产工艺，优化生产过程能耗、工业供应链分析与优化、生产计划与排程。
• 金融行业，大数据在高频交易、社交情绪分析和信贷风险分析三大金融创新领域发挥重大作用。
• 汽车行业，利用大数据和物联网技术的无人驾驶汽车，在不远的未来将走入我们的日常生活。
• 互联网行业，借助于大数据技术，可以分析客户行为，进行商品推荐和针对性广告投放。
• 电信行业，利用大数据技术实现客户离网分析，及时掌握客户离网倾向，出台客户挽留措施。
• 能源行业，随着智能电网的发展，电力公司可以掌握海量的用户用电信息，利用大数据技术分析用户用电模式，可以改进电网运行，合理设计电力需求响应系统，确保电网运行安全。
• 物流行业，利用大数据优化物流网络，提高物流效率，降低物流成本。
• 城市管理，可以利用大数据实现智能交通、环保监测、城市规划和智能安防。
• 生物医学，大数据可以帮助我们实现流行病预测、智慧医疗、健康管理，同时还可以帮助我们解读DNA,了解更多的生命奥秘。
• 体育娱乐，大数据可以帮助我们训练球队，决定投拍哪种题财的影视作品，以及预测比赛结果。
• 安全领域，政府可以利用大数据技术构建起强大的国家安全保障体系，企业可以利用大数据抵御网络攻击，警察可以借助大数据来预防犯罪。
• 个人生活， 大数据还可以应用于个人生活，利用与每个人相关联的“个人大数据”，分析个人生活行为习惯，为其提供更加周到的个性化服务。

大数据的价值，远远不止于此，大数据对各行各业的渗透，大大推动了社会生产和生活，未来必将产生重大而深远的影响。

1.4 大数据发展前景

1、党的十九大提出“推动互联网、大数据、人工智能和实体经济深度融合”.

2、2020年初，中央推出34万亿“新基建”投资计划

"新基建"投资规模拆分

项目	2020年投资规模(亿元)
5G	3000
特高压	600
轨道交通	5000
充电桩	100
数居中心	1000
人工智能	850
工业互联网	100
合计	10150

3、下一个风口 2020年是5G的元年，国家在大力铺设5设备，2021年就是5分手机立用的开始，也是大数据要爆发的1年。

5G带来的是每秒钟10g的数据，会给每家公司都带来海量的数据。那么传统的Java工具根本解决不了海量娄据的存储。就更不用说海量数据的计算了。

如果你对5G的感触不够深，可以回忆一下3G和4G的区别。3G时只能打电话、发短信，当时还觉得很好，觉得3G不错。但是4G来了后，大家很少打电话和发短信了，都改为语音、视频、直播、网上购物等生活方式，带火了淘宝、京东、美团、字节跳动等企业。没有跟上节奏的百度，有点摇摇欲坠。

自古不变的真理:先入行者吃肉，后入行者喝汤，最后到的买单!

4、人才凝缺、竞争压力小

有句话叫:“选择大于努力”选择一个好的方向，少奋斗十年。

5、《前程无忧》网站上的部分大数据工程师薪水如下:

1.5 大数据部门间业务流程分析

1.6 大数据部门内组织结构