前言
物联网、大数据、人工智能是近几年经常相提并论的概念。每一个概念背后都涵盖了丰富的技术和应用,三者各有特点,也互有重叠,甚至还有依赖。物联网侧重于让物体联网,形成万物互联的局面,这是物理世界深刻的数字化过程,必然带来大量的数据,并且是各种类型的数据;大数据不仅在于数据量大,更在于数据的维度复杂,它们来自于真实世界、可在线访问,并且对真实世界有独特的指导作用(价值);人工智能是指通过机器学习算法,让机器能够具备人类的智能特征,可以完成一些通常需要人类智能才能完成的复杂工作,甚至比人类完成得更好。
人工智能作为计算机科学的一个研究领域,侧重于机器学习算法和各种应用场景任务,如图像识别、语音识别、自然语言处理、自动驾驶汽车、机器人等,为了让机器像人一样工作,需要各种传感器采集数据,需要对环境的认知等。因此,人工智能融合了机器学习、物联网、大数据、分布式系统等各种技术,按使用场景有机地将这些技术集成在一起,以更好地让机器服务于人类。
本文将重点讨论大数据与物联网的关系,从物联网的角度来看待大数据,通过大数据技术发挥物联网的优势;以及从大数据的角度来看待物联网,丰富数据的来源,凸显数据的价值。本文也讨论了大数据技术的基本原理和一些系统软件,以及在从物联网数据到形成大数据过程中物联网操作系统的应用,有助于进一步发挥物联网数据的价值。
今日推文为第一部分:关于物联网与大数据的背景介绍,后续篇章请点击文末阅读原文持续关注。
背景介绍
物联网是在PC互联网和移动互联网基础上的扩展和延伸,各种物体通过传感技术实时采集信息,通过网络连接技术,形成物联网,实现万物互联。物联网的核心在于:一、各种传感技术,将物理世界中的量转化为数字;二、网络连接,物体能接入网络;三、汇聚数据,通过计算与分析,形成业务决策,甚至反向给联网物体发送指令。
随着越来越多的设备连接网络,汇聚到网络上的数据也越来越多,这构成了当前大数据的一个重要组成部分。据IDC预测,到2025年,有416亿联网的设备,将产生79.4 ZB数据(1 ZB = 109 TB = 1021字节),如图1所示。物联网的发展推动了物理世界被数字化的进程,在接下来几年直至2025年,物联网设备产生的数据量将按照每年28.7%的速度递增。
图1 IDC预测2025年IoT设备产生的数据达到79.4 ZB
这些来自于IoT设备的数据,有相当部分是各种监控摄像头产生的数据,包括视频、图片和音频数据。在可预见的未来,摄像头的数量还会继续增长。除了固定位置的摄像头,无人机也会携带摄像头采集大量的视频数据。其次,工业领域中IoT设备的数据也是一个重要组成部分,随着工业互联网的发展,近几年国内有数百个工业互联网平台上线,工业设备产生的数据量呈快速增长的趋势。另外,智能家居和个人穿戴式设备是消费领域IoT发展的主力,它们也是一个重要的IoT数据源。
那么,这么大量的IoT数据,它们如何被存储的呢?可以粗略地按存储位置来分为四类:云计算、数据中心、边缘和设备端。将近一半的IoT数据存储在云端和数据中心,包括公有云部分和私有的数据中心,另有一半数据存储在边缘和设备端。总体上,这些IoT数据散布在互联网各处,分别被以各种方式存储起来,经过与业务相关的处理与分析,发挥各自的价值。图2显示了IoT数据存储位置的示意图。
图2 IoT数据在哪里
物联网的价值不仅仅是提供数据,它们也在贡献计算能力,尤其是,随着人工智能芯片的发展,边缘计算的能力越来越强,因此,大量的IoT数据有机会在边缘侧得以处理,甚至在边缘侧进行决策,指示IoT设备更加高效地工作,满足场景中的业务需求。
离开了大数据的存储和处理能力,物联网设备对于大型场景中的意义会削弱很多,它们的价值不能得到充分发挥;而大数据离开了物联网设备,则数字化的效率低了很多,现有的信息系统无法及时地获取物理世界中的信息和状态,并给以反馈。两者结合起来,则可以高效地在数字世界中刻画和描述物理世界,并评估和指导管理,以及决策,使物理世界更加有序地运行。
由于物联网设备种类繁多,应用场景多种多样,因而在局部业务领域或者产业链环节往往难以窥见物联网产业的共性或规律。本文讨论物联网和大数据,采用先列举再归纳的方法,通过一些典型的设备,以及典型的场景和数据路径,来分析物联网与大数据的关系,也提到了一些重要的,有普遍适用性的技术与架构。
当前物联网的发展还在初级阶段,它们给数字世界和物理世界带来的影响才刚刚起步。在很多情况下,物联网产业面临着数据分散、子系统不通等问题,无法形成有效的大数据方案,对实际业务需求的指导微乎其微。这正是物联网和大数据两个技术领域需要协同起来形成合力发展的方向。
在下一篇文章中,我们将带大家《从物联网看大数据》
一个显然的事实是,在很多应用场景下,物联网设备是数据的来源。从数据产生到数据被分析和处理,再发挥其应有的价值,这是由物联网形成大数据的一个合理路径。本章节我们来讨论其中的主要环节。
《从物联网看大数据》-潘爱民