健康有益:一张图看懂AI与大数据

近几年随着AlphaGO的骄人战绩,人工智能和大数据备受追捧,热度空前。而在实际接触中,大家对人工智能和大数据的认知普遍是“只知其名不知其意”,因此对企业而言,猎头的推荐也往往与岗位匹配度不高。那么被人们认为高深莫测的AI和大数据的关系究竟是怎样的? 下图清晰表达了其逻辑及关联性。

健康有益:一张图看懂AI与大数据-DVBCN

上图中主要是三大块内容,分别是大数据,AI技术和解决问题,他们的关系如下:

- 大数据层 -

主要分为数据采集、数据存储及数据访问三个步骤。

• 数据采集

主要通过智能手环、智能手表、智能手机等各类智能硬件,重力传感器、温度传感器、湿度传感器等各类传感器以及摄像头、话筒等多种手段来采集各种所需数据。

• 数据存储

主要是将采集数据存储到数据库中。大数据的存储方式与传统的数据存储有很大不同。主要体现在存储格式、存储结构、以及分布式存储等方面。而分布式存储、共享存储则是数据存储中重要的核心技术。

• 数据访问

主要解决如何让AI技术层能够快速的获取所需数据。该层是大数据技术与AI技术的重要承接层,其最核心的技术为负载均衡。该技术解决了数据访问中的大数据并发、网络负荷过重等问题。

- AI技术层 -

分为基础算法、AI算法、AI框架和AI技术四个步骤,目的是获取数据之后,利用人工智能的算法和技术对数据进行分析。

• 基础算法层

基础算法层主要包含高等数学、矩阵分析、数值分析、概率统计分析等,是AI算法的奠基层。而AI算法来自于基础算法的支撑。我们对基础算法理解越深刻,对AI算法理解的也会更透彻。好像盖大楼的地基,地基打的越深,大楼才能盖的越高。

• AI算法层

AI算法层是在基础算法层之上构建的解决人类问题的人工智能算法层。

人类遇到的问题通常是由单一问题合并组成的复杂问题,解决问题的路径为将复杂问题拆解成多个单一问题后逐一进行解决。AI算法层即解决单一问题的通用方法层。比如拍照计算食物热量实际上包含食物识别、体积计算、质量计算、热量计算等四个子问题,而四个子问题则由各自组成的通用方法来解决。经过长达半个多世纪的发展,AI算法层已经研究出了一些通用方法即算法,包含分类算法、聚类算法、回归算法、优化算法、降维算法、深度学习算法等等。

• AI框架层

AI框架主要是对AI算法层的单个算法进行重新封装,它定义了很多类、方法、接口,使用者只需要调整相关参数即可实现算法,而不需要将算法完全实现出来,这样节省了大量的时间,使得应用算法来解决问题的AI研发人员更加专注于解决问题本身。目前常见的分类、聚类等传统的人工智能算法框架有SkLearn、Pandas等等,深度学习框架有Tensorflow、Caffe、Torch、PaddlePaddle。

• AI技术层

AI技术层主要是针对利用AI算法解决专业领域问题而提出的专用方法和算法。这种算法不具有通用性,是为解决某个领域的问题而定制研发的方法。目前AI技术主要包含自然语言处理(NLP)、机器视觉、语音识别、知识图谱、数据挖掘、分析决策。大家耳熟能详的技术都出自该层,也是AI技术层的最顶层。

• 自然语言处理(NLP)

自然语言处理领域主要是语义识别,开放域对话聊天,基于任务的对话,自动翻译(例如中翻英,英翻中)等。

• 机器视觉

机器视觉主要分为图像识别(识别图像或视频中的物体是什么),图像跟踪(视频中跟踪某个物体),三维重建(通过2D图片进行3D物体的构建)。

• 语音识别

该技术通俗的讲就是对人说的话转化成文字。

• 知识图谱

该技术是用来构建知识的网状结构,将一个个看似没有关系的知识点,通过该技术建立他们之间的关联关系,比如包含关系、并列关系、最终构建各个领域的知识网。然后再根据这个知识网解决用户的问答、推荐、预测、推理等问题。

• 数据挖掘

数据挖掘主要是对数据进行分类、聚类、预测等处理。

• 分析决策

主要是做策略制定,通过多维度收集的数据进行某个领域的决策并给出答案。

- 解决问题 -

基于大数据与AI技术的结合,能够真正实现为人类解决各种各样的问题。将这些问题进行归类汇总成几大类问题,常见的有聚类、分类、预测、推荐等问题。

• 分类问题

分类问题主要是判别某个物体属于哪个类别,比如橘子属于水果类、白菜属于蔬菜类。分类又分为二分类、多分类问题;二分类即是与不是的问题,比如这个物体不是香蕉,这个物体是香蕉;多分类问题,比如多种食物,一种食物是蔬菜,一种食物是水果,一种食物是肉。

• 聚类问题

聚类问题主要是将一批数据自动分成几类,比如说网站的用户群,自动分为活跃用户群、忠诚用户群、沉默用户群,这种用户群的确定是通过人工智能算法算的,而不是通过人工筛选的。

• 预测问题

预测问题主要是对某个趋势进行预测,比如房价趋势预测、网站的流量预测等等。

• 推荐问题

推荐问题主要是推荐同类偏好。比如A用户喜欢旅游,且是户外爱好者,而户外爱好者除了喜欢旅游,还喜欢户外装备,那就可以向A用户推荐户外装备,这就是典型的网站推荐逻辑。

相关文章
阿里巴巴9月份季度业绩:优酷运营亏损逐步减少,云智能集团收入为296.10亿元
阿里巴巴9月份季度业绩:优酷运营亏损逐…
权威报告:大模型深度赋能传媒行业,媒体融合也走向智慧融媒
权威报告:大模型深度赋能传媒行业,媒…
【前沿】专家学者话6G:从刚需、标准、试验等视角看6G网络
【前沿】专家学者话6G:从刚需、标准、…
广西广电网络:坚持移动优先策略,构建“有线+5G”业务新格局
广西广电网络:坚持移动优先策略,构建“…
吉视传媒:争取2-3年实现“宽带整转”为核心快速增户,打造广电特色“5G+”模式
吉视传媒:争取2-3年实现“宽带整转”为核…
华数传媒发行动方案:上年度已分红4.08亿元,积极培育智慧广电等新质生产力
华数传媒发行动方案:上年度已分红4.08…
我还没有学会写个人说明!