算力、算法和数据通常被认为是人工智能的三大支柱。
本文将为大家剖析人工智能及算法、算力、数据,主要架构分为五个部分:
1、从零开始了解人工智能。
2、算法是什么?
3、为什么需要算力?
4、数据有什么用?
5、三大支柱如何综合应用于AI。
从零开始了解人工智能
“人工智能”这个词首次提出是在1956年的达特茅斯会上,科学家们为了探讨“如何让机器使用人类所表现出的智能行为”,麦卡锡在会上就提出了人工智能这个术语。
对人工智能最简单的理解,可以从我们的日常生活出发。
假如说,你出门的时候不小心丢了钱包,你想把这个钱包找回来。那么为了把钱包找回来,你是不是得具备一些能力。
识别物品:起码你能知道钱包长什么样,看到钱包的时候能认出来。
搜索策略:找钱包需要一个搜索计划,比如先去自己曾经到过的地方找。
适应变化:找钱包过程中,如果遇到路被封、门锁了、抽屉关闭之类的障碍,是不是得做出策略的调整,换个路线、找个钥匙、用手先拉开抽屉等。
社交互动和信息处理:找钱包时还可能会询问周围的人,有没有人见过这个钱包,如果有人跟你说在某地看见过,那你就要能够评估这个信息并且采取行动。
这些都是人类非常简单的智能,那么机器能不能也和人类一样具备这样的智能?
通过人工智能技术就可以。
当一个机器,被赋予了视觉识别、路线规划、环境感应、语言理解和决策支持等能力,那么机器是不是就能模仿你去找钱包。
这就是人工智能(AI),由人类在机器人(或机器或计算机)中创造的类似人类的智能。
从定义的角度看,技术上人工智能是计算机科学的一个分支,它涉及开发用于模拟、延伸和扩展人类智能的理论、方法、技术和应用系统;功能上人工智能是指能够感知环境、理解语言、学习新知识、做出决策和采取行动的智能系统。
简而言之,人工智能是关于如何让机器变得“聪明”,聪明的人工智能实际应用有很多,比如智能语音助手、自动驾驶、智能推荐等。
算法是什么?
算法可以理解为一种明确的、有限的步骤序列。
算法每一步都是明确的,未来算法的每一步也都是可以预测的,且最终会在某个点上结束。
AI算法可以分为很多种,按学习方式可分为监督学习、无监督学习、半监督学习、强化学习;按算法模型可分为基于规则的系统、基于统计的模型、基于实例的学习、基于模型的学习;按应用领域可分为机器学习、深度学习、计算机视觉、自然语言处理......
根据学习方式
监督学习:线性回归、逻辑回归、支持向量机(SVM)、决策树、随机森林、神经网络。
无监督学习:聚类(K-means、层次聚类)、降维(PCA、t-SNE)、关联规则学习(Apriori、Eclat)。
半监督学习:标签传播、一致性正则化。
强化学习:Q-learning、深度Q网络(DQN)、策略梯度方法。
根据算法模型
基于规则的系统:基于案例推理系统。
基于统计的模型:贝叶斯网络、线性回归、逻辑回归。
基于实例的学习:K最近邻(KNN)、局部加权回归(LOESS)
基于模型的学习:决策树、支持向量机、神经网络。
根据应用领域
机器学习:自然语言处理、图像识别、推荐系统。
深度学习:卷积神经网络(CNN)、递归神经网络(RNN)、生成对抗网络(GAN)。
计算机视觉:物体检测、图像分类、图像分割。
自然语言处理:文本分类、机器翻译、情感分析。
在人工智能中,算法的作用很关键,其作用包括数据处理和模式识别、学习与适应、决策制定、优化和自动化、交互和认知模拟等等。
比如CNN算法可以识别图片中的对象、BERT和GPT可以用于机器翻译及情感分析等。
为什么需要算力?
算力,就是计算的能力,人类幼崽数手指就是最简单的算力。后来随着计算机等工具的诞生,人类的计算能力就有了质的飞跃。
算力一般可以分为通用算力、智算和超算。
通用算力就是计算机系统执行基本运算任务的能力。
比如说办公室里的自动化文档编辑、网购里的快速商品搜索和交易、财务管理中的报表生成和数据分析等。
智算以GPU、FPGA、AI芯片等加速芯片输出的人工智能计算能力为主,2024年多个智算中心投用。
超算是以超级计算机输出的计算能力为主。
国内有十四个科技部批准的国家超算中心,包括天津中心、济南中心、无锡中心、昆山中心、“乌镇之光”超算中心、深圳中心、广州中心、文昌航天超算中心、长沙中心、太原中心、郑州中心、西安中心、成都中心、中新(重庆)国际超算中心。
近年来,我国一直把算力基础设施建设作为国家重要战略,2022年,随着国家“东数西算”工程启动,我国形成了八大枢纽、十大算力中心集群。
在人工智能发展中,算力也非常重要,因为AI算法(尤其是深度学习算法),在处理和训练数据时对算力需求非常大。
比如AI系统处理数据时,在预处理、特征提取和模型训练等阶段都需要算力支持,而深度学习算法也需要算力来支持大量的矩阵运算和参数调整。
AI模型训练其实是一个迭代优化的过程,通过大量样本调整模型参数,这个过程需要很多浮点运算。
今年Meta的大模型Llama3.1405B发布,据介绍就使用了超过15万亿个token进行训练。
数据有什么用?
人工智能的数据是用于训练、测试和部署AI模型的所有类型的数据。
比如每个人个人信息、活动记录、说过的话、拍过的照片视频等等都是数据,数据可以说是无处不在。
庞大的体量、多样的类型,并且每时每刻都在产生新的数据,逐渐就积累成了所谓的大数据。
这些数据对于人工智能而言,是很有价值的资源,因为AI模型需要大量的训练数据来学习如何执行特定任务。
比如说,要训练一个能够识别狗的图像识别模型,需要展示给模型成千上万的狗和狗的图片。
在模型学习的过程中,还需要人类帮助识别哪些图片是狗,哪些不是狗。
当你正确选择出哪个是狗的时候,你就会留下有价值的数据。
AI并非天生就知道什么是狗、什么是猫......当无数个人进行手动识别,产生的海量数据就帮助AI认识了这个世界,知道这个是狗、那个是花。
当AI下次看见类似的图片就能自己判断出,也就产生了智能。人类留下的数据越多,AI可利用的数据越多,智能程度就可以更高。
海量的数据帮助模型通过特征学习掌握输入数据的本质特征,这些特征对于帮助模型决策,此外多样化的数据还会让模型能够泛化到新的、未见过的数据,确保模型遇到新的情况时和人类一样也能够做出合适决策。
结语
最后我再简单说下算力、算法、数据如何综合应用于AI?
算力提供强大的计算资源,支持算法高效处理大量数据;算法,如机器学习和深度学习,决定了模型如何从数据中学习;数据是AI系统的基石,涉及收集、预处理和标注。
综合应用中,首先收集并预处理数据,然后选择合适的算法构建模型。算力加速模型训练和优化过程。测试和评估模型性能后,部署应用于实际场景。持续收集新数据,迭代优化模型,实现AI系统的持续学习和改进。
比如自动驾驶汽车中,通过部署GPU等高性能的计算设备,汽车能够快速处理实时数据流;多种算法帮助汽车识别道路的障碍物并决定如何避开、指导汽车行驶路径;行驶过程收集的数据还能用于训练算法,并不断优化算法。总体而言,算法、算力、数据三者协同,推动AI在各个领域的深入应用。