AI模型是如何训练的?训练一个模型要花多少钱?

2023-09-29 15:04
电子爱好者网报道(文/李弯弯)在深度学习中,我们经常听到“模型训练”这个词,但什么是模型?你是怎么训练的?在人工智能中,面对大量的数据,在杂乱的内容中准确、轻松地识别并输出所需的图像/声音并不容易。因此,算法就显得尤为重要。算法就是模型。
算法的内容,除了核心识别引擎外,还包括各种配置参数,如:比特率、采样率、音色、音调、音调、智能识别语音音频、节奏、方言、噪音等。对于一个成熟的识别引擎来说,核心内容一般不会经常改变。为了达到“成功识别”的目的,只能调整配置参数。
对于不同的输入,我们会配置不同的参数值,最终在结果统计中选出一组相对均衡且识别率较高的参数值。这组参数值就是训练后得到的结果。这就是训练过程。也称为模型训练。
如何训练AI模型?
训练模型需要使用 AI 框架,例如 MindSpe。具体如何训练一个AI模型呢?昇思心灵孢子
之前发布了详细案例,训练的模型是用于分类手写数字图像的LeNet5模型。 MindSpore是华为推出的全场景AI计算框架。 2020年3月28日,宣布MindSpore正式开源。
首先是安装MindSpore。 MindSpore为用户提供了Python接口。安装时,选择合适的版本、硬件平台、操作系统编程语言以及安装方法。第二步是定义模型。安装后,可以导入MindSpore提供的算子(卷积、全连接、池化等函数)来构建模型。构建人工智能模型就像建造一座房子。 MindSpore提供的算子就像砖块、窗户、地板等基本组件。
下一步是导入训练数据集。什么是训练数据集?刚刚定义的模型无法正确分类图像。模型的参数矩阵的值必须通过训练过程进行调整。训练过程需要使用训练样本,这些样本是带有正确标签的图片。这就像教孩子认识动物一样。您需要向他们展示一些图片并告诉他们它们是什么。教几次后,孩子就能认出来了。
那么这里就需要使用MNIST数据集来训练LeNet5模型。这个数据集由两部分组成:训练集(60000张图片)和测试集(10000张图片),都是0到9的黑白手写数字。训练集用来训练AI模型,测试集用于测试训练模型的分类精度。
下一步是训练模型。定义好训练数据集和模型后,就可以开始训练模型了。在训练之前,需要从MindSpore导入两个函数:损失函数,是衡量预测结果与真实标签之间差异的函数;优化器,用于求解损失函数相对于模型参数的更新梯度。准备好后,开始训练,将之前定义的模型、损失函数、优化器封装成一个Model,使用model.train接口来训练LeNet5模型。最后一步是训练后测试模型的准确性。
训练AI模型成本高昂
当然,模型训练需要强大的计算能力,尤其是参数大的模型,成本极其高昂。
例如,OpenAI 的语言模型 GPT-3 是对 的 神经网络 的大规模数学 模拟。从网络抓取大量文本进行训练后,GPT-3可以以惊人的连贯性预测哪些单词应该放在其他单词之前和之后,从而生成流畅的文本。据估计,GPT-3的训练成本接近500万美元。
对于一些小型企业来说,训练具有较大参数的算法往往很困难。健康 IT 公司 Optum 的一位领导者此前表示,他们的团队使用语言模型来分析通话记录,以识别哪些患者风险较高,以及哪些患者应建议早期 转诊。仅仅训练一个 GPT-3 千分之一大小的语言模型就会很快耗尽团队的预算。
另一家从事搜索业务的初创公司Glean一直想利用最新的AI算法来改进公司的产品
Glean 提供了在 Gmail、Slack 和 Salesforce 等应用程序中进行搜索的工具,以及用于解析语言的新AI 技术,可以帮助公司的客户更快地发现正确的文件或对话。
但训练这样一个尖端的人工智能算法需要花费数百万美元。 Glean 不得不使用更小、能力更弱的人工智能模型,这些模型无法从文本中提取尽可能多的含义。
总结
在过去十年左右的时间里,人工智能取得了一些举世瞩目的成就,包括在游戏中击败人类、让汽车在城市街道上行驶、人工智能自己书写连贯的文本,以及创作出与画家相媲美的画作。这一切都得益于数据量的不断积累、算法的不断优化、以及能够支持算法训练的算力的不断加强。
但发展过程中仍存在一些问题。例如,对于小型企业来说,训练先进AI算法的成本较高,会阻碍AI的综合应用等问题。当然,人工智能整体呈现出快速发展的趋势,业界也在不断探索促进人工智能发展的途径。比如大模型的出现也是为了解决普遍性问题,比如模型简化、降低模型训练所需的算力等等。
-->