新的基于物理的自学习机器可以取代当前的人工神经网络并节省能源
用光学习:这就是物理自我学习机器内部的光波动力学。重要的是它的不规则形状和它的发展与它的最大程度完全相反(红色)。
人工智能不仅提供了令人印象深刻的性能,而且还产生了巨大的能源需求。训练它的任务要求越高,它消耗的能量就越多。
Víctor López-Pastor和Florian Marquardt是德国埃尔兰根马克斯普朗克光科学研究所的两位科学家,他们提出了一种可以更有效地训练人工智能的方法。他们的方法依赖于物理过程,而不是目前使用的数字人工神经网络。这项研究发表在《物理评论X》杂志上。
开发这种人工智能(AI)的公司Open AI没有透露训练GPT-3所需的能量,这使得ChatGPT成为一个口才好、显然消息灵通的聊天机器人。根据德国统计公司Statista的数据,这将需要1000兆瓦时的电量——大约相当于200个三人以上的德国家庭每年的用电量。虽然这种能量消耗使GPT-3能够了解在其数据集中,单词“deep”后面是“sea”还是“learning”,但总的来说,它还没有理解这些短语的潜在含义。
神经形态计算机上的神经网络
为了减少计算机的能源消耗,特别是人工智能应用,在过去的几年里,一些研究机构一直在研究一个全新的概念,即未来计算机如何处理数据。这个概念被称为神经形态计算。虽然这听起来类似于人工神经网络,但实际上与它们没有什么关系,因为人工神经网络是在传统的数字计算机上运行的。
这意味着软件,或者更准确地说是算法,是以大脑的工作方式为模型的,但数字计算机充当硬件。它们依次执行神经网络的计算步骤,区分处理器和存储器。
马克斯·普朗克光科学研究所所长、埃尔兰根大学教授Marquardt说:“当一个神经网络用高达1tb的数据训练数千亿参数(即突触)时,仅这两个组件之间的数据传输就消耗了大量的能量。”
人类的大脑是完全不同的,如果它的能量效率类似于带有硅晶体管的计算机,那么它可能永远不会在进化上具有竞争力。它很可能因为过热而失败。
大脑的特点是并行而不是顺序地进行思维过程的许多步骤。神经细胞,或者更准确地说是突触,既是处理器又是存储器的结合 体。世界上各种各样的系统都被认为是神经形态与我们的神经细胞相对应的可能的候选者,包括利用光而不是电子来进行计算的光子电路。它们的组件同时充当开关和存储单元。
人工智能是弹球和算盘的融合:在这个思想实验中,蓝色带正电的弹球代表一组训练数据。球从板的一边掷到另一边。
自学习物理机器独立优化其突触
Marquardt与马克斯·普朗克光科学研究所的博士生López Pastor一起,现在为神经形态计算机设计了一种有效的训练方法。Florian Marquardt解释道:“我们已经开发出了一种自学习物理机器的概念。核心思想是以物理过程的形式进行训练,在物理过程中,机器的参数由过程本身优化。”
在训练传统的人工神经网络时,需要外部反馈来调整数十亿突触连接的强度。马夸特说:“不需要这种反馈,培训就会更有效率。”在自学习的物理机器上实现和训练人工智能不仅可以节省能源,还可以节省计算时间。
Marquardt解释道:“无论自学习机器中发生了哪个物理过程,我们的方法都能工作,我们甚至不需要知道确切的过程。然而,这个过程必须满足几个条件。最重要的是,它必须是可逆的,这意味着它必须能够以最小的能量损失向前或向后运行。”
Marquardt说:“此外,物理过程必须是非线性的,这意味着足够复杂。”只有非线性过程才能完成输入数据和结果之间的复杂转换。弹球在一块板上滚动而不与另一块碰撞是一种线性动作。然而,如果它被另一个干扰,情况就会变得非线性。
光学神经形态计算机的实际测试
可逆非线性过程的例子可以在光学中找到。事实上,López Pastor和Marquardt已经在与一个实验团队合作开发一台光学神经形态计算机。该机器以叠加光波的形式处理信息,从而适当的组件调节相互作用的类型和强度。研究人员的目的是将自学习物理机器的概念付诸实践。
Florian Marquardt说:“我们希望能够在三年内推出第一台自我学习的物理机器。到那时,应该会有神经网络用更多的突触进行思考,并用比今天多得多的数据进行训练。
因此,可能会有更大的愿望在传统数字计算机之外实现神经网络,并用经过有效训练的神经形态计算机取代它们。这位物理学家说:“因此,我们相信,自学习的物理机器很有可能被用于人工智能的进一步发展。”
- 分享
- 举报
-
浏览量:4934次2021-07-26 11:28:05
-
浏览量:678次2023-12-08 17:29:20
-
浏览量:536次2023-09-02 09:45:20
-
浏览量:3926次2018-02-14 10:30:11
-
浏览量:383次2023-09-28 11:44:09
-
浏览量:5390次2021-05-28 16:59:25
-
浏览量:8290次2021-05-28 16:59:43
-
浏览量:594次2023-09-27 15:33:27
-
浏览量:5236次2021-08-13 15:39:02
-
浏览量:750次2023-07-05 10:11:45
-
浏览量:6530次2021-05-31 17:02:05
-
浏览量:4871次2021-04-23 14:09:37
-
浏览量:430次2023-08-28 09:56:42
-
浏览量:772次2023-03-21 10:37:02
-
2023-09-27 15:48:35
-
浏览量:4232次2021-04-19 14:54:23
-
浏览量:4589次2021-04-20 15:50:27
-
浏览量:985次2023-03-13 14:06:09
-
浏览量:3380次2020-02-27 10:34:09
-
广告/SPAM
-
恶意灌水
-
违规内容
-
文不对题
-
重复发帖
yiyi
感谢您的打赏,如若您也想被打赏,可前往 发表专栏 哦~
举报类型
- 内容涉黄/赌/毒
- 内容侵权/抄袭
- 政治相关
- 涉嫌广告
- 侮辱谩骂
- 其他
详细说明