工程师为AI瓶颈提供明智，及时的想法
#111723#赖斯大学的研讨职员曾经展现了计划翻新的以数据为核心的盘算硬件以及与呆板进修算法独特计划硬件的方式，这些算法能够独特将动力效力进步两个数目级。呆板进修的提高，无人驾驶汽车背地的人工智能情势以及很多其余高科技利用，曾经首创了盘算的新时期（以数据为核心的时期），并迫使工程师们从新斟酌存在消散了75年
“成绩在于，对于现今呆板进修最早进的大范围深度神经收集而言，运转全部体系所需的90%以上的电力都耗费在内存和处置器之间的数据挪动中”，电气与盘算机工程学助理教学林颖妍说。
林和配合者提出了优化数据核心处置的两个互补的方式，这二者都显现6月3日在国际研究会上的盘算机系统构造（ISCA），最大的集会为新的思绪和研讨的一个盘算机系统构造。
以数据为核心的系统构造的驱动与一个称为von Neumann瓶颈的成绩有关，这类效力低下的缘由是自数学家约翰·冯·诺伊曼（John von Neumann）于1945年发现内存以来，盘算构造中内存和处置的分别始终占主导位置。从顺序和数据来看，冯·诺伊曼（von Neumann）架构使单台盘算机存在难以相信的通用性。依据从内存中加载的存储顺序，能够应用盘算机停止视频通话，筹备电子表格或摹拟火星上的气象。
然而将内存与处置离开也象征着即便简略的操纵（如加2加2）也须要盘算机处置器屡次拜访内存。深度神经收集中的大批操纵使这类影象瓶颈变得更糟，深度神经收集是通过“研讨”大批先前示例来进修做出人道化决议的体系。收集越大，它能够实现的义务就越艰苦，而且表现的收集示例越多，它的履行后果就越好。深度神经收集练习可能须要专门的处置器库，这些处置器须要全天候运转一周以上。基于智能收集在智妙手机上履行义务能够在不到一个小时的时光内讧尽电池电量。
赖斯的高效和智能盘算（EIC）试验室主任Lin说：“对于呆板进修时期的以数据为核心的算法，咱们须要翻新的以数据为核心的硬件系统构造。” “然而，呆板进修的最好硬件架构是甚么？
“没有一个全能的谜底，由于差别的利用须要呆板进修算法，这些算法在算法构造和庞杂性方面可能有很大差别，同时存在差别的义务正确性和资本耗费（比方动力本钱，耽误和吞吐量），须要衡量弃取请求。”她说。“很多研讨职员正在为此停止研讨，像英特尔，IBM和Google如许的至公司都有本人的计划。”
Lin小组在ISCA 2020上的报告之一在TIMELY上供给了却果，TIMELY是她和她的先生为“内存中处置”（PIM）开辟的一种翻新架构，这类非冯·诺依曼方式将处置引入内存阵列。一个有前程的PIM平台是“ 电阻式随机存取存储器 ”（ReRAM），相似于闪存的非易失性存储器。固然提出了其余ReRAM PIM减速器架构，但Lin表现，在10多个深度神经收集模子长进行的试验发明，TIMELY的动力效力高18倍，而且交付的盘算密度是最有竞争力的最新技巧的30倍以上ReRAM PIM减速器。
TIMELY代表“时域，内存中履行，LocalitY”，它通过打消致使效力低下的重要要素来实现其机能，这类效力低下是因为频仍拜访主存储器以处置旁边输入和输出以及当地和主存储器之间的接口而引发的。回想。
在主存储器中，数据以数字方法存储，然而当将其带入当地存储器以停止内存中处置时，必需将其转换为摹拟量。在之前的ReRAM PIM减速器中，成果值从摹拟转换为数字，而后发送回主存储器。假如将它们从主存储器挪用到当地ReRAM以停止后续操纵，则它们将再次转换为摹拟信号，依此类推。
通过应用当地存储器中的摹拟格局缓冲区，实时防止了不用要的拜访主存储器和接口数据转换的开消。如许，TIMELY几近能够将所需的数据保存在当地存储阵列中，从而大大进步了效力。
该小组在ISCA 2020上提出的第二个倡议是SmartExchange，该计划联合了算法和减速器硬件翻新以节俭动力。
“拜访主存储器 DRAM的能量要比履行盘算多破费200倍，因而SmartExchange的要害思维是在算法中强迫履行构造，使咱们能够将本钱较高的内存换成本钱更低的内存，本钱盘算。”
她举例说：“比方，咱们的算法有1000个参数。” “在传统方式中，咱们将全部1，000个存储在DRAM中，并依据盘算须要停止拜访。应用SmartExchange，咱们搜寻以找到这1，000其中的某些构造。而后，咱们只要要存储10个，由于假如咱们晓得它们之间的关联， 10和其他的990，咱们能够盘算990中的任何一个，而不用从DRAM挪用它们。
她说：“咱们将这10个称为“基本”子集，其主意是将它们存储在凑近处置器的当地地位，以防止或大幅度增加为拜访DRAM而付出的用度。
研讨职员应用SmartExchange算法及其自界说的硬件减速器对七个基准深度神经收集模子和三个基准数据集停止了试验。他们发明，与最早进的深度神经收集减速器比拟，该组合将等候时光增加了多达19倍。
更多内容阅读推荐：滚筒洗衣机下水安装
页:
[1]