新晋创业公司泓观科技(otureo.ai)日前发布了面向物联网(IoT)端的超低功耗异步卷积神经网络芯片。
据悉,该款芯片率先采用了独特的异步架构,融合了定点化、自动剪枝、多层优化访存等多项先进技术,可满足IoT场景下超低功耗的智能化应用需求。
目前,首款芯片已由泓观科技的团队设计完成并实现流片,如下图所示,这应是目前已知的媒体报道范围内,此类芯片的首次问世。
另辟蹊径,采用异步架构实现超低功耗卷积神经网络芯片
泓观科技官方表示,本次推出的神经网络芯片在构架设计上所采用的异步(asynchronous)电路技术,与其他厂商已推出的各类人工智能(AI)芯片有着显著的区别。
后者普遍更偏通用型,遵循着功能与性能优先的设计原则,然而对于海量IoT设备应用场景的单一功能及超低功耗需求而言,这类架构与特点并不适合。
IoT设备在大量的应用场景中,只有在被唤醒时才工作,经常处于休眠状态,如何在设备休眠状态下严格控制功耗产生,便是重中之重。
下图为异步(asynchronous)电路架构,与常规的同步(synchronous)电路架构的对比。采用异步电路技术,能够实现芯片在设备休眠时产生的功耗显著降低甚至忽略不计。
物联网终端的智能化进阶,超低功耗AI芯片成为关键点
近年来,随着各类新兴应用(可穿戴设备、智能家居、移动医疗等)的出现,各种IoT设备的数量呈现一种爆发式的增长态势。
根据来自Cisco的预计,到2020年,全球互联的IoT设备将达到500亿以上,而且这些设备将产生的数据将达到数十甚至上百ZB!
同时,用户对IoT设备的功能需求,已经逐渐从单纯的数据采集上升到一定程度的智能分析,例如人(物)体识别、场景判断、异常诊断、习惯分析等。
为了实现这些AI功能,如果依赖将海量IoT设备采集的数据传输到数据中心进行处理,既不现实也不合理。因此,在IoT设备端集成本地化的AI处理能力,就成为亟待解决的刚性需求。
依托IoT设备自身的硬件资源进行智能化计算,势必会为IoT设备带来不可忽视的额外功耗。对于绝大多数IoT设备而言,功耗一直都是最为敏感的指标。
因此,如何在低功耗甚至超低功耗的条件下实现IoT终端对深度学习的计算承载,成为撬动AI赋能IoT的那个最关键的支点。
泓观科技创始成员介绍到,“在同样的芯片制程、达到相同性能的情况下,位于芯片active ratio(工作时间占比)较低的应用区间,相比基于传统同步电路,异步电路设计可以显著减少功耗,而这一区间恰恰是大量的物联网终端智能化应用场景的分布重心。”下图呈现了上述二者的功耗对比,可以看到,在物联端应用重点分布的低active ratio区间,采用异步架构的AI芯片,可以将功耗降低近一个量级甚至更多。
IC科班出身的团队,对于AI芯片的思考和态度
泓观科技创立于2015年,位于中国北京及美国硅谷,是最先将边缘计算概念和全方位异构加速技术应用于嵌入端人工智能商业化的一拨创业企业之一。“AI的兴起极大的推助和加速了芯片行业的衍生和变革。
对于正在兴起的通用型AI系统芯片,我们坚定的选择依托以各大半导体公司为代表的友商,携手构筑产业生态,推动应用部署,尤其在嵌入端,这是我们的过去两年多一直着重在做的事情。”泓观科技的创始成员告诉记者。
“从近二十年前我们进入清华大学微电子学专业读书时算起,虽然后来的职业生涯不断带来多元化的知识背景,但毕竟都算是集成电路(IC)行业里多年的从业者了,对于芯片这个庞大产业的自身规律有着清醒的认知。”
他们进一步介绍到,“我们决定在AI芯片这里也做点儿事情,构建第二产品大类。对于技术路线和发力点,做出这样的选择,来源于我们对这个行业的理解和积淀、对技术发展和市场定位的思考与判断。也许这看起来有点卓尔不群甚至超前,但其所对应着的IoT端智能化这个市场,体量巨大同时又有着独特的应用需求和差异化的生态位置。”
专注的架构,引入与融合了多项先进技术
泓观科技本次发布的这款异步AI芯片,在架构上专注于卷积模型所支持的特定操作(如卷积、池化等),并针对识别场景的特点,考虑芯片工艺、面积、片上存储等因素,对支持的网络架构加入一定的约束。
同时,还有多项先进技术被应用融合这款芯片中:一、采用多层融合的架构技术(如上图)来减少 I/O 访存——通过架构和算法的交互优化,保证算法层的输出数据能够被有效缓存;
二、通过定点化处理神经网络,采取自动化搜索不同网络层定点化配置的方法,对权值和输入/输出采用不同的策略,有效解决神经网络操作对数据存在的鲁棒性;
三、设计了一种自动化剪枝算法,对神经网络的每一层建立单独的剪枝参数,从而解决了神经网络本身存在的冗余性。
这款独特而全新的异步卷积神经网络芯片,其具体功能专注于物体识别等智能化视觉分析,面向可穿戴设备、智能家居、自供能监控等对超低功耗有刚性需求的IoT终端领域。
“就目前已知的媒体报道,我们应该是率先实现异步卷积神经网络电路方案并实现流片的创业公司,不论在中国还是世界范围内。”泓观科技的创始成员告诉猎云网记者。
推动AI和IoT之间的技术赋能与生态融合
物联网在未来十年里将迎来一个新的高速发展期。泓观科技的创始成员这样评价,“物联网是一个非常依赖于技术驱动的产业,人工智能与物联网这两个领域之间的连接,依托于边缘计算的兴起而紧密。无数的物联节点作为边缘侧的前沿,不仅承载着感知、处理、传输这些功能,也会逐步把智能化的思考和判断也囊括进来,进而构建出更加广泛的、融合的多维度产业生态。”
物联网的智能化进阶,在于如何撬动AI以赋能IoT;其最关键的技术支点,在于如何实现IoT终端在低功耗甚至超低功耗的条件下对深度学习的计算承载;该支点的核心物理载体,就是这样的具备超低功耗下可以实现深度学习在IoT终端部署的芯片。
据猎云网观察,泓观科技在这个领域的探索和积累,到这次首款面向IoT的超低功耗异步AI芯片的问世,正在构成一个新的开端,推动着物联网全面迈向人工智能时代的进阶历程。