專屬客服號
微信訂閱號
全面提升數(shù)據(jù)價值
賦能業(yè)務提質(zhì)增效
8月8日,記者從清華大學官方微信平臺獲悉,清華大學電子工程系方璐教授課題組和自動化系戴瓊海院士課題組首創(chuàng)了全前向智能光計算訓練架構(gòu),研制出“太極-II”光訓練芯片。由此,實現(xiàn)了光計算系統(tǒng)大規(guī)模神經(jīng)網(wǎng)絡的高效精準訓練。
據(jù)了解,這項研究成果以“光神經(jīng)網(wǎng)絡全前向訓練”為題,已在線發(fā)表在最新一期的《自然》期刊。該成果有望成為訓練光學神經(jīng)網(wǎng)絡和其他光學計算系統(tǒng)時廣泛采用的工具。
當前,如何制造出滿足人工智能發(fā)展、兼具大算力和高能效的下一代AI芯片,已成為國際前沿熱點。而具有高算力低功耗特性的智能光計算備受關注。光計算天然具有高速和低功耗的特性,利用光的全前向傳播實現(xiàn)訓練能夠極大地提升光網(wǎng)絡訓練的速度與能效。相較于模型推理而言,模型訓練更需要大規(guī)模算力。然而,現(xiàn)有的光神經(jīng)網(wǎng)絡訓練嚴重依賴GPU進行離線建模并且要求物理系統(tǒng)精準對齊。正因如此,光學訓練的規(guī)模受到了極大限制,高性能光計算的優(yōu)勢也由此受到束縛。
記者了解到,今年4月,方璐、戴瓊海課題組宣布研制出全球首款大規(guī)模干涉衍射異構(gòu)集成芯片——太極(Taichi),首次將光計算從原理驗證推向了大規(guī)模實驗應用,以160TOPS/W的系統(tǒng)級能效為大規(guī)模復雜任務的“推理”帶來了曙光,但未能夠釋放智能光計算的“訓練之能”。而在此次科研成果中,該課題組找到了“光子傳播對稱性”這把鑰匙,將神經(jīng)網(wǎng)絡訓練中的前向與反向傳播都等效為光的前向傳播。由于不需要進行反向傳播,太極-II架構(gòu)不再依賴電計算進行離線的建模與訓練,大規(guī)模神經(jīng)網(wǎng)絡的精準高效光訓練終于得以實現(xiàn)。
據(jù)介紹,經(jīng)過太極系列在內(nèi)的光計算領域的不懈努力,智能光計算平臺將有望以更低的資源消耗和更小的邊際成本,為人工智能大模型、通用人工智能、復雜智能系統(tǒng)的高速高能效計算開辟新路徑。
作者:楊鵬岳 來源:中國電子報、電子信息產(chǎn)業(yè)網(wǎng)
本文為本網(wǎng)轉(zhuǎn)載,出于傳遞更多信息之目的,并不意味著贊同其觀點或證實其內(nèi)容的真實性,如涉及侵權,請權利人與本站聯(lián)系,本站經(jīng)核實后予以修改或刪除。
請完善以下信息,我們的顧問會在1個工作日內(nèi)與您聯(lián)系,為您安排產(chǎn)品定制服務
評論