台灣學術圈 TinyML 發展現況

7 min readJun 25, 2024

作者：許哲豪 2024/6/25

今年 Computex 2024 生成式 AI 火爆全場，各家 CEO 都紛紛來站台宣揚 AIGC & AIPC & NPU 世代來臨，全台產官學研的資源也幾乎壓寶於此，主要集中在行動智慧(手機、平板、筆電)的應用，對於嵌入式及穿戴式智慧(單板微電腦、單晶片)就僅有少數廠商參與，對比十多年前智慧物聯網(AIoT)興起時，滿場子都是智慧應用裝置，就顯得有些被邊緣化了。

建構 TinyML 生態系

身為超級邊緣人一份子，不免想幫大家更了解這個生態系，進而能投入更多資源來助威。邊緣智慧領域跨度頗大，大家可以參考「【vMaker Edge AI專欄 #17】開發者如何選擇 Edge AI 開發方案」[1]，而一個完整的生態系必需包含下列條件。

買的到、買的下手的硬體及開發套件（供應商級）
原廠充份的開發說明文件及範例程式（工程師級）
適量的應用例、教材及影片（教育單位級）
理想的交流空間、社群互動（一般開發者級）
更深入的理論開發及實踐（學術研究級）
政府機構及民間團體的協力推動（政策推動級）

從以往的智慧物聯網(AIoT)經驗來看，嵌入式、穿戴式、微型感測式的智慧應用看似很有市場、技術門檻不高、應用領域很廣，但實際上大多數想把雲端 AIoT 轉向裝置端 AI 都會遇到相當多困難，就像開發汽車（GPU AI）或腳踏車（MCU AI）的工程師突然跑去開發機車（MPU/MCU + NPU）一樣地不知所措，中間技術的鴻溝需要更多的邊緣智慧(Edge AI)及微型機器學習(TinyML)教學課程及第三方軟硬體及系統供應商來協助解決。

若將裝置端 AI 技術領域拆解，從各大專院校所開設的課程大致可分為下列領域。

數位邏輯及積體電路設計（CPLD / FPGA / NPU）
計算機結構（CISC / RISC）
程式語言（ASM / C/C++ / Python）、演算法及人機界面(GUI / HMI)
嵌入式系統開發（微處理器MPU / 單晶片MCU / 神經網路處理單元 NPU）
編譯器（Compiler）及即時作業系統（RTOS / ROS / MBED）
資料探碪（大數據）及機器學習（Machine Learning）
人工智慧（GPU AI）及邊緣智慧（Edge AI）（深度學習 / 自然語言 / 電腦視覺 / 多模態、生成式應用）
算法、模型優化

彌平嵌入式與人工智慧鴻溝

目前在學研及業界中，嵌入式系統和人工智慧相關領域各自都發展的不錯，但中間的鴻溝頗大，整合上難度很高，主要是由於玩大型AI的人不懂得如何從超高算力、超多記憶體、超複雜模型中壓到不到1MB模型大小、數百KB隨機處理記憶體及少的可憐不到千分之一甚至萬分之一的算力，去建構一個微型AI應用。而微處理器及單晶片工程師則不懂 AI 工作流程，更不理解這類模型如何部署及除錯，更沒有足夠的知識進行推論效能優化。

2012年因為卷積神經網路(CNN)興起，開啟新一波的AI浪潮，主要集中在以 GPU 為中心的大型AI應用。有別於大型應用，2019年非營利組織 tinyML 基金會[2]成立，積極整合能將微型智慧應用功耗控制在毫瓦(mW)等級的晶片(MCU/MPU/NPU)、算法、產品、服務等供應商，企圖打造一個離網微型智慧應用的生態系。這個組織沒有強制的規範約束，也沒有建立共同標準，但積極推動各項技術發展，也在全世界辦理許多類學術研討會及技術論壇。去年也曾在韓國有辦理過 tinyML Asia 2023[3]，台灣也有數個廠商參與，如 Himax, Skymizer 等，因此「tinyML」這個代名詞亦可等於 Embedded AI, Embedded Machine Learning, Micro AI, Tiny AI, MCU AI, MPU AI, AI on Device 等小型、微型智慧裝置及應用的代名詞。

為了彌平嵌入式系統和人工智慧兩端的距離及開發的困難，所以目前有很多 TinyML 系統、平台供應商提供從資料收集管理、模型選用建立、訓練參數調整到模型優化部署等全面性的解決方案，如 Edge Impulse、SensiML等，讓一些想專心特定領域應用的開發商及學術單位可以用較不費力的方式進入小型 AI 應用領域。

國內 TinyML 學術論文

目前 Embedded AI 及 TinyML 技術在台灣還算在起步階段，已經有很多大專院校的老師帶著學生在從事相關應用及學術論文發表，為了讓大家更了解目前台灣學界的研究成果，這裡幫大家盤點了最近五年（2020 ~ 2024）出版的相關論文並簡單分類，主要鎖定在可獨立離網進行 AI 推論的軟硬體及系統，即可在單板微電腦(SBC, 如樹莓派、Jetson Nano等)、微處理器(MPU, 如Arm Cortex-A系列等)及單晶片(MCU, 如Arm Cortex-M, RISC-V等)上運行的算法及應用。

主要資料來源為國家圖書館臺灣博碩士論文加值系統，查詢關鍵字為 “tinyml”, “tiny machine learning”, “微型機器學習”，查詢欄位為「關鍵字(Keyword, kw)」、「摘要(Abstract, ab)」及「標題(Title, ti)」，以下列指令進行複合式查詢。

"tinyml".kw,ab,ti or "tiny machine learning".kw,ab,ti or "微型機器學習".kw,ab,ti

經查找得到20筆論文，共13校、16系所、16位指導教授。

為了更擴大搜索範圍，把關鍵字再加上「嵌入式 and 機器學習」及「嵌入式 and 深度學習」，進行更深入檢索，如下指令。

"tinyml".kw,ab,ti or "tiny machine learning".kw,ab,ti or "微型機器學習".kw,ab,ti or ("嵌入式".kw,ab,ti and ("機器學習".kw,ab,ti or "深度學習".kw,ab,ti))

經查找共得365筆，扣除2019（含）之前論文後得229筆，共39校、104系所、155位指導教授。其中交通大學2020年論文併入陽明交通大學一併統計。

以下簡單列出超過三篇以上論文之指導教授名單，方便大家了解相關領域專家，合計79篇，佔近五年論文數量的34.5%。

陽交電子郭峻因(9)、中正電機黃崇勛(8)、中興電機范志鵬(5)、中興電機蔡耀全(5)、雲科電子夏世昌(5)、北科機械李志鴻(4)、北科電機張陽郎(4)、雲科電子許明華(4)、中正資工林泰吉(4)、中山資工蕭勝夫(4)、南台電子李博明(3)、台大機械李綱(3)、中央土木林子軒(3)、中正資工張榮貴(3)、雲科電機紀光輝(3)、雲科電子蘇慶龍(3)台大生機郭彥甫(3)、北科自動陳文輝(3)、大葉電機陳雍宗(3)。