打造高效AI推薦系統

 蔡銘仁，打造高效AI推薦系統　林永隆率創鑫智慧挺進世界，EE Times Taiwan，2022-10-27

新創公司創鑫智慧僅成軍第三年，首款人人工智慧(AI)加速晶片就採用成本高昂的台積電7nm製程，吸引業界關注；董事長暨執行長林永隆在半導體業界累積近40年的專業資歷，更讓外界對公司的前景抱有高度期待。他們擘劃的宏大願景，是立志成為世界級的AI加速器供應商。...

多數的AI訓練使用32bit浮點數(FP32)格式，格式由1位代表正負符號、8位指數及23位尾數組成；直接用32bit推論(Inference)準確度最高，但功耗大，且要頻繁跟DRAM做資料交換，也會影響到運算時間，因此大部分推論會轉為16bit或8bit格式運算。轉換到較少位元的格式，運算所需DRAM空間相對小，但準確度則會被影響；若以8bit INT8的格式推論來說，資料量是32bit的4分之1，但準確度卻會降到99.87%。

100%跟99.87%僅0.13%的差異，對自然語言分析、醫療影響、以及推薦系統等要求高準確度的AI應用來說，有著極大的影響；以推薦來說，準確度相差1%，都可能攸關某個被推薦的內容會不會被點擊，也就直接影響到平台的收益。能提升8bit格式推論時的準確度，便是創鑫智慧的AI加速晶片的特點。

創鑫智慧首款RecAccel的ASIC、產品代號N3000的AI加速晶片，擁有10組運算引擎，運算力可達200TOPS (Tera Operations Per Second)，另外內建160MB記憶體(SRAM)，消耗20W即可進行每秒2,000萬次的推論。運用該AI加速晶片，以IN8精度進行推論的準確度能提升至99.97%。

據創鑫智慧提供的數據，假設32bit格式進行推論準確度為100%，16bit BF16格式的推論準確度為99.998%；由此可見，使用他們AI加速晶片，可讓INT8推論的準確度趨近BF16。此外，為進一步提高8bit推論的準確度，創鑫智慧打造另一項秘密武器「FFP8」的浮點格式，該格式可以根據資料的特性，提供更有彈性的浮點數配置方式；透過FFP8的格式推論搭配其AI加速晶片，準確度能拉升至99.996%。 

許志華計概 6-1 浮點數表示法