RelaJet 讓聽障者聽見想聽的聲音

徐知誼，利用 AI 進行多人聲分離，RelaJet 讓聽障者聽見想聽的聲音，TechNews，2019/1/2

對於聽障者來說，最主要面臨的問題有二。第一是助聽器價格高昂，以全球六大品牌為例，平均價格約在 6 萬台幣左右，高階的甚至要 15 萬，負擔相當沉重。第二，許多傳統助聽器的效果不夠好，一旦周遭環境音量太大聲，想清楚聽見談話者講話難度就會相當高。本身也是聽障者的陳柏儒（Blue Chen）為了解決這些困境，集合一群專精 AI 演算法的團隊，創立 RelaJet 洞見未來，要以「多人聲分離」引擎，協助聽障者擁有更好的聆聽體驗。

從人耳接收聲音，到大腦獲取有意義的訊息，整個聽覺歷程（auditory hierarchy）中有任一個環節出錯，都算是聽覺障礙。陳柏儒解釋道，通常聽障者在喧鬧環境使用助聽器時，所有的聲音都會被麥克風接收，聽障者很難分辨聆聽對象的聲音。但一般人的聽覺系統，具備了專注於某人談話的能力，能夠自動忽略背景其他對話與噪音。例如在人聲鼎沸的宴會上，我們不但可以聽見面前朋友的講話聲，也可以聽到遠方有人呼喊我們。只要是我們「正在注意」的聲源所發出的音量，感覺通常是其他同音量聲源的三倍，這就是所謂的「雞尾酒會效應（cocktail party effect）」。RelaJet 的技術，就是要幫聽障者改善聽覺歷程中「察覺」、「區辨」及「辨識」等階段的問題。 

要達到改善的效果，首先就是找出聆聽對象的聲音特徵值，才能讓聽障者專注聆聽特定對象談話。透過 Relajet 採用神經網路引擎（neural network engine），聲音的輸入及輸出都是透過脈波編碼調變（pulse-code modulation，PCM）；經由深度學習的方法，10 毫秒以內就能完成「多人聲分離」，找出聲音特徵值。而處理的方式主要有以下兩種： 

第一種是「預先儲存聲音特徵值」。假設在吵鬧的室內我需要跟 John 對話，就可以先請 John 在手機 APP 上錄下 2~3 秒的音檔，多人聲分離引擎記錄 John 的聲音特徵值後，從此只要麥克風接收到他的聲音就會加強，其他的聲音則會被消除。 

第二種則是所謂的「盲聽」。手機 APP 不用事先標註某人的聲音特徵值，而是藉由多人聲分離引擎即時感測出有多少人在講話，然後使用者再選取想要談話對象的聲音特徵值，引擎就會加強這些聲音，並將其他人的聲音消除。

MIT Technology Review，AI+區塊鏈，能否顛覆百億美元的助聽器產業？2018-07-21

RelaJet 的技術之所以引人注目，在於他們開發一套神經網絡引擎，直接讓聲音的PCM 檔進去這個引擎，而輸出也是PCM 輸出，少掉了上述的前處理和後處理，所以有完整的10 ms 時間做聲音處理。例如在“多人”人聲場景下，能把每個人的聲音分離達到6～8 成的準確度，最初訓練出來的模型只能做到6 成準確度，後來他們使用生成對抗式網絡（GAN ）做補強，近一步提高到8 成，而剩下的2 成，原因在於大多數人說話的聲音頻率都很接近，想要百分之百辨識仍有一定難度，但相較於傳統助聽器在多人人聲的環境，分離準確度大概只能做到3～4 成，效果已經翻了一倍。 

另外，陳柏儒表示，不同語言會影響助聽器收音的調教，而且亞洲人的對話中又特別常出現中英文夾雜的特色，這也需要對模型進行特別的訓練，RelaJet 訓練的模型就是鎖定亞洲市場需求。對於近一步技術細節，RelaJet 將在近一個月發表論文，對外公開。另外，使用機器學習還有一項好處，可以依照特定人聲特徵抽取分離，增加其強度後，以改善吵雜環境裡雞尾酒派對（cocktail party effect）的問題。... 

為什麼助聽器產業發展數十年來改善的程度一直很有限？除了上述提及的技術受限於10 毫秒的問題之外，還有一個很大的問題，就是研發助聽器的公司拿不到用戶數據。由於醫療數據是十分受到保護、具有高隱私性的資訊，助聽器用戶進行聽力檢查，使用一段時間後，需要把助聽器拿回醫院、聽力中心進行參數調校，這些數據都是留在醫療機構，“所以助聽器公司必須向醫院購買，才能拿到數據以改善產品，但用戶數據往往很昂貴，”RelaJet 聯合創始人陳宥任說。再加上，歐洲的個人隱私保護法案GDPR 已經上路，也導致醫療數據的取得更加困難。... 

目前RelaJet 已與助聽器客戶規劃搭建一個區塊鏈平台，通過區塊鏈的加密特性保護用戶隱私，當用戶“出於自己意願”分享使用數據，就可以獲得Token 獎勵，不過，平台上的Token 並沒有ICO 的計劃，一方面用戶可以使用這些Token 免費兌換電池等耗材，另一方面助聽器業者則可以獲得用戶數據及體驗反饋，藉此持續優化產品。 

最初RelaJet 提出用區塊鏈來保證音檔不被竄改，以及點對點傳到對的人手中，後來在實作與客戶溝通時，發現當前的醫療資料交換缺少高頻次且具備認證的交易系統，區塊鏈正是很好的解法，“助聽器業者對此區塊鏈平台非常有興趣，目前已經拿下幾個客戶，預計區塊鏈平台將在明年推出，”陳柏儒指出。