把AI導入邊緣裝置就對了！
作者 : Duncan Stewart、Jeff Loucks，Deloitte科技/媒體/電信中心
2020-06-04
邊緣AI晶片可能會嵌入越來越多的消費性裝置，例如高階智慧型手機、平板電腦、智慧揚聲器和可穿戴裝置等。它們還將在多個企業市場中得到應用，例如機器人、攝影機、感測器和其他物聯網裝置...
德勤(Deloitte)預測，2020年，邊緣AI晶片出貨量將超過7.5億顆，銷售金額將達到26億美元，而且邊緣AI晶片的成長速度將遠高於整體晶片市場，估計到到2024年邊緣AI晶片出貨量可能超過15億顆，代表其複合年成長率(CAGR)至少達20%，是整體半導體產業(長期CAGR預測為9%)的兩倍多。
這些邊緣AI晶片可能會嵌入越來越多的消費性裝置，例如高階智慧型手機、平板電腦、智慧揚聲器和可穿戴裝置等。它們還將在多個企業市場中得到應用，例如機器人、攝影機、感測器和其他物聯網裝置。消費性應用邊緣AI晶片市場將遠大於企業應用市場，但成長速度可能會較慢，預計2020年至2024年之間，其CAGR為18%；企業應用邊緣AI晶片市場的成長速度更快，同期CAGR預計為50%。
儘管如此，無論從出貨量還是銷售金額來看，今年消費性裝置應用都將佔據整體邊緣AI晶片市場的90%以上。這些邊緣AI晶片中的絕大部分將應用於高階智慧型手機，佔據目前所有使用中的消費性邊緣AI晶片70%以上。實際上不僅是2020年，在未來幾年，AI晶片的成長將主要由智慧型手機推動。我們相信在今年預期出售的15.6億支智慧型手機中，超過三分之一都可能內含邊緣AI晶片。
由於對處理器的要求非常高，AI運算向來幾乎都在資料中心、企業核心設備或電信邊緣處理器上遠端執行，而不是在終端裝置本地執行；現在，邊緣AI晶片正在改變這一切。它們的實體尺寸更小、相對便宜、功耗更小、產生的熱量也更少，因而可以整合到手持裝置以及非消費性裝置(如機器人)中。
邊緣AI晶片可讓終端裝置能夠在本地執行密集型AI計算，減少甚至消除了將大量資料發送到遠端位置的需求，因此在可用性、速度、資料安全性和隱私性方面益處良多。從隱私和安全性方面來看，在邊緣裝置處理資料顯然更安全；個人資訊不離開手機就不會被攔截或濫用。而當邊緣AI晶片安裝在手機上時，即使未連結網路，它也可以完成所有處理。
當然，並非所有AI運算都必須在本地進行。針對某些應用，例如當裝置上的邊緣AI晶片無法處理太多資料時，將資料發送至遠端AI陣列來處理是適當的、甚至是首選方案。實際上，在大多數情況下，AI將以混合模式完成：一部分在裝置端實現，一部分在雲端實現。具體情況下應該選擇什麼樣的混合方式，要看需要完成的AI處理類型。
智慧型手機邊緣AI經濟學
並非只有智慧型手機使用邊緣AI晶片；其他裝置諸如平板電腦、可穿戴裝置、智慧揚聲器等也會採用AI晶片。短期內，其他裝置對邊緣AI晶片銷售的影響力可能會比智慧型手機小得多，原因若非這類市場沒有什麼成長(如平板電腦)，就是這類市場規模太小、無法產生實質性的影響；例如，2020年智慧揚聲器和可穿戴裝置市場總銷售量預計僅1.25億部。不過許多可穿戴裝置和智慧揚聲器都依賴邊緣AI晶片，因此其普及率已經很高。
目前，只有價格最昂貴的智慧型手機(處於價格區間頂部)才可能內置邊緣AI晶片。但是，帶有AI晶片的智慧型手機並不一定要價格昂貴到讓消費者望而卻步。
我們可以對智慧型手機的邊緣AI晶片比例進行合理的估算。目前三星(Samsung)、蘋果(Apple)和華為(Huawei)的手機處理器圖片均顯示出裸片及所有功能特性，因此可以識別出晶片的哪些部分用於哪些功能。例如，三星Exynos 9820晶片的照片顯示，其晶片總面積的大約5%專用於AI處理器，整個應用處理器SoC的成本估計為70.50美元，僅次於顯示器，是手機中第二昂貴的元件，約佔據裝置總物料成本的17%。假設AI部分的成本與裸片上的其他部分一樣，即與所佔裸片面積成正比，那麼Exynos的邊緣AI神經處理單元(NPU)大約佔裸片總成本的5%，相當於每個NPU約3.50美元。
相同的，在蘋果的A12仿生晶片上，專用於機器學習的部分約佔裸片總面積的7%。如果整顆處理器的成本為72美元，邊緣AI部分的成本大約5.10美元。華為麒麟970晶片的成本估計為52.50美元，其中2.1%用於NPU，則這部分成本應為1.10美元(當然，裸片面積並不是衡量晶片總成本中有多少比例屬於AI的唯一方法。據華為表示，麒麟970的NPU包含1.5億個電晶體，佔整體晶片55億個電晶體總數的2.7%；按這樣計算，NPU的成本較高，約1.42美元)。
儘管這裡所提到的成本差別很大，但可以合理假設，NPU的平均成本約為每晶片3.50美元。雖然每顆晶片的價格不高，但考量達到5億支的智慧型手機出貨量(還不包括平板電腦、智慧揚聲器和可穿戴裝置)，這仍然是一個很大的市場。
製造商的平均成本為3.50美元，最低可能僅1美元，因此在智慧型手機晶片中添加專用的邊緣AI NPU是很自然的事。按照正常的利潤加價幅度，製造成本增加1美元，對終端消費者而言也僅增加2美元。這意味著即使是價格低於250美元的智慧型手機，也可以享受NPU及其帶來的好處，如更好的攝影機、離線語音助理等，而價格漲幅不到1%。
AI晶片來源：自家生產還是找外部供應商？
生產智慧型手機和其他裝置的廠商取得邊緣AI晶片的方式各不相同，這主要取決於手機機型、甚至是區域市場等因素。有些公司向高通(Qualcomm)和聯發科(MediaTek)等第三方供應商採購應用處理器/數據機晶片，這兩家公司在2018年合計佔據了智慧型手機SoC市場約60%的比例。高通和聯發科提供了一系列不同價位的SoC；儘管並非都包含邊緣AI晶片，高階型號通常都會有，例如高通的Snapdragon 845和855，以及聯發科的Helio P60。
在另一方面，蘋果則完全不使用外部供應商的應用處理器晶片，而是設計並使用自己的處理器SoC，如A11、A12和A13 仿生晶片，所有這些晶片都支援邊緣AI。其他手機製造商如三星和華為則採用混合策略，也就是會從市場上的晶片供應商採購一部分SoC，其餘則使用自家研發的晶片，例如三星的Exynos 9820和華為的麒麟970/980。
兵家必爭的企業與工業應用領域邊緣AI市場
如果在智慧型手機和其他裝置中採用邊緣AI處理器好處多多，那為何不將之導入企業應用呢？事實上邊緣AI處理器已經有一些企業應用案例了，例如某些自主無人機；配備了智慧型手機應用處理器SoC的無人機，能完全在裝置端執行即時導航和避障，無需連結網路。
但是，針對智慧型手機或平板電腦最佳化的晶片並非許多企業或工業應用的正確選擇。如前面所述，智慧型手機SoC的邊緣AI部分僅佔總面積的5%，在總成本中佔據約3.50美元，功耗比整個SoC少大約95%。所以若開發出只有邊緣AI功能(加上其他一些必要功能，例如記憶體)的晶片，它的成本會更低、功耗更少且體積更小，豈不更好？
事實上，已經有這樣的晶片了。據說，有多達50家不同的公司正在開發各種各樣的AI加速晶片。在2019年就已經有獨立的邊緣AI晶片鎖定開發工程師，單價約80美元。而如果達到成千上百萬顆的量產，裝置製造商的採購成本會大幅降低，有些甚至可低至1美元(或是更少)，而有些則需要幾十美元。現在，我們以智慧型手機邊緣AI晶片作為參考標準，假設邊緣AI晶片的平均成本約為3.50美元。
除了相對便宜之外，獨立的邊緣AI處理器還具有體積小的優勢，功耗也相對較低，僅為1W到10W之間。相比之下，一個由16顆GPU和兩顆CPU組成的資料中心叢集，雖然性能非常強大，成本將高達40萬美元，而且重量達到350磅、耗電達到10萬W。
利用這類已經問世的晶片，邊緣 AI可以為企業帶來更多新的可能性，尤其是在物聯網應用方面。透過使用邊緣AI晶片，企業可以大幅提升在連網裝置端進行資料分析的能力──不僅是收集資料──並將分析結果轉化為行動，從而避免了將大量資料傳送到雲端帶來的成本、複雜性和安全性挑戰。AI晶片可以幫助解決的問題包括：
資料安全和隱私
無論企業如何謹慎小心地保護資料，只要是收集、儲存並將資料傳送到雲端，都會不可避免地使企業面臨網路安全和隱私威脅；隨著時間推移，因應此一風險變得至關重要。世界各國紛紛訂定個資保護相關法規，消費者也逐漸意識到企業正在收集他們的各種資料，而有80%的消費者表示，他們認為企業沒有盡力保護消費者隱私。諸如智慧揚聲器之類的裝置開始在醫院等場合廣泛使用，這些場合對患者隱私的管理十分嚴格。
邊緣AI晶片可在本地處理大量資料，降低個人或企業資料被攔截或濫用的可能性。例如，具有機器學習處理能力的保全攝影機可以透過分析視訊來確定其中哪些部分相關，並只將這部分視訊傳送至雲端，從而降低隱私權洩露的風險。機器學習晶片還可以識別更廣泛的語音指令，從而減少需要在雲端進行分析的音訊。準確的語音辨識功能則有助於智慧揚聲器更精準識別「喚醒詞」，以避免聽到不相關的對話。
連網困難
裝置必須連網才能在雲端處理資料，但是在某些情況下，裝置連網是不切實際的。無人機就是一個例子，其運作位置可能使得維持其連網很困難，而且連網功能本身以及將資料上傳到雲端都會縮短電池壽命。在澳洲新南威爾斯(New South Wales, Australia)以配備嵌入式機器學習功能的無人機巡邏海灘，確保泳客安全；這些無人機不必連結網路就可以識別出被海浪捲走的泳客，或者警告泳客有鯊魚和鱷魚襲擊危險。
(太)大數據
物聯網裝置會生成大量數據。舉例來說，一架Airbus A-350噴射機配備6,000多個感測器，每日飛行航程會產生的數據量達到2.5 TB。在全球範圍內，保全攝影機每天生成的數據約2,500PB。將所有這些數據資料發送到雲端儲存和分析的成本高昂且複雜，將機器學習處理器放置於感測器或攝影機等終端裝置就可以解決這個難題。例如，可以在攝影機中配備視覺處理單元(VPU)，也就是一種專用於分析或預處理數位影像的低功耗處理器SoC。借助嵌入式邊緣AI晶片，裝置可以即時分析資料，只有當相關資料需要傳送到雲端進一步分析時才會需要進行傳輸，這可大幅降低儲存和頻寬成本。
功耗限制
低功耗的機器學習晶片甚至可以讓AI運算在透過小型電池供電的裝置上執行，不會消耗過多電力。例如，Arm晶片可以嵌入呼吸器來分析資料，包括吸入肺活量和進入肺部的藥物流量。在呼吸器上完成的AI分析結果將傳送至智慧型手機應用程式，協助醫事專業人員為哮喘患者提供個人化醫療照護。
除了現在已有的低功耗邊緣AI NPU外，很多公司還致力於開發「微型機器學習」方案，也就是在微控制器單元之類的元件上實現深度學習。例如Google正在開發能讓微控制器分析資料的專用版本TensorFlow Lite，將需要發送到晶片外的資料壓縮為只有幾個位元組大小。
低延遲需求
無論是透過有線網路還是無線網路，在遠端資料中心執行AI運算都意味著往返延遲的存在，最佳情況下為1到2 毫秒(ms)，最差情況則達到幾十甚至幾百毫秒。使用邊緣AI晶片在裝置端執行AI，可以將延遲降低到奈秒(nanoseconds)等級──這對於需要收集、處理資料並即刻採取行動的應用場景至關重要。
例如自動駕駛車輛必須透過電腦視覺系統收集並處理大量資料以識別物體，同時收集和處理來自感測器的資料以控制車輛各種功能；然後它們必須立即根據這些資料做出決策，像是何時轉彎、煞車或加速，以實現安全行車。為此，自動駕駛車輛必須自己處理在車輛中收集的大量數據。低延遲對機器人應用也很重要；隨著機器人逐漸出現在工廠環境並開始與人類協同工作，低延遲將變得越來越重要。
邊緣AI在大量數據應用至關重要
邊緣AI晶片的普及可能會為消費者和企業帶來重大變化。對消費者而言，邊緣AI晶片可以實現多種功能，從解鎖手機到與語音助理對話，甚至在極端困難的條件下拍攝出令人驚歎的照片，而這些應用都不需要連結網際網路。
但從長遠來看，邊緣AI晶片對企業應用的影響可能更大，它們將把企業的物聯網應用提升到一個全新的境界。由AI晶片驅動的智慧裝置將有助於擴展現有市場，衝擊現有企業，同時改變製造、建築、物流、農業和能源等產業的利潤分配。
收集、詮釋並立即根據大量數據資料採取行動的能力，對於那些仰賴大數據的應用至關重要；未來學家們預測，這類應用將被廣泛佈署，包括視訊監控、虛擬實境、自動駕駛無人機和車輛等等，而邊緣AI晶片就是讓各種裝置取得更高智慧的主角。
附圖：圖1：AI運算技術能佈署在不同位置。
（圖片來源：Deloitte Insights）
圖2：邊緣AI晶片市場規模預測。
(圖片來源: Deloitte Insights)
圖3：三星Exynos 9820的裸晶照片顯示，其中約有5%的面積為AI處理器。
（圖片來源：ChipRebel；注釋：AnandTech）
圖4：蘋果的A12仿生晶片約有7%的面積屬於機器學習的部分。
（圖片來源：TechInsights / AnandTech）
資料來源：https://www.eettaiwan.com/20200604putting-ai-into-the-edge-is-a-no-brainer-heres-why/?fbclid=IwAR3hRYuquNfTq5VzcEWYfqyJotBLBSp4PzLNyMackrs6V43r9NEMhRZ3Ap8
位元深度音訊 在 Re: [問題] 聲音頻率的取樣越高越好？ - 精華區Audiophile 的必吃
這篇建議老鳥不用看, 因為講的都是基礎的理論而已.
以前聲音的收錄都是用類比的方式, 例如說在LP(Vinyl Disk)上面刻痕的深度
就代表當時的氣壓(聲音是借由氣壓的變動所傳波的). 而新的類比儲存的方式
則是紀錄一連串時間點上面空氣壓力, 也就是說你把數位的音訊資料解碼之後,
可以看到類似以下格式的內容:
t f(t)
1 4.25500
2 5.53621
3 3.11325
4 -0.95501
5 -3.38509
6 -2.15961
... etc
他的意思是, 在時間t的時候, 麥克風測量到的聲波壓力為f(t). 一般來說,
在一個音樂檔案裡面會有好幾百萬條這樣的資訊. 當我們這樣紀錄聲音的時候,
有幾個值得我們考量的問題:
1. 我們多久紀錄一次? 如果兩次紀錄之間的時間太短, 那將會用到比較多的資源,
例如說儲存空間跟電能. 再說, IC的速度有限, 他不可能處理太大的資料量.
如果紀錄時間間隔太長的話, 我們將損失太多資料. 每秒紀錄幾次就是採樣率.
2. 我們紀錄需要多少的精準度, 因為在數位時代, 數字是用零和一代表的, 也就是說
, 我們不時需要將資料四捨五入. 我們如果用十六個零與一來紀錄一個氣壓, 那
一個氣壓值可能有65536種可能的數字, 我們在轉換的過程中, 只能選擇離實際數值
最近的來紀錄. Eg, 假如實際的氣壓是15.7, 那我們只能記成16.
這兩個問題, 構成我們常見的聲音格式規格. 48kHz/16bit 代表每秒鐘紀錄
四萬八千個紀錄, 每個紀錄有十六個零與一. 同理, 192kHz/24bit, 代表
十九萬兩千個紀錄每秒, 每個紀錄有二十四個零與一.
現在我們將回答剛剛提出的第一個問題. 第一個問題的答案就是一個叫做
Nyquist-Shannon Sampling Theorem的理論. 這理論說, 當一個訊號裡面,
最高的頻率為f Hz, 那我們每秒中只需要紀錄2f 個紀錄, 就能完整無缺的
紀錄這個訊號, 就連在兩個紀錄點之間的訊號也能從紀錄到的訊號中間推
出來, 而且這個推出來的中間的數字, 經過數學的證明, 保證是正確的.
在人所能聽到的聲音裡面, 最低是20Hz, 最高大約在20kHz, 所以說, 根據,
剛剛理論, 大約每秒紀錄四萬個紀錄就能完整的紀錄聲音.
當然, 由於我們的世界不是理想的, 總是會有一些不理想的因素會讓你的
聲音變質, 所以說, 採樣率一般都會比40kHz高. 例如說CD的44.1kHz, 或是
常見的48kHz. 當然, 也有人為了避免損失資料, 使用96kHz甚至是192kHz的
採樣率來避免資料損失.
再來, 我們要講的是過採樣(Oversampling, 不知道中文翻的對不對), 這方面
理論可能對不是本科系的人有一點困難, 所以如果沒有興趣可以跳過. 我們在
做類比跟數位的轉換的時候, 會有一個問題. 在早期的DAC(數位轉類比IC)裡面
轉出來的訊號會呈現階梯狀, 例如說這樣:
-------+
| +--------
| |
| |
+------+ |
| +-------+
| |
+-------+
這每個階梯就是一個採樣. 假如我們拿這去做頻率分析, 會發現有許多的
高頻存在, 這些高頻(超過20kHz)不存在原本的聲音裡面, 很明顯的, 這些
是DAC Aliasing 所造成的雜訊. 當然, 由於有許多現代的DAC架構(Eg: Sigma-Delta)
在高頻下面運作, 所以說, 也會造成高頻的雜訊.
對於這種高頻的雜訊, 我們應付他的方法就是使用濾波器. 濾波器會將高於某些
頻率的訊號給率調. 當然, 濾波器有兩個問題: (以下指一階RC濾波器)
1. 濾的不乾淨, 假設我們要濾20kHz以上的東西, 當有一個40kHz的訊號,
這訊號只會被減半, 當有一個100kHz的訊號, 這訊號只會被除以五,
以此類推.
2. 項位會改變, 再接近他要濾的頻率的時候, 訊號的像位會改變. 也就是說
會有延遲.
以上是一階的RC濾波器的問題, 當我們使用多幾階的濾波器時, 1的問題會改善,
但是2的問題會加重. ( 魚與熊掌不可間得的意思 )
在這種情況下, 我們需要同時解決1和2的話, 我們使用一種叫做Oversampling
的技巧. 這技巧就是提高我們的採樣濾. 我們將輸入的訊號做處理, 假設
輸入的是48kHz, 我們就用數學運算算出中間的點, 把訊號變成n*48kHz ( n
隨IC而定 ), 我們在產生點時, 我們要比免產生高於某頻率(20kHz)的訊號.
這整個產生多的點的過程, 我們一般叫他做Digital Interpolation Filter,
因為他就像濾波器一樣, 濾掉20kHz ~ n*48kHz之間的訊號. 此時輸出的訊號
就沒有這個頻段的訊號, 所以我們可以簡單的用一個一階的RC濾波器, 濾掉
高於n*48 kHz的雜訊. 此時我們不需要擔心問題2, 因為我們的濾波器頻率離
20kHz 有一段距離, 像位更改不會更改到那麼遠. 我們也不用擔心問題1, 因為
濾波器的頻率離n*48 kHz也有一段距離, 所以不用擔心濾的不夠乾淨.
現在最高階的DAC IC, TI PCM1792A, 以及跟他同一系列的DAC IC, 都是
使用這項技術來達到很高的SNR. PCM1792A的n=8, 所以他實際轉換的
採樣濾是輸入的8倍.
----------------------------------------------------------------------------
看到這裡還沒有END的人, 謝謝你耐心的看完.
對於原Po的問題, 你那個採樣率是音效卡的設定, 他只是當檔案格式
跟設定不同的時候做轉換而已, 他不會改變你檔案真正使用的採樣率.
所以, 其實沒什麼差別.
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 114.32.68.68
... <看更多>