關於 資料結構演算法書 ，我們在網路上蒐集到這些相關的討論、資訊與評價

聽說你最近在刷題- 軟體工程師的面試一定會遇到的資料結構及演算法關卡 (& 分享 LeetCode 折扣）& LeetCode Premium 抽獎啦(2021- 9 月更新）

-----------------------------
2021年 9 月更新：
從 8 月開始，收到許多剛到美國唸書的讀者來信請求幫忙內推 2022 年暑假的實習工作，如果你還不知道的話， 請查看我另外一篇文章來了解內推網路：最有效得到面試的方式- 內部推薦: 尋找內推資源 & 歹晚郎互助網絡 (2021 年 8 月更新)。軟體工程師的面試關卡很多都是資料結構及演算法， 所以大家在準備實習也都不免俗的要刷題一下。 我許久沒有看 LeetCode， 發現現在 LeetCode 的功能越來越多， 還有像是學習資源文章及 study plan 的功能，把大家要準備面試的各種需求都越來越在他們網站上一站搞定。 今天除了再次分享去年寫的文章(還有折扣碼)， 還要大大感謝 LeetCode 願意提供 3 個 7 天 Premium 會員試用來給予讀者， 讓大家面試前可以使用如公司 tag 的功能來做複習。 此外感謝大家一直以來的支持， 我也自掏腰包提供購買 3 個 1 個月的 Premium 會員試用來加碼， 再請大家做以下動作參加抽獎歐！

✅ 按讚並留言你希望用 LeetCode 達到什麼目標 (轉職、實習面試、換工作，可以寫一寫細節像是目標公司、職位等)， 或是你過去使用 LeetCode 的心得、或者是自己未來職業目標等等， 也可以是找朋友來一起練習。
✅ 公開分享此篇文章的話多一次被抽中的機會

獎項： 共 6 個名額，3 個 7 天 Premium 試用會隨機抽出， 3 個 1 個月的 Premium 試用則用留言內容來挑選， 希望抽出給很需要、或是很有創意的留言， 哈！

活動期間到加州時間下週四 9/9 晚上 9 點截止。會直接於文中留言通知中獎，祝大家學習愉快、找實習、換工作都順利！

--------------------------

2020 年 12 月原文：
歐， 要澄清一下我現在沒有在刷題 (我這樣講絕對不是怕很多同事會看到我的文章 XD)， 說實在的， 我覺得大家好像太過度強調 “刷”題的刷， 好像刷油漆似的要來回刷很多遍。 我過往看過許多刷幾百題、每題做 2、3、4 次以上的人分享他們的經驗， 我很佩服他們投入的時間及毅力， 但我自知做不到， 有小孩後更是難以做到刷一遍。 我自己找軟體工程師的工作的經驗， 2015 年上完 Coding Bootcamp 到找到工作， 大概做了 60 題左右的 LeetCode 問題， 2016 年底找工作比較認真， 大概完成了 100 題左右。 今天這篇文章想要分享一下我的演算法準備方式， 如果你想要找如何刷題的方式，或是覺得無法刷幾百題很多遍的人， 歡迎往下閱讀。

2015 年上完 Coding Bootcamp 後， 我陸續有一些電話面試， 每天可能會有 1～3 個電話面試， 所以在準備面試上， 要研究公司， 並且依照職缺來做面試的複習， 因為我是面試前端相關的職缺， 所以也有一部分的精力在前端的資料複習。 關於資料結構及演算法 (Data Structures & Algorithms) 的練習，我大概維持一天練習 1-2 題的步調。 2016 年底的面試， 因為還要上班， 所以基本上只有晚上有時間， 可能一天只能練習 1 題， 假日有比較多時間才可以多做幾題。

看到問題的時候， 我會先確保我了解題目的意思， 真正在面試的時候， 通常第一步也是和面試官確認我們自我的理解和面試官要問的是否一致， 不要花了時間才發現一開始的理解及假設是錯誤的。 我通常會立刻寫下題目給予的 input 有什麼、格式是什麼， desired output 又是什麼。

確認好 input & output 後， 我會思考題目可以用什麼類型的資料結構或是演算法來解。 通常在面試的時候， 我會和面試官說明我可能會先就一個大概可行的方式來做解答， 如果他/她覺得沒有什麼問題的話， 我再做後續的優化。 在我開始有一些思路後， 我會先寫下 pseudo code， 就是先用英文來說明我的解法會是怎麼樣。 每個步驟和面試官確認都沒有問題後， 我才會正式寫 code 。

當然有些時候不論怎麼想都寫不出來， 如果是自己練習的時候，我大概在 15 分鐘後會開始看一些討論， 嘗試學習別人的思路， 但如果再花 10 分鐘還是解不出來的話， 才會參考別人的解法。 我看完別人的答案後， 還是會用自己的 code 再實現一次。 如果面試中卡住的話， 則是要儘快和面試官討論， 我會把我的理解， 可能的解法方式和面試官說， 同時也說明我的情況可能哪裏不是很確定， 讓面試官在適當的時候可以給予我提示。 一般來說， 公司都是希望有順利的面試經驗， 面試官也都願意在溝通正常下給予協助。

自己練習寫完之後， 我會再寫出解法的空間及時間複雜度 (Space & Time Complexity) ， 通常面試也會詢問這個部分， 所以自己每個練習也要歸納一下。 如果我發現我的解法時間可能不是太好， 我會再嘗試看不同人的討論， 研究更優化的解法， 並再自己寫出不一樣的解法。 有些比較棘手的問題我可能會寫 2、3 個解法比較彼此的優缺點。

在之前準備面試的時候， 我有準備一本筆記本， 每次寫完問題之後， 我會用筆寫下我在哪一天寫了哪一個問題， 並且用很精簡的方式總結問題及解法。 隔天要做下一題之前， 我會先看一下前一天的問題， 嘗試回想我是否可以再次在頭腦中想出大致的解法。 如果還是不行的話， 再看我自己的總結並做上記號， 隔天會再做一次同樣的步驟，直到我可以順利複習出解題的邏輯思路。

如果有和公司面試， 不論是電話還是 onsite， 面試完後我會再檢查我遇到的題目是否和我過去做過的題目類似， 如果有的話， 是否我的思路在面試中是清晰及正確的， 如果沒有的話， 我是否有利用對的觀念來解答。 面試結束後， 會花時間在盤點及複習， 從面試中的題目和過往的練習做統整。

你可以看到我的練習方式不是很強調快， 因為我希望我做完問題可以有很深的理解， 所以花很多時間在做整理、複習確認， 即使當下沒有那麼理解， 隔天回想又想不出的話， 我會再複習一次， 再隔一天做新題前也會再確認。 複習及思考的次數多了，真正把題目所想要考的觀念融會貫通， 畢竟面試很難真的遇到原題， 重點是我們對於資料結構及演算法的理解， 及遇到難題如何面對的應對的思考過程。

條條大路通羅馬， 每個人面試準備的方式都不太一樣， 以上就是我的資料結構及演算法的準備方式， 之前寫找工作的系列文章好像沒有特別提這塊， 所以特別再寫出來分享。當然我不是大神每次面試都可以收割 5 到 10 個以上 offer， 所以就請你自己斟酌評估你的學習方法，畢竟我們都要找到對自己最能接受、且有效率的方式來準備面試 。

我從 2015 、2016 年準備面試的時候， 有許多練習演算法的網站， 但到了今日， 好像 LeetCode 和練習演算法關係就如同 Google 和搜尋一樣， 大部分我聽到的準備面試的人都用 LeetCode 來做練習了！ 剛好最近認識一位在 LeetCode 工作的朋友牽線， LeetCode 特別優惠讀者， 只要使用這個連結購買 Premium， 就能有 15% 優惠 (幾乎和一年一度的感恩節特價差不多了！)。

我目前聽到朋友準備面試基本上都會購買 LeetCode 的 Premium， Premium 最大的好處就是可以看到問題和公司的標註， 拿過去拒絕我 2 次的 Google 為例 (XD)， LeetCode 就有 925 道題目被大家回報有在 Google 面試中看到 (2021 年已經變成 1014 道了！ @@)， 當你正要 phone or onsite interview 的時候， 可以聚焦你要面試的公司練習、提高效率的話還是可以提高面試的表現的。 Premium 還有答題評斷比較快、LeetCode 官方解答、及依據公司有 Mock interviews 等其他功能， 但主要大家好像都還是為了 company tag 的功能而付費， (2021 年 9 月更新， 最近又有如文章、影片的學習資源，還有像是 Study Plan 的功能， 看起來 LeetCode 要往大家學習、準備、一站式的服務來黏住使用者了！)

相信以大家拿到 offer 後的加薪， 會覺得這是個很好的投資！(什麼， 你說不一定會加薪， 那請你再閱讀一下我的談判文章來和公司談判加薪 "面試中談到錢怎麼辦？ 問到你期望薪水如何接招?" 及"面試得到 Offer 薪水如何談？ 三明治溝通法及最後簽約前的談判招式") 。

我當初有想說要直播訪問在 LeetCode 的朋友， 探討 LeetCode 最近幾年的快速發展、及如何幫助軟體工程師及公司行號， 可惜目前朋友還沒有意願， 如果大家有興趣的話， 請在文章留言， 讓她可以看到大家的意願加強她的動力和我們分享 (群眾多數暴力啊！)。

附上過去我寫的找工作系列文章:
1. 程式語言- 到底學哪個好？我想進Google，我沒學OOO，他們會接受我XXX語言背景嘛？
2. 簡介美國軟體工程師面試流程
3. 等待機緣- 我要如何被人資或獵人頭發現? 我要如何脫穎而出? LinkedIn重要嘛？
4. 主動出擊- 我要找工作了，現在美國都用什麼找工作？哪個網站平台能讓我有較多面試機會？
5. 軟體工程師面試準備- 面試要練習什麼？ 找工作和練習的時間要如何平衡拿捏？
6. 被錄取了- 我該注意什麼，我可以談判要求多一點薪水、股票或假期嘛？
7. 矽谷找工作之常見問題 FAQ
8. 面試技巧及心得，如何有條理的說服面試官？
9. 英文履歷怎麼寫？ 美國科技公司注重什麼？
10. 如何到美國科技公司工作？
11. 最有效得到面試的方式- 內部推薦: 尋找內推資源 & 歹晚郎互助網絡
12. 面試中談到錢怎麼辦？ 問到你期望薪水如何接招?
13. 面試得到 Offer 薪水如何談？ 三明治溝通法及最後簽約前的談判招式

2021 年， 如果你要找工作的話， 祝你轉換順利， 拿到許多理想的 offers！ 如果你有什麼準備的技巧及心得， 也歡迎留言分享。

部落格原文：
https://bit.ly/3zNrluU

#Q博展知識
【記者節快樂】
今天是九一記者節，祝各位為了新聞而努力奔走的記者們，記者節快樂
在這個日子裡
我們也來看一些科普X新聞X記者的科學吧！

【科技與社會的研究與教學：我們都是科學記者】
現代社會的公眾對於科技議題的理解，事實上有著比過去任何一個時代都要高的門檻。由於透過科學傳播的媒介吸收新知，因此公眾除了需要面對高聳的科學認識屏障外，更需要解析媒介背後的錯綜特質。在這雙重的條件下，一般民眾並不容易直接切進議題的核心，常常需要倚賴超越內容的知識來間接習得。

這個過程就像一般民眾在認識科技議題時，其核心往往牽涉龐大的知識基礎，直接逼近常是不可得的一種理解方式。因此就像天文學家追尋黑洞的存在一樣，民眾也需要透過相關的「背景輻射」才能間接習得核心議題的意義。在這種情況下，民眾的需求可能不是一些與議題直接相關的「內容知識」（例如相關科學理論、數據等），反而超越內容之外的「背景知識」才是一般民眾可以具體掌握並有助於形成論點的知識。

而超越內容的知識可以包含哪些不同的層次呢？在現代社會中，每一個社會性科學議題的背後，事實上都同時被科學和媒體這兩層不同的論述包覆著。例如就一個科學事件而言，科學家先用科學理論的詞語對它進行說明，之後大眾傳媒又會基於自己的需求用傳播的論述包裹一次。因此一個公民如果要認識一件社會性科學議題的核心，要像剝洋蔥般，耐心地把這一層層的包覆拆解開來。
https://scitechvista.nat.gov.tw/UrlMap?t=heZ

【當人工智慧進入新聞編輯台】
機器寫作顧名思義就是─讓機器人幫你寫作，即為運用演算法對於所輸入的文章資料自行作處理，然後即可自行拼湊出一篇文章。而使用機器人「拼湊」新聞的優勢在於它可以快速的收集到大量且相關連性的資料，並且迅速地做到彙整、統計、分析資料等功能。目前機器人新聞寫作主要被運用在體育和財經新聞報導上較多，主要是因為這兩個領域的資料訊息瞬息萬變，需要耗費的時間相對上較多，因此利用電腦來幫忙作分析、統計、整理可以減少人力體力上及時間的過多耗費。

機器人新聞寫作的出現，優點在於可以讓更多的員工去從事有創造性和挑戰性的工作。美聯社期望機器人寫作的加入，能夠讓記者回到本職的工作內容，而不是花大量的時間在於資料的彙整、統計、分析上。機器人寫作有三大優點：（1）即時運算（即為資料的彙整、統計、分析）非常快，可以省掉很多處理上的時間、(2)可減少人力資源開銷、(3)產出的報導客觀公正。
https://scitechvista.nat.gov.tw/UrlMap?t=d2C

【科學媒體化】
傳播媒體技術與電腦網絡的快速發展，使電子傳播媒體成為社會大眾資訊的主要提供者。雖然，一般大眾對於媒體有著種種的批評，但是媒體還是公眾資訊的主要來源，在某個程度上也是民意的塑造者。就像學生的報告，主要的資料來源就是網路。在這種新的權力結構下，科技社群與媒體間也產生了新的互動關係。在新的關係中，科技專家漸漸擺脫與媒體保持距離的習慣。為了爭取有限的科研經費，科技專家有時反而需要媒體的「背書」。媒體，不再只是單純的知識傳播者，它似乎也逐漸與「大學—國家—產業」這三螺旋鏈，形成檯面上的四螺旋鏈。

科技社群與媒體大概有底下的新關係：一、知識優先權透過媒體取得；二、媒體可能塑造科技界的明星，進而形塑大眾科技的「共識」；三、科技界為爭取媒體曝光度，可能提供未成熟的資料。無論這些問題是否發生，我們應該注意的是，媒體是否已逐漸影響傳統的科技社群自律機制？是否科技界對媒體需求的比重已經凌駕對「真理」的追求？

不過無論如何，大眾或科技專家，都已經無法避免透過媒體接觸科技知識。在這些例子中，我們反而看到科學事業人性化的一面。因此，需要改變的也許不是科技知識產生或傳播的方式，而是所有人心目中「科學」的形象。
https://scitechvista.nat.gov.tw/UrlMap?t=gS4

摩爾定律放緩　靠啥提升AI晶片運算力？

作者 : 黃燁鋒，EE Times China
2021-07-26

對於電子科技革命的即將終結的說法，一般認為即是指摩爾定律的終結——摩爾定律一旦無法延續，也就意味著資訊技術的整棟大樓建造都將出現停滯，那麼第三次科技革命也就正式結束了。這種聲音似乎是從十多年前就有的，但這波革命始終也沒有結束。AI技術本質上仍然是第三次科技革命的延續……

人工智慧(AI)的技術發展，被很多人形容為第四次科技革命。前三次科技革命，分別是蒸汽、電氣、資訊技術(電子科技)革命。彷彿這“第四次”有很多種說辭，比如有人說第四次科技革命是生物技術革命，還有人說是量子技術革命。但既然AI也是第四次科技革命之一的候選技術，而且作為資訊技術的組成部分，卻又獨立於資訊技術，即表示它有獨到之處。

電子科技革命的即將終結，一般認為即是指摩爾定律的終結——摩爾定律一旦無法延續，也就意味著資訊技術的整棟大樓建造都將出現停滯，那麼第三次科技革命也就正式結束了。這種聲音似乎是從十多年前就有，但這波革命始終也沒有結束。

AI技術本質上仍然是第三次科技革命的延續，它的發展也依託於幾十年來半導體科技的進步。這些年出現了不少專門的AI晶片——而且市場參與者相眾多。當某一個類別的技術發展到出現一種專門的處理器為之服務的程度，那麼這個領域自然就不可小覷，就像當年GPU出現專門為圖形運算服務一樣。

所以AI晶片被形容為CPU、GPU之後的第三大類電腦處理器。AI專用處理器的出現，很大程度上也是因為摩爾定律的發展進入緩慢期：電晶體的尺寸縮減速度，已經無法滿足需求，所以就必須有某種專用架構(DSA)出現，以快速提升晶片效率，也才有了專門的AI晶片。

另一方面，摩爾定律的延緩也成為AI晶片發展的桎梏。在摩爾定律和登納德縮放比例定律(Dennard Scaling)發展的前期，電晶體製程進步為晶片帶來了相當大的助益，那是「happy scaling down」的時代——CPU、GPU都是這個時代受益，不過Dennard Scaling早在45nm時期就失效了。

AI晶片作為第三大類處理器，在這波發展中沒有趕上happy scaling down的好時機。與此同時，AI應用對運算力的需求越來越貪婪。今年WAIC晶片論壇圓桌討論環節，燧原科技創始人暨CEO趙立東說：「現在訓練的GPT-3模型有1750億參數，接近人腦神經元數量，我以為這是最大的模型了，要千張Nvidia的GPU卡才能做。談到AI運算力需求、模型大小的問題，說最大模型超過萬億參數，又是10倍。」

英特爾(Intel)研究院副總裁、中國研究院院長宋繼強說：「前兩年用GPU訓練一個大規模的深度學習模型，其碳排放量相當於5台美式車整個生命週期產生的碳排量。」這也說明了AI運算力需求的貪婪，以及提供運算力的AI晶片不夠高效。

不過作為產業的底層驅動力，半導體製造技術仍源源不斷地為AI發展提供推力。本文將討論WAIC晶片論壇上聽到，針對這個問題的一些前瞻性解決方案——有些已經實現，有些則可能有待時代驗證。

XPU、摩爾定律和異質整合

「電腦產業中的貝爾定律，是說能效每提高1,000倍，就會衍生出一種新的運算形態。」中科院院士劉明在論壇上說，「若每瓦功耗只能支撐1KOPS的運算，當時的這種運算形態是超算；到了智慧型手機時代，能效就提高到每瓦1TOPS；未來的智慧終端我們要達到每瓦1POPS。 這對IC提出了非常高的要求，如果依然沿著CMOS這條路去走，當然可以，但會比較艱辛。」

針對性能和效率提升，除了尺寸微縮，半導體產業比較常見的思路是電晶體結構、晶片結構、材料等方面的最佳化，以及處理架構的革新。

(1)AI晶片本身其實就是對處理器架構的革新，從運算架構的層面來看，針對不同的應用方向造不同架構的處理器是常規，更專用的處理器能促成效率和性能的成倍增長，而不需要依賴於電晶體尺寸的微縮。比如GPU、神經網路處理器(NPU，即AI處理器)，乃至更專用的ASIC出現，都是這類思路。

CPU、GPU、NPU、FPGA等不同類型的晶片各司其職，Intel這兩年一直在推行所謂的「XPU」策略就是用不同類型的處理器去做不同的事情，「整合起來各取所需，用組合拳會好過用一種武器去解決所有問題。」宋繼強說。Intel的晶片產品就涵蓋了幾個大類，Core CPU、Xe GPU，以及透過收購獲得的AI晶片Habana等。

另外針對不同類型的晶片，可能還有更具體的最佳化方案。如當代CPU普遍加入AVX512指令，本質上是特別針對深度學習做加強。「專用」的不一定是處理器，也可以是處理器內的某些特定單元，甚至固定功能單元，就好像GPU中加入專用的光線追蹤單元一樣，這是當代處理器普遍都在做的一件事。

(2)從電晶體、晶片結構層面來看，電晶體的尺寸現在仍然在縮減過程中，只不過縮減幅度相比過去變小了——而且為緩解電晶體性能的下降，需要有各種不同的技術來輔助尺寸變小。比如說在22nm節點之後，電晶體變為FinFET結構，在3nm之後，電晶體即將演變為Gate All Around FET結構。最終會演化為互補FET (CFET)，其本質都是電晶體本身充分利用Z軸，來實現微縮性能的提升。

劉明認為，「除了基礎元件的變革，IC現在的發展還是比較多元化，包括新材料的引進、元件結構革新，也包括微影技術。長期賴以微縮的基本手段，現在也在發生巨大的變化，特別是未來3D的異質整合。這些多元技術的協同發展，都為晶片整體性能提升帶來了很好的增益。」

他並指出，「從電晶體級、到晶圓級，再到晶片堆疊、引線接合(lead bonding)，精準度從毫米向奈米演進，互連密度大大提升。」從晶圓/裸晶的層面來看，則是眾所周知的朝more than moore’s law這樣的路線發展，比如把兩片裸晶疊起來。現在很熱門的chiplet技術就是比較典型的並不依賴於傳統電晶體尺寸微縮，來彈性擴展性能的方案。

台積電和Intel這兩年都在大推將不同類型的裸晶，異質整合的技術。2.5D封裝方案典型如台積電的CoWoS，Intel的EMIB，而在3D堆疊上，Intel的Core LakeField晶片就是用3D Foveros方案，將不同的裸晶疊在一起，甚至可以實現兩片運算裸晶的堆疊、互連。

之前的文章也提到過AMD剛發佈的3D V-Cache，將CPU的L3 cache裸晶疊在運算裸晶上方，將處理器的L3 cache大小增大至192MB，對儲存敏感延遲應用的性能提升。相比Intel，台積電這項技術的獨特之處在於裸晶間是以混合接合(hybrid bonding)的方式互連，而不是micro-bump，做到更小的打線間距，以及晶片之間數十倍通訊性能和效率提升。

這些方案也不直接依賴傳統的電晶體微縮方案。這裡實際上還有一個方面，即新材料的導入專家們沒有在論壇上多說，本文也略過不談。

1,000倍的性能提升

劉明談到，當電晶體微縮的空間沒有那麼大的時候，產業界傾向於採用新的策略來評價技術——「PPACt」——即Powe r(功耗)、Performance (性能)、Cost/Area-Time (成本/面積-時間)。t指的具體是time-to-market，理論上應該也屬於成本的一部分。

電晶體微縮方案失效以後，「多元化的技術變革，依然會讓IC性能得到進一步的提升。」劉明說，「根據預測，這些技術即使不再做尺寸微縮，也會讓IC的晶片性能做到500~1,000倍的提升，到2035年實現Zetta Flops的系統性能水準。且超算的發展還可以一如既往地前進；單裸晶儲存容量變得越來越大，IC依然會為產業發展提供基礎。」

500~1,000倍的預測來自DARPA，感覺有些過於樂觀。因為其中的不少技術存在比較大的邊際遞減效應，而且有更實際的工程問題待解決，比如運算裸晶疊層的散熱問題——即便業界對於這類工程問題的探討也始終在持續。

不過1,000倍的性能提升，的確說明摩爾定律的終結並不能代表第三次科技革命的終結，而且還有相當大的發展空間。尤其本文談的主要是AI晶片，而不是更具通用性的CPU。

矽光、記憶體內運算和神經型態運算

在非傳統發展路線上(以上內容都屬於半導體製造的常規思路)，WAIC晶片論壇上宋繼強和劉明都提到了一些頗具代表性的技術方向(雖然這可能與他們自己的業務方向或研究方向有很大的關係)。這些技術可能尚未大規模推廣，或者仍在商業化的極早期。

(1)近記憶體運算和記憶體內運算：處理器性能和效率如今面臨的瓶頸，很大程度並不在單純的運算階段，而在資料傳輸和儲存方面——這也是共識。所以提升資料的傳輸和存取效率，可能是提升整體系統性能時，一個非常靠譜的思路。

這兩年市場上的處理器產品用「近記憶體運算」(near-memory computing)思路的，應該不在少數。所謂的近記憶體運算，就是讓儲存(如cache、memory)單元更靠近運算單元。CPU的多層cache結構(L1、L2、L3)，以及電腦處理器cache、記憶體、硬碟這種多層儲存結構是常規。而「近記憶體運算」主要在於究竟有多「近」，cache記憶體有利於隱藏當代電腦架構中延遲和頻寬的局限性。

這兩年在近記憶體運算方面比較有代表性的，一是AMD——比如前文提到3D V-cache增大處理器的cache容量，還有其GPU不僅在裸晶內導入了Infinity Cache這種類似L3 cache的結構，也更早應用了HBM2記憶體方案。這些實踐都表明，儲存方面的革新的確能帶來性能的提升。

另外一個例子則是Graphcore的IPU處理器：IPU的特點之一是在裸晶內堆了相當多的cache資源，cache容量遠大於一般的GPU和AI晶片——也就避免了頻繁的訪問外部儲存資源的操作，極大提升頻寬、降低延遲和功耗。

近記憶體運算的本質仍然是馮紐曼架構(Von Neumann architecture)的延續。「在做處理的過程中，多層級的儲存結構，資料的搬運不僅僅在處理和儲存之間，還在不同的儲存層級之間。這樣頻繁的資料搬運帶來了頻寬延遲、功耗的問題。也就有了我們經常說的運算體系內的儲存牆的問題。」劉明說。

構建非馮(non-von Neumann)架構，把傳統的、以運算為中心的馮氏架構，變換一種新的運算範式。把部分運算力下推到儲存。這便是記憶體內運算(in-memory computing)的概念。

記憶體內運算的就現在看來還是比較新，也有稱其為「存算一體」。通常理解為在記憶體中嵌入演算法，儲存單元本身就有運算能力，理論上消除資料存取的延遲和功耗。記憶體內運算這個概念似乎這在資料爆炸時代格外醒目，畢竟可極大減少海量資料的移動操作。

其實記憶體內運算的概念都還沒有非常明確的定義。現階段它可能的內涵至少涉及到在儲記憶體內部，部分執行資料處理工作；主要應用於神經網路(因為非常契合神經網路的工作方式)，以及這類晶片具體的工作方法上，可能更傾向於神經型態運算(neuromorphic computing)。

對於AI晶片而言，記憶體內運算的確是很好的思路。一般的GPU和AI晶片執行AI負載時，有比較頻繁的資料存取操作，這對性能和功耗都有影響。不過記憶體內運算的具體實施方案，在市場上也是五花八門，早期比較具有代表性的Mythic導入了一種矩陣乘的儲存架構，用40nm嵌入式NOR，在儲記憶體內部執行運算，不過替換掉了數位週邊電路，改用類比的方式。在陣列內部進行模擬運算。這家公司之前得到過美國國防部的資金支援。

劉明列舉了近記憶體運算和記憶體內運算兩種方案的例子。其中，近記憶體運算的這個方案應該和AMD的3D V-cache比較類似，把儲存裸晶和運算裸晶疊起來。

劉明指出，「這是我們最近的一個工作，採用hybrid bonding的技術，與矽通孔(TSV)做比較，hybrid bonding功耗是0.8pJ/bit，而TSV是4pJ/bit。延遲方面，hybrid bonding只有0.5ns，而TSV方案是3ns。」台積電在3D堆疊方面的領先優勢其實也體現在hybrid bonding混合鍵合上，前文也提到了它具備更高的互連密度和效率。

另外這套方案還將DRAM刷新頻率提高了一倍，從64ms提高至128ms，以降低功耗。「應對刷新率變慢出現拖尾bit，我們引入RRAM TCAM索引這些tail bits」劉明說。

記憶體內運算方面，「傳統運算是用布林邏輯，一個4位元的乘法需要用到幾百個電晶體，這個過程中需要進行資料來回的移動。記憶體內運算是利用單一元件的歐姆定律來完成一次乘法，然後利用基爾霍夫定律完成列的累加。」劉明表示，「這對於今天深度學習的矩陣乘非常有利。它是原位的運算和儲存，沒有資料搬運。」這是記憶體內運算的常規思路。

「無論是基於SRAM，還是基於新型記憶體，相比近記憶體運算都有明顯優勢，」劉明認為。下圖是記憶體內運算和近記憶體運算，精準度、能效等方面的對比，記憶體內運算架構對於低精準度運算有價值。

下圖則總結了業內主要的一些記憶體內運算研究，在精確度和能效方面的對應關係。劉明表示，「需要高精確度、高運算力的情況下，近記憶體運算目前還是有優勢。不過記憶體內運算是更新的技術，這幾年的進步也非常快。」

去年阿里達摩院發佈2020年十大科技趨勢中，有一個就是存算一體突破AI算力瓶頸。不過記憶體內運算面臨的商用挑戰也一點都不小。記憶體內運算的通常思路都是類比電路的運算方式，這對記憶體、運算單元設計都需要做工程上的考量。與此同時這樣的晶片究竟由誰來造也是個問題：是記憶體廠商，還是數文書處理器廠商？(三星推過記憶體內運算晶片，三星、Intel垂直整合型企業似乎很適合做記憶體內運算…)

(2)神經型態運算：神經型態運算和記憶體內運算一樣，也是新興技術的熱門話題，這項技術有時也叫作compute in memory，可以認為它是記憶體內運算的某種發展方向。神經型態和一般神經網路AI晶片的差異是，這種結構更偏「類人腦」。

進行神經型態研究的企業現在也逐漸變得多起來，劉明也提到了AI晶片「最終的理想是在結構層次模仿腦，元件層次逼近腦，功能層次超越人腦」的「類腦運算」。Intel是比較早關注神經型態運算研究的企業之一。

傳說中的Intel Loihi就是比較典型存算一體的架構，「這片裸晶裡面包含128個小核心，每個核心用於模擬1,024個神經元的運算結構。」宋繼強說，「這樣一塊晶片大概可以類比13萬個神經元。我們做到的是把768個晶片再連起來，構成接近1億神經元的系統，讓學術界的夥伴去試用。」

「它和深度學習加速器相比，沒有任何浮點運算——就像人腦裡面沒有乘加器。所以其學習和訓練方法是採用一種名為spike neutral network的路線，功耗很低，也可以訓練出做視覺辨識、語言辨識和其他種類的模型。」宋繼強認為，不採用同步時脈，「刺激的時候就是一個非同步電動勢，只有工作部分耗電，功耗是現在深度學習加速晶片的千分之一。」

「而且未來我們可以對不同區域做劃分，比如這兒是視覺區、那兒是語言區、那兒是觸覺區，同時進行多模態訓練，互相之間產生關聯。這是現在的深度學習模型無法比擬的。」宋繼強說。這種神經型態運算晶片，似乎也是Intel在XPU方向上探索不同架構運算的方向之一。

(2)微型化矽光：這個技術方向可能在層級上更偏高了一些，不再晶片架構層級，不過仍然值得一提。去年Intel在Labs Day上特別談到了自己在矽光(Silicon Photonics)的一些技術進展。其實矽光技術在連接資料中心的交換機方面，已有應用了，發出資料時，連接埠處會有個收發器把電訊號轉為光訊號，透過光纖來傳輸資料，另一端光訊號再轉為電訊號。不過傳統的光收發器成本都比較高，內部元件數量大，尺寸也就比較大。

Intel在整合化的矽光(IIIV族monolithic的光學整合化方案)方面應該是商業化走在比較前列的，就是把光和電子相關的組成部分高度整合到晶片上，用IC製造技術。未來的光通訊不只是資料中心機架到機架之間，也可以下沉到板級——就跟現在傳統的電I/O一樣。電互連的主要問題是功耗太大，也就是所謂的I/O功耗牆，這是這類微型化矽光元件存在的重要價值。

這其中存在的技術挑戰還是比較多，如做資料的光訊號調變的調變器調變器，據說Intel的技術使其實現了1,000倍的縮小；還有在接收端需要有個探測器(detector)轉換光訊號，用所謂的全矽微環(micro-ring)結構，實現矽對光的檢測能力；波分複用技術實現頻寬倍增，以及把矽光和CMOS晶片做整合等。

Intel認為，把矽光模組與運算資源整合，就能打破必須帶更多I/O接腳做更大尺寸處理器的這種趨勢。矽光能夠實現的是更低的功耗、更大的頻寬、更小的接腳數量和尺寸。在跨處理器、跨伺服器節點之間的資料互動上，這類技術還是頗具前景，Intel此前說目標是實現每根光纖1Tbps的速率，並且能效在1pJ/bit，最遠距離1km，這在非本地傳輸上是很理想的數字。

還有軟體…

除了AI晶片本身，從整個生態的角度，包括AI感知到運算的整個鏈條上的其他組成部分，都有促成性能和效率提升的餘地。比如這兩年Nvidia從軟體層面，針對AI運算的中間層、庫做了大量最佳化。相同的底層硬體，透過軟體最佳化就能實現幾倍的性能提升。

宋繼強說，「我們發現軟體最佳化與否，在同一個硬體上可以達到百倍的性能差距。」這其中的餘量還是比較大。

在AI開發生態上，雖然Nvidia是最具發言權的；但從戰略角度來看，像Intel這種研發CPU、GPU、FPGA、ASIC，甚至還有神經型態運算處理器的企業而言，不同處理器統一開發生態可能更具前瞻性。Intel有個稱oneAPI的軟體平台，用一套API實現不同硬體性能埠的對接。這類策略對廠商的軟體框架構建能力是非常大的考驗——也極大程度關乎底層晶片的執行效率。

在摩爾定律放緩、電晶體尺寸微縮變慢甚至不縮小的前提下，處理器架構革新、異質整合與2.5D/3D封裝技術依然可以達成1,000倍的性能提升；而一些新的技術方向，包括近記憶體運算、記憶體內運算和微型矽光，能夠在資料訪存、傳輸方面產生新的價值；神經型態運算這種類腦運算方式，是實現AI運算的目標；軟體層面的最佳化，也能夠帶動AI性能的成倍增長。所以即便摩爾定律嚴重放緩，AI晶片的性能、效率提升在上面提到的這麼多方案加持下，終將在未來很長一段時間內持續飛越。這第三(四)次科技革命恐怕還很難停歇。

資料來源：https://www.eettaiwan.com/20210726nt61-ai-computing/?fbclid=IwAR3BaorLm9rL2s1ff6cNkL6Z7dK8Q96XulQPzuMQ_Yky9H_EmLsBpjBOsWg

現在學習知識的渠道越來越多，無論對於零基礎或是有經驗的工程師，想要持續成長應該看書還是看影片來的更有效率呢？

主要會和你分享我過去從新手到資深的過程中，如何持續保持進步及學習的經驗

也許這個經驗可以幫助到你，也歡迎留言和我分享你的看法

相信彼此分享不同的學習見解，能讓對於想要更精進自己程式開發功力的人有很大的幫助

===章節===
00:00 哪一個有效律?
00:36 寫程式如同寫作
05:14 書是最便宜的資源
10:14 折扣碼操作示範

===蝦皮購書折扣碼===
折扣碼：FLAGNIC36
時間：2021-03-29 ~ 2021-06-29

折扣碼：FLAGNIC79
時間：2021-06-30 ~ 2021-09-30

折扣碼： FLAGNIC11
時間：2021-10-01~ 2021-12-31

===前陣子在看的推薦書單===
（零基礎）
- 白話演算法！培養程式設計的邏輯思考
- Python 刷提鍛鍊班

（中高階）
- 設計模式之禪(第2版)
- 無瑕的程式碼－整潔的軟體設計與架構篇
- 單元測試的藝術
- 演算法之美：隱藏在資料結構背後的原理(C++版)
- Kent Beck的實作模式

（Ruby）
- Writing Efficient Ruby Code

（成長思考）
- 圖解．實戰 麥肯錫式的思考框架：讓大腦置入邏輯，就能讓90%的困難都有解！
- 師父：那些我在課堂外學會的本事
- 高勝算決策：如何在面對決定時，降低失誤，每次出手成功率都比對手高?
- 窮查理的普通常識
- 懶人圖解簡報術：把複雜知識變成一看就秒懂的圖解懶人包
- 寫作，是最好的自我投資

喜歡影片的話！可以幫忙點個喜歡以及分享、訂閱唷！😘

━━━━━━━━━━━━━━━━
🎬 觀看我的生活廢片頻道: https://bit.ly/2Ldfp1B
⭐ instagram (生活日常): https://www.instagram.com/niclin_tw/
⭐ Facebook (資訊分享): https://www.facebook.com/niclin.dev
⭐ Blog (技術筆記): https://blog.niclin.tw
⭐ Linkedin (個人履歷): https://www.linkedin.com/in/nic-lin
⭐ 蝦皮賣場: https://shopee.tw/bboyceo
⭐ Github: https://github.com/niclin
⭐ Podcast: https://anchor.fm/niclin
━━━━━━━━━━━━━━━━
✉️ 合作邀約信箱: niclin0226@gmail.com

#寫程式 #前端 #後端

## 影片觀看說明

由於問題較多，大家的問題也可能是你的問題，建議可以先閱讀下方的「問題總匯」區，找到時間碼 Time code 之後跳轉到自己想聽的部分，會比較有效率哦

本影片 Q&A 留言是抓取
【2020 年度回顧! 成為 Team leader? 業外收入增加? 技術能力成長? (第一次蒐集 Q&A)】https://youtu.be/BGaDN9wxbKE

## 影片中提到的專案

簡單用 React 撰寫的留言爬取篩選功能，可以自己抓去玩
https://github.com/niclin/youtube-comment-filter

## 問題總匯

00:00 開場
01:26 QA-1 - 林天寸

一直很喜歡妳的頻道，不單單是因為工程師，當然也有部分原因是自己也是走工程師這條路的。
前一年2020年開始，其實是我剛轉職工程師的第一年，在滿多地方都遇到不小的問題，在troubleshooting上面也是有許多瓶頸的。
後來除了白天上班，下班看書跟休息，偶然間看到你的影片[工程師如何自我進修]，才開始慢慢用計畫的方式取代橫衝猛幹。
不得不說，規劃時間真的是比起技術性的功力還更有成效。因為它讓你適時的放鬆跟加強，然後在工作上面才更有長進，雖然很幹話，但我2020的下半年是這樣做的。
目前在準備考取網路管理的證照CCNA，計畫是走network這一塊，還有很多要磨練的。希望也能多看你產出跟network的影片，這是私心話啦，哈哈。

02:57 QA-2 - 仔仔

1.學程式會建議從前端或是後端哪個開始學會比較好?
2.一開始投履歷如何判斷一家公司是可以成長的，而不是進去3，5年後還是那個跟剛進去程度相差不遠的自己差不多
3.跟程式相關的產業有很多(像是製造業到博弈)，可以請Nic分析一下各產業的狀況嗎?以及進去各產業前須要具備哪些程式語言或能力?
4.投履歷時看到一些公司列出所需程式語言和工具一大堆，是不是代表你沒完全具備就不要投履歷了，還是可以請Nic給個意見哪些部分還是可以投看看
5.都說工程師又宅又不會說話，為什麼Nic可以交到女朋友?

10:40 QA-3 - ANDREW NG KAR EARN

如果当写编程语言遇到瓶颈，有什么方法可以有效地避免自己陷入钻牛角尖的情况？

11:46 QA-4 - JS Lin

如果NIC現在選擇能馬上精通一項語言會是哪個？會想用來做什麼PJ？

13:13 QA-5 - Rick0

成為 team leader 後無法直接在技術上有更深入的研究和突破，這樣的變化是否值得?
是否會擔心這樣在技術上跟不上其他人，甚至被下屬看輕呢?

14:39 QA-6 - Henry蔡

因為最近是寒假期間，
我開始考慮下學期的修課，
想請教nic大大，
應該在有什麼樣的基礎上，
開始學design patterns？
我目前是碩士生，
大學非資工本科，
學過Python，
也跟過一些網路影片實作過Flask+PostgreSQL，
大學學過資料結構演算法，
但不到得心應手的程度...

16:07 QA-7 - 黃柏瑋

如何同時Handle好好幾件事
我怎麼覺得上班，然後下班假日寫寫side project後就沒啥時間了🤔🤔🤔

17:24 QA-8 - 乾太

我想問一下這年頭轉行斜槓 VTuber 還有沒有搞頭A？

18:10 QA-9 - uuu06222

之前開始關注你有知道你有面試過人的經驗, 想問一下站在面試官的角度...
面試官會不會比較注重作品需要呈現那些東西, 或是有沒有什麼禁忌是不能碰的嗎?

20:07 QA-10 - Joery Lin

想請教您對於對於給你很多成長和照顧的公司，倘若您有一個更好的機會，無論薪水或未知挑戰都大於現在公司。
您將如何做選擇，或許現在公司會給你加薪留下你。

因為自己曾放棄了許多機會

21:37 QA-11 - YangTing Zheng

Q1: 想問通常一個產品開發的週期都多長呢？負責維運和開發的工作內容是否會差很多？
Q2: 想請您簡單介紹一下資工系學生的出路/工作內容？(如PM.SA.DBA.PG.RD.MIS…或是還有其他的？）

24:16 QA-12 - RTB

Hello World

24:18 QA-13 - Barry

目前是公司MIS 很想轉職成後端工程師，但在面試上面都都時常失敗
常常在問技術關卡時就被問倒了，總覺得 要準備的東西非常的龐大
毫無準備的頭緒，總覺得一直寫side project也不是辦法

26:49 QA-14 - 因地制夷

想請教Nic 有在做投資嗎? ex 股票 想聽一些投資心得

27:13 QA-15 - 比歐

想請教 Nic 大，
在之後的工程師生涯中之後有甚麼規劃或想法嗎?
例如:開發產品創業，或是開班授課、轉做顧問之類的。

28:14 QA-16 - yongming jia

请问新手如何学编程，学完去做什么？怎么自己创业？谢谢🙏

29:33 QA-17 - Minghao Chang

是否能請您推薦用來開發的筆電？（正好最近要汰換電腦），想從今年開始養成寫side project的習慣，謝謝。

30:31 QA-18 - Guan Jun Chen

想知道像Nic這麼厲害的工程師，年薪大概落在哪裡

30:46 QA-19 - Sheng Jiang

想請問Nic，如果非資工背景但是對寫程式有熱情，想轉職當軟體工程師，會建議如何起步?

補充：像是什麼樣的人適合自學，什麼樣的人適合去補習，或者補習跟自學的情況各有哪些優劣?

謝謝Nic

## 結尾

31:49 感想

喜歡影片的話！可以幫忙點個喜歡以及分享、訂閱唷！😘

━━━━━━━━━━━━━━━━
🎬 觀看我的生活廢片頻道: https://bit.ly/2Ldfp1B
⭐ instagram (生活日常): https://www.instagram.com/niclin_tw/
⭐ Facebook (資訊分享): https://www.facebook.com/niclin.dev
⭐ Blog (技術筆記): https://blog.niclin.tw
⭐ Linkedin (個人履歷): https://www.linkedin.com/in/nic-lin
⭐ 蝦皮賣場: https://shopee.tw/bboyceo
⭐ Github: https://github.com/niclin
⭐ Podcast: https://anchor.fm/niclin
━━━━━━━━━━━━━━━━
✉️ 合作邀約信箱: niclin0226@gmail.com

#QA #工程師 #在地上滾的工程師 #前端 #後端 #轉職

面試技巧 軟體技術面試練習平台 Pramp 使用分享

自從分享過在美國找實習的經驗之後，滿多人來問我關於準備面試的問題。今天就分享一個我個人覺得很實用的模擬面試平台 —— Pramp。Pramp是一個模擬面試平台，讓你可以跟世界某端也想練習軟體工程面試的人一起互相練習面試。
這支影片除了分享 Pramp是什麼，也討論了模擬面試的重要性，還有我實際參與一場模擬面試的片段精華！希望對於正在準備面試，或是未來需要面試的你有所幫助！

Sign up Pramp 馬上開始模擬面試吧👇🏻👇🏻👇🏻
https://www.pramp.com/invt/qLKGYgBdoOFzWxMLdNJV

冗長完整面試過程，看完我佩服你...😵😵😵
https://youtu.be/v3HVwxwbbeg

#pramp #面試工具 #模擬面試不是交友軟體
一定要看到影片最後面並且在「YouTube影片下方」按讚留言訂閱分享唷！
-
歡迎留言告訴我你的想法，或是你想認識的程式語言唷！
每（隔週）週四晚上9點更新，請記得開啟YouTube🔔通知！
-

【愛屋及烏】
Facebook 臉書粉專 👉 https://www.facebook.com/untyped/
Instagram 👉 https://www.instagram.com/untypedcoding/
合作邀約 👉 untypedcoding@gmail.com
-
Untyped 對啊我是工程師 - There are so many data types in the world of computer science, so are the people who write the code. We aim to UNTYPE the stereotype of engineers and of how coding is only for a certain type of people.
凱心琳: 一個喜歡電腦科學邏輯推理，在科技圈努力為性別平等奮鬥的工程師。
-
圖片影片音效：[giphy.com] [pngwave.com]