Search
繼語意分割(semantic segmentation)、實例分割(instance segmentstion)與全景分割(panoptic segmentation)之後，又有全新的分割任務，不受類別標籤束縛的開放世界實體分割（entity segmentation)
https://mp.weixin.qq.com/s/XvSLXHCOKPRgZUqDBOPPgQ
Niantic Lightship平台擴大支援第三方遊戲開發者使用AR
陳明陽 2021-05-27
Niantic Lightship平台提供下一代擴增實境(AR)工具Niantic Lightship AR開發者套件(ARDK)，大幅簡化開發作業、支援第三方遊戲開發者開發互動且沉浸的AR應用。5G的超大頻寬、超低延遲、超高網速將有助於規模化AR體驗、確保內容共享無延遲。
根據VentureBeat報導，Niantic Lightship平台支援Niantic Ingress、Pokemon Go、任天堂(Nintendo)Pikmin宇宙的定位與AR遊戲等，開發者可在Niantic.dev網站註冊，參與Niantic Lightship ARDK非公開beta測試，獲得關於Niantic Publishing的資訊。
Niantic正建立虛擬定位系統(VPS)與先進工具，讓AR體驗能精準善用地理位置與持久的內容主持(content anchoring)、支援全球規模的AR體驗，並讓Niantic Lightship成為對應與共享全球規模AR體驗的業界標準。
2021年初Niantic推出Niantic Lightship ARDK並提供工程、產品開發、支援團隊協助，讓數百名遊戲與非遊戲開發者進行的非公開alpha測試，並根據回饋調整Niantic Lightship平台核心功能、AR工具、特性、文件。
ARDK非公開beta版有多項先進工具與3個關鍵強化，能逼真呈現虛擬物件在特定空間的靜態與動態且符合物理定律，先進meshing技術運用智慧型手機的攝影機或光達(LiDAR)、神經網路，實現對虛擬物件的操作、跟虛擬角色與內容自然互動。
強化的語意分割(semantic segmentation)功能，能自動區分建築、地面、天空等空間特性；共定位(colocalization)、連網、同步功能的改善，可實現內容主持與提升多玩家共享體驗，8個玩家可在同一位置同時共享相同的AR體驗。
附圖：Niantic Lightship平台支援全球規模AR體驗與多玩家與共享體驗。Niantic
資料來源：https://www.digitimes.com.tw/iot/article.asp?cat=158&cat1=20&cat2=130&id=0000610698_I8Y55LHTLXLZ927TFL20K
AI機器人將如何顛覆製造業？
面對AI機器人帶來的破壞式創新，台灣製造業該怎麼把握機會，在自動化典範轉移的亂局中，占有一席之地？
Bastiane Huang
Feb 6 · 1
在先前Robotics 2.0系列文章中，我們討論了AI如何讓機器人做到過去做不到的靈巧工作，並能夠開始自主學習。第一篇文章介紹了AI如何開啟Robot2.0時代。第二篇文章則描述AI機器人在倉儲運輸業的應用，透過觀察這個新技術的第一個應用場景，來預測這一切將如何影響我們的生產力、就業狀況以及日常生活。
這篇文章我們將聚焦目前大量運用傳統機器手臂及自動化設備，同時占台灣產值最高（30%）的製造業。具有自主學習能力而且靈巧的AI機器人，將如何影響製造業流程及整體產業結構？供應鏈上的各廠商又該如何因應Robotics 2.0帶來的破壞性創新？
「未來已經到來，只是先被一部分人看見。」 — 作家威廉．吉布森
The future is already here — it’s just not very evenly distributed. — William Gibson
製造業自動化現況
根據國際機器人聯合會（IFR）發布的最近報告，全球工業機器手臂的出貨量在2018年創下新紀錄，來到38萬4,000台。其中中國仍是最大市場（占比35%)，接著是日本，美國，台灣排名全球第六。
汽車以及電子製造業依然是工業手臂的最大應用市場（占比60%)，遠遠領先其他包含金屬，塑膠及食品等產業。具體原因我們在第一篇文章也討論過，由於傳統機器人和電腦視覺的限制，目前除汽車業和電子業以外，倉儲、農業和其他產業幾乎都還沒開始使用機械手臂。而這樣的情形將會被AI機器人及深度學習等新技術所改變。看到這裡，你可能會想：自動化及工業機器手臂在製造業既然已經有幾十年的歷史，該自動化或可以被自動化的部分應該都已經自動化了，還有什麼創新的空間呢？
出乎意料地，就連自動化程度最高的汽車製造業，離所謂的全自動化關燈工廠（lights out factory）也還有很大一段距離。舉例來說，汽車組裝的部分大多依然是由人工來完成。這也是車廠最勞力密集的部分，平均一間汽車工廠裡有3分之2的員工都在裝配車間。就連一向追求革新與顛覆，主張追求最高自動化的特斯拉執行長馬斯克，都不得不公開承認，特斯拉生產線自動化的進度不如預期。
究竟為什麼自動化這麼困難？
自動化至今無法跨越的技術限制
現今的自動化生產線普遍為大量生產設計，因此能有效降低成本，但也因此缺乏彈性。面對消費者越來越短的產品生命週期，越來越多的少量多樣客製化生產需求，人類往往比機器人更能夠因應新的產品線，也不需要花費很多時間去重新編寫程式或更改製造工序。
1. 靈巧度與複雜度
儘管科技在快速進步，人類還是比機器人靈巧許多。在訪談電子代工廠商的過程中發現，儘管組裝產品（assembly）已經高度自動化，但備料（kitting）的程序還是必須由人來完成。
備料在製造及倉儲業都很普遍，是提高生產效率的重要步驟。指的是把組裝產品需要的各個零散部件集合起來，打包並放置在工具包（kit）的過程。之後機器人再從工具包中拿取各個零件並進行組裝作業，這時候因為各個零件都在一個固定的位置和角度，自動化編程相對容易。相反地，備料時必須從雜亂無序的零件盒中辨識並拿取零件，零件的位置角度不一，甚至可能重疊或纏繞在一起，這對現有的機器視覺及機器人技術都是一項挑戰。
2. 視覺與非視覺性的回饋
另外一方面，很多複雜的裝配作業需要靠作業員的經驗或「感覺」。不論是安裝汽車座椅或是將零件放入工具包裡，這些看似簡單的動作，事實上都需要作業員或機器人接收，並根據各種視覺甚至觸覺訊號，來調整動作的角度及力道。
這些精細的微調使得傳統的自動化編程幾乎派不上用場，因為每次撿取或放置物品都不完全相同，需要像人一樣有從多次的嘗試當中，自主學習歸納的能力，而這正是機器學習，特別是深度及強化學習，能夠帶給機器人的最大改變。
Robotics 2.0：AI可以讓工廠機器人做到哪些事？
AI帶給機器手臂最大的改變就是：以往機械手臂只能重複執行工程師編寫程序，雖然精準度及速度都很高，但卻無法應對任何環境或製程改變。但是現在因為AI，機器可以自主學習更複雜的任務。具體來說，AI機器人較傳統機械手臂在3大方面有重大突破：
1. 視覺（Vision System）
就算是最高階的3D工業相機，仍然無法像人眼一樣，既可以精準判斷深度距離，又可以辨識透明的包裝、反射表面、或是可變形物體。這也是為什麼很難找到一款相機，既可以提供準確的深度，又能夠辨識大多數的包裝及物品，然而，這樣的情形很快就會被AI改變。
機器視覺在過去幾年取得了巨大的進展，幾間來自於矽谷及波士頓的新創，包括OSARO和Covariant，利用深度學習（deep learning），語意分割（semantic segmentation），及場景理解（scene understanding）提高了低階相機的深度及影像辨識，讓製造商不需要使用昂貴的相機，也能得到足夠準確的影像訊息，成功辨識透明或反射物體包裝。
2. 可擴充性（Scalability）
深度學習不需像傳統機器視覺一樣，需要事先建構每一個物品的3D模型。只需要輸入圖片，經過訓練，人工神經網路就能自動辨識影像中物體。甚至能使用非監督或自監督學習，降低人工標籤數據或特徵的需要，讓機器更近接近人一樣的學習，免去人為干預，讓機器人面對新的零件再也不需要工程師重新編寫程序。隨著機台運作，收集到的數據越來越多，機器學習模型的準確度也會進一步提升。
目前一般生產線通常有震動台、送料器、輸送帶等週邊設備，確保機器人能夠正確拿取需要的部件。如果機器學習再進一步發展，讓機器手臂更加智能，或許有一天這些比機械手臂更昂貴四五倍以上的週邊設備將不再被需要。
另一方面，由於深度學習模型一般儲存在雲端，這也讓機器人能夠互相學習，共享知識。舉例來說，若有一台機器手臂經過一個晚上的嘗試，學會如何組合兩個零件，便能夠很輕易地將這個新的模型更新到雲端，並分享給其他同樣也連結到雲端的機器手臂。這不但省去了其他機器的學習時間，也確保了品質的一致性。
3. 智能放置（Intelligent Placement）
一些對我們來說一點也不困難的指令：請小心輕放，或把物品排列整齊，對機器手臂而言卻是巨大的技術挑戰。
如何定義「小心輕放」？是在物體碰觸到桌面的瞬間停止施力？還是在移動到距離桌面6公分處放手讓物體自然落下？或是越靠近桌面就越降低速度？這些不同的定義又會怎麼樣影響物品放置的速度和精確度？
至於將物品「排列整齊」就更困難了，先不論每個人對整齊的定義都有所不同，為了能將物品精準地放置在想要的位置及角度，我們首先必須要先從正確的位置拿取物品：機械手臂依然不如人手靈巧，且目前一般機器手臂大多使用吸盤或是夾子，要做到人類關節及手指的靈活度，還有一大段距離。
其次我們要能即時判斷夾取物體的角度位置及形狀大小，以下圖的杯子為例，需要知道杯口朝上或朝下，要側放或直放，也要知道放置的地方有沒有其他物品或障礙物，才能判斷將杯子放在哪裡才能最節省空間。 我們因為從出生開始就在學習各種取放物品的任務，這些複雜的作業幾乎不加思索就可以完成，但機器並沒有這樣的經驗，必須重新學習。
經由AI，機器手臂可以更精準地判斷深度，還可以透過訓練，學習判斷及做到杯子朝上，朝下等不同狀態。也可以利用對象建模（Object Modeling），或是體素化（Voxelization），來預測及重建3D物體，讓機器可以更準確掌握實際物品的大小和形狀，進一步將物品放到該放的位置。
AI機器人將如何顛覆製造業？
現在我們知道AI可以讓機器做到許多以往做不到的事，但這對製造業現行的產業結構又會有什麼影響？誰能夠把握住新科技典範轉移技術帶來的機會？哪些公司又會面臨前所未有的挑戰？
AI機器人帶來的破壞式創新（Disruptive Innovation）
破壞式創新由哈佛商學院教授克雷頓‧克里斯汀生（Clayton Christensen）在其著作《創新的兩難》（Innovator’s Dilemma）當中提出。理論的中心思想是：
產業中的既有業者一般會為了服務現有客戶（通常也是利潤最高的客群），而選擇專注於「持續式創新」，改善現有的產品及服務。此時，一些資源較少的小公司把握機會，瞄準被忽略的市場需求，而取得進入市場的立足點。
破壞式創新又分為以下兩種：
（1）低階市場創新
一般大家較為熟悉的是「低階市場創新」，數位照相技術就是一例。早期的數位相機不僅解析度不佳，而且還有快門延遲很長的問題，但隨著數位照相品質及解析度逐漸進步，數位相機逐漸從低階市場晉升為主流。諷刺的是，柯達雖然研發出數位相機，但卻因為無法放棄當時該公司占據全球3分之2的底片市場，而最終被新技術淘汰。這正是所謂的「創新的兩難」，既有業者雖然看到新科技的威脅，但卻因為現有公司結構，策略等種種原因無法及時因應。
（2）新市場創新
「新市場創新」則是指新進公司瞄準既有公司尚未服務到的「新市場」進行創新。例如，電話剛推出的時候只能被用來做短距離的本地溝通，因此電報產業當時的領先者Western Union拒絕購買發明家貝爾的專利，因為該公司最賺錢的是長途電報市場，當時甚至不認為短途溝通會是一個市場，更不用說預見後來人人都用電話溝通的情景了。
而AI機器人帶來的，正是「新市場的破壞式創新」！
目前汽車及電子製造業占工業機器手臂出貨量的60%，這也導致市場領先者發那科（FANUC）、ABB、KUKA、安川（YASKAWA）專注於「持續式創新」：做他們最擅長，客戶也最需要的，進一步提高速度及精度。這也使得其他諸如倉儲業、食品製造業，或製造業中的「備料程序」成為被忽略新市場。這些客戶並不需要這麼高速度，高精度的作業，但需要機器手臂更靈活，更能彈性自主學習辨識及處理不同的零件或是工作。
新創AI機器人公司看到這樣未被滿足的需求，開始將人工智慧應用在機器人上，使得機器手臂可以被用在備料，包裝，倉儲等新市場。他們使用較低階的相機搭配機器學習模型，讓以往只能由人工作業的備料，貨物分撿等程序自動化，讓機器手臂可以被運用在更多不同的地方，甚至整個產業。
有趣的是，這些新創公司一般不自行生產機器手臂，而是專注於開發機器學習模型、機器視學及控制軟體，在硬體方面則選擇跟既有機器手臂廠商合作。因此，你可能會想，就算這些機器手臂公司不追求AI創新，他們也不會被時代淘汰，因為自動化還是需要硬體的供應。
但是，這樣想忽略了幾件事：
首先，有些機器手臂公司已經先嗅到了商機，並開始一邊與這些新創公司合作，一邊建立自己的AI團隊。這些公司因為率先採取行動，可以更快地在這些以往服務不到的新市場中建立客群，進一步領先競爭對手。
其次，隨著AI應用的普及，產業鏈中的最大價值，會逐漸由硬體轉向軟體及數據。 這點，我們已經可以從無人車的發展趨勢中看出。一但無人車可以做到高度自主，大部分的價值都會在掌握無人車機器學習模型及自駕數據的特斯拉，或Google等公司的手裡。這也是為什麼車廠人人自危，不是積極併購就是跟矽谷的軟體AI新創公司合作。相比起來，機器手臂及製造商對AI技術的接受速度似乎還不及汽車製造商。
AI機器人帶來的挑戰與機會
AI及機器人的結合帶來許多的可能性，但是這些改變絕非一蹴可幾。機器手臂公司縱使開始投資AI，也依然會面臨當初柯達所面臨的「創新者的兩難」。
要如何重新打造組織及發展策略，才能夠讓轉型的負面影響降到最低，也考驗各個公司管理階層的判斷與決心。
另一方面，開發全新市場也絕非簡單的事，新創公司仍需要和製造廠商密切合作，開發更貼合客戶需求的解決方案。 製造業的流程甚至比倉儲更複雜多樣，新創公司雖然了解AI及機器人技術，但卻不一定了解製造流程。這也給台灣製造廠商一個搶得先機成長轉型的最佳機會。
如果台灣廠商能夠率先和這些新創公司合作，不僅能透過流程自動化提升生產效率及品質，還能做到以往較難做到的少量多樣客製需求，擺脫大量製造，削價競爭的紅海策略。更可以成為新一代AI機器人的試驗場，和國際新創合作開發針對電子或半導體製造業的專屬解決方案，進而銷售到其他國家。
日前，曾任職於Google與百度的吳恩達（Andrew Ng）受邀來台演講中也指出，台灣應該善用自己在半導體與製造業的既有優勢，發展人工智慧，成為除了矽谷、北京之外的下一個AI Hub。 相較於其他像是零售或是消費性網路領域這些現在發展相對成熟的AI應用，台灣在製造產業中發展人工智慧，不但更具有了解應用案例、掌握數據等優勢，也有機會能夠藉由AI機器人等新技術，達到產業轉型的目的。
附圖：KIT工具包 — source: kitting-assembly.ca
深度學習物件辨識範例，由左至右分別為Mask-RCNN, Object Modeling, Grasp Point Prediction。OSARO
傳統及AI機器人創新策略比較 — source: Bastiane Huang
製造業自動化產業鏈- source: Bastiane Huang
資料來源：https://medium.com/marketingdatascience/ai%E6%A9%9F%E5%99%A8%E4%BA%BA%E5%B0%87%E5%A6%82%E4%BD%95%E9%A1%9B%E8%A6%86%E8%A3%BD%E9%80%A0%E6%A5%AD-ee2dbc3db7e4
Last week a Facebook AI Research team led by Kaiming He released the paper PointRend: Image Segmentation as Rendering, introducing a new ... ... <看更多>
Jun 12, 2019 - Semantic segmentation annotation services for deep learning and machine learning with accurate image segmentation for object recognition in ... ... <看更多>
semantic segmentation 在 Train a Semantic Segmentation Network Using Deep Learning. 的必吃
... <看更多>