關於AI面試的假神準
.
我們實驗室透過產學合作與鳯凰互動以及震旦雲合力開發的AI面試系統，最近在工商/經濟/數位時代/天下雜誌Cheers/經理人/能力雜誌等媒體陸續報導，當然就開始引起許多質疑的聲音，這幾乎是所有產品創新與實驗都會面臨的挑戰。其中有一點，就是我們的AI面試模型，是否有"過度擬合"的問題，而造成"假神準"。我的答案是，”不排除這個可能性”。
.
所謂過度擬合 (Overfitting)，簡單說就是在機器學習或統計相關的過程中，把原本不相關的兩件事在大量數據中，建立出假性相關的結果，當我們把這個訓練好的預測模型用到下一批不同數據中，就會失準。例如，我們想預測什麼樣的學生適合當HR，找了一批當HR的履歷來分析並訓練AI模型，結果這批HR大多都來自北部，就會得到住在北部的學生比較適合當HR的假相關。
.
要降低過度擬合的可能，在技術上有一些方式，例如進行更多不同樣本的交叉驗證、去掉不相關的特徵值(例如: 來自北中南東)、在模型訓練過程中進行批歸一化 (Batch Normalization)與正則化(Dropout)。但以上都是只是表面的技術層次，更重要的是模型背後有沒有理論基礎，也就是變項與變項之間的關係詮釋。
.
表情除了反應情緒，可否反應一個人在特定情境下的行為傾向或社交印象，背後有透鏡模型(Lens Model)、 信號理論(Signaling Theory)的支持，結合電腦視覺與深度學習，形成另一支性格運算(Personality Computing)的跨域理論。筆者之前也發文分享，現代社會心理學家，已發現表情其實不盡然反應情緒，而是行為傾向或社交技巧，這背後的理論叫行為生態論 (Behavioral ecology view of facial displays, BECV)。缺乏理論的數據分析或機器學習的結果，有可能會誤導真實性。但缺乏實證數據的理論，終究只是個假設。理論與實證數據缺一不可，我們才能有較高的信心來”參考”這些數據結果與理論。
.
過去研究人類表情的大宗師是心理學教授Paul Ekman，他結合電腦視覺技術，捕捉人類肉眼難以察覺的微表情 - 學術界定義是五分之一秒以下，突然呈現的面部肌肉變化。早期是用臉部68個移動點(不含額頭)，現在有些學者會抓到86點到120個點以上不定(含額頭)，而這些微表情大都是由人類下意識情緒所觸動，最常被用來測謊，因為微表情反應當事人”可能”在說謊的情緒，且不易被當事人控制或破解。但這終究是間接的關係，就跟心跳測謊儀一樣，它測出來的是緊張，而緊張不一定等於說謊。即便如此，運用電腦視覺的AI，推估一個人是否在說謊的正確”機率”，雖然不是絕對答案，但仍比人類肉眼判斷還高。這解釋縱然Paul Ekman的基本情緒論一直備受挑戰，在學界也仍無共識，但這類技術仍被廣泛應用的原因。
.
屆至今日，我們都相信眼見為憑，也相信面試除了透過結構式面談問出應徵者過去的行為外，也能在過程中，讓面試官根據回答之外的非口語信息”判斷”一個人的性格或溝通技巧，起碼可以篩選掉一些”看起來”或”感覺”怪怪的人。但你問面試官，他們也說不出個所以然。重點是，許多相關研究發現，這類面談答案以外的弦外之音，常常被人類面試官誤判。倘若有一個工具，它的性格/溝通技巧是經過當事人自己、主管、同事、下屬、甚至客戶，以科學檢驗過的量表或工具在適當的實驗環境下進行測評，運用AI發現與當事人在真實面試中的微表情出現某種相關性，且這個模型再去測試另一批不同的應徵者也能得到不錯的預測結果，或者同一個人經過一段時間再進行一次測試，也能得到相似的結果。我們也只能說，這只是一種一致性與且正確機率較高的測評參考工具，在深度學習黑盒子下，也沒有辦法解釋什麼樣的微表情會有什麼的性格或行為傾向，這個技術仍在發展中，不代表真實答案。
.
那什麼是真實答案? 或許連當事人自己都不一定知道。 但運用在人力甄選中，雇主可能更在意的是當事人在職場環境中展現出的行為以及利害關係人對當事人的評價，至於當事人內心世界在想什麼? 或真實的他/她是什麼樣的人？使用者大多不是太在意!
.
https://www.ithome.com.tw/news/143000
.
AI面試是一個仍在發展中的技術，除了微表情，接下來我們會結合聲律、音質、上半身肢體動作，研究與測試這個測評工具對於性格、印象管理(包括自我包裝/欺騙/隱瞞)的信效度，以及應徵者在不同AI面試介面下的不同行為反應。關於我們的相關研究，除了專利技術外，都公開發表在SCI的期刊中，歡迎大家指教，讓這個工具可以更客觀更準確地被大眾使用:
.
https://doi.org/10.1007/s11554-021-01071-5
https://doi.org/10.1186/s13673-020-0208-3
https://doi.org/10.1109/ACCESS.2019.2902863
震旦評價 在 Re: [心得] 震X行面試心得- 看板Salesperson - 批踢踢實業坊 的必吃
※ 引述《hilterp (人善變人妻 馬上被人騎)》之銘言：
: 經理就是老闆 不是領薪水的
: 很多業務單位 經理是拆帳的
: 如果分公司的營業點掛了 經理不是捲舖蓋就了事
看這段就知道你沒待過震旦
沒待過就不要亂回文好嗎?
震旦經理不是老闆 就是一個主管
是領薪水~責任中心制度~ 單位業績差 薪水也會少
分公司營業就算掛點~ 也還有服務
就算是負毛利 頂多被降下來當主任~
不太會捲舖蓋好嗎...
: ※ 引述《bbs3379 (雪芙加油)》之銘言：
: : 看了版上說可以學到東西 加上可以磨練自己的業務能力
: : 因為在104看到公司的邀請
: : 今天我就去面試了
: : 面試的是業務人員
: : 一到了這個地方
: : 第一個觀感是 天啊 這是公司嗎 好簡陋
: : 感覺就是一般老舊的住家
: : 一到現場先用電腦填寫基本資料 這些都有在104上阿
: : 雖然很多公司都會要求再寫一次
: : 在填寫資料的時候看到他們的作業程序感覺是真的很亂
: : 一下要去哪 一下又要修甚麼 感覺很多雜事
: : 填寫完資料後 經理就找我上去面試
: : 恩... 辦公室只有一個人 其他都是空的
: 那我就大膽猜測他是外勤單位 外勤單位業務開完早會就出去了
: 只會有主管在留守 這很正常
震旦行是賣影印機
業務出門陌生推銷
服務出門修理機台
所以才會只剩下主管 跟幕僚小姐
不是只有妳去面是那間這樣
全台灣震旦行都是這樣
: : 看了我的資料後
: : 問了我一些問題
: : 覺得合理的待遇是多少
: : 從頭介紹你自己 為什麼離職
: : 人生中覺得有成就感的是甚麼事
: : 對於陌生開發有甚麼想法
: : 大概就是這樣 我回答得很爛
: : 經理覺得我想法很負面 而且講話很頓
: : 而且還加上了一句 我只比你大幾歲 現在已經是管理職了
: : 是怎樣? 其實很討厭這種講話方式 還不也只是個領薪水的
: : 他覺得我並不適合這裡 而且也絕對待不久 因為很操
: : 我內心想 有你這樣的主管下面的人才會不想待在這吧...
: : 面談大概就到這裡
: : 面談中問我覺得的合理待遇 其實我不知道要怎麼寫
: : 所以我並沒有填寫
: : 當他問我的時候 我勉強說出3萬 而且一定要我說出一個數字
: : 但是加上我前面說出想要爭取高薪 並且因為不滿意之前的薪水
: : 結果馬上被說才比之前的工作多4千? 你想要的只有這樣?
: : 挖哩 這算是挖洞給我跳嗎?
: 業務要有企圖心的 他可能覺得你要這樣你去隨便找個行政職做就好了
: 因為業務真的很操 每天搞到9-10叫做"早"下班
: : 我先前說當然是要靠努力來爭取自己應得的薪水 當然是越高越好
: 我猜他一直這樣問你 應該是無底的業務
: 如果只想輕鬆做 一個月3萬上下就滿足 無底業務不適合你
: 因為無底業務要嗎就6萬以上 要嘛就1萬以內 中間的人很少
: 如果你只想朝9晚5 這個環境你會賺不到錢
震旦行業務很操是沒錯~
但底薪目前新人前三月保障三萬也不會是無底
會這樣問應該是只想了解面試者的企圖心
當業務 沒有熱忱 沒有企圖心
那你去震旦行就是一個負責陌生發傳單 發名片的咖
每月領三萬多這樣
: : 他說我只是問你想要公司開多少薪水給你 結果你跟我繞一大圈?
: : 唉 真的不知道是要怎麼回 總之當下直覺就是覺得我待在這也會很不快樂
: : 可能是他想要測試我吧?
: : 最後他有說出其實他現在急徵人 他在找尋我可以被他採用的點
: : 但是他並沒有發現任何可以採用我的點
: 因為業務陣亡率很大 來二天人就不見很正常
: 所以業務單位都是大量徵人
震旦行經理 每年的考績 缺人會扣分
所以經理有缺人都會很想快點補滿
但又不想補到爛咖 所以兩難
至於某人優質要說業務單位都大量徵人
大概也沒錯啦~ 能待得住的業務 也沒幾個
很多人都想從業務出發 訓練膽是 技巧 人脈
能撐下去又有幾人? 不是業務單位大量徵人~ 是人才難找...
: : 還請版友給點建議吧 如果覺得我自己的問題很大的話
: : 也請各位幫忙指出那些點要改進 謝謝
其實沒有啥問題 ~面試就是妳面試我 我面試妳
跟主管 同事合不合的來 也很重要
如果對主管的態度已經感受到不好
妳進去也只是自討苦吃~
以上分享,我二月剛從震旦行離開到日商業務!
我不敢說震旦行是多好的公司~
至少在這版上 跟 業務版上 是出名的血汗責任制
但起碼...人家肯用新鮮人 肯給你機會做練習
教育訓練也還算完整~ 剩下來就是制度與人的問題
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 59.125.131.181
※ 文章網址: https://www.ptt.cc/bbs/Salesperson/M.1425975958.A.99B.html
... <看更多>
相關內容