Introducing Amazon Go and the world’s most advanced shopping technology

深度丨详解 Amazon Go 三大核心技术

12 月 5 日,亞馬遜發佈 Amazon Go 震驚業界。小編第一時間研究了專利文件,並採訪資深電腦視覺算法工程師,最終出文從2份專利文件,一窺Amazon Go到底藏了什麼高科技? 
 
 
今天小編特地採訪了無人零售商店創業者陳維龍(微信:daoyuan3),為大家更加詳細地解讀 Amazon Go ,以及無人零售商店項目。陳維龍畢業於中國中山大學,曾親自參與並實施過多套類似的無人零售解決方案系統,對整個項目的流程化體系,有著較深的認知和實踐經驗。

 

 

Amazon Go 系統構成
陳維龍把 Amazon Go 系統「拆分」為三部分:人/貨架/進出口。其中軟硬體構成如下表:
 
  货架 进出口
硬件 手机 摄像头/压力/红外/体积位传感器/光幕 二维码识别器/自动门
软件 专门应用 库存管理系统 定制系统
 
佈局如下圖所示
深度丨详解 Amazon Go 三大核心技术
 
貨架牆壁上安裝多個攝影機,多種傳感器埋在每層貨架的底部或頂部。
 
攝影機負責拍照,光幕/紅外線感測器負責製造一個水平面,如果用戶的手穿過此面,表示用戶開始實施某種動作,提高圖像分析效率。壓力/紅外線感測器用來表示商品的位置和狀態,為用戶的行為提供數據。
 
利用這些數據進行深度學習,建立商品—動作—人的判別模型,提高系統反作弊/辨識能力。
 
Amazon Go 的核心技術是什麼?
陳維龍向小編透露,其實 Amazon Go 的核心技術是反作弊/辨識系統,不管它能提供多強大的商業功能,作為無人超市系統,反作弊/辨識是它存在的第一要素。
 
在現有超市,通過便衣巡邏保全人員,和監控攝影幾辨識顧客行為是否合法,例如是放在購物袋/車,還是放在衣服裡,將用戶的行為規範到指定的範圍,最後通過收銀員辨識商品和顧客的對應關係,成功解決了誰對什麼商品做了什麼,從而達成交易。
 
其中人防和機防是反作弊系統,負責解釋顧客行為,從而保證商品與顧客的關係,而收銀員負責確認商品和顧客關係。在 Amazon Go 中,系統也要解決誰對什麼商品做了什麼的問題。
 
 
接下來的內容分為大三塊,詳解 Amazon Go 是如何做的。

 

 

一、如何檢測和辨識顧客的行為:拿走或放回?
陳維龍指出,顧客購物行為非常豐富,從貨架的角度來看,核心動作只有拿走或放回兩種。
 
深度丨详解 Amazon Go 三大核心技术
 
不論如何,商品被從貨架拿走了,最大的可能就是被買走了,而被放回來就是你不需要了。如果能辨識拿走或放回,那麼就解決了核心問題。根據 Amazon Go 專利顯示,它是這樣做的:
  • 採集用戶的手進入貨架平面前的圖像
  • 採集用户的手離開貨架平面後的圖像
  • 兩者對比,可以知道是拿出貨物還是放入貨物
 
如果是拿起,進入前的手和進入後的手,及手中的物品等特徵是可區分的,這個特徵與放入是相反的。簡單說,如果是拿起,進入之前手是空的,沒有商品的,離開後是手裡有物品的。放入則相反。
 
那麼如何辨識手呢?從形狀和圖片顏色(膚色)可以辨識。在貨架前利用光幕或者紅外形成一個平面,就可以知道用戶的手到了那裡。
 
 
除了圖片分析,傳感器也可以提供這樣的數據。多種數據結合,可判斷用戶行為是拿走還是放回。

 

 

二、如何準確辨識出被拿走的物品和被放回的物品?
我們知道,有了顧客動作,還要辨識動作承受的商品,不然會出現張冠李戴的現象。陳維龍繼續解釋到,這部分分成兩個步驟來處理:辨識被拿走的物品和辨識放回的物品。

 

 

辨識被拿走的物品
  • 因為物品是被僱員人工放置的,所以該物品可以直接標記到系統中,因此不用圖像辨識是何種物品(它已經被人工辨識了)。用傳感器表示它被拿走即可
  • 在某些情況下,商品可能沒有被提起設置,或者設置後被混亂了,那麼此時需要圖像辨識該位置現有的商品,與應該有的商品是否一致。例如,物品 A 被放在 B 物品處,如果只有上面提到的那種方式處理,就會被當成物品 B,不過這種情況較少
  • 如果是高置信度事件,可直接確認,更新(增加)物品清單,否則還有顧客協作確認的環節

 

 

辨識被放回的物品
  • 在放回物品前,可以通過物品清單確定用戶與物品的關係,這些物品的圖片被儲存在系統內
  • 檢索圖片,與被放回物品進行比較,辨識物品
  • 高置信度即可判斷物品正確,更新(刪除)物品清單,否則還有顧客協作確認的環節
  • 被放回的物品會存在錯放位置的情況,辨識後通知僱員整理
  • 不管是拿走還是放回,如果是低置信度事件,會被系統記錄分析
 
對於正常的購物,在固定區域的商品種類單一,容易辨識。對於被錯放的物品,因為概率較少,辨識難度和計算量不會顯著增加。但是對於故意作弊的行為,需要極大的計算資源辨識。這個問題後面討論

 

 

三、對某商品進行了某動作的人是誰?
根據資料顯示,Amazon Go 在進出口設置了「轉移區」,類似現有超市的防盜門,此門可掃描用戶二維碼辨識進出口的顧客。陳維龍解釋到,這裡問題的關鍵是 Amazon Go 需要實時辨識「對某商品進行了某動作的人是誰」。
 
從問題可以發現,解決這個問題的關鍵,還是要在貨架上入手,因為任何人對商品實施動作的時候,必須在貨架前。關於這部分細節,Amazon Go 專利給出的解釋是,利用用戶位置資訊定位進行辨識。
 
例如,張三站在貨架 A 前,此時 A 貨架商品被取走,那麼就認定張三購買了商品。這裡存在很大的隱憂是張冠李戴問題,因為僅通過位置定位顧客,只要在此區域的用戶,都可能被當成購買者,從而形成商品和顧客一對多的關係。如果這個位置定位區域限制在足夠小的區域,就能實現一一對應關係。
 
Amazon Go 使用的圖像分析和音頻分析。通過攝影機可檢測用戶及其方位,天花板或貨架裡的多個音頻,可根據時差分析用戶位置。此外,天花板上的天線可用三角測量確定位置,用戶手機 GPS 也能提供定位。
 
關於室內定位或擁擠區域定位問題,一般的定位技術是無法解決的。目前國外有 GPS 定位到毫米等級,但是費用極高,應用很少。iBeacon 技術也可以用於室內定位,可達到釐米等級,但是僅限於 IOS 設備。
 
總的來說,Amazon Go 反作弊/辨識系統是通過「商品—辨識動作—辨識承受動作的商品—商品與用戶清單/用戶關聯」進行運作的。
 
對 Amazon Go 反作弊/辨識系統而言,它只需要知道哪些商品被拿走或放回了,並且知道是誰實施的,那麼就知道是誰購買/放回了什麼商品。最後在出口(轉移區),顧客刷卡確認顧客與商品的關係即可。
 
商品辨識問題討論
此時有個疑問:故意作弊的行為,能辨識動作,但是辨識商品難度較大,因為大型超市商品種類有 10 萬種,依據現有的水平是無法解決的。
 
陳維龍就這一問題給出以下解決方案:
 
  • 限制特定種類商品。從亞馬遜官方影片中,看到超市商品種類,與日常生活超市相比要少很多,而且形狀規格等都比較統一
  • 限制開店區域和人群。在中高端市場,用戶的可信度較高,超市防盜壓力減少。影片中顯示的商品也趨向中高端市場
  • 特殊人群跟踪。上面提高用戶行為被系統判定為低置信度事件會被記錄跟蹤分析,這部分人群需要單獨的技術限制和人工干預
  • 容忍作弊行為,加強非技術反作弊手段。雖然討論的是高科技含量的東西,但是就目前階段結合必要的人工手段能提到較好作用

 

Reference: http://3smarket-info.blogspot.tw/2016/12/amazon-go.html

, , , , ,
創作者介紹

BENEVO台灣部落格 之 科技應用。創新與分享

BENEVO 發表在 痞客邦 PIXNET 留言(0) 人氣()