Introducing Amazon Go and the world’s most advanced shopping technology

深度丨详解 Amazon Go 三大核心技术

12 月 5 日,亞馬遜發佈 Amazon Go 震驚業界。小編第一時間研究了專利文件,並採訪資深電腦視覺算法工程師,最終出文從2份專利文件,一窺Amazon Go到底藏了什麼高科技? 
 
 
今天小編特地採訪了無人零售商店創業者陳維龍(微信:daoyuan3),為大家更加詳細地解讀 Amazon Go ,以及無人零售商店項目。陳維龍畢業於中國中山大學,曾親自參與並實施過多套類似的無人零售解決方案系統,對整個項目的流程化體系,有著較深的認知和實踐經驗。

 

 

Amazon Go 系統構成
陳維龍把 Amazon Go 系統「拆分」為三部分:人/貨架/進出口。其中軟硬體構成如下表:
 
  货架 进出口
硬件 手机 摄像头/压力/红外/体积位传感器/光幕 二维码识别器/自动门
软件 专门应用 库存管理系统 定制系统
 
貨架牆壁上安裝多個攝影機,多種傳感器埋在每層貨架的底部或頂部。
 
攝影機負責拍照,光幕/紅外線感測器負責製造一個水平面,如果用戶的手穿過此面,表示用戶開始實施某種動作,提高圖像分析效率。壓力/紅外線感測器用來表示商品的位置和狀態,為用戶的行為提供數據。
 
利用這些數據進行深度學習,建立商品—動作—人的判別模型,提高系統反作弊/辨識能力。
 
Amazon Go 的核心技術是什麼?
陳維龍向小編透露,其實 Amazon Go 的核心技術是反作弊/辨識系統,不管它能提供多強大的商業功能,作為無人超市系統,反作弊/辨識是它存在的第一要素。
 
在現有超市,通過便衣巡邏保全人員,和監控攝影幾辨識顧客行為是否合法,例如是放在購物袋/車,還是放在衣服裡,將用戶的行為規範到指定的範圍,最後通過收銀員辨識商品和顧客的對應關係,成功解決了誰對什麼商品做了什麼,從而達成交易。
 
其中人防和機防是反作弊系統,負責解釋顧客行為,從而保證商品與顧客的關係,而收銀員負責確認商品和顧客關係。在 Amazon Go 中,系統也要解決誰對什麼商品做了什麼的問題。
 
 
接下來的內容分為大三塊,詳解 Amazon Go 是如何做的。
一、如何檢測和辨識顧客的行為:拿走或放回?
陳維龍指出,顧客購物行為非常豐富,從貨架的角度來看,核心動作只有拿走或放回兩種。
不論如何,商品被從貨架拿走了,最大的可能就是被買走了,而被放回來就是你不需要了。如果能辨識拿走或放回,那麼就解決了核心問題。根據 Amazon Go 專利顯示,它是這樣做的:
  • 採集用戶的手進入貨架平面前的圖像
  • 採集用户的手離開貨架平面後的圖像
  • 兩者對比,可以知道是拿出貨物還是放入貨物
如果是拿起,進入前的手和進入後的手,及手中的物品等特徵是可區分的,這個特徵與放入是相反的。簡單說,如果是拿起,進入之前手是空的,沒有商品的,離開後是手裡有物品的。放入則相反。
 
那麼如何辨識手呢?從形狀和圖片顏色(膚色)可以辨識。在貨架前利用光幕或者紅外形成一個平面,就可以知道用戶的手到了那裡。
 
 
除了圖片分析,傳感器也可以提供這樣的數據。多種數據結合,可判斷用戶行為是拿走還是放回。

 

二、如何準確辨識出被拿走的物品和被放回的物品?
我們知道,有了顧客動作,還要辨識動作承受的商品,不然會出現張冠李戴的現象。陳維龍繼續解釋到,這部分分成兩個步驟來處理:辨識被拿走的物品和辨識放回的物品。

 

辨識被拿走的物品
  • 因為物品是被僱員人工放置的,所以該物品可以直接標記到系統中,因此不用圖像辨識是何種物品(它已經被人工辨識了)。用傳感器表示它被拿走即可
  • 在某些情況下,商品可能沒有被提起設置,或者設置後被混亂了,那麼此時需要圖像辨識該位置現有的商品,與應該有的商品是否一致。例如,物品 A 被放在 B 物品處,如果只有上面提到的那種方式處理,就會被當成物品 B,不過這種情況較少
  • 如果是高置信度事件,可直接確認,更新(增加)物品清單,否則還有顧客協作確認的環節

 

 

辨識被放回的物品
  • 在放回物品前,可以通過物品清單確定用戶與物品的關係,這些物品的圖片被儲存在系統內
  • 檢索圖片,與被放回物品進行比較,辨識物品
  • 高置信度即可判斷物品正確,更新(刪除)物品清單,否則還有顧客協作確認的環節
  • 被放回的物品會存在錯放位置的情況,辨識後通知僱員整理
  • 不管是拿走還是放回,如果是低置信度事件,會被系統記錄分析
 
對於正常的購物,在固定區域的商品種類單一,容易辨識。對於被錯放的物品,因為概率較少,辨識難度和計算量不會顯著增加。但是對於故意作弊的行為,需要極大的計算資源辨識。這個問題後面討論

 

三、對某商品進行了某動作的人是誰?
根據資料顯示,Amazon Go 在進出口設置了「轉移區」,類似現有超市的防盜門,此門可掃描用戶二維碼辨識進出口的顧客。陳維龍解釋到,這裡問題的關鍵是 Amazon Go 需要實時辨識「對某商品進行了某動作的人是誰」。
 
從問題可以發現,解決這個問題的關鍵,還是要在貨架上入手,因為任何人對商品實施動作的時候,必須在貨架前。關於這部分細節,Amazon Go 專利給出的解釋是,利用用戶位置資訊定位進行辨識。
 
例如,張三站在貨架 A 前,此時 A 貨架商品被取走,那麼就認定張三購買了商品。這裡存在很大的隱憂是張冠李戴問題,因為僅通過位置定位顧客,只要在此區域的用戶,都可能被當成購買者,從而形成商品和顧客一對多的關係。如果這個位置定位區域限制在足夠小的區域,就能實現一一對應關係。
 
Amazon Go 使用的圖像分析和音頻分析。通過攝影機可檢測用戶及其方位,天花板或貨架裡的多個音頻,可根據時差分析用戶位置。此外,天花板上的天線可用三角測量確定位置,用戶手機 GPS 也能提供定位。
 
關於室內定位或擁擠區域定位問題,一般的定位技術是無法解決的。目前國外有 GPS 定位到毫米等級,但是費用極高,應用很少。iBeacon 技術也可以用於室內定位,可達到釐米等級,但是僅限於 IOS 設備。
 
總的來說,Amazon Go 反作弊/辨識系統是通過「商品—辨識動作—辨識承受動作的商品—商品與用戶清單/用戶關聯」進行運作的。
 
對 Amazon Go 反作弊/辨識系統而言,它只需要知道哪些商品被拿走或放回了,並且知道是誰實施的,那麼就知道是誰購買/放回了什麼商品。最後在出口(轉移區),顧客刷卡確認顧客與商品的關係即可。
 
商品辨識問題討論
此時有個疑問:故意作弊的行為,能辨識動作,但是辨識商品難度較大,因為大型超市商品種類有 10 萬種,依據現有的水平是無法解決的。
 
陳維龍就這一問題給出以下解決方案:
 
  • 限制特定種類商品。從亞馬遜官方影片中,看到超市商品種類,與日常生活超市相比要少很多,而且形狀規格等都比較統一
  • 限制開店區域和人群。在中高端市場,用戶的可信度較高,超市防盜壓力減少。影片中顯示的商品也趨向中高端市場
  • 特殊人群跟踪。上面提高用戶行為被系統判定為低置信度事件會被記錄跟蹤分析,這部分人群需要單獨的技術限制和人工干預
  • 容忍作弊行為,加強非技術反作弊手段。雖然討論的是高科技含量的東西,但是就目前階段結合必要的人工手段能提到較好作用

 

Reference: http://3smarket-info.blogspot.tw/2016/12/amazon-go.html

 

深度直擊全球Amazon首家無人商店,Amazon Go維運關鍵大公開

今年1月才正式開幕的亞馬遜無人超市Amazon Go,標榜「商品拿了就走」的快速消費體驗,一開張就在全球引起轟動,不僅吸引大批來自世界各地的滿滿人潮,帶著好奇心,等著進店消費,它所掀起的無人零售的新型態,更成為科技圈最火紅的話題,甚至在全球掀起一股無人商店的風潮,包括中國、日本、韓國與臺灣等連鎖業者皆相繼投入,不過,Amazon Go到底厲害在哪裡?採用哪些新技術?iThome記者近日親自赴美,深入直擊Amazon Go無人商店揭開維運關鍵。

亞馬遜目前在全美有超過460家超市(它去年6月買下美國最大有機超市Whole Foods,一舉躍升全美前5大零售商),不過,Amazon Go卻是僅此一家,由亞馬遜自行建置打造的首間無人零售商店,也是全球第一家。

特色1 手機成為進店消費的唯一憑證

Amazon Go強調沒有排隊人潮,也不用結帳櫃臺,消費者只要具備Amazon帳號、下載Amazon Go App,以手機QR條碼刷進閘門即可開始消費。整間店僅在入口處設置6個自動閘門管控人員進出,其中4道門只進不出,另外2處則當作出口通道,離開時皆從此通過。(攝影/余至浩)

主打商品拿了就走,徹底落實免排隊結帳!

這間無人商店就設在西雅圖市中心,距離亞馬遜總部辦公室僅僅幾步之遙,員工從樓上辦公室走到1樓就看得到。店內約50坪大,室內空間和臺灣的便利超商差不多。亞馬遜一共耗時4年多,才完成建置了這間無人超市,並在2016年底首度對外亮相。不過,一開始僅對內部員工開放,並沒有對外營運,在歷經長達1年內部測試,Amazon Go才於今年1月22日正式啟用營運。現在即使是一般消費民眾,也能進到店內親自體驗。該店目前開放時間為早上7點到晚上9點,且僅平日營業,假日休息不營業。

走進這家無人商店,室內不僅空間明亮,還有寬敞的走道與挑高設計,Amazon Go強調沒有排隊人潮,也不用設立結帳櫃臺,僅在入口處設置6個自動閘門管控人員出入,其中4道門只進不出,另外2處則當作出口通道,離開時皆從此通過。在閘機上面還嵌入一個條碼掃描機,民眾以手機打開Amazon Go App對著閘門輕掃QR條碼就可進入,離開時站在出口閘門前,門就會自動開啟,不需要刷門就可拿著商品自動離去。Amazon Go為了強調「拿了就走」的全新零售體驗,甚至在出口處上方寫下:“ 感謝購物。你可以離開了(真的!)”一行大字,要顧客可以安心離去,不用擔心自己被當成小偷被抓。

通過閘門走進店裡面,首先,在正前方最先看到的是鮮食區及冷飲區,貨架上擺放著沙拉、三明治等食品,讓一早趕著上班的顧客,可以拿了就走。從閘機右側再往裡面走去,貨架上的商品分成三區排列,由左至右依序是冷藏食品區、雜貨及紀念品區,以及調理餐包、冰淇淋及冷凍食品區;另外,走到底還有一區是專門販售酒類商品,平時會有店員在此查驗身分,消費者購買前必須先出示證件,經過店員核對身分才能拿取。

Amazon Go的入口處右側還提供座位區,讓買完商品的客人可以在這用餐或休憩,就像超商那樣。就連店內供應的商品也與一般超市無異,從零食、飲料、冷藏食品、生鮮、酒類商品到熟食通通都有,還有販售自家的紀念品,包括巧克力、馬克杯等。

特色2 商品拿了就走,創新的免排隊結帳模式

顧客離店時只須將商品拿在手上,或是放進店家免費提供的橙色購物袋,或牛皮紙袋,就能從容離去,不需要排隊結帳。該商店會根據顧客離店時所攜帶的物品品項和數量自動計費,再從該帳戶事先綁定的信用卡扣款。(攝影/余至浩)

結合電腦視覺辨識技術,自動追蹤顧客取貨消費行為

不過,它與一般超商有著很大不同,Amazon Go在店內結合了電腦視覺辨識技術,並搭配多種環境感測器(Sensor Fusion)等運用於自動駕駛的技術,打造出該公司稱為Just Walk Out (拿了就走)的無人零售新模式,它運用店內的相機、感測器,來追蹤消費者拿了或放回哪些商品,並根據拿走的商品自動結帳,徹底實現全自動化的無人自助結帳。

消費者只須將商品拿在手上,或是放進店家免費提供的橙色購物袋或牛皮紙袋,就能從容的從店內離開,不需要排隊等待結帳。該商店會依據顧客離開店時所攜帶的物品自動結算,再從該手機帳戶事先綁定的信用卡扣款。

就算消費者拿完商品要放回時不小心擺錯了位置,並不是原先商品放置的位置,或是放到其他不同區的貨架上,該商品也不會被列入計費。

亞馬遜形容,這就像是把線上購物模式整套搬到了實體商店,顧客邊走邊選購商品時,身旁會有個看不見的虛擬購物車,自動跟著一起移動,顧客每從貨架上拿取一件商品,等同於線上將該商品計入該用戶帳戶的虛擬購物車裡,而將看完商品放回架上的動作,也等於是直接取消訂購,這時,商品就會從購物車裡被移除。

一整個取貨購買的過程,看起來就像在線上購物,就連後續收到帳單的方式,也都頗為類似,例如都會收到電子帳目明細,只是這裡是以手機做為媒介,顧客拿著商品離開後,手機上就會收到帳單通知,從手機即可查閱購物明細,甚至還可查看造訪停留時間。

兩者最大不同在於,顧客在這裡發生的所有購買行為都是線下進行,可以摸得到實體商品,而且拿了就能走,店家會自動完成結帳,寄發帳單。

另一個不同之處,這裡不只消費者自己一人能夠進店購物,甚至也能允許帶自己的家人、朋友進店消費。只須以手機刷門先讓朋友或家人依序進入後,最後用戶自己再刷門進入就行,如此一來,這些家庭成員或友人在店內的一舉一動,也都會被自動追蹤記錄,而這些人拿走的商品,最後會記在該用戶的帳單上,而不會與其他人搞混。

特色3 超過50臺深度相機陣列是偵測追蹤的關鍵

Amazon Go能完成無人自助結帳服務的關鍵,主要是它利用超過50個以上的深度感測相機組成的相機陣列,打造出一套結合電腦視覺的影像辨識系統,能自動偵測商品、分析消費者動作,以及追蹤在店內移動的路徑,以判斷顧客拿取了何種商品。這些相機被懸掛在天花板下方,並以各種不同角度,對準下方的走道或是貨架上的商品,以偵測追蹤消費者的一舉一動。(攝影/余至浩)

靠影像辨識偵測商品、顧客舉止動作,自動判斷拿了何種商品

雖然Amazon Go迄今並未提供任何具體維運技術細節,但從它早期曝光的專利文件、少數官方揭露訊息,以及綜合各方資訊來看,Amazon Go之所以能夠完成無人自助結帳服務的關鍵,靠的是它結合電腦視覺打造一套影像辨識系統,靠影像辨識就能自動辨別商品、分析消費者動作,以及在店內移動的路徑,以判斷顧客拿取了何種商品。

根據記者現場的觀察,推估Amazon Go至少以超過50臺相機組成的相機陣列,打造出這套影像辨識系統,這些相機被裝在一個個黑盒子內,懸掛在有著裸露鋼架和管線的天花板正下方,只要一抬頭就能看到。天花板上的相機形狀也有所不同,有的造型是正方形,也有長方形的造型,如果仔細近看,可以發現其中長柱體的相機配有上下兩顆鏡頭,推測應具備3D深度感測的能力,天花板上不少都是屬於這類的相機。另外,相機放置的角度也有些許不同,但共同之處,就是都將鏡頭對準下方的走道或是貨架上的商品,以偵測追蹤消費者的一舉一動。

此前,根據亞馬遜揭露的訊息顯示,這套影像辨識系統還結合深度學習技術,不僅可以正確的辨識現在站在貨架前的這個人是誰,拿了什麼商品,就算同時有數個人並排也都能夠辨別,例如,可以知道誰剛剛拿走了優格或蛋糕,或是誰在查看商品,甚至還可進一步依據顧客的動作變化,來預測對方接下來的購物行為,比如,準備拿起商品,還是正要將其放回原處,藉此來加快系統處理的反應時間。

這套影像辨識系統也可識別不同商品,迄今店內可供辨別的販售商品超過1,600項,包括零食、冷飲、熟食、酒類飲品,以及雜貨等都有,甚至為了能夠提高商品的辨識率,就連擺放商品也都十分講究。這正是Amazon Go之所以能這麼厲害的一大原因。

有別於一般超商,店內所有商品皆整齊擺放在貨架上,每個商品皆以透明隔板分開,或裝在黑色的小籃子裏,能夠清楚分辨每一樣商品,就連小包裝零食或瓶裝飲品都是如此。

甚至於每樣商品皆以正面排放,不論是瓶裝飲料或零食包裝都被轉到正面,整齊的放置在貨架上。不僅如此,針對採用相同外盒包裝容易辨識不易的鮮食商品,在它的包裝上還會加上專用的識別設計,讓天花板上的相機更容易辨識顧客拿了哪種食品。

店內的貨架上也都整合多功能感測器作為輔助。據了解,Amazon Go在每個貨架上,皆設有重量感測器,能偵測架上商品的重量,並比對影像辨識的結果,以提高辨識準確度。

另外,透過分析這些感測器所蒐集的數據,也能用來提高人員作業效率,像是當商品即將銷售一空時,就會自動發送訊息通知店員補貨,亦或是商品放錯位置或被擺在不對的貨架上時,也會發出警示,店員從手持裝置上就能查看,將商品重新放到正確的貨架上。不過商品貨架並未導入RFID電子標籤,仍需要人工更換標籤。

Amazon Go在辨別商品、分析顧客行為動作的出色能力,甚至還能夠用來預防它免於遭竊,即使是消費者想要試圖欺騙,也很難躲過它的法眼,甚至比店員都還聰明,而且無死角,就算沒有店員在旁隨時緊迫盯人,憑著店內大量攝影機和感測器,就能追蹤顧客從貨架上拿下或放回哪些商品,例如,曾有3名亞馬遜員工以卡通人物「皮卡丘」的裝扮進到店裡面購物,試圖蒙騙過關,最後還是被識破,乖乖付錢,或是有國外媒體刻意以購物袋遮掩貨架上的商品,不過最終仍然能識別成功,核對消費明細,商品一樣也沒少。記者現場也親自測試將巧克力盒以購物袋蓋住並放進袋裡,直接走出店外,結果也大致相同,還是能夠收到正確的帳單。

不過,它也不是每次都能夠正確辨識,還是會有漏算商品的時候,只是這種情況極少發生,相較之下,偶有發生誤算商品的情形,例如,拿完物品未歸位,而是擺在非貨架的區域,如地上等,即使最後沒有帶出店外,還是會向消費者收費,亦或是代別人從貨架上拿取商品,也可能導致自己成了冤大頭,幫別人付款。

對此,Amazon Go也提供一套線上退款機制,若是帳單上記載品項與實際購買的商品不符,直接從手機App的帳目明細上,就能移除未拿取的商品完成退款,整個退款過程相當快速又簡便。

Amazon Go雖然號稱是無人自助商店,但店內倒也不是一個人都沒有,每時段皆會配置3名人員輪班服務,負責門口接待、補貨與查驗身分等。

特色4 靠電腦視覺追蹤消費者取貨購買行為

Amazon Go利用結合電腦視覺的相機,搭配貨架上的多種環境感測器,來偵測與追蹤消費者拿了或放回哪些商品。顧客每從貨架上拿取一件商品,就會將該件商品計入該用戶帳戶的虛擬購物車裡,若是將商品放回架上,則會自動將它自購物車裡移除。就算拿完商品要放回時不小心擺錯了位置,並不是原先商品放置的位置,也一樣能夠正確辨別,不會將該商品列入計費。(攝影/余至浩)

為避免結帳出錯,對於進店人數也採流量管制

再者,Amazon Go針對進店人流也有進行管制,據悉,整家店同時能接待的顧客上限是97人,一旦超過這個數量限制,就會採取限流措施,以避免天花板上的相機,因為人數太多,難以一次同時辨識,導致無法正確辨別每位顧客取貨購物行為,或是容易發生結帳出錯等問題。

除了在總部的這間無人商店外,Amazon Go今年還計畫擴大設點,即將前往芝加哥與舊金山等城市設店,但並未透漏相關時程。

特色5 顧客離店後自動收到帳目明細

顧客拿著商品離開後,經過5到10分鐘,手機上就會收到帳單通知,消費者從手機上可查看商品購物明細以及到店停留時間,若是帳單上記載品項與實際購買的商品不符,直接從手機上的帳目明細,就可將商品移除,即時完成退款。(攝影/余至浩)

特色6 靠深度學習預測店內人潮動向

在影像辨識上還結合深度學習,不僅可以分辨貨架前的人群,現在拿貨或是移動的路徑,甚至還可進一步依據顧客的動作變化,來預測對方接下來的動作,會是拿商品還是將其放回原處。(攝影/余至浩)

特色7 超過1千6百項商品皆能正確識別

靠著這套影像辨識系統也能識別不同商品,迄今在Amazon Go店內可供辨識的販售商品超過1,600項,包括零食、冷飲、熟食、酒類飲品,以及雜貨等都能正確辨別。(攝影/余至浩)

特色8 鮮食品附特殊標記能提高辨識率

為提高商品的辨識率,店內對於採用相同外盒包裝容易辨識不易的鮮食產品,還會加上專用識別設計,讓天花板上的相機更容易辨識顧客拿了哪種食品。(攝影/余至浩)

Reference: https://www.ithome.com.tw/news/124133

 

美媒記者破解 Amazon 無人超市的辨識系統,成功「偷」走商品

2018 年,亞馬遜推出了無人便利店 Amazon Go,打著「無需排隊、拿完就走」的理念,在當時掀起了一番熱潮。兩年後,亞馬遜「無人購物」升級,又在西雅圖開設了「Plus 版無人超市」Amazon Go Grocery(以下簡稱 AGG)。

 

新的超大無人超市占地面積達到了 966 平方公尺,供貨數量與之前的無人便利商店相比也高了一個等級,無人銷售的識別也因此更加困難了。

新開業的無人超市再次吸引了一批想要吃「霸王餐」的挑戰者,一位記者就在這家超市營業的第一天,找到了 bug,透過變裝的方式成功騙過了鏡頭。

Amazon 開設無人超市,天花板上的「天眼」系統升級

與 Amazon Go 相同,AGG 依然採用了 Just Walk Out 技術,融合了電腦視覺,感測器和深度學習。當地的消息人士稱,感測系統被放置在商店的天花板上,彷彿「天眼」一般,而不是當你拿起某樣東西時,會檢測到重量或庫存變化的壓力感應墊。

Amazon Go Grocery 感測器陣列

現在看來,這項技術變得更加成熟了,天花板上的感測器盒中有兩個可見的感測器,而 Amazon Go 的感測器盒中只有一個。

購物時只需在門口掃瞄 Amazon Go App 的 QR code 就可以進入商店,如果帶了朋友或小孩,只要多刷一次,讓同行者先進去就可以了。Just Walk Out 技術可以自動檢測何時從貨架上取走產品或將產品退回貨架,並在虛擬購物車中對其進行追蹤。購物完畢後,可以直接離開商店。隨後會收到收據並向你的亞馬遜帳戶收費。

 

雖然是無人超市,但並不意味著沒有員工,亞馬遜在官網表示,「員工團隊是 Amazon Go Grocery 體驗中重要的一部分。可以看到我們的員工在門口向購物者打招呼,在貨架區域補貨等。我們只是改變了員工的工作方式,以便他們可以為購物者提供更出色的體驗。」

AGG 占地約 966 平方公尺,提供小型購物車,免費的環保購物袋,還設有一個充滿家居用品的通道,包括洗衣粉和洗髮水,以及一個酒水專區,要求購物者在進入之前向員工出示身份證。

23 歲的 Maddison Nicholas 在無人超市購物時表示,價格似乎比 Whole Foods(也歸亞馬遜所有)或 QFC(優質食品中心)便宜。但是,當購買的商品裝滿購物袋時,她表示,相較於傳統的超市,自動結算系統會讓她在無形中多拿很多商品。

 

離開商店而無需掃瞄商品結帳總令人有些不安,也許這就是在入口處貼著一個巨大的標語「Just Walk Out Groceries」的原因。

關於亞馬遜全球首家無人超市,《衛報》記者也採訪了周圍的居民。

73 歲的 Stephen Sheldon 家離無人超市 9 個街區,他認為這套自動系統很有趣,但並不是很令人信任。他說:「除非我想好了要買這個商品,否則恐怕我什麼都不會碰。」他家附近有三家普通的雜貨店,所以無人超市不會是他的首選,而且他也更喜歡傳統的雜貨店。

現年 36 歲的 Rex Farrand 則很喜歡這家無人超市,並談到了自動化系統的便捷,「如果我抽空來到這裡,我知道我可以自己決定在超市停留的時間,不會因為排隊結帳而耽誤時間。」

創新總是需要面對考驗的,從技術角度來說,肯定會有很多人好奇這個技術能否準確識別每一個商品,比如在識別橘子和柳橙這種形狀與顏色相似的水果時會不會出現錯誤,甚至有人會去親自試探這個系統有沒有 bug。

記者中途換裝,結帳時部分商品未被系統識別

但是,就像當年第一家亞馬遜無人便利店開業時一樣,一大批科技迷在亞馬遜無人超市開業第一天就各顯神通,希望來挑戰是否能夠逃過高科技的「監視」。

2 月 25 日 AGG 開業當天,Ars Technica 的一名記者 Sam 就來到了這家無人大超市。

首先,為了測試感測器能否準確識別拿起的商品,Sam 的兩隻手分別拿了各種各樣的水果和蔬菜,然後把手伸到背後,在雙肩背包下面交換手上的物品,再把它們放回各自的位置。最後只拿了一個酪梨。

然後,Sam 把目標放在了香蕉上。在當地的超市,普通香蕉和有機香蕉緊挨著,不過後者用黃色膠帶綁了起來。

Sam 把無人超市裡一些普通香蕉捆在一起,模擬成有機香蕉的樣子,在商店裡轉了一圈後,他左手拿著他捆好的香蕉,另一隻手拿著有機香蕉,雙手在背後交換,這個過程中偷偷在他的後背和背包之間塞了一根香蕉。再把剩下的兩捆香蕉放回各自的箱子裡,接著他去了在 Amazon Go 裡沒見過的地方:洗手間。

這些感測器「目送」Sam 走進了洗手間,進去後他就立刻打開背包,把香蕉放了進去。當時甚至覺得自己的行為有些滑稽,「這根香蕉可能並沒有被鏡頭察覺到,我做這些是要幹嘛?」這時突然 Sam 的腦子裡閃過一個念頭:換裝。

因此 Sam 穿著一件黃色的長袖襯衫和一個背包走進了這家超市,又穿著一件灰色的夾克和一件藍色的 T 恤走了出去。另外,他把背包放在胸前,還摘下了戴在頭上的那副太陽眼鏡。

系統對他的訂單果然處理了很久,在他走出商店 4 個小時後,終於收到了來自 Amazon Go 的通知:你的訂單已處理!結果很有趣:

Sam 在換裝之前的一系列操作均未妨礙到 AGG 的感測器陣列,準確地識別出他拿的一個酪梨,以及藏在身後的一根香蕉。但是,他換好衣服離開洗手間後,又拿了兩件物品,總計 6 美元(約新台幣 180 元),系統並未識別出是 Sam 所拿。而且他的購物時間並不是頁面上顯示的 2 小時 23 分,實際上 Sam 只在超市停留了 20 分鐘。

當然,記者 Sam 只是想要測試系統,並非盜竊,他表示自己會退還那些沒有收費的商品。

其實,早在兩年前無人便利店 Amazon Go 開業時,就有一些好奇的同學想要做一些大膽的嘗試。

曾有一位同學,在便利商店晃了一圈之後,為了不讓鏡頭看到他,他拉起毛衣包住臉,悄悄趁著沒人,把一根營養棒放進兜裡;感覺有點渴了,又往包包裡放了一瓶礦泉水。

為了進一步測試亞馬遜的安保能力,他還在 App 裡點擊了「退出登錄」,把自己的亞馬遜帳號登出了。

表面上無事發生,然而當他走出便利商店 5 分鐘後,便收到了電子憑證,一樣不少。

這位同學自己也調侃道,「不要耍小聰明,果然貝佐斯是不會放過我的。」

人家從 16 年就開始試營運,到現在對於 Just Walk Out 這項技術一定是絶對自信的,那這項技術究竟厲害在哪裡呢?

亞馬遜系統原理:識別顧客與商品的關係

早在 2016 年,亞馬遜推出無人便利商店體驗店時,就刷爆了美國內外的社群媒體。這種行動支付顛覆了既有商品交易方式,莫名有一種「搶劫」的快感。

人們被這種新奇的,似乎隱含了某種黑科技的新型購物方式所吸引。不僅是普通人,就連史丹佛教授李飛飛、著名科技出版公司 O’reilly 創始人 Tim O’Reilly 都特地發推點讚。

李飛飛:計算機視覺十分顯著和絶妙的應用!

Tim O’Reilly:零售業的未來,我對此已經期待很多年了。

在 Quora 上,有一位名為 Brian Roemmele 的網友挖出了幾年前亞馬遜提交的兩份專利文件,都描繪了十分龐雜的應用場景,包括:貨倉、船運、零售市場等。

這兩份文件名稱為:「偵測物體互動和移動」(Detecting item interaction and movement)和「物品從置物設備上的轉移」(Transitioning items from the materials handling facility),兩文件分別於 2013 年和 2014 年申請。

亞馬遜在 2014 年提交的相關專利報告中解釋道,比起僅依賴人臉識別的識別/反作弊機制,他們採用的是一種更系統的方法。

在天花板上佈置了上百個鏡頭,當顧客走進商店時,鏡頭會自動識別顧客,並在顧客掃碼入場時登記顧客的亞馬遜帳號。一旦顧客進入店內,鏡頭會一直跟蹤顧客的行動,並透過多個鏡頭的配合鎖定顧客的位置。

為了減少誤差,亞馬遜無人店的貨架和天花板上也裝置了多個麥克風,可以根據音頻回傳的時差輔助定位顧客。

我們可以從下面一張圖裡,一窺亞馬遜無人商店的基本原型。

專利文件裡描述到,天花板上的 208 用來採集用戶和貨品的位置、貨架兩側的 208 用來捕捉用戶的圖象和周圍的環境,貨架內的 208 用來確定貨品的位置或用戶手的移動(進入和離開貨架)。

雷鋒網曾採訪無人零售商店創業者陳維龍,他把 Amazon Go 系統分為三部分:人、貨架、進出口。其中硬體軟體構成如下表:

總結來說,亞馬遜無人商店的反作弊/識別系統是透過「商品—識別動作—識別承受動作的商品—商品與用戶清單/用戶關聯」進行運作的。

對反作弊/識別系統而言,它只需要知道哪些商品被拿走或放回了,並且知道是誰實施的,那麼就知道是誰購買/放回了什麼商品。最後在出口(轉移區),顧客刷卡確認顧客與商品的關係即可。

亞馬遜的一位發言人表示,「我們花了絶大多數時間來考慮改善 99.9% 的善意購物者的體驗,而不是設計一個專注於阻止少數壞人的系統。」

「總結來說,我們的技術是高度精確的。」

Reference: https://buzzorange.com/techorange/2020/03/10/amazon-go-grocery-bug/

 

arrow
arrow

    BENEVO 發表在 痞客邦 留言(0) 人氣()