3月27日消息，微軟的人工智能研究人員發(fā)表了一篇論文，提出了一種遷移學(xué)習(xí)方法，用于在模擬環(huán)境中學(xué)習(xí)感知行為策略，并將這些知識應(yīng)用于無人機。
根據(jù)感知輸入采取哪些行動，與其說是一個理論問題，不如說是一個實踐問題。近年來，強化學(xué)習(xí)和模仿學(xué)習(xí)等方法在這一領(lǐng)域顯示出巨大的潛力，但它們?nèi)匀皇艿诫y以大量收集標記真實世界數(shù)據(jù)的限制。另一方面，模擬數(shù)據(jù)很容易生成，但在不同的現(xiàn)實場景中通常呈現(xiàn)出不安全的行為。
能夠在模擬環(huán)境中學(xué)習(xí)策略并將知識外推到真實環(huán)境中仍然是自主系統(tǒng)的主要挑戰(zhàn)之一。為了推進這一領(lǐng)域的研究，人工智能社區(qū)為現(xiàn)實世界的自主系統(tǒng)建立了許多基準。其中最具挑戰(zhàn)性的是第一人稱視角的無人機比賽。
在第一人稱視角（FPV）完成的比賽中，專業(yè)飛行員能夠計劃、控制一個四旋翼機，使其具有很高的敏捷性，但卻沒有考慮安全性。微軟的研究團隊試圖建立一個自主代理，可以在 FPV 比賽中控制無人機。
從深度學(xué)習(xí)的角度來看，導(dǎo)航任務(wù)中最大的挑戰(zhàn)之一是輸入圖像數(shù)據(jù)的高維性和可變性。想要成功地解決這個任務(wù)，就需要一個對視覺外觀不變性和對仿真與現(xiàn)實之間差異的魯棒表示。從這個角度來看，能夠在 FPV 比賽等環(huán)境中操作的自主代理需要接受模擬數(shù)據(jù)的訓(xùn)練，這些模擬數(shù)據(jù)學(xué)習(xí)可在真實環(huán)境中使用的策略。
許多這類研究，如 FPV 比賽，都集中在增強無人機的各種傳感器，可以幫助建立周圍環(huán)境的模型。然而，微軟的研究團隊旨在創(chuàng)造一種以人腦功能為靈感的計算結(jié)構(gòu)，將視覺信息直接映射到正確的控制動作上。
為了證明這一點，微軟研究院使用了一個非常基本的帶有前置攝像頭的四旋翼機。所有的處理都是在 Nvidia TX2 計算機上完成的，它有 6 個 CPU 核和一個集成的 GPU。現(xiàn)成的英特爾 T265 跟蹤相機提供里程計，圖像處理使用 Tensorflow 框架。圖像傳感器是一個 USB 攝像頭，有 830 個水平視場，原始圖像被縮小到 128 x 72 的尺寸。
微軟研究小組的目標是在模擬環(huán)境中訓(xùn)練一個自主代理，并將所學(xué)的策略應(yīng)用到現(xiàn)實世界的 FPV 比賽中。對于模擬數(shù)據(jù)，微軟依靠 AirSim 生成，這是一個用于無人機、汽車和其他交通工具的高保真模擬器。AirSim 生成的數(shù)據(jù)在訓(xùn)練階段使用，然后在真實世界中部署學(xué)習(xí)到的策略，而無需任何修改。
為了彌合模擬現(xiàn)實的差距，微軟的研究依賴于交叉模式學(xué)習(xí)，即使用有標簽和無標簽的模擬數(shù)據(jù)以及真實世界的數(shù)據(jù)集。其思想是在高維模擬數(shù)據(jù)中進行訓(xùn)練，并學(xué)習(xí)一種低維策略表示方法，該方法可以有效地用于實際場景中。為了實現(xiàn)這一目標，微軟研究院利用了跨模態(tài)變分自動編碼器（CM-VAE）框架，該框架對每個數(shù)據(jù)模態(tài)使用一個編碼器-解碼器對，同時將所有輸入和輸出壓縮到一個潛在空間。該方法允許將有標記和無標記的數(shù)據(jù)模式結(jié)合到潛在變量的訓(xùn)練過程中。
將此技術(shù)應(yīng)用于 FPV 環(huán)境需要不同的數(shù)據(jù)模式。第一種數(shù)據(jù)模式考慮原始的未標記傳感器輸入（FPV 圖像），而第二種特征狀態(tài)信息直接與手頭的任務(wù)相關(guān)。在無人機競賽的情況下，第二模態(tài)對應(yīng)于在無人機的坐標幀中定義的下一個門的相對姿態(tài)。每個數(shù)據(jù)模式都由一個編碼器-解碼器對使用 CM-VAE 框架進行處理，該框架允許學(xué)習(xí)低維策略。
自主 FPV 比賽代理的體系結(jié)構(gòu)由兩個主要步驟組成。第一步的重點是學(xué)習(xí)一個潛在的狀態(tài)表示，而第二步的目標是學(xué)習(xí)一個控制策略，以操作這個潛在的表示。第一個組件或控制系統(tǒng)架構(gòu)接收單眼相機圖像作為輸入，并將下一個可見門的相對姿態(tài)以及背景特征編碼為低維潛在表示。這種潛在的表示隨后被輸入到控制網(wǎng)絡(luò)中，控制網(wǎng)絡(luò)輸出一個速度指令，然后由無人機的飛行控制器轉(zhuǎn)換成執(zhí)行器指令。
降維是微軟研究方法的重要組成部分。在 FPV 比賽中，有效的降維技術(shù)應(yīng)該是平滑、連續(xù)、一致的，并且對模擬圖像和真實圖像中的視覺信息差異具有魯棒性。為了實現(xiàn)這一目標，該體系結(jié)構(gòu)采用了一種 CM-VAE 方法，其中每個數(shù)據(jù)樣本被編碼成一個獨立的潛在空間，該潛在空間可以被解碼回圖像，或者轉(zhuǎn)換成另一種數(shù)據(jù)形式，例如門相對于無人機的姿態(tài)。
由此產(chǎn)生的體系結(jié)構(gòu)能夠?qū)⒒?27468 個變量的高維表示減少到最基本的 10 個變量。盡管只使用 10 個變量對圖像進行編碼，但解碼后的圖像提供了無人機可以看到的前方物體的豐富描述，包括所有可能的門的尺寸和位置，以及不同的背景信息。
微軟研究院在各種 FPV 比賽環(huán)境中測試了這種自主無人機，其中包括一些具有極端視覺挑戰(zhàn)性的環(huán)境。比如在地板上有與大門色調(diào)相同的紅色條紋的室內(nèi)，或者在大雪環(huán)境中。
另外，還有相關(guān)視頻重點介紹了自主無人機如何使用低維圖像表示完成所有挑戰(zhàn)。如果你感興趣，可以打開這個視頻：https://youtu.be/AxE7qGKJWaw。
盡管微軟的研究工作是專門針對 FPV 比賽場景的，但這些原理可以應(yīng)用到許多其他的感知動作場景中。這類技術(shù)有助于加速可在模擬環(huán)境中訓(xùn)練的自主代理的開發(fā)。為了激勵這項研究，微軟在 GitHub 中開源了 FPV 代理的代碼。
文章來源： InfoQ，雷鋒網(wǎng)
