1、傾斜攝影測量概述
1860 年， James Wallace Black 在美國波士頓上空獲得了世界上第一張傾斜影像. 1930 年美國地質調查局(USGS)和美國陸軍工程兵部隊(U. S. Army Corps of Engineers)開始使用Fairchild T-3A 五鏡頭傾斜相機開展製圖、監視和偵察工作. 20 世紀初至20 世紀末， 傾斜攝影和傾斜影像主要用於軍事目的[1-2]. 隨著傾斜攝影平臺和感測器硬體的精度和集成度不斷提高， 攝影測量和三維電腦視覺領域湧現出許多新理論和新方法， 使傾斜攝影測量技術逐漸走向實用。 與常規航空攝影相比， 傾斜攝影的優勢在於能夠獲得地物的立面影像， 使影像解譯變得更簡單、更直觀. 目前，
傾斜攝影測量技術的核心硬體是傾斜航空攝影相機， 目前市面常見的傾斜航空攝影相機包括SWDC-5、Leica RCD30 Oblique、UltraCam Osprey 和A3 Edge 等， 如圖1 所示。
Maltese 十字(Maltese-cross)是一種典型的傾斜攝影系統相機安置方式，
圖2 Maltese 十字相機安置示意圖
隨著無人機的廣泛使用，
2、關鍵技術
在獲取資料後， 傾斜攝影測量通過對傾斜影像、POS 資料和地面控制點資料進行一系列的攝影測量處理以獲取測區的數位表面模型. 常見的傾斜攝影測量軟體系統包括ContextCapture、PhotoScan 和Pix4Dmapper. 傾斜攝影測量的具體技術流程如圖3 所示. 傾斜攝影測量的關鍵技術包括資料預處理、影像匹配、影像定向、密集匹配和表面模型構建5 個部分， 下文分別對這5 個部分的研究內容和進展進行介紹.
2.1 資料預處理
在資料獲取階段， 利用傾斜攝影系統獲取測區的傾斜影像， 利用飛行平臺搭載的POS 系統獲取攝影系統的位置和姿態，
2.2 影像匹配
影像匹配為影像定向提供同名點座標觀測值， 其精度很大程度上決定了攝影測量最終成果的精度， 而影像匹配的速度是影響攝影測量效率的重要因素. 因此， 精確且高效的影像匹配構成了傾斜攝影測量的重要研究內容.
常規航測僅採集下視影像， 良好的飛行控制能夠保證較小的尺度、視角和轉角變化， 因此同名點的點位可以預測. 從這些前提條件出發， 早期的影像匹配方法在常規航測處理中能夠取得比較理想的匹配效果. 而傾斜影像的尺度、視角和轉角變化較大， 利用傳統航測影像匹配方法難以實現影像的穩健匹配.
SIFT 運算元可以從影像中提取大量尺度和旋轉不變的特徵點， 而特徵點對仿射變換和光照變化具有良好的適應性[7]， 因此被廣泛用於攝影測量和三維電腦視覺[8-10]. SIFT 運算元能夠提取特徵點的位置、尺度及特徵點所在鄰域的特徵描述. SIFT 特徵描述以128 維向量表達， 用於對特徵點進行匹配. 特徵描述向量的匹配可採用最近鄰搜索演算法實現， 也可使用Hash 演算法實現.
基於最近鄰搜索的影像匹配結果通常存在誤匹配， 將誤匹配同名點的座標觀測值引入平差計算將引起空三精度的下降， 甚至導致影像定向不收斂. 一對真實的同名點應嚴格滿足核線約束， 利用少量同名點觀測值可以解算表達核線約束的基礎矩陣(fundamental matrix)[11]. 因此， 在RANSAC 框架下[12]， 利用核線約束可剔除大部分誤匹配的特徵點， 從而在很大程度上解決了影像的穩健匹配問題.
SIFT 運算元並不具備仿射變換不變性， 傾斜影像較大的視角變化使得基於SIFT 運算元的影像匹配精度出現下降， 因而出現了許多改進方法. PCA-SIFT 使用主成份分析(principal component analysis， PCA)法對鄰域梯度導數向量進行降維處理， 並將降維結果作為鄰域特徵描述[13]. 實驗結果顯示使用該方法所得鄰域特徵描述具有更強的區分度， 對仿射變換也具有更好的適應性[14]. Morel 和Yu[15]提出的ASIFT 運算元具有仿射變換不變性， 能夠提高傾斜影像的特徵點匹配數量和精度. 也有研究利用POS 資料將傾斜影像重投影生成下視影像，再利用SIFT運算元對重投影影像進行匹配[16].SIFT影響了許多特徵點提取運算元，包括GLOH、SURF、ORB 和BRIEF 等.
隨著多處理器並行特別是圖形處理單元(graphics processing unit， GPU)技術的不斷進步， 對影像匹配進行並行化可以大大縮短匹配時間[17-18].
2.3 影像定向
影像定向的目的是解算整個測區全部影像的攝影位置和姿態， 同時求解影像同名點的地面測量座標. 帶附加參數的自檢校光束法區域網平差還可以解算內方位元素和相片畸變參數以補償系統誤差.
將自動匹配的同名像點作為觀測值參與平差的關鍵在於同名點的匹配精度. 研究顯示， 大量準確的多餘觀測將顯著提高空三的精度[19-20]. 在影像穩健匹配的基礎上， 利用基於代數方程解的相對定向方法可以求解大視角變化下影像的相對位置和姿態[21]. 儘管利用核線約束條件可以剔除大部分誤匹配的特徵點， 但不能完全清除誤匹配. 在相對定向和自由網構建的過程中， 基於重投影誤差、光束交會角和冗餘度等約束條件可以進一步過濾不可靠的同名點， 從而得到較精確的同名點觀測值.
傾斜攝影系統通常需要配備高精度的POS 系統以獲取影像的外方位元元素. 精確的POS 資料可作為觀測值參與影像定向[22]. 儘管POS 資料的精度較以往已有了很大改進， 但不依賴地面控制點的大比例尺航空攝影測量依然十分少見. 絕大部分研究工作仍將地面控制點座標作為帶權觀測值參與平差， 從而實現對攝影測量區域網結構的嚴密控制.
參與平差的觀測資料通常包括同名點的影像座標、地面控制點座標及其像點座標以及利用POS 系統獲取的影像外方位元元素值. 對大量參數進行整體優化需要依賴大規模光束法區域網平差[23]， 而解算光束法區域網平差目前普遍採用Levenberg-Marquardt 演算法. 光束法區域網平差的法方程係數矩陣具有稀疏性， 利用舒爾補(Schur complement)矩陣可將整個法方程的求解分為相機參數的改正數求解和物方座標的改正數求解， 從而大大降低了計算複雜度. 此外，通過並行化處理也可以提高大規模光束法區域網平差的求解效率[24-26].
2.4 密集匹配
密集匹配是在影像定向的基礎上求解密集同名像點的過程. 在傾斜攝影引入攝影測量前， 密集匹配主要用於計算測區的數位高程模型， 通過逐圖元匹配， 能夠獲得與航測影像具有相同地面採樣距離(ground sample distance， GSD)的數位高程模型.隨著傾斜攝影引入攝影測量， 密集匹配被應用於傾斜影像.通過對相鄰影像進行密集匹配可以獲得視差圖(disparity map)， 利用視差圖可以計算像點的深度， 進而獲得地物的三維點雲.
按照匹配策略可以將密集匹配方法分為局部方法和全域方法. 局部匹配方法基於預先設定的匹配視窗搜索待匹配影像的局部區域， 利用影像相關方法計算視差，這類匹配演算法包括差異平方和(sum of squared differences， SSD)、歸一化交叉相關(normalized cross correlation， NCC)和差異絕對值和(sum of absolute differences， SAD)等方法. 局部匹配方法暗含了影像局部區域光滑的假設， 然而由於匹配視窗不能保證與影像中線條的邊緣對齊， 因此對對象表面不連續的邊界區域重建結果不佳. 有學者通過增加邊緣圖元的權重來解決該問題[27-28]， 但匹配視窗的選擇難以兼顧局部的精度、匹配成功率以及遍歷整個視差空間的巨大計算量，影響了局部匹配方法的計算效率和準確性[29].
全域匹配方法將立體匹配轉化為圖元標記問題(pixel labeling problem). 從統計學習的角度可以將這類方法看作貝葉斯統計推斷， 即在給定影像觀測和有關場景結構先驗假設的條件下推斷視差圖. 假設一個圖元的標記僅與其近鄰圖元有關， 則圖元標記問題就可利用瑪律可夫隨機場(markov random field， MRF)建模， 並通過能量最小化解算[30]. 然而， 基於MRF 的能量函數全域最小化是NP 難題.針對該問題，學者提出了基於圖割(graph cut)和置信度傳播(belief propagation)的近似化演算法[31-32]. Hirschmüller[33]提出的半全域匹配(semi-global matching， SGM)演算法是一種對全域MRF推斷的近似化， 但較高的計算複雜度和較大的標記搜索空間導致全域匹配方法難以大規模擴展. 針對該問題， 學者們提出了2 種改進策略， 一種是將最大匹配度所對應的視差作為當前圖元的視差， 另一種是採用金字塔匹配策略以降低視差搜索範圍.
另一類近似化演算法基於塊的匹配方法(patchbased matching method)， 以影像定向後精確匹配的同名點及其鄰域作為種子塊， 採用基於塊的近似度量方法和置信度傳播方法對種子塊進行擴展， 最終獲得物件的三維表面結構[34-35].此外， 傾斜影像呈現較大的視角和尺度變化， 採用多尺度重建方法有助於改善物件表面細部的重建效果[36].
2.5 表面模型構建
傾斜影像經過密集匹配後可以得到測區地物的密集點雲， 基於點雲資料可以建立測區內地物的真三維數位表面模型(digital surface model， DSM). 表面模型構建通常包括三角網構建和紋理映射. 經過學者們的多年研究， 基於三維三角網的數位表面模型建模演算法已經比較成熟. 其中， 泊松表面重建(Poisson surface reconstruction)被廣泛應用於三維表面模型的構建[37].
三角網構建完成後， 表面模型需要通過紋理映射建立彩色紋理圖像與三角網結構的對應關係. 經過影像定向後， 影像與三維模型的相對幾何關係已經確定， 將構成三角網的每個三角形投影至對應的影像上即可實現模型的紋理映射[38].
3、 展望
近年來， 傾斜攝影測量的相關理論與方法取得了巨大研究進展. 儘管如此， 傾斜攝影測量仍處於發展階段， 依然存在很多問題有待深入研究.
首先， 在影像匹配方面， 對於存在大面積水域或植被等紋理單一的影像， 由於特徵點的局部鄰域十分近似， 導致鄰域特徵描述區分度較小， 引起難以檢測的匹配粗差. 此外， 地物結構的對稱性和遮擋也可能引起誤匹配. 圖4 為一座電塔的多視角傾斜影像匹配結果， 匹配所得同名點用綠色十字標記. 由圖4 可以看出， 由於視線遮擋， 部分同名點觀測值可能出現較大誤差[39]. 通過引入高精度POS 資料或相機間的相對定向參數作為輔助資訊， 為影像匹配附加約束條件，並採用更為穩健的匹配演算法， 有望進一步剔除影像匹配中的粗差[41-42].
圖4 多視傾斜影像匹配
其次， 參與傾斜影像定向的多種觀測值具有不同的測量精度， 而同一類型觀測值的精度也可能不同，如下視和傾斜影像中同名點的觀測精度可能存在較大差異. 因此， 如何合理選擇觀測資料， 在光束法區域網平差中為不同類型、不同精度的觀測值合理定權， 從而提高影像定向的精度值得進一步研究.
第三， 由於缺乏紋理的影像區域缺少有效的同名點觀測， 造成密集匹配方法難以獲得初始值， 從而導致密集匹配失敗. 另一方面， 儘管傾斜攝影能夠獲取建築立面的紋理影像， 但較大的觀測角度容易引起影像變形， 導致模型的精度下降， 造成三維模型的立面視覺效果不佳. 通過引入街景影像、車載/地面鐳射掃描資料等多來源資料， 利用在地面附近獲取的建築立面影像和三維點雲等觀測資料對傾斜攝影測量結果進行補充和完善，可以實現更為精確和逼真的三維重建.
第四， 大範圍傾斜攝影測量需要對影像匹配、影像定向和密集匹配等關鍵環節進行並行化以提高處理效率. 而在硬體條件受限的情況下， 可借助外存(out-of-core)處理技術或流式(streaming)處理技術應對大規模資料處理任務[43].
最後， 利用傾斜攝影測量技術重建出的數位表面模型通常存儲為統一的三維三角網結構. 但現有三維建模和管理系統通常以建築單體的形式存儲和管理建築三維模型及其屬性資料， 因此將傾斜攝影測量所得表面模型進行建築單體化是生產部門迫切需要解決的問題. 從相關部門獲取測區大比例尺建築底圖或從機載鐳射掃描點雲中自動提取建築輪廓線， 並將這些資料或資訊作為輔助可以實現傾斜攝影測量的建築單體化.
而特徵點對仿射變換和光照變化具有良好的適應性[7]， 因此被廣泛用於攝影測量和三維電腦視覺[8-10]. SIFT 運算元能夠提取特徵點的位置、尺度及特徵點所在鄰域的特徵描述. SIFT 特徵描述以128 維向量表達， 用於對特徵點進行匹配. 特徵描述向量的匹配可採用最近鄰搜索演算法實現， 也可使用Hash 演算法實現.基於最近鄰搜索的影像匹配結果通常存在誤匹配， 將誤匹配同名點的座標觀測值引入平差計算將引起空三精度的下降， 甚至導致影像定向不收斂. 一對真實的同名點應嚴格滿足核線約束， 利用少量同名點觀測值可以解算表達核線約束的基礎矩陣(fundamental matrix)[11]. 因此， 在RANSAC 框架下[12]， 利用核線約束可剔除大部分誤匹配的特徵點， 從而在很大程度上解決了影像的穩健匹配問題.
SIFT 運算元並不具備仿射變換不變性， 傾斜影像較大的視角變化使得基於SIFT 運算元的影像匹配精度出現下降， 因而出現了許多改進方法. PCA-SIFT 使用主成份分析(principal component analysis， PCA)法對鄰域梯度導數向量進行降維處理， 並將降維結果作為鄰域特徵描述[13]. 實驗結果顯示使用該方法所得鄰域特徵描述具有更強的區分度， 對仿射變換也具有更好的適應性[14]. Morel 和Yu[15]提出的ASIFT 運算元具有仿射變換不變性， 能夠提高傾斜影像的特徵點匹配數量和精度. 也有研究利用POS 資料將傾斜影像重投影生成下視影像，再利用SIFT運算元對重投影影像進行匹配[16].SIFT影響了許多特徵點提取運算元，包括GLOH、SURF、ORB 和BRIEF 等.
隨著多處理器並行特別是圖形處理單元(graphics processing unit， GPU)技術的不斷進步， 對影像匹配進行並行化可以大大縮短匹配時間[17-18].
2.3 影像定向
影像定向的目的是解算整個測區全部影像的攝影位置和姿態， 同時求解影像同名點的地面測量座標. 帶附加參數的自檢校光束法區域網平差還可以解算內方位元素和相片畸變參數以補償系統誤差.
將自動匹配的同名像點作為觀測值參與平差的關鍵在於同名點的匹配精度. 研究顯示， 大量準確的多餘觀測將顯著提高空三的精度[19-20]. 在影像穩健匹配的基礎上， 利用基於代數方程解的相對定向方法可以求解大視角變化下影像的相對位置和姿態[21]. 儘管利用核線約束條件可以剔除大部分誤匹配的特徵點， 但不能完全清除誤匹配. 在相對定向和自由網構建的過程中， 基於重投影誤差、光束交會角和冗餘度等約束條件可以進一步過濾不可靠的同名點， 從而得到較精確的同名點觀測值.
傾斜攝影系統通常需要配備高精度的POS 系統以獲取影像的外方位元元素. 精確的POS 資料可作為觀測值參與影像定向[22]. 儘管POS 資料的精度較以往已有了很大改進， 但不依賴地面控制點的大比例尺航空攝影測量依然十分少見. 絕大部分研究工作仍將地面控制點座標作為帶權觀測值參與平差， 從而實現對攝影測量區域網結構的嚴密控制.
參與平差的觀測資料通常包括同名點的影像座標、地面控制點座標及其像點座標以及利用POS 系統獲取的影像外方位元元素值. 對大量參數進行整體優化需要依賴大規模光束法區域網平差[23]， 而解算光束法區域網平差目前普遍採用Levenberg-Marquardt 演算法. 光束法區域網平差的法方程係數矩陣具有稀疏性， 利用舒爾補(Schur complement)矩陣可將整個法方程的求解分為相機參數的改正數求解和物方座標的改正數求解， 從而大大降低了計算複雜度. 此外，通過並行化處理也可以提高大規模光束法區域網平差的求解效率[24-26].
2.4 密集匹配
密集匹配是在影像定向的基礎上求解密集同名像點的過程. 在傾斜攝影引入攝影測量前， 密集匹配主要用於計算測區的數位高程模型， 通過逐圖元匹配， 能夠獲得與航測影像具有相同地面採樣距離(ground sample distance， GSD)的數位高程模型.隨著傾斜攝影引入攝影測量， 密集匹配被應用於傾斜影像.通過對相鄰影像進行密集匹配可以獲得視差圖(disparity map)， 利用視差圖可以計算像點的深度， 進而獲得地物的三維點雲.
按照匹配策略可以將密集匹配方法分為局部方法和全域方法. 局部匹配方法基於預先設定的匹配視窗搜索待匹配影像的局部區域， 利用影像相關方法計算視差，這類匹配演算法包括差異平方和(sum of squared differences， SSD)、歸一化交叉相關(normalized cross correlation， NCC)和差異絕對值和(sum of absolute differences， SAD)等方法. 局部匹配方法暗含了影像局部區域光滑的假設， 然而由於匹配視窗不能保證與影像中線條的邊緣對齊， 因此對對象表面不連續的邊界區域重建結果不佳. 有學者通過增加邊緣圖元的權重來解決該問題[27-28]， 但匹配視窗的選擇難以兼顧局部的精度、匹配成功率以及遍歷整個視差空間的巨大計算量，影響了局部匹配方法的計算效率和準確性[29].
全域匹配方法將立體匹配轉化為圖元標記問題(pixel labeling problem). 從統計學習的角度可以將這類方法看作貝葉斯統計推斷， 即在給定影像觀測和有關場景結構先驗假設的條件下推斷視差圖. 假設一個圖元的標記僅與其近鄰圖元有關， 則圖元標記問題就可利用瑪律可夫隨機場(markov random field， MRF)建模， 並通過能量最小化解算[30]. 然而， 基於MRF 的能量函數全域最小化是NP 難題.針對該問題，學者提出了基於圖割(graph cut)和置信度傳播(belief propagation)的近似化演算法[31-32]. Hirschmüller[33]提出的半全域匹配(semi-global matching， SGM)演算法是一種對全域MRF推斷的近似化， 但較高的計算複雜度和較大的標記搜索空間導致全域匹配方法難以大規模擴展. 針對該問題， 學者們提出了2 種改進策略， 一種是將最大匹配度所對應的視差作為當前圖元的視差， 另一種是採用金字塔匹配策略以降低視差搜索範圍.
另一類近似化演算法基於塊的匹配方法(patchbased matching method)， 以影像定向後精確匹配的同名點及其鄰域作為種子塊， 採用基於塊的近似度量方法和置信度傳播方法對種子塊進行擴展， 最終獲得物件的三維表面結構[34-35].此外， 傾斜影像呈現較大的視角和尺度變化， 採用多尺度重建方法有助於改善物件表面細部的重建效果[36].
2.5 表面模型構建
傾斜影像經過密集匹配後可以得到測區地物的密集點雲， 基於點雲資料可以建立測區內地物的真三維數位表面模型(digital surface model， DSM). 表面模型構建通常包括三角網構建和紋理映射. 經過學者們的多年研究， 基於三維三角網的數位表面模型建模演算法已經比較成熟. 其中， 泊松表面重建(Poisson surface reconstruction)被廣泛應用於三維表面模型的構建[37].
三角網構建完成後， 表面模型需要通過紋理映射建立彩色紋理圖像與三角網結構的對應關係. 經過影像定向後， 影像與三維模型的相對幾何關係已經確定， 將構成三角網的每個三角形投影至對應的影像上即可實現模型的紋理映射[38].
3、 展望
近年來， 傾斜攝影測量的相關理論與方法取得了巨大研究進展. 儘管如此， 傾斜攝影測量仍處於發展階段， 依然存在很多問題有待深入研究.
首先， 在影像匹配方面， 對於存在大面積水域或植被等紋理單一的影像， 由於特徵點的局部鄰域十分近似， 導致鄰域特徵描述區分度較小， 引起難以檢測的匹配粗差. 此外， 地物結構的對稱性和遮擋也可能引起誤匹配. 圖4 為一座電塔的多視角傾斜影像匹配結果， 匹配所得同名點用綠色十字標記. 由圖4 可以看出， 由於視線遮擋， 部分同名點觀測值可能出現較大誤差[39]. 通過引入高精度POS 資料或相機間的相對定向參數作為輔助資訊， 為影像匹配附加約束條件，並採用更為穩健的匹配演算法， 有望進一步剔除影像匹配中的粗差[41-42].
圖4 多視傾斜影像匹配
其次， 參與傾斜影像定向的多種觀測值具有不同的測量精度， 而同一類型觀測值的精度也可能不同，如下視和傾斜影像中同名點的觀測精度可能存在較大差異. 因此， 如何合理選擇觀測資料， 在光束法區域網平差中為不同類型、不同精度的觀測值合理定權， 從而提高影像定向的精度值得進一步研究.
第三， 由於缺乏紋理的影像區域缺少有效的同名點觀測， 造成密集匹配方法難以獲得初始值， 從而導致密集匹配失敗. 另一方面， 儘管傾斜攝影能夠獲取建築立面的紋理影像， 但較大的觀測角度容易引起影像變形， 導致模型的精度下降， 造成三維模型的立面視覺效果不佳. 通過引入街景影像、車載/地面鐳射掃描資料等多來源資料， 利用在地面附近獲取的建築立面影像和三維點雲等觀測資料對傾斜攝影測量結果進行補充和完善，可以實現更為精確和逼真的三維重建.
第四， 大範圍傾斜攝影測量需要對影像匹配、影像定向和密集匹配等關鍵環節進行並行化以提高處理效率. 而在硬體條件受限的情況下， 可借助外存(out-of-core)處理技術或流式(streaming)處理技術應對大規模資料處理任務[43].
最後， 利用傾斜攝影測量技術重建出的數位表面模型通常存儲為統一的三維三角網結構. 但現有三維建模和管理系統通常以建築單體的形式存儲和管理建築三維模型及其屬性資料， 因此將傾斜攝影測量所得表面模型進行建築單體化是生產部門迫切需要解決的問題. 從相關部門獲取測區大比例尺建築底圖或從機載鐳射掃描點雲中自動提取建築輪廓線， 並將這些資料或資訊作為輔助可以實現傾斜攝影測量的建築單體化.