《測繪學報》
構建與學術的橋樑 拉近與權威的距離
多源衛星遙感影像時空融合研究的現狀及展望
黃波1,2,3, 趙湧泉1
1. 香港中文大學地理與資源管理學系, 香港;
2. 香港中文大學太空與地球資訊科學研究所, 香港;
3. 香港中文大學深圳研究院, 深圳 518057
收稿日期：2017-07-03；修回日期：2017-09-14
基金專案：國家自然科學基金（41371417）
第一作者簡介：黃波(1968-), 男, 博士, 長江學者講座教授, 研究方向為遙感圖像融合、時空大資料分析、可持續城市空間規劃等。 E-mail:bohuang@cuhk.edu.hk
摘要：高空間解析度的地表或者大氣環境動態監測需要高時間-空間解析度的衛星遙感影像作為資料支撐，
Research Status and Prospect of Spatiotemporal Fusion of Multi-source Satellite Remote Sensing Imagery
HUANG Bo1,2,3, ZHAO Yongquan1
Abstract: High spatial resolution monitoring of land surface and atmospheric environment dynamics requires high spatiotemporal resolution satellite remote sensing imagery as data support. However, the efficient, low-cost, and feasible solution is to blend the multi-source images with high-spatial and high-temporal resolution respectively to produce the desired high spatiotemporal resolution imagery required by different research or applications, which is subject to the limitations of satellite sensor' hardware technology and the budget constraints of launching more satellites. Although plenty of spatiotemporal image fusion research has been conducted, they are limited to specific data types, algorithm principles, application purposes, etc. Furthermore, the development of spatiotemporal image fusion algorithm presents a phenomenon of disorder. This study summarizes and generalizes the existing mainstream spatiotemporal fusion methods and classified them into four categories:① spatiotemporal fusion based on land components; ② spatiotemporal fusion based on spatial information; ③ spatiotemporal fusion based on temporal changes; ④ combined spatiotemporal fusion. Meanwhile, the study analyzes the problems and challenges faced by spatiotemporal fusion; and informs the prospects of the future development of spatiotemporal fusion method.
Key words: multi-source remote sensing imagery spatiotemporal resolution compromise spatiotemporal fusion land component spatial information temporal change
目前， 隨著大量對地觀測衛星的發射， 能獲取到的遙感資料越來越多， 而且新發射的衛星感測器均朝著具有高空間、高時間、高光譜解析度資料獲取能力的方向發展， 例如中國的高解析度對地觀測系統[1]。 然而， 在現有衛星感測器的硬體技術條件和衛星發射成本的限制下， 衛星感測器空間解析度的提高只能以犧牲衛星感測器在其他方面的優勢來實現， 例如時間解析度、光譜解析度、掃描幅寬等[2]， 使得遙感衛星無法獲得具有多屬性高解析度的遙感影像， 從而制約了遙感影像的應用。
一方面， 作為研究地表特徵時空特性的關鍵， 衛星感測器的空間解析度和時間解析度起著至關重要的作用。 然而， 由於衛星感測器時間解析度和空間解析度之間的矛盾， 具有高空間解析度(簡稱為高解析度)遙感影像獲取能力的衛星的時間解析度往往較低， 反之， 具有高頻率重訪週期的衛星的通常只具備低空間解析度(簡稱為低解析度)的資料獲取能力。 因此， 這二者之間的矛盾依然存在並且會長期存在[3-5]。 另一方面， 自從對地觀測的遙感衛星發射以來[6-7]， 已經積累了大量的長時間序列歷史觀測資料， 這些資料由於早期衛星感測器硬體技術以及衛星建造和發射成本的限制， 其空間解析度和時間解析度之間亦有折中，
表 1 典型的光學遙感衛星的時-空解析度對比Tab. 1 The comparison of the spatial-temporal resolution of the typical optical remote sensing satellites
衛星/感測器波譜類型衛星軌道類型空間解析度/m時間解析度資料獲取方式QuickBird全色/多光譜極軌衛星0.61/2.44>30天(不側擺)商業訂購IKONOS全色/多光譜極軌衛星1/4>30天(不側擺)商業訂購GeoEye-1全色/多光譜極軌衛星0.41/1.65>30天(不側擺)商業訂購WorldView-3全色/多光譜極軌衛星0.31/1.24>30天(不側擺)商業訂購GF-1全色/多光譜極軌衛星2/841天(雙相機組合， 不側擺)商業訂購GF-2全色/多光譜極軌衛星1/469天(雙相機組合，表選項
此外， 現階段的衛星遙感資料面臨著“又多又少”的問題[8]， 即可用的遙感資料越來越多， 然而真正能被使用的有用資料卻相對很少。 例如， 由於雲層的覆蓋， 即使Landsat衛星能夠在16天內實現對某一地區的重複訪問，一年內無雲或少雲的資料依然較少，一年之內獲取到雲覆蓋率低於10%的遙感影像的概率也只有10%左右[9]，這在很大程度上影響了對地表動態變化的監測和研究。
針對時空解析度矛盾以及其他客觀因素的限制，如果從“硬體”的角度出發，需要發射更多、硬體技術要求更高的對地觀測衛星來解決這一問題，但是考慮到成本和硬體水準的限制，這一方案往往不切實際。遙感影像時空融合[3, 10-11]作為一種相對較新的影像融合手段，是從“軟體”的角度來解決衛星感測器的時-空解析度矛盾的。遙感影像時空融合是利用已知的“時相密集”的低空間解析度影像序列和與之部分時間點對應的“時相稀疏”的高空間解析度影像序列來融合生成與低空間解析度影像序列時相對應的“時相密集”的高空間解析度影像序列。時空融合旨在將多源衛星遙感影像的高空間解析度和高時間解析度結合起來，通過時空融合演算法的處理，生成目標研究區域內具有高頻次訪問的高空間解析度遙感影像序列，其演算法思想如圖 1所示。相對於“硬體”的解決方案，時空融合在無需發射新的對地觀測衛星的情況下，是一種低成本、高效率、可行性強的解決技術手段。對於進一步拓展現有遙感影像的應用和研究價值，時空融合依然是一種不可或缺的技術手段[11]。
圖 1 多源遙感影像時空融合示意圖Fig. 1 Spatial-temporal fusion of multi-source satellite imagery
圖選項
到目前為止，國內外的學者做了大量關於時空融合演算法的研究工作，出現了基於不同演算法原理、不同資料類型以及不同應用目的多種時空融合演算法。例如，能夠預測同質地表季節變化的時空自我調整反射率融合模型[10]；能夠對異質地表的季節性變化得到較好預測結果的自我調整時空融合模型[12-13]；針對地表反射率突發擾動事件製圖的時空自我調整演算法[14]；能夠對地表季節和類別變化進行一體化融合的時空融合演算法[3-5]；能夠生成高時空解析度地表溫度資料的時空融合模型[15-17]。這些時空融合演算法往往都是基於資料來源、不同的原理或者不同的應用目的而提出的，其發展呈現出一種無序性。面對如此多樣化的時空融合演算法，本文對其進行了概括總結，分析了現在主要時空融合演算法的基礎理論假設和演算法原理並加以歸類，指出了時空融合演算法所面臨的問題和挑戰，並展望了未來時空融合演算法的進一步發展所需解決的問題，為相關的資料融合演算法以及遙感應用研究提供理論參考和技術支撐。
1 遙感影像時空融合概述及分類
總體來說，時空融合都是基於兩種理論基礎來進行的：① 時相變化模型的空間尺度不變性；② 空間降尺度模型的時間一致性[2]。時相變化模型的空間尺度不變性是指不同空間解析度的遙感影像序列之間的時相變化模型是相互通用的；空間降尺度模型的時間一致性是指不同時相的高-低分空間解析度遙感影像之間的空間降尺度模型是相互通用的。
基於這兩種理論假設，時空融合演算法可以分為：① 基於地物類別組分的時空融合；② 基於地表空間資訊的時空融合；③ 基於地物時相變化的時空融合；④ 組合性的時空融合。
1.1 基於地物組分的時空融合
基於地物組分的時空融合，其理論基礎是不同地物類別的光譜資訊在不同空間尺度下的關聯模型具有時間一致性。這種類型的時空融合是在對已知時相的高解析度影像進行分類或者分割的基礎上，利用光譜混合理論建立已知時相的高解析度影像和對應低解析度影像之間的光譜混合模型；進而將這種光譜混合模型應用到待預測的未知時相的低-高解析度影像對上，再利用不同地物組分在低解析度影像上的時相變化資訊和對應的光譜混合模型求解出高解析度的時相變化量，從而預測出未知時相的高解析度影像。此外基於地物組分的時空融合還需滿足兩項假設：① 低空間解析度影像像元內部不同組分所占的比例在觀測時段內沒有變化；② 同一組分內部的光譜差異可以忽略不計。基於地物組分的時空融合可以表達為
(1)
式中，L(xi,yi,tk)是待預測時間點tk的低解析度圖元(xi,yi)；N是地物的組分數量；fn是每一種地物組分在低解析度圖元中所占的比例；ρ(n,tk)是組分n的光譜值；ε是線性光譜混合模型的誤差項。
由於基於地物組分的時空融合需滿足假設①，故而也就限制了其不能應用於地物類別發生變化情況下的時空融合。因為地表的類別變化必然會導致不同組分所占的比例發生變化。同時，由於基於地物組分的時空融合是建立在線性光譜混合模型的基礎之上的，因此該類融合亦不適用於地物光譜屬於非線性混合的情況。
此外，多數基於地表組分的時空融合都是基於線性的光譜混合模型進行的，該模型中提取出各種地物的端元光譜值是很關鍵的，即得到純淨像元的圖元值。但在實際應用中由於非線性光譜混合現象的大量存在，以及遙感影像空間解析度和光譜解析度的限制，各類地物的端元光譜值很難準確地獲得，從而會對基於地表組分的時空融合產生不利的影響，增加其預測誤差。
1.2 基於地表空間資訊的時空融合
基於地表空間資訊的時空融合，其理論基礎是地物的空間細節資訊在不同空間尺度下的關聯模型具有時間一致性。這種類型的時空融合首先建立已知時相的低-高解析度影像對之間的空間資訊對應關係，並通過線性或者非線性的方式從已知的高解析度影像中提取出高解析度空間資訊集合；然後將已知時相低-高解析度影像對之間的空間資訊對應關係應用到待預測的未知時相的低-高空間解析度影像對上，將未知時相的低解析度影像用對應的高解析度空間資訊集合進行表達，從而預測出未知時相的高解析度影像。理論上存在一個空間資訊降尺度函數，使得
(2)
式中，h是一個空間尺度映射函數；SD(tk)是待預測時間點的高解析度空間細節資訊集合，它是從已知時間點的高解析度影像中通過線性[12]或者非線性方式[3]獲取並最終被融入到L(xi,yi,tk)之中的。
因為線性的空間資訊提取和融合方式的前提假設是高解析度影像像元和低解析度影像像元的空間尺度轉換參數是線性的且具有時間一致性，所以線性的基於地表空間資訊的時空融合只適用於土地覆蓋未發生類別變化的情況，即為地表的空間細節資訊在觀測時段內保持不變的情況。而非線性的基於地表空間資訊的時空融合則能適用於地表發生類別變化的情況，因為它能從已知時間點影像的所有像元中搜索與L(xi,yi,tk)中像元對應的空間細節資訊，而無需空間尺度轉換參數具有時間一致性這一假設。例如，文獻[3]提出的SPSTFM演算法(sparse representation-based spatio-temporal reflectance fusion model)就將稀疏表達的理論引入了時空融合演算法，用非線性的方式提取出高-低解析度的空間細節字典對，並用該字典對去重建待預測的高解析度遙感影像，其空間細節字典對的訓練過程如圖 2所示。非線性的基於地表空間資訊的融合方式雖然能夠更好地重建出地表細節資訊，但也會帶來演算法計算複雜度增加的問題[3-4]。
圖 2 SPSTFM演算法字典訓練示意圖Fig. 2 The dictionary training process of SPSTFM
圖選項
1.3 基於地物時相變化的時空融合
基於地物時相變化的時空融合，其理論基礎是地物的時相變化模型具有空間尺度的不變性。這種類型的時空融合首先建立已知時相和未知時相的低解析度影像之間的時相變化模型，然後將所得到的時相變化模型應用于已知時相的高解析度影像上，從而得到未知時相的高解析度影像。這種時空融合可以用下述模型表達
(3)
式中，ω是一個時間變換映射函數；S(t0,tk)是從已知和待預測時間點的低解析度影像中獲得的地物時相變化模型參數。因為地物的時相變化模型具有空間尺度不變性，所以通過低解析度影像得到的時相變化模型可以應用到對應高解析度影像之間的時相變換。
在一個局部視窗內，根據時相變化模型具有尺度不變性這一理論假設，時相變化模型一般可劃分為3類：① 差值變化，即為H(xi,yi,tk)=H(xi,yi,t0)+[L(xi,yi,tk)-L(xi,yi,t0)]；② 比值變化，即為H(xi,yi,tk)=H(xi,yi,t0)·[L(xi,yi,tk)/L(xi,yi,t0)]；③ 比率變化，即為H(xi,yi,tk)=a·H(xi,yi,t0)+b，其中參數a、b由L(xi,yi,tk)=a·L(xi,yi,t0)+b求得。比較有代表性的時空自我調整反射率融合模型STARFM[10](spatial and temporal adaptive reflectance fusion model)，就是基於局部移動視窗內的差值變化模型實現的。
基於地物時相變化的時空融合應用比較廣泛，例如在地表反射率[18]、地表溫度[15, 19]、地表蒸散[20]、植被指數[21]和葉面積指數[22]等時序資料的生成；植被季節變化監測[23]、作物長勢監測[24]等方面的應用。然而，地物的時相變化模型在不同空間尺度的不變性要求高解析度影像的像元要位於對應的低解析度影像像元的內部，或者位於對應低分辨像元臨近像元集合的內部，如此這些高-低解析度圖元才能具有相同的變化率。這一要求就限制了這類時空融合在異質地表覆蓋情況下的應用，因為異質的土地覆蓋對應的低解析度像元，可能包含了不同種類的高解析度像元，故而不能保證空間上對應的高-低解析度像元具有相同的變化率。
1.4 組合性的時空融合
對於組合性的時空融合，主要是指利用以上3種類型中的某兩種類型的時空融合進行組合而成的一種組合性時空融合模型。
1.4.1 基於地物組分內空間資訊的時空融合
這種類型的時空融合的理論假設是不同地物組分內部的空間資訊在不同的空間尺度下的關聯模型具有時間一致性。它是在對已知時間點的高解析度圖像進行分割或者分類之後，在不同的組分內部進行基於地物空間細節資訊的時空融合演算法處理，
進而預測未知時相的高解析度影像。文獻[5]提出了一個“變化趨勢率”的概念，如圖 3所示，假設Landsat和MODIS的地表反射率資料在兩個觀測時間段內的時間變化趨勢率是相同的。在此基礎上，假設每一種組分內部的空間細節在不同空間解析度影像之間的關係具有時間一致性並解算出待預測的高解析度影像。
圖 3 U-STFM“變換趨勢率”解算示意圖[5]Fig. 3 Illustration of "change trend ratio" calculation[5]
圖選項
1.4.2 基於地物組分內時相變化的時空融合
這種組合性的時空融合是基於不同的地物組分而不是低解析度圖元來建立地物的時相變化模型，在對已知時相的高解析度圖像進行分割或者分類從而得到不同的地物組分之後，假設不同組分的時相變化模型具有空間尺度不變性，再預測未知時相的高解析度影像。文獻[25]首先對高解析度的圖像進行分類從而獲取高解析度的地物組分，假設不同組分的時相變化具有空間一致性，然後針對不同的組分進行基於地物時相變化的時空融合。文獻[26]首先對低解析度影像進非監督分類獲取低解析度的地表組分圖，通過對應組分內部無雲的純淨像元建立回歸關係來獲得不同時相之間圖元的時相變化關係。
2 時空融合面臨的問題和挑戰
多源遙感影像的時空融合需要融合來自不同衛星、不同感測器、不同時相、不同類型的遙感影像，融合結果的精度也理所當然地受這些多源遙感資料的輻射和幾何不一致性的影響[25]。因此，也有一部分研究將高解析度的影像進行降採樣之後的類比低解析度影像作為低解析度資料來源進行時空融合研究[13, 25, 27]。因此，就能排除資料在輻射和幾何方面的不一致性所帶來的負面影響，從而聚焦于時空融合演算法本身的研究，因為在這種情況下，誤差的來源只會是時空融合演算法自身[13]。但是，這種實驗策略在實際應用情況中是不現實的，因為在處理真實的多源遙感資料時，其幾何和空間不一致性不可避免地會給融合精度帶來不可忽視的誤差[2]。
2.1 多源遙感影像的輻射差異
由於地表和大氣環境的變化、不同衛星獲取資料時的雙向反射分佈函數(bidirectional reflectance distribution function，BRDF)的差異、多源感測器光譜解析度的差異、不同衛星輻射定標精度的差異，以及不同空間解析度的像元混合效應的差別等因素的影響[2, 25, 28-29]，導致多源感測器、多時相以及多解析度的遙感影像相互之間具有輻射亮度的差異。
如果地表覆蓋異質性較高，或者時相變化較為複雜，則多源遙感資料的輻射度差異會導致更嚴重的時空融合誤差。此外，如果在融合過程中不對多來源資料的輻射度差異進行處理，則會導致基於地表組分的時空融合與其他類型的時空融合結果具有不同的輻射度特徵。即為基於地表組分的時空融合結果具有類似於低解析度影像的輻射度特徵，其他類型時空融合方法的結果具有類似於高解析度影像的輻射度特徵[2]。
2.2 多源遙感影像的幾何配准差異
由於上述的時空融合演算法基本都是圖元級或者特徵級[30]的圖像融合演算法，故而這些演算法都要求待融合的多源遙感影像具有很高的幾何配准精度[5, 13, 25]。然而，由於不同衛星的資料獲取方式的不同、不同時刻衛星姿態的不同及擾 動等因素的影響，導致多源感測器、多時相的遙感影像相互之間往往都不是精確配准的。此外，由於資料預處理步驟的不同或者高級資料產品生產過程中重採樣、重投影等處理也會影響遙感影像的幾何精度[2]。例如，採用全球正弦投影的MODIS資料標準產品在中緯度和兩極地區的圖像幾何畸變尤為明顯[31]。
2.3 混合像元模型的複雜性
衛星遙感影像的單個像元記錄的是衛星感測器在暫態視場角內所覆蓋的地面範圍內總的地物輻射能量。由於衛星感測器空間解析度的限制、自然界地物的複雜多樣性、地表輻射多次散射等因素的影響[8]，混合像元普遍存在，且低解析度影像像元的混合程度更加明顯。
一般的，低解析度的混合像元可以被認為是對應高解析度影像中純淨像元的加權之和。現有的絕大部分時空融合演算法，例如基於地表組分的時空融合模型，所採用的混合像元模型都是線性的[5, 13, 25]，即假設到達衛星感測器的地表輻射是由唯一的光譜端元組分直接反射而來[8]。線性的混合像元模型適用於較大面積的同質地物覆蓋的情況，當地物複雜度較高、異質性較強的時候，不同地物之間的相互多次散射也會增加，從而使得入瞳輻射產生非線性混合。線性的混合像元模型僅僅是非線性混合像元模型的特例。因此，在時空融合模型中恰當地引入非線性的混合像元模型並提高時空融合的精度，是一個有待進一步研究的問題。
2.4 地物時相變化模型的複雜性
針對已知時間點和待預測時間點之間的地物時相變化，多數時空融合演算法都是採用線性的地物變化模型[12, 32]。然而在實際情況中，人為因素引起的土地利用變化模型往往是非線性的，例如文獻[33]就用WRF/UCM(weather research forecast/urban canopy model)系統來類比和預測未來城市擴張對城市熱島效應的影響；自然因素引起的地物時相變化也不一定都遵循線性的變化趨勢，文獻[3]用稀疏表達理論以非線性的方式重建了待預測高解析度影像中的空間細節資訊。因此，將非線性的地物時相變化模型恰當地引入時空融合模型用以類比複雜多樣的地物時相變化，並提高時空融合的精度是必要的。
3 時空融合的前瞻3.1 演算法的通用性
雖然現在已經湧現了多種多樣的時空融合演算法，但這些演算法都被局限於特定的資料來源、演算法原理或者應用目的。一方面，由於不同的資料來源具有不同的幾何、輻射、量綱屬性[2, 13]，使得即使是同一種融合演算法在應用於不同的資料來源時，其融合結果的精度差異都比較大，例如STARFM在應用於同質地表反射率資料時能獲得較好的預測效果，但在用於地表溫度的時空融合時就難以獲得較好的預測效果[15]。另一方面，時空融合演算法研究時段內地物的時相變化以及地表覆蓋情況是非常複雜的，包括季節變化[10]、類別變化[3-4]以及突發擾動事件[14]；同質的地表[10]和異質的地表覆蓋[12-13]等。在應對複雜的時相變化和地表覆蓋時，採用不同的時空融合演算法得到的融合結果差異性較大，例如STARFM在捕捉較為同質的地表覆蓋的季相變化時效果較好，但在預測異質地表的時相變化時效果就較差[12]。雖然文獻[12]針對異質地表覆蓋地貌的時空融合做了改進，但依然無法捕捉到地物的類別變化[3-5]。SPSTFM採用了稀疏表達的理論去重建未知時間點的高解析度影像，能夠實現季節變化和類別變化的一體化融合，但是在應用於大批量、大範圍內的遙感影像的時空融合時，其較高的演算法複雜度需要採用平行計算或者進一步的演算法優化來提高其運行效率。
總的來說，目前尚未有一種能夠適用於不同資料來源和應用目的的時空融合演算法出現，不僅能夠考慮資料的多樣性，而且能針對不同衛星感測器或者不同類型的資料都獲得較好的融合效果，從而達到具有廣泛實用性的價值。
3.2 演算法的魯棒性
現有的時空融合演算法都有特定的一些演算法參數，這些演算法參數都會在一定程度上影響最終融合結果的精度。例如在STARFM中，預估的地物類別數和移動視窗的尺寸是非常重要的兩個參數。預估的地物類別數越高，預測結果的精度越高；移動視窗的尺寸越大，預測結果的精度越高[25]；基於一對已知影像進行字典學習的時空融合方法[4]需要設置訓練字典的尺寸大小，尺寸過大或者過小都不太適宜。但是當用戶在實際應用中面對大批量、多樣化的遙感影像時，使用者很難去逐個對每一次的時空融合演算法處理去設定合適的或者普適的演算法參數。因此，降低時空融合演算法對模型參數的敏感度、減少時空融合演算法對參數的依賴性，以提升演算法本身的魯棒性，對於時空融合演算法的推廣使用是有很重要的實際意義的。
4 結語
遙感影像的時空融合是一種針對地觀測系統中衛星感測器的時間-空間解析度折中而提出的一種成本低、靈活性強、可行性高的解決方案。時空融合既很好地解決了現階段衛星遙感資料“又多又少”的問題，又為多種遙感應用了高時空解析度的遙感影像，例如地表反射率、地表溫度、植被指數等重要環境因數的時間序列分析研究。時空融合極大地提高了遙感資料的利用率，其資料融合思想也為其他研究領域的資料融合或者資料集成利用奠定了理論參考和科學支撐，並提供了可行的技術手段。
現有時空融合演算法的基礎理論假設主要包括時相變化模型的空間尺度不變性和空間降尺度模型的時間一致性。基於這兩種假設機制，時空融合演算法可以分為基於地物類別組分的時空融合、基於地表空間資訊的時空融合、基於地物時相變化的時空融合以及組合性的時空融合。現階段基於不同原理、不同假設、不同應用、不同資料來源的時空融合方法研究層出不窮，並且已經成功應用于多種遙感應用之中。
然而，無論是基於何種原理或者何種應用的時空融合演算法，它們都有各自的優點和局限性，時空融合演算法的發展還未達到成熟的程度。多源遙感影像的幾何和輻射特性差異的校正、異質地表混合像元模型的非線性散射特徵的處理、地物時相變化模型的精確建模，以及演算法的通用性和魯棒性提升等方面仍有待進一步的深入研究。
【引文格式】黃波，趙湧泉。多源衛星遙感影像時空融合研究的現狀及展望[J]. 測繪學報，2017，46(10)：1492-1499. DOI: 10.11947/j.AGCS.2017.20170376
即使Landsat衛星能夠在16天內實現對某一地區的重複訪問，一年內無雲或少雲的資料依然較少，一年之內獲取到雲覆蓋率低於10%的遙感影像的概率也只有10%左右[9]，這在很大程度上影響了對地表動態變化的監測和研究。針對時空解析度矛盾以及其他客觀因素的限制，如果從“硬體”的角度出發，需要發射更多、硬體技術要求更高的對地觀測衛星來解決這一問題，但是考慮到成本和硬體水準的限制，這一方案往往不切實際。遙感影像時空融合[3, 10-11]作為一種相對較新的影像融合手段，是從“軟體”的角度來解決衛星感測器的時-空解析度矛盾的。遙感影像時空融合是利用已知的“時相密集”的低空間解析度影像序列和與之部分時間點對應的“時相稀疏”的高空間解析度影像序列來融合生成與低空間解析度影像序列時相對應的“時相密集”的高空間解析度影像序列。時空融合旨在將多源衛星遙感影像的高空間解析度和高時間解析度結合起來，通過時空融合演算法的處理，生成目標研究區域內具有高頻次訪問的高空間解析度遙感影像序列，其演算法思想如圖 1所示。相對於“硬體”的解決方案，時空融合在無需發射新的對地觀測衛星的情況下，是一種低成本、高效率、可行性強的解決技術手段。對於進一步拓展現有遙感影像的應用和研究價值，時空融合依然是一種不可或缺的技術手段[11]。
圖 1 多源遙感影像時空融合示意圖Fig. 1 Spatial-temporal fusion of multi-source satellite imagery
圖選項
到目前為止，國內外的學者做了大量關於時空融合演算法的研究工作，出現了基於不同演算法原理、不同資料類型以及不同應用目的多種時空融合演算法。例如，能夠預測同質地表季節變化的時空自我調整反射率融合模型[10]；能夠對異質地表的季節性變化得到較好預測結果的自我調整時空融合模型[12-13]；針對地表反射率突發擾動事件製圖的時空自我調整演算法[14]；能夠對地表季節和類別變化進行一體化融合的時空融合演算法[3-5]；能夠生成高時空解析度地表溫度資料的時空融合模型[15-17]。這些時空融合演算法往往都是基於資料來源、不同的原理或者不同的應用目的而提出的，其發展呈現出一種無序性。面對如此多樣化的時空融合演算法，本文對其進行了概括總結，分析了現在主要時空融合演算法的基礎理論假設和演算法原理並加以歸類，指出了時空融合演算法所面臨的問題和挑戰，並展望了未來時空融合演算法的進一步發展所需解決的問題，為相關的資料融合演算法以及遙感應用研究提供理論參考和技術支撐。
1 遙感影像時空融合概述及分類
總體來說，時空融合都是基於兩種理論基礎來進行的：① 時相變化模型的空間尺度不變性；② 空間降尺度模型的時間一致性[2]。時相變化模型的空間尺度不變性是指不同空間解析度的遙感影像序列之間的時相變化模型是相互通用的；空間降尺度模型的時間一致性是指不同時相的高-低分空間解析度遙感影像之間的空間降尺度模型是相互通用的。
基於這兩種理論假設，時空融合演算法可以分為：① 基於地物類別組分的時空融合；② 基於地表空間資訊的時空融合；③ 基於地物時相變化的時空融合；④ 組合性的時空融合。
1.1 基於地物組分的時空融合
基於地物組分的時空融合，其理論基礎是不同地物類別的光譜資訊在不同空間尺度下的關聯模型具有時間一致性。這種類型的時空融合是在對已知時相的高解析度影像進行分類或者分割的基礎上，利用光譜混合理論建立已知時相的高解析度影像和對應低解析度影像之間的光譜混合模型；進而將這種光譜混合模型應用到待預測的未知時相的低-高解析度影像對上，再利用不同地物組分在低解析度影像上的時相變化資訊和對應的光譜混合模型求解出高解析度的時相變化量，從而預測出未知時相的高解析度影像。此外基於地物組分的時空融合還需滿足兩項假設：① 低空間解析度影像像元內部不同組分所占的比例在觀測時段內沒有變化；② 同一組分內部的光譜差異可以忽略不計。基於地物組分的時空融合可以表達為
(1)
式中，L(xi,yi,tk)是待預測時間點tk的低解析度圖元(xi,yi)；N是地物的組分數量；fn是每一種地物組分在低解析度圖元中所占的比例；ρ(n,tk)是組分n的光譜值；ε是線性光譜混合模型的誤差項。
由於基於地物組分的時空融合需滿足假設①，故而也就限制了其不能應用於地物類別發生變化情況下的時空融合。因為地表的類別變化必然會導致不同組分所占的比例發生變化。同時，由於基於地物組分的時空融合是建立在線性光譜混合模型的基礎之上的，因此該類融合亦不適用於地物光譜屬於非線性混合的情況。
此外，多數基於地表組分的時空融合都是基於線性的光譜混合模型進行的，該模型中提取出各種地物的端元光譜值是很關鍵的，即得到純淨像元的圖元值。但在實際應用中由於非線性光譜混合現象的大量存在，以及遙感影像空間解析度和光譜解析度的限制，各類地物的端元光譜值很難準確地獲得，從而會對基於地表組分的時空融合產生不利的影響，增加其預測誤差。
1.2 基於地表空間資訊的時空融合
基於地表空間資訊的時空融合，其理論基礎是地物的空間細節資訊在不同空間尺度下的關聯模型具有時間一致性。這種類型的時空融合首先建立已知時相的低-高解析度影像對之間的空間資訊對應關係，並通過線性或者非線性的方式從已知的高解析度影像中提取出高解析度空間資訊集合；然後將已知時相低-高解析度影像對之間的空間資訊對應關係應用到待預測的未知時相的低-高空間解析度影像對上，將未知時相的低解析度影像用對應的高解析度空間資訊集合進行表達，從而預測出未知時相的高解析度影像。理論上存在一個空間資訊降尺度函數，使得
(2)
式中，h是一個空間尺度映射函數；SD(tk)是待預測時間點的高解析度空間細節資訊集合，它是從已知時間點的高解析度影像中通過線性[12]或者非線性方式[3]獲取並最終被融入到L(xi,yi,tk)之中的。
因為線性的空間資訊提取和融合方式的前提假設是高解析度影像像元和低解析度影像像元的空間尺度轉換參數是線性的且具有時間一致性，所以線性的基於地表空間資訊的時空融合只適用於土地覆蓋未發生類別變化的情況，即為地表的空間細節資訊在觀測時段內保持不變的情況。而非線性的基於地表空間資訊的時空融合則能適用於地表發生類別變化的情況，因為它能從已知時間點影像的所有像元中搜索與L(xi,yi,tk)中像元對應的空間細節資訊，而無需空間尺度轉換參數具有時間一致性這一假設。例如，文獻[3]提出的SPSTFM演算法(sparse representation-based spatio-temporal reflectance fusion model)就將稀疏表達的理論引入了時空融合演算法，用非線性的方式提取出高-低解析度的空間細節字典對，並用該字典對去重建待預測的高解析度遙感影像，其空間細節字典對的訓練過程如圖 2所示。非線性的基於地表空間資訊的融合方式雖然能夠更好地重建出地表細節資訊，但也會帶來演算法計算複雜度增加的問題[3-4]。
圖 2 SPSTFM演算法字典訓練示意圖Fig. 2 The dictionary training process of SPSTFM
圖選項
1.3 基於地物時相變化的時空融合
基於地物時相變化的時空融合，其理論基礎是地物的時相變化模型具有空間尺度的不變性。這種類型的時空融合首先建立已知時相和未知時相的低解析度影像之間的時相變化模型，然後將所得到的時相變化模型應用于已知時相的高解析度影像上，從而得到未知時相的高解析度影像。這種時空融合可以用下述模型表達
(3)
式中，ω是一個時間變換映射函數；S(t0,tk)是從已知和待預測時間點的低解析度影像中獲得的地物時相變化模型參數。因為地物的時相變化模型具有空間尺度不變性，所以通過低解析度影像得到的時相變化模型可以應用到對應高解析度影像之間的時相變換。
在一個局部視窗內，根據時相變化模型具有尺度不變性這一理論假設，時相變化模型一般可劃分為3類：① 差值變化，即為H(xi,yi,tk)=H(xi,yi,t0)+[L(xi,yi,tk)-L(xi,yi,t0)]；② 比值變化，即為H(xi,yi,tk)=H(xi,yi,t0)·[L(xi,yi,tk)/L(xi,yi,t0)]；③ 比率變化，即為H(xi,yi,tk)=a·H(xi,yi,t0)+b，其中參數a、b由L(xi,yi,tk)=a·L(xi,yi,t0)+b求得。比較有代表性的時空自我調整反射率融合模型STARFM[10](spatial and temporal adaptive reflectance fusion model)，就是基於局部移動視窗內的差值變化模型實現的。
基於地物時相變化的時空融合應用比較廣泛，例如在地表反射率[18]、地表溫度[15, 19]、地表蒸散[20]、植被指數[21]和葉面積指數[22]等時序資料的生成；植被季節變化監測[23]、作物長勢監測[24]等方面的應用。然而，地物的時相變化模型在不同空間尺度的不變性要求高解析度影像的像元要位於對應的低解析度影像像元的內部，或者位於對應低分辨像元臨近像元集合的內部，如此這些高-低解析度圖元才能具有相同的變化率。這一要求就限制了這類時空融合在異質地表覆蓋情況下的應用，因為異質的土地覆蓋對應的低解析度像元，可能包含了不同種類的高解析度像元，故而不能保證空間上對應的高-低解析度像元具有相同的變化率。
1.4 組合性的時空融合
對於組合性的時空融合，主要是指利用以上3種類型中的某兩種類型的時空融合進行組合而成的一種組合性時空融合模型。
1.4.1 基於地物組分內空間資訊的時空融合
這種類型的時空融合的理論假設是不同地物組分內部的空間資訊在不同的空間尺度下的關聯模型具有時間一致性。它是在對已知時間點的高解析度圖像進行分割或者分類之後，在不同的組分內部進行基於地物空間細節資訊的時空融合演算法處理，
進而預測未知時相的高解析度影像。文獻[5]提出了一個“變化趨勢率”的概念，如圖 3所示，假設Landsat和MODIS的地表反射率資料在兩個觀測時間段內的時間變化趨勢率是相同的。在此基礎上，假設每一種組分內部的空間細節在不同空間解析度影像之間的關係具有時間一致性並解算出待預測的高解析度影像。
圖 3 U-STFM“變換趨勢率”解算示意圖[5]Fig. 3 Illustration of "change trend ratio" calculation[5]
圖選項
1.4.2 基於地物組分內時相變化的時空融合
這種組合性的時空融合是基於不同的地物組分而不是低解析度圖元來建立地物的時相變化模型，在對已知時相的高解析度圖像進行分割或者分類從而得到不同的地物組分之後，假設不同組分的時相變化模型具有空間尺度不變性，再預測未知時相的高解析度影像。文獻[25]首先對高解析度的圖像進行分類從而獲取高解析度的地物組分，假設不同組分的時相變化具有空間一致性，然後針對不同的組分進行基於地物時相變化的時空融合。文獻[26]首先對低解析度影像進非監督分類獲取低解析度的地表組分圖，通過對應組分內部無雲的純淨像元建立回歸關係來獲得不同時相之間圖元的時相變化關係。
2 時空融合面臨的問題和挑戰
多源遙感影像的時空融合需要融合來自不同衛星、不同感測器、不同時相、不同類型的遙感影像，融合結果的精度也理所當然地受這些多源遙感資料的輻射和幾何不一致性的影響[25]。因此，也有一部分研究將高解析度的影像進行降採樣之後的類比低解析度影像作為低解析度資料來源進行時空融合研究[13, 25, 27]。因此，就能排除資料在輻射和幾何方面的不一致性所帶來的負面影響，從而聚焦于時空融合演算法本身的研究，因為在這種情況下，誤差的來源只會是時空融合演算法自身[13]。但是，這種實驗策略在實際應用情況中是不現實的，因為在處理真實的多源遙感資料時，其幾何和空間不一致性不可避免地會給融合精度帶來不可忽視的誤差[2]。
2.1 多源遙感影像的輻射差異
由於地表和大氣環境的變化、不同衛星獲取資料時的雙向反射分佈函數(bidirectional reflectance distribution function，BRDF)的差異、多源感測器光譜解析度的差異、不同衛星輻射定標精度的差異，以及不同空間解析度的像元混合效應的差別等因素的影響[2, 25, 28-29]，導致多源感測器、多時相以及多解析度的遙感影像相互之間具有輻射亮度的差異。
如果地表覆蓋異質性較高，或者時相變化較為複雜，則多源遙感資料的輻射度差異會導致更嚴重的時空融合誤差。此外，如果在融合過程中不對多來源資料的輻射度差異進行處理，則會導致基於地表組分的時空融合與其他類型的時空融合結果具有不同的輻射度特徵。即為基於地表組分的時空融合結果具有類似於低解析度影像的輻射度特徵，其他類型時空融合方法的結果具有類似於高解析度影像的輻射度特徵[2]。
2.2 多源遙感影像的幾何配准差異
由於上述的時空融合演算法基本都是圖元級或者特徵級[30]的圖像融合演算法，故而這些演算法都要求待融合的多源遙感影像具有很高的幾何配准精度[5, 13, 25]。然而，由於不同衛星的資料獲取方式的不同、不同時刻衛星姿態的不同及擾 動等因素的影響，導致多源感測器、多時相的遙感影像相互之間往往都不是精確配准的。此外，由於資料預處理步驟的不同或者高級資料產品生產過程中重採樣、重投影等處理也會影響遙感影像的幾何精度[2]。例如，採用全球正弦投影的MODIS資料標準產品在中緯度和兩極地區的圖像幾何畸變尤為明顯[31]。
2.3 混合像元模型的複雜性
衛星遙感影像的單個像元記錄的是衛星感測器在暫態視場角內所覆蓋的地面範圍內總的地物輻射能量。由於衛星感測器空間解析度的限制、自然界地物的複雜多樣性、地表輻射多次散射等因素的影響[8]，混合像元普遍存在，且低解析度影像像元的混合程度更加明顯。
一般的，低解析度的混合像元可以被認為是對應高解析度影像中純淨像元的加權之和。現有的絕大部分時空融合演算法，例如基於地表組分的時空融合模型，所採用的混合像元模型都是線性的[5, 13, 25]，即假設到達衛星感測器的地表輻射是由唯一的光譜端元組分直接反射而來[8]。線性的混合像元模型適用於較大面積的同質地物覆蓋的情況，當地物複雜度較高、異質性較強的時候，不同地物之間的相互多次散射也會增加，從而使得入瞳輻射產生非線性混合。線性的混合像元模型僅僅是非線性混合像元模型的特例。因此，在時空融合模型中恰當地引入非線性的混合像元模型並提高時空融合的精度，是一個有待進一步研究的問題。
2.4 地物時相變化模型的複雜性
針對已知時間點和待預測時間點之間的地物時相變化，多數時空融合演算法都是採用線性的地物變化模型[12, 32]。然而在實際情況中，人為因素引起的土地利用變化模型往往是非線性的，例如文獻[33]就用WRF/UCM(weather research forecast/urban canopy model)系統來類比和預測未來城市擴張對城市熱島效應的影響；自然因素引起的地物時相變化也不一定都遵循線性的變化趨勢，文獻[3]用稀疏表達理論以非線性的方式重建了待預測高解析度影像中的空間細節資訊。因此，將非線性的地物時相變化模型恰當地引入時空融合模型用以類比複雜多樣的地物時相變化，並提高時空融合的精度是必要的。
3 時空融合的前瞻3.1 演算法的通用性
雖然現在已經湧現了多種多樣的時空融合演算法，但這些演算法都被局限於特定的資料來源、演算法原理或者應用目的。一方面，由於不同的資料來源具有不同的幾何、輻射、量綱屬性[2, 13]，使得即使是同一種融合演算法在應用於不同的資料來源時，其融合結果的精度差異都比較大，例如STARFM在應用於同質地表反射率資料時能獲得較好的預測效果，但在用於地表溫度的時空融合時就難以獲得較好的預測效果[15]。另一方面，時空融合演算法研究時段內地物的時相變化以及地表覆蓋情況是非常複雜的，包括季節變化[10]、類別變化[3-4]以及突發擾動事件[14]；同質的地表[10]和異質的地表覆蓋[12-13]等。在應對複雜的時相變化和地表覆蓋時，採用不同的時空融合演算法得到的融合結果差異性較大，例如STARFM在捕捉較為同質的地表覆蓋的季相變化時效果較好，但在預測異質地表的時相變化時效果就較差[12]。雖然文獻[12]針對異質地表覆蓋地貌的時空融合做了改進，但依然無法捕捉到地物的類別變化[3-5]。SPSTFM採用了稀疏表達的理論去重建未知時間點的高解析度影像，能夠實現季節變化和類別變化的一體化融合，但是在應用於大批量、大範圍內的遙感影像的時空融合時，其較高的演算法複雜度需要採用平行計算或者進一步的演算法優化來提高其運行效率。
總的來說，目前尚未有一種能夠適用於不同資料來源和應用目的的時空融合演算法出現，不僅能夠考慮資料的多樣性，而且能針對不同衛星感測器或者不同類型的資料都獲得較好的融合效果，從而達到具有廣泛實用性的價值。
3.2 演算法的魯棒性
現有的時空融合演算法都有特定的一些演算法參數，這些演算法參數都會在一定程度上影響最終融合結果的精度。例如在STARFM中，預估的地物類別數和移動視窗的尺寸是非常重要的兩個參數。預估的地物類別數越高，預測結果的精度越高；移動視窗的尺寸越大，預測結果的精度越高[25]；基於一對已知影像進行字典學習的時空融合方法[4]需要設置訓練字典的尺寸大小，尺寸過大或者過小都不太適宜。但是當用戶在實際應用中面對大批量、多樣化的遙感影像時，使用者很難去逐個對每一次的時空融合演算法處理去設定合適的或者普適的演算法參數。因此，降低時空融合演算法對模型參數的敏感度、減少時空融合演算法對參數的依賴性，以提升演算法本身的魯棒性，對於時空融合演算法的推廣使用是有很重要的實際意義的。
4 結語
遙感影像的時空融合是一種針對地觀測系統中衛星感測器的時間-空間解析度折中而提出的一種成本低、靈活性強、可行性高的解決方案。時空融合既很好地解決了現階段衛星遙感資料“又多又少”的問題，又為多種遙感應用了高時空解析度的遙感影像，例如地表反射率、地表溫度、植被指數等重要環境因數的時間序列分析研究。時空融合極大地提高了遙感資料的利用率，其資料融合思想也為其他研究領域的資料融合或者資料集成利用奠定了理論參考和科學支撐，並提供了可行的技術手段。
現有時空融合演算法的基礎理論假設主要包括時相變化模型的空間尺度不變性和空間降尺度模型的時間一致性。基於這兩種假設機制，時空融合演算法可以分為基於地物類別組分的時空融合、基於地表空間資訊的時空融合、基於地物時相變化的時空融合以及組合性的時空融合。現階段基於不同原理、不同假設、不同應用、不同資料來源的時空融合方法研究層出不窮，並且已經成功應用于多種遙感應用之中。
然而，無論是基於何種原理或者何種應用的時空融合演算法，它們都有各自的優點和局限性，時空融合演算法的發展還未達到成熟的程度。多源遙感影像的幾何和輻射特性差異的校正、異質地表混合像元模型的非線性散射特徵的處理、地物時相變化模型的精確建模，以及演算法的通用性和魯棒性提升等方面仍有待進一步的深入研究。
【引文格式】黃波，趙湧泉。多源衛星遙感影像時空融合研究的現狀及展望[J]. 測繪學報，2017，46(10)：1492-1499. DOI: 10.11947/j.AGCS.2017.20170376