基于高光譜成像技術(shù)的壁畫文字識(shí)別分析報(bào)告-江蘇雙利合譜科技有限公司

您現(xiàn)在的位置：首頁(yè) >> 解決方案 >> 基于高光譜成像技術(shù)的壁畫文字識(shí)別分析報(bào)告

基于高光譜成像技術(shù)的壁畫文字識(shí)別分析報(bào)告

瀏覽次數(shù)：795發(fā)布日期：2023-04-23

一、測(cè)試原理及方法：

高光譜成像技術(shù)是近二十年來(lái)發(fā)展起來(lái)的基于非常多窄波段的影像數(shù)據(jù)技術(shù)，其比較突出的應(yīng)用是遙感探測(cè)領(lǐng)域，并在越來(lái)越多的民用領(lǐng)域有著更大的應(yīng)用前景。它集中了光學(xué)、光電子學(xué)、電子學(xué)、信息處理、計(jì)算機(jī)科學(xué)等領(lǐng)域的先進(jìn)技術(shù)，是傳統(tǒng)的二維成像技術(shù)和光譜技術(shù)有機(jī)的結(jié)合在一起的一門新興技術(shù)。

高光譜成像技術(shù)的定義是在多光譜成像的基礎(chǔ)上，在從紫外到近紅外（200-2500nm）的光譜范圍內(nèi)，利用成像光譜儀，在光譜覆蓋范圍內(nèi)的數(shù)十或數(shù)百條光譜波段對(duì)目標(biāo)物體連續(xù)成像。在獲得物體空間特征成像的同時(shí)，也獲得了被測(cè)物體的光譜信息。

目標(biāo)物體-成像物鏡-入射狹縫-準(zhǔn)直透鏡-PGP-聚焦透鏡-CCD棱鏡-光柵-棱鏡：PGP

圖1 成像原理圖

光譜儀的光譜分辨率由狹縫的寬度和光學(xué)光譜儀產(chǎn)生的線性色散確定。最小光譜分辨率是由光學(xué)系統(tǒng)的成像性能確定的（點(diǎn)擴(kuò)展大?。?。

成像過(guò)程為：每次成一條線上的像后（X方向），在檢測(cè)系統(tǒng)輸送帶前進(jìn)的過(guò)程中，排列的探測(cè)器掃出一條帶狀軌跡從而完成縱向掃描（Y方向）。綜合橫縱掃描信息就可以得到樣品的三維高光譜圖像數(shù)據(jù)。

圖2 像立方體

圖3 Gaia Field高光譜成像儀

高光譜儀配置：鏡頭：22mm鍍膜消色差鏡頭；光譜范圍：400nm-1000nm，光譜分辨率: 4nm@435.8nm（@400-1000nm），像面尺寸（光譜x空間）：6.15 x 14.2 mm，相對(duì)孔徑：F/2.4，狹縫長(zhǎng)度14.2 mm. 內(nèi)置控制、掃描機(jī)構(gòu)；內(nèi)置電池；

SpecView軟件：控制完成自動(dòng)曝光、自動(dòng)對(duì)焦、自動(dòng)掃描速度匹配；數(shù)據(jù)處理：黑白、輻射度、均勻性、鏡頭等校準(zhǔn)；光譜查看。

GaiaField便攜式高光譜系統(tǒng)是雙利合譜自行研制的超便攜式高光譜成像儀器。它的核心由三部分構(gòu)成，分別是：多維運(yùn)動(dòng)控制器，光譜相機(jī)和成像光譜儀。使用此系統(tǒng)進(jìn)行掃描，在獲得目標(biāo)影像信息的基礎(chǔ)上，還可以獲得數(shù)百甚至上千波段的光譜信息。

GaiaField系統(tǒng)有著輕便靈活，續(xù)航能力出色的特點(diǎn)。廣泛適用于，目標(biāo)識(shí)別、部分軍事領(lǐng)域，地面物體與水體遙測(cè)、現(xiàn)代精細(xì)農(nóng)業(yè)等生態(tài)環(huán)境監(jiān)測(cè)領(lǐng)域，以及刑偵、文物保護(hù)、生物醫(yī)學(xué)等領(lǐng)域。

覆蓋可見(jiàn)光與近紅外全波段可提供超過(guò)700個(gè)光譜通道，可自由選擇GaiaField便攜式高光譜系統(tǒng)采用了高分辨率的成像光譜儀。在可見(jiàn)光波段，光譜分辨率高達(dá)3nm，即使在短波紅外波段也能達(dá)到10nm。因而全波段內(nèi)可以獲得超過(guò)700個(gè)的光譜通道，更多的光譜通道意味著更多的信息，有助于研究人員通過(guò)對(duì)連續(xù)光譜的分析、反演，獲得更多的高價(jià)值數(shù)據(jù)細(xì)節(jié)。

圖4 高光譜成像儀采集的影像效果圖

軟硬件功能：

輔助攝像頭功能

通過(guò)輔助攝像頭觀察目標(biāo)拍攝區(qū)域

當(dāng)前狹縫位置指示

選擇自動(dòng)曝光與自動(dòng)調(diào)焦區(qū)域，直觀方便，僅需鼠標(biāo)即可完成操作。

圖 5 輔助攝像頭觀察目標(biāo)拍攝區(qū)域

自動(dòng)掃描速度匹配、自動(dòng)曝光：

自動(dòng)曝光：根據(jù)當(dāng)前光照環(huán)境，進(jìn)行曝光測(cè)試，獲得精準(zhǔn)的曝光時(shí)間。在得到最佳信噪比的同時(shí)，又可避免過(guò)度曝光造成數(shù)據(jù)作廢。同時(shí)軟件具有實(shí)時(shí)過(guò)度曝光監(jiān)視功能。

自動(dòng)掃描速度匹配：根據(jù)當(dāng)前的曝光時(shí)間等參數(shù)，進(jìn)行測(cè)試拍攝，得到實(shí)時(shí)幀速，進(jìn)而計(jì)算出合適的掃描速度。從而避免了掃描圖像的變形（拉伸或壓縮）。

圖 6 采集數(shù)據(jù)自動(dòng)曝光、速度匹配

二、數(shù)據(jù)分析：

本文以山西壁畫為研究對(duì)象，利用江蘇雙利合譜科技有限公司的高光譜成像儀Gaia Field（光譜范圍400 nm - 1000 nm）采集測(cè)試對(duì)象的高光譜數(shù)據(jù)。

對(duì)成像高光譜儀拍攝的原始影像數(shù)據(jù)進(jìn)行數(shù)據(jù)的預(yù)處理，預(yù)處理過(guò)程主要包括兩部分。第一部分是輻射定標(biāo)；第二部分為噪聲去除。

首先進(jìn)行輻射定標(biāo)。輻射定標(biāo)的計(jì)算公式如1所示。

(1)

其中，Ref_target為目標(biāo)物的反射率，Ref_panel為標(biāo)準(zhǔn)參考板的反射率，DN_target為原始影像中目標(biāo)物的的數(shù)值，DN_panel為原始影像中標(biāo)準(zhǔn)參考板的數(shù)值，DN_dark為成像光譜儀系統(tǒng)誤差。

其次是噪聲去除，本文運(yùn)用國(guó)外較為常用的最小噪聲分離方法(Minimum Noise Fraction Rotation， MNF)進(jìn)行噪聲去除。最小噪聲分離工具用于判定圖像數(shù)據(jù)內(nèi)在的維數(shù)（即波段數(shù)），分離數(shù)據(jù)中的噪聲，減少隨后處理中的計(jì)算需求量。MNF本質(zhì)上是兩次層疊的主成分變換。第一次變換（基于估計(jì)的噪聲協(xié)方差矩陣）用于分離和重新調(diào)節(jié)數(shù)據(jù)中的噪聲，這步操作使變換后的噪聲數(shù)據(jù)只有最小的方差且沒(méi)有波段間的相關(guān)。第二步是對(duì)噪聲白化數(shù)據(jù)（Noise-whitened）的標(biāo)準(zhǔn)主成分變換。為了進(jìn)一步進(jìn)行波譜處理，通過(guò)檢查最終特征值和相關(guān)圖像來(lái)判定數(shù)據(jù)的內(nèi)在維數(shù)。數(shù)據(jù)空間可被分為兩部分：一部分與較大特征值和相對(duì)應(yīng)的特征圖像相關(guān)，其余部分與近似相同的特征值以及噪聲占主導(dǎo)地位的圖像相關(guān)。由于此次采集的高光譜影像沒(méi)有白板校正，因此數(shù)據(jù)預(yù)處理的第一步輻射定標(biāo)沒(méi)有進(jìn)行分析處理，直接作MNF降噪分析。圖7為MNF降噪前后的成像高光譜數(shù)據(jù)中DN值的變化。

圖7 MNF變換前(左)后(右)高光譜影像DN值的變化

下圖分別為壁畫中不同成分的高光譜影像RGB（640 nm、550 nm、460 nm）真彩色合成數(shù)據(jù)及影像中不同位置的DN變化。從圖8可知，受自然腐蝕的影響，壁畫的字跡變得模糊不清，使原有的光譜信息發(fā)生變化，因此增加了通過(guò)光譜信息來(lái)識(shí)別壁畫中腐蝕字跡的難度。

圖8 壁畫中不同成分的DN值變化

利用SpecView軟件的Analysis-Animate功能，能快速瀏壁畫中的各波段圖像的灰度變化，結(jié)果表明能較為清楚地識(shí)別壁畫中字跡等高光譜影像信息的波段主要集中在紅光與近紅外區(qū)域，這與目前國(guó)內(nèi)外的研究結(jié)果相同。以730 nm波段影像為例，對(duì)壁畫730 nm處影像的灰度圖作密度分割，以期能更清楚地分辨壁畫內(nèi)部成分的變化，如圖9所示。從圖9可知，通過(guò)對(duì)成像高光譜特定某一波段作密度分割并賦予不同的顏色，不僅在圖像能較為清晰的看到壁畫中各成分的變化，而且也能看到其在數(shù)值上的變化。

圖9 壁畫在730 nm處的灰度圖像的密度分割效果圖

為了客觀地分別壁畫內(nèi)部成分的變化及壁畫字跡的識(shí)別，對(duì)經(jīng)預(yù)處理后的高光譜數(shù)據(jù)進(jìn)行主成分分析（Principal Component Analysis, PCA），去除波段之間的多余信息、將多波段的圖像信息壓縮到比原波段更有效的少數(shù)幾個(gè)轉(zhuǎn)換波段下。一般情況下，第一主成分包含波段中的80%的方差信息，前三個(gè)主成分包含了所有波段的中95%以上的信息量。由于各波段之間的不相關(guān)，主成分波段可以生成更多顏色、飽和度更好的彩色合成圖像。圖分別對(duì)比分析壁畫高光譜影像在PCA變化前后影像的合成圖。

圖10 壁畫的PCA變化前影像合成圖

（左 R：640 nm,G:550 nm，B：460 nm；右 R：PCA2,G:PCA1，B：PCA3）

從圖8-圖10可知，受自然腐蝕的影響，壁畫上的文字表現(xiàn)出不同的清晰度，被腐蝕的文字，其高光譜影像中的DN值與文字背景的DN值相似，因此很難通過(guò)光譜匹配、監(jiān)督分類、非監(jiān)督分類、決策樹(shù)、數(shù)學(xué)形態(tài)學(xué)等方法識(shí)別出被腐蝕的文字。為了提取壁畫上的文字信息，本文嘗試?yán)弥鞒煞址治觯コǘ沃g的多余信息、將多波段的圖像信息壓縮到比原波段更有效的少數(shù)幾個(gè)轉(zhuǎn)換波段下，并利用波段組合的方法組合成RGB圖像，如圖10所示，然而從圖中可知，主成分的RGB合成圖像仍無(wú)法識(shí)別受自然腐蝕的字跡；同樣，利用成像高光譜的單波段作密度分割識(shí)別壁畫上的受腐蝕的字跡效果也不理想。

但是，從圖9和圖10可知，通過(guò)PCA各主成分的波段組合及單波段的密度分割后，壁畫內(nèi)部成分的變化能較為清晰的展現(xiàn)出來(lái)，因此可以利用成像高光譜技術(shù)來(lái)分析壁畫的受腐蝕程度。

在自然界中，存在著許多同物異譜，異物同譜的現(xiàn)象，傳統(tǒng)的非成像高光譜，對(duì)于異物同譜的現(xiàn)象很難將地物相互區(qū)別開(kāi)來(lái)。但是隨著遙感技術(shù)的發(fā)展，成像高光譜的“圖譜合一”的特點(diǎn)為解決同物異譜，異物同譜的問(wèn)題提供了技術(shù)支撐，本文壁畫中的字跡與其背景的光譜十分相似，但基于成像高光譜“圖譜合一”的特點(diǎn)，利用馬氏距離法能較好地從背景中提取影像中的字跡，如圖11所示。

圖11 高光譜影像字跡提取

上一篇：高光譜技術(shù)在古建筑壁畫保護(hù)中的應(yīng)用
下一篇：基于地面成像高光譜的石碑文字信息提取研究