您的位置:網(wǎng)站首頁(yè) > 電器維修資料網(wǎng) > 正文 >
圖像傳感器的發(fā)展
來(lái)源: 日期:2013-12-8 11:33:08 人氣:標(biāo)簽:
2.傳統(tǒng)基于圖像傳感器的設(shè)計(jì)可以支持很多嵌入視覺(jué)實(shí)現(xiàn),但對(duì)于深度識(shí)別要求,通常需要一個(gè)3d圖像傳感器子系統(tǒng)。
3.深度映射的常見(jiàn)方法是立體傳感器陣列,它將兩個(gè)攝像頭“固定”起來(lái);結(jié)構(gòu)光法是將一個(gè)預(yù)設(shè)的光模式投射到屏幕做分析;而飛行時(shí)間法則是通過(guò)投射光經(jīng)過(guò)的時(shí)間(從源到物體,再返回傳感器)計(jì)算出距離。
看一下你正在做的設(shè)計(jì),或者更省事一點(diǎn),看一下你的周邊,你很可能會(huì)發(fā)現(xiàn)攝像機(jī)正在盯著你,甚至不止一臺(tái)。圖像傳感器和它配套的圖像處理器正在各種電子產(chǎn)品中日益普及。
例如,現(xiàn)在幾乎不可能買到一款不帶攝像頭的筆記本電腦,而越來(lái)越多的一體機(jī)、專用計(jì)算機(jī)顯示器,甚至電視機(jī)中都包含了攝像頭。智能手機(jī)與平板電腦也更多地配上了圖像傳感器,通常前后都有,有時(shí)甚至采用“立體”配置以獲取三維圖像。甚至在便攜媒體播放器和汽車內(nèi)也能看到攝像頭的存在。
豐富的應(yīng)用
設(shè)計(jì)中增加攝像頭的基本理由一般是實(shí)現(xiàn)基本的圖像捕捉,尤其是靜像、錄像以及視頻會(huì)議。但由于已經(jīng)有很多圖像構(gòu)建塊,軟件與系統(tǒng)開發(fā)者也充分將它們用于更多新的用途,如根據(jù)內(nèi)容識(shí)別含義,根據(jù)判讀的信息采取動(dòng)作。
例如在汽車應(yīng)用中,先進(jìn)的分析系統(tǒng)并不是簡(jiǎn)單地將后視攝像頭捕捉的視頻送到lcd屏幕上,它還會(huì)警告駕駛員在車后探測(cè)到了某個(gè)物體,更先進(jìn)的系統(tǒng)甚至能緊急剎車以避免撞車的發(fā)生。
在汽車兩側(cè)和周圍很多位置還可以安裝更多的攝像頭,用以提醒駕駛者,先進(jìn)的實(shí)現(xiàn)還會(huì)采取措施,以避免無(wú)意的變道或與前方物體的碰撞。它們還可以解析出道路標(biāo)志的含義,對(duì)駕駛者提出超速或可能發(fā)生碰撞的警告。攝像頭能夠?qū)崿F(xiàn)對(duì)收音機(jī)和其它汽車子系統(tǒng)的手勢(shì)界面控制,從而減少駕駛者的分心,它們可以發(fā)現(xiàn)正在打盹、發(fā)短信或做著其他分神的事的駕駛者,讓他們把全部注意力放回道路上。
智能手機(jī)、平板電腦、計(jì)算機(jī)和電視用前置攝像頭可完成不同功能。它們可以警告用戶距離顯示器過(guò)近或過(guò)遠(yuǎn),或姿勢(shì)不好。它們可以確保有人坐在顯示器前時(shí),顯示屏背光一直亮著,而當(dāng)人走開時(shí),顯示屏背光自動(dòng)關(guān)閉。在這些例子和其它消費(fèi)電子應(yīng)用中,手勢(shì)界面扮演著越來(lái)越重要的角色(如在游戲機(jī)中),它為傳統(tǒng)的按鈕按鍵、觸摸板或鼠標(biāo)的操作提供了一種補(bǔ)充(雖然不是替代)。
正面的攝像頭可以用于監(jiān)控呼吸,它量度胸腔的起伏節(jié)奏,并且通過(guò)探測(cè)血流引起的面部顏色微小的周期性變化測(cè)出心律。它可以監(jiān)控眼球的移動(dòng),警告一個(gè)人喝酒過(guò)多了。它可以判斷出一個(gè)出現(xiàn)在系統(tǒng)前的人是授權(quán)用戶,自動(dòng)為其登錄,并裝入特定賬戶的程序與設(shè)置。而后置攝像頭則可以采用增強(qiáng)現(xiàn)實(shí)的手段,為某個(gè)物體或場(chǎng)景的普通視圖提供額外的信息。
這些是嵌入視覺(jué)的典型例子,這個(gè)發(fā)展迅速的應(yīng)用類型已擴(kuò)展到專用功能設(shè)備,如監(jiān)控系統(tǒng)和生產(chǎn)線檢查設(shè)備等。有些情況下,過(guò)去是由運(yùn)行pc操作系統(tǒng)的計(jì)算機(jī)執(zhí)行視覺(jué)分析工作,但這種方法成本高、笨重、功耗大,并且不可靠。在其它一些情況下,任一或所有這些因素都會(huì)導(dǎo)致不可能實(shí)現(xiàn)視覺(jué)功能。
現(xiàn)在,由于處理器、圖像傳感器、存儲(chǔ)器和其它半導(dǎo)體器件的性能提高、成本下降及功耗減小,開發(fā)人員可以針對(duì)各種系統(tǒng)規(guī)模和價(jià)格點(diǎn),評(píng)估嵌入視覺(jué)的能力,這也提升了對(duì)越來(lái)越強(qiáng)健的圖像子系統(tǒng)的需求。
距離還是分辨率
多年來(lái), 消費(fèi)數(shù)碼相機(jī)市場(chǎng)的動(dòng)力一直是“像素越多越好”的心態(tài),由于這些圖像傳感器有大規(guī)模的批量,因而價(jià)格較低,所以也進(jìn)入了很多嵌入視覺(jué)系統(tǒng)。但近年來(lái),這種過(guò)分簡(jiǎn)單化選擇策略的局限性已經(jīng)越來(lái)越明顯。
首先,消費(fèi)者日益發(fā)現(xiàn),除非他們要把照片放大打印到一整面墻那么大,或?qū)υ凑掌鰢?yán)格的剪裁,否則根本不需要高分辨率的圖像,高分辨率照片要占用龐大的存儲(chǔ)空間。另外,現(xiàn)代相機(jī)拍出的高噪聲照片或經(jīng)人為修補(bǔ)的照片,揭示出了越來(lái)越高的分辨率的缺陷。
傳感器尺寸必須保持很小以維持性價(jià)比,這是消費(fèi)電子系統(tǒng)的一個(gè)重要特性。當(dāng)制造商硬性在傳感器中塞入更多像素時(shí),可想而知,必須縮小單個(gè)像素的尺寸。在確定的時(shí)間量下,越小的像素獲得的光子數(shù)越少,因此降低了光敏感度。這樣不僅降低了相機(jī)的低光性能,同時(shí)也對(duì)系統(tǒng)動(dòng)態(tài)范圍產(chǎn)生了負(fù)面影響。后處理工作只能部分地補(bǔ)償這種損失,通常是只采用運(yùn)動(dòng)修補(bǔ)和其它折中方法。
諷刺地是,嵌入視覺(jué)應(yīng)用的需求傾向于采用較通用攝影更低的分辨率。例如,微軟公司kinect中使用的紅外和可見(jiàn)光圖像傳感器都是vga(640×480像素)分辨率的類型,而視覺(jué)外設(shè)只將qvga(320×240像素)的深度圖像傳送給連線的游戲機(jī)或pc。
鑒于現(xiàn)代傳感器中可用像素已經(jīng)過(guò)剩,有些供應(yīng)商轉(zhuǎn)而采用非傳統(tǒng)bayer rgb模式的濾波器陣列方案,將多余像素用于提高光靈敏度和彩色精度(圖1)。額外的(和改變的)濾波器顏色據(jù)說(shuō)能提高全譜段上的單像素插值結(jié)果,而單色(或無(wú)濾波器)像素可以進(jìn)入更多光線,付出的代價(jià)是沒(méi)有了彩色識(shí)別能力(參考文獻(xiàn)1)。
圖1,bayer傳感器模式以一位柯達(dá)圖像科學(xué)家的名字命名,它保留了數(shù)字影像應(yīng)用中的
濾波器陣列方法(a)。更多現(xiàn)代方案則以一種隨機(jī)方式增加了綠色光譜像素,以提高可見(jiàn)光頻譜中這一 重要部分的細(xì)節(jié)(b),使用減色(代價(jià)是需要更多的后期處理),以提高濾波器的光傳輸能力(c),甚至為像素混合體增加無(wú)濾波器的單色像素(d)。
萊卡相機(jī)公司的 新數(shù)碼相機(jī)將濾波器的變通做到了極致,它用自己的無(wú)濾波器單色圖像傳感器,僅捕捉黑白圖像(圖2a)。但即使在高iso設(shè)置下,其照片銳度也獲得了評(píng)論家們的支持。
圖2,leica公司的m monochrom要價(jià)8000美元,只能捕捉到黑白圖像,但評(píng)測(cè)者們都盛贊該相機(jī)的清晰度與低照度下的性能(a)。諾基亞808 pureview智能手機(jī)包含有一個(gè)超強(qiáng)的4100萬(wàn)像素圖像傳感器,用于實(shí)現(xiàn)數(shù)字變焦,以及集簇像素的光學(xué)收集能力(b)。索尼開發(fā)的名為背照的傳感器設(shè)計(jì)技術(shù),它將像素互連接線改到光電二極管背后,從而改善了每像素填充因素比(c)。
同時(shí), 諾基亞公司的8 0 8pureview智能手機(jī)嵌入了一只4100萬(wàn)像素的圖像傳感器, 但缺省情況下只輸出800萬(wàn)像素或更低分辨率的圖像(圖2b和參考文獻(xiàn)2)。808pureview會(huì)根據(jù)數(shù)字變焦設(shè)置,將多個(gè)像素組合成為不同尺寸的簇,從而省掉了復(fù)雜、昂貴和笨重的光學(xué)變焦結(jié)構(gòu),并將實(shí)際的單像素光子收集能力提高了很多倍,改善了低光照下的性能。
索尼公司開發(fā)了一種稱為背照的傳感器設(shè)計(jì)技術(shù)(圖2c)。撇開實(shí)現(xiàn)細(xì)節(jié)不談,該技術(shù)是將像素間的連線布放到像素光電二極管的后面,從而改善了傳感器單像素的填充因數(shù)(即感光面積占總面積的百分比),因此也提高了低光照性能。
深度識(shí)別
基于傳統(tǒng)圖像傳感器的設(shè)計(jì)可以支持很多嵌入視覺(jué)實(shí)現(xiàn)。例如,它可以幫助解析基本手勢(shì),以及處理基本的面部探測(cè)與識(shí)別工作,通常也適用于光學(xué)字符識(shí)別功能。但是,它可能無(wú)法明確地探測(cè)出復(fù)雜的手勢(shì),如針對(duì)攝像頭的進(jìn)退運(yùn)動(dòng)(3d),因?yàn)槭謩?shì)被嚴(yán)格限制在垂直和水平面上(2d)。更常見(jiàn)的是,它不能完全分辨一個(gè)物體的整體,即深度;例如,它無(wú)法輕松區(qū)分出是真臉還是該人的照片。對(duì)于這類深度識(shí)別的需求,通常需要有一個(gè)3d圖像傳感器子系統(tǒng)(參考文獻(xiàn)3)。
無(wú)論哪種3d傳感器實(shí)現(xiàn),常見(jiàn)的輸出就是深度圖,這是一個(gè)圖像陣列,其中每個(gè)像素?cái)?shù)據(jù)項(xiàng)(有時(shí)為了人類判讀目的而要做附加的彩色編碼)都代表著傳感器與傳感器前方某點(diǎn)之間的距離(圖3)。每個(gè)深度圖幀通常都配合一個(gè)由普通2d圖像傳感器捕捉的相應(yīng)幀,兩個(gè)幀要相互做視差校正,因?yàn)閮膳_(tái)攝像頭所處位置不同。
圖3,無(wú)論采用哪種3d攝像頭技術(shù), 都能給出一個(gè)物體的深度圖(a)。像htc evo 3-d智能手機(jī)這樣的設(shè)備也可以用于3d嵌入視覺(jué)用途,該手機(jī)的立體傳感器陣列主要用于捕捉3d靜像和頻圖像(b)。微軟的kinect(c)采用的是結(jié)構(gòu)光方法,測(cè)深的方法是在投影儀的前方投射一個(gè)知的紅外光模式,然后分析它所看到橢圓的形狀與方向(d)。
有一種常用的判斷深度方法是使用一個(gè)立體傳感器陣列,它是按照類似一對(duì)人眼的結(jié)構(gòu),布放兩個(gè)圖像傳感器。圖像soc像人類的大腦和眼睛一樣,處理傳感器從不同視點(diǎn)對(duì)一個(gè)物體的視圖,從而評(píng)判出物體與傳感器陣列之間的距離。在多視圖幾何應(yīng)用中,可以將雙傳感器擴(kuò)展至多傳感器。雙傳感器方案通常有 低的成本、 小的功耗、 小的外形,如果設(shè)計(jì)中已經(jīng)有多個(gè)傳感器用于3d靜像攝像和視頻捕捉,則這種方案更有吸引力。
有一種立體影像實(shí)現(xiàn)是分立的“雙眼”方案,實(shí)現(xiàn)方法是將兩個(gè)攝像頭“拴”在一起。雖然從硬件角度看,這是 直接的概念,但所需要的軟件支持則比較復(fù)雜。打個(gè)比方,把兩輛摩托車用一個(gè)公共軸連接起來(lái),也成不了一輛汽車。攝像頭需要做校正才能得到可靠的圖像配準(zhǔn),經(jīng)常有這種情況,攝像機(jī)陣列或物體在運(yùn)動(dòng),此時(shí)必須做幀的同步。
還有一種方法,可以將兩只圖像傳感器裝在單只soc或多片芯封裝內(nèi),通過(guò)一個(gè)總線輸出聯(lián)合數(shù)據(jù)流。這種完全集成化方案的優(yōu)點(diǎn)是便于控制和幀同步。更緊密的集成改善了校正工作,從而獲得更好的立體影像結(jié)果,即增強(qiáng)的深度感知能力和更快的圖像處理速度。
投影方案
結(jié)構(gòu)光(structured light)是第二種常見(jiàn)3d傳感器方法,也是微軟kinect中使用的技術(shù),它是將預(yù)設(shè)的光模式投射在一個(gè)屏幕上,以供分析之用。結(jié)構(gòu)光方法的3d傳感器方案采用一個(gè)投影儀來(lái)建立光模式,并有一個(gè)攝像頭用于探測(cè)結(jié)果。
kinect的投影儀是采用的紅外光,使用的是x和y方向上不同焦距的散射鏡。鏡片后的一個(gè)紅外激光器將一個(gè)包含大量點(diǎn)的圖像投射出去,圖像變換成橢圓,其特定的形狀與方向取決于每種情況下物體離鏡片的距離。
結(jié)構(gòu)光的優(yōu)點(diǎn)在于,它有精密的細(xì)節(jié)分辨率和高精度,尤其是在暗光環(huán)境下,此時(shí)主要針對(duì)可見(jiàn)光譜的傳感器就很難捕捉到恰當(dāng)?shù)膱D像。與立體傳感器方案相比較,結(jié)構(gòu)光的軟件算法也更簡(jiǎn)單,雖然光點(diǎn)云的處理可能會(huì)有接近于立體視覺(jué)的大計(jì)算量。
不過(guò),結(jié)構(gòu)光技術(shù)依賴于紅外光,至少kinect證明了這點(diǎn),這意味著該技術(shù)在室外工作會(huì)有問(wèn)題,室外環(huán)境下,太陽(yáng)光中的紅外輻射將破壞性地干擾投影儀的光線。另外,投影儀既昂貴又笨重,消耗功率可觀, 并大量發(fā)熱; 事實(shí)上,kinect專門為此而做了一個(gè)風(fēng)扇(參考文獻(xiàn)4)。必要的定制投影鏡片又增加了總的物料成本。
飛行時(shí)間(time of flight)是第三種常見(jiàn)的3d傳感器實(shí)現(xiàn)方法。與結(jié)構(gòu)光一樣,飛行時(shí)間攝像頭包括一個(gè)圖像傳感器、一只鏡片和一個(gè)有源發(fā)光源。但采用飛行時(shí)間方法時(shí),攝像頭會(huì)根據(jù)投射光從光源到投影儀,再回到圖像傳感器的時(shí)間,得出范圍或距離(參考文獻(xiàn)5)。發(fā)光源一般可以是一只脈沖激光器或調(diào)制光束,具體取決于設(shè)計(jì)采用的圖像傳感器類型。
集成了數(shù)字時(shí)間計(jì)數(shù)器的圖像傳感器通常帶有脈沖激光束,正如包括快門的距離選通傳感器。對(duì)于后者,快門以投影儀投射脈沖光束的速度開閉。因此,每個(gè)圖像傳感器像素所“看到”的光通量就與脈沖傳輸?shù)木嚯x有關(guān),這就是從傳感器到物體的距離。帶相位探測(cè)器圖像傳感器的飛行時(shí)間設(shè)計(jì)則采用了調(diào)制波束源。波束的強(qiáng)度隨時(shí)間而改變,因此測(cè)量進(jìn)入光的相位,就間接地得到了“飛行時(shí)間”的距離。
飛行時(shí)間攝像頭在汽車應(yīng)用中很常見(jiàn),例如行人探測(cè)和駕駛員輔助,并且在機(jī)器人產(chǎn)品中也很普遍。它們還在軍事、國(guó)防與航空領(lǐng)域有較豐富的應(yīng)用史。所需要的圖像處理軟件比較簡(jiǎn)單,因此要比立體攝像頭結(jié)構(gòu)的必備軟件更有實(shí)時(shí)能力,雖然飛行時(shí)間技術(shù)對(duì)環(huán)境照射干擾和多次反射的敏感性多少會(huì)使算法復(fù)雜化。
飛行時(shí)間方案的幀速率可以非常高,達(dá)到每秒60幀,用立體影像設(shè)置難以達(dá)到這個(gè)速度,但其分辨率通常相對(duì)較低。并且與結(jié)構(gòu)光技術(shù)相比,需要的時(shí)間飛行光投影儀帶來(lái)了成本、功耗(及散熱)、尺寸以及重量上的缺陷。
聯(lián)盟促進(jìn)設(shè)計(jì)成功
嵌入視覺(jué)技術(shù)能夠讓電子產(chǎn)品更加智能且有響應(yīng)能力,因此對(duì)用戶比以往更有價(jià)值。該技術(shù)能為現(xiàn)有產(chǎn)品增加有助益的特性,為硬件、軟件、半導(dǎo)體和系統(tǒng)制造商提供了嶄新的市場(chǎng)。
嵌入視覺(jué)聯(lián)盟(the embeddedvision alliance)是去年夏天組成的一個(gè)全球技術(shù)開發(fā)人員與供應(yīng)商的組織,它為工程師提供各種必要的工具,以加快這種潛能向?qū)嶋H的轉(zhuǎn)化。該聯(lián)盟的使命是提供實(shí)用教育、信息及洞見(jiàn),幫助工程師們將嵌入視覺(jué)功能加到產(chǎn)品中。
【看看這篇文章在百度的收錄情況】
相關(guān)文章
- 上一篇: 光學(xué)傳感器介紹
- 下一篇: 低內(nèi)阻三極管功放如何選擇負(fù)反饋