發(fā)布時(shí)間:2024-04-15 文章來(lái)源:深度系統(tǒng)下載 瀏覽:
自然界的顏色千變?nèi)f化,為了給顏色一個(gè)量化的衡量標(biāo)準(zhǔn),就需要建立色彩空間模型來(lái)描述各種各樣的顏色,由于人對(duì)色彩的感知是一個(gè)復(fù)雜的生理和心理聯(lián)合作用的過(guò)程,所以在不同的應(yīng)用領(lǐng)域中為了更好更準(zhǔn)確的滿足各自的需求,就出現(xiàn)了各種各樣的色彩空間模型來(lái)量化的描述顏色。我們比較常接觸到的就包括 RGB / CMYK / YIQ / YUV / HSI等等。 對(duì)于數(shù)字電子多媒體領(lǐng)域來(lái)說(shuō),我們經(jīng)常接觸到的色彩空間的概念,主要是RGB , YUV這兩種(實(shí)際上,這兩種體系包含了許多種具體的顏色表達(dá)方式和模型,如sRGB, Adobe RGB, YUV422, YUV420 …), RGB是按三基色加光系統(tǒng)的原理來(lái)描述顏色,而YUV則是按照 亮度,色差的原理來(lái)描述顏色。 即使只是RGB YUV這兩大類色彩空間,所涉及到的知識(shí)也是十分豐富復(fù)雜的,自知不具備足夠的相關(guān)專業(yè)知識(shí),所以本文主要針對(duì)工程領(lǐng)域的應(yīng)用及算法進(jìn)行討論。 2 YUV相關(guān)色彩空間模型 實(shí)際上,YUV模型用于PAL制式的電視系統(tǒng),Y表示亮度,UV并非任何單詞的縮寫(xiě)。 YIQ模型與YUV模型類似,用于NTSC制式的電視系統(tǒng)。YIQ顏色空間中的I和Q分量相當(dāng)于將YUV空間中的UV分量做了一個(gè)33度的旋轉(zhuǎn)。 YCbCr顏色空間是由YUV顏色空間派生的一種顏色空間,主要用于數(shù)字電視系統(tǒng)中。從RGB到Y(jié)CbCr的轉(zhuǎn)換中,輸入、輸出都是8位二進(jìn)制格式。 三者與RGB的轉(zhuǎn)換方程如下: RGB -> YUV:
實(shí)際上也就是: Y=0.30R+0.59G+0.11B , U=0.493(B-Y) , V=0.877(R-Y) RGB -> YIQ:
RGB -> YCrCb:
從公式中,我們關(guān)鍵要理解的一點(diǎn)是,UV / CbCr信號(hào)實(shí)際上就是藍(lán)色差信號(hào)和紅色差信號(hào),進(jìn)而言之,實(shí)際上一定程度上間接的代表了藍(lán)色和紅色的強(qiáng)度,理解這一點(diǎn)對(duì)于我們理解各種顏色變換處理的過(guò)程會(huì)有很大的幫助。 我們?cè)跀?shù)字電子多媒體領(lǐng)域所談到的YUV格式,實(shí)際上準(zhǔn)確的說(shuō),是以YcrCb色彩空間模型為基礎(chǔ)的具有多種存儲(chǔ)格式的一類顏色模型的家族(包括YUV444 / YUV422 / YUV420 / YUV420P等等)。并不是傳統(tǒng)意義上用于PAL制模擬電視的YUV模型。這些YUV模型的區(qū)別主要在于UV數(shù)據(jù)的采樣方式和存儲(chǔ)方式,這里就不詳述。 而在Camera Sensor中,最常用的YUV模型是 YUV422格式,因?yàn)樗捎?個(gè)字節(jié)描述兩個(gè)像素,能和RGB565模型比較好的兼容。有利于Camera Sensor和Camera controller的軟硬件接口設(shè)計(jì)。 3 YUV2RGB快速算法分析 R = Y + 1.4075 *(V-128) 3.1 整型算法 u = YUVdata[UPOS] – 128; rdif = v + ((v * 103) >> 8); r = YUVdata[YPOS] + rdif; 為了防止出現(xiàn)溢出,還需要判錯(cuò)計(jì)算的結(jié)果是否在0-255范圍內(nèi),做類似下面的判斷。 if (r>255) 要從RGB24轉(zhuǎn)換成RGB565數(shù)據(jù)還要做移位和或運(yùn)算: RGBdata[1] =( (r & 0xF8) | ( g >> 5) ); 3.2 部分查表法 rdif = fac_1_4075[u]; 這里一共需要4個(gè)1維數(shù)組,下標(biāo)從0開(kāi)始到255,表格共占用約1K的內(nèi)存空間。uv可以不需要做減128的操作了。在事先計(jì)算對(duì)應(yīng)的數(shù)組元素的值的時(shí)候計(jì)算在內(nèi)就好了。 對(duì)于每個(gè)像素,部分查表法用查表替代了2次減法運(yùn)算和4次乘法運(yùn)算,4次移位運(yùn)算。但是,依然需要多次加法運(yùn)算和6次比較運(yùn)算和可能存在的賦值操作,相對(duì)第一種方法運(yùn)算速度提高并不明顯。 3.3 完全查表法 但是,如果我們仔細(xì)分析就可以發(fā)現(xiàn),對(duì)于G我們實(shí)際上完全沒(méi)有必要采用三維數(shù)組,因?yàn)閅只與UV運(yùn)算的結(jié)果相關(guān),與UV的個(gè)體無(wú)關(guān),所以我們可以采用二次查表的方法將G的運(yùn)算簡(jiǎn)化為對(duì)兩個(gè)二維數(shù)組的查表操作,如下: G = yig2g_table[ y ][ uv2ig_table[ u ][ v ] ]; 而RB本身就只和YU或YV相關(guān),所以這樣我們一共需要4個(gè)8*8的二維表格,需要占用4乘2的16次方共256K內(nèi)存;究梢越邮。但是對(duì)于手機(jī)這樣的嵌入式運(yùn)用來(lái)說(shuō),還是略有些大了。 進(jìn)一步分析,我們可以看到,因?yàn)樵谑謾C(jī)等嵌入式運(yùn)用上我們最終是要把數(shù)據(jù)轉(zhuǎn)換成RGB565格式送到LCD屏上顯示的,所以,對(duì)于RGB三分量來(lái)說(shuō),我們根本不需要8bit這么高的精度,為了簡(jiǎn)單和運(yùn)算的統(tǒng)一起見(jiàn),對(duì)每個(gè)分量我們其實(shí)只需要高6bit的數(shù)據(jù)就足夠了,所以我們可以進(jìn)一步把表格改為4個(gè)6*6的二維表格,這樣一共只需要占用16K內(nèi)存!在計(jì)算表格元素值的時(shí)候還可以把最終的溢出判斷也事先做完。最后的算法如下: y = (YUVdata[Y1POS] >> 2); r = yv2r_table[ y ][ v ]; RGBdata[1] =( (r & 0xF8) | ( g >> 5) ); 這樣相對(duì)部分查表法,我們?cè)黾恿?次移位運(yùn)算,而進(jìn)一步減少了4次加法運(yùn)算和6次比較賦值操作。 在計(jì)算表格元素?cái)?shù)值的時(shí)候,要考慮舍入和偏移等因數(shù)使得計(jì)算的中間結(jié)果滿足數(shù)組下標(biāo)非負(fù)的要求,需要一定的技巧。 采用完全查表法,相對(duì)于第一種算法,最終運(yùn)算速度可以有比較明顯的提高,具體性能能提高多少,要看所在平臺(tái)的CPU運(yùn)算速度和內(nèi)存存取速度的相對(duì)比例。內(nèi)存存取速度越快,用查表法帶來(lái)的性能改善越明顯。在我的PC上測(cè)試的結(jié)果性能大約能提高35%。而在某ARM平臺(tái)上測(cè)試只提高了約15%。 3.4 進(jìn)一步的思考 RGBdata[1] =( (r & 0xF8) | ( g >> 5) ); 中的 (r & 0xF8) 和 ( b >> 3) 等運(yùn)算也完全可以在表格中事先計(jì)算出來(lái)。另外,YU / YV的取值實(shí)際上不可能覆蓋滿6*6的范圍,中間有些點(diǎn)是永遠(yuǎn)取不到的無(wú)輸入,RB的運(yùn)算也可以考慮用5*5的表格。這些都可能進(jìn)一步提高運(yùn)算的速度,減小表格的尺寸。 另外,在嵌入式運(yùn)用中,如果可能盡量將表格放在高速內(nèi)存如SRAM中應(yīng)該比放在SDRAM中更加能發(fā)揮查表法的優(yōu)勢(shì)。 4 RGB2YUV ? 另外,多數(shù)情況下,我們需要的還是YUV2RGB的轉(zhuǎn)換,因?yàn)閺腟ensor得到的數(shù)據(jù)通常我們會(huì)用YUV數(shù)據(jù),此外JPG和MPEG實(shí)際上也是基于YUV格式編碼的,所以要顯示解碼后的數(shù)據(jù)需要的也是YUV2RGB的運(yùn)算。 F = r [ R ] + g [ G ] + b [ B ] 其中,r、g、b分別為三基色參與混合的系數(shù)。當(dāng)三基色分量都為0(最弱)時(shí)混合為黑色光;而當(dāng)三基色分量都為k(最強(qiáng))時(shí)混合為白色光。調(diào)整r、g、b三個(gè)系數(shù)的值,可以混合出介于黑色光和白色光之間的各種各樣的色光。 Y = 0.299R + 0.587G + 0.114B R = Y + 1.14V 在DirectShow中,常見(jiàn)的RGB格式有RGB1、RGB4、RGB8、RGB565、RGB555、RGB24、RGB32、ARGB32等;常見(jiàn)的YUV格式有YUY2、YUYV、YVYU、UYVY、AYUV、Y41P、Y411、Y211、IF09、IYUV、YV12、YVU9、YUV411、YUV420等。作為視頻媒體類型的輔助說(shuō)明類型(Subtype),它們對(duì)應(yīng)的GUID見(jiàn)表2.3。 表2.3 常見(jiàn)的RGB和YUV格式 GUID 格式描述 下面分別介紹各種RGB格式。 ¨ RGB1、RGB4、RGB8都是調(diào)色板類型的RGB格式,在描述這些媒體類型的格式細(xì)節(jié)時(shí),通常會(huì)在BITMAPINFOHEADER數(shù)據(jù)結(jié)構(gòu)后面跟著一個(gè)調(diào)色板(定義一系列顏色)。它們的圖像數(shù)據(jù)并不是真正的顏色值,而是當(dāng)前像素顏色值在調(diào)色板中的索引。以RGB1(2色位圖)為例,比如它的調(diào)色板中定義的兩種顏色值依次為0x000000(黑色)和0xFFFFFF(白色),那么圖像數(shù)據(jù)001101010111…(每個(gè)像素用1位表示)表示對(duì)應(yīng)各像素的顏色為:黑黑白白黑白黑白黑白白白…。 ¨ RGB565使用16位表示一個(gè)像素,這16位中的5位用于R,6位用于G,5位用于B。程序中通常使用一個(gè)字(WORD,一個(gè)字等于兩個(gè)字節(jié))來(lái)操作一個(gè)像素。當(dāng)讀出一個(gè)像素后,這個(gè)字的各個(gè)位意義如下: #define RGB565_MASK_RED 0xF800 ¨ RGB555是另一種16位的RGB格式,RGB分量都用5位表示(剩下的1位不用)。使用一個(gè)字讀出一個(gè)像素后,這個(gè)字的各個(gè)位意義如下: #define RGB555_MASK_RED 0x7C00 ¨ RGB24使用24位來(lái)表示一個(gè)像素,RGB分量都用8位表示,取值范圍為0-255。注意在內(nèi)存中RGB各分量的排列順序?yàn)椋築GR BGR BGR…。通?梢允褂肦GBTRIPLE數(shù)據(jù)結(jié)構(gòu)來(lái)操作一個(gè)像素,它的定義為: typedef struct tagRGBTRIPLE { ¨ RGB32使用32位來(lái)表示一個(gè)像素,RGB分量各用去8位,剩下的8位用作Alpha通道或者不用。(ARGB32就是帶Alpha通道的RGB32。)注意在內(nèi)存中RGB各分量的排列順序?yàn)椋築GRA BGRA BGRA…。通?梢允褂肦GBQUAD數(shù)據(jù)結(jié)構(gòu)來(lái)操作一個(gè)像素,它的定義為: typedef struct tagRGBQUAD { 下面介紹各種YUV格式。YUV格式通常有兩大類:打包(packed)格式和平面(planar)格式。前者將YUV分量存放在同一個(gè)數(shù)組中,通常是幾個(gè)相鄰的像素組成一個(gè)宏像素(macro-pixel);而后者使用三個(gè)數(shù)組分開(kāi)存放YUV三個(gè)分量,就像是一個(gè)三維平面一樣。表2.3中的YUY2到Y(jié)211都是打包格式,而IF09到Y(jié)VU9都是平面格式。(注意:在介紹各種具體格式時(shí),YUV各分量都會(huì)帶有下標(biāo),如Y0、U0、V0表示第一個(gè)像素的YUV分量,Y1、U1、V1表示第二個(gè)像素的YUV分量,以此類推。) YUY2(和YUYV)格式為每個(gè)像素保留Y分量,而UV分量在水平方向上每?jī)蓚(gè)像素采樣一次。一個(gè)宏像素為4個(gè)字節(jié),實(shí)際表示2個(gè)像素。(4:2:2的意思為一個(gè)宏像素中有4個(gè)Y分量、2個(gè)U分量和2個(gè)V分量。)圖像數(shù)據(jù)中YUV分量排列順序如下: YVYU格式跟YUY2類似,只是圖像數(shù)據(jù)中YUV分量的排列順序有所不同: UYVY格式跟YUY2類似,只是圖像數(shù)據(jù)中YUV分量的排列順序有所不同: AYUV格式帶有一個(gè)Alpha通道,并且為每個(gè)像素都提取YUV分量,圖像數(shù)據(jù)格式如下: Y41P(和Y411)格式為每個(gè)像素保留Y分量,而UV分量在水平方向上每4個(gè)像素采樣一次。一個(gè)宏像素為12個(gè)字節(jié),實(shí)際表示8個(gè)像素。圖像數(shù)據(jù)中YUV分量排列順序如下: Y211格式在水平方向上Y分量每2個(gè)像素采樣一次,而UV分量每4個(gè)像素采樣一次。一個(gè)宏像素為4個(gè)字節(jié),實(shí)際表示4個(gè)像素。圖像數(shù)據(jù)中YUV分量排列順序如下: YVU9格式為每個(gè)像素都提取Y分量,而在UV分量的提取時(shí),首先將圖像分成若干個(gè)4 x 4的宏塊,然后每個(gè)宏塊提取一個(gè)U分量和一個(gè)V分量。圖像數(shù)據(jù)存儲(chǔ)時(shí),首先是整幅圖像的Y分量數(shù)組,然后就跟著U分量數(shù)組,以及V分量數(shù)組。IF09格式與YVU9類似。 IYUV格式為每個(gè)像素都提取Y分量,而在UV分量的提取時(shí),首先將圖像分成若干個(gè)2 x 2的宏塊,然后每個(gè)宏塊提取一個(gè)U分量和一個(gè)V分量。YV12格式與IYUV類似。 YUV411、YUV420格式多見(jiàn)于DV數(shù)據(jù)中,前者用于NTSC制,后者用于PAL制。YUV411為每個(gè)像素都提取Y分量,而UV分量在水平方向上每4個(gè)像素采樣一次。YUV420并非V分量采樣為0,而是跟YUV411相比,在水平方向上提高一倍色差采樣頻率,在垂直方向上以U/V間隔的方式減小一半色差采樣,如圖2.12所示。 |
上一篇: