Sustav temeljen na FPGA-i kombinira dva videotoka za pružanje 3D videa

Uvod Video sustavi, koji su već sveprisutni u potrošačkim aplikacijama, sve više prevladavaju u automobilskoj, robotskoj i industrijskoj domeni. Ovaj rast u ne-potrošačkim aplikacijama prvenstveno je rezultat uvođenja HDMI standarda i bržih, učinkovitijih DSP-a i FPGA-a. Ovaj članak opisuje zahtjeve za postizanje stereoskopskog vida (3D video) pomoću analognih ili HDMI video kamera. Opisuje sustav temeljen na FPGA koji kombinira dva video toka u jedan 3D video stream za prijenos preko HDMI 1.4 odašiljača i DSP sustav koji štedi DMA propusnost u usporedbi s onom koja je inače potrebna za primanje podataka s dvije kamere. Nadalje, prikazuje jednu metodu za postizanje formata side-by-side za korištenje s 3D kamerama ili sustavima koji zahtijevaju 3D video. Opći pregled Stereoskopski vid zahtijeva dvije video kamere koje su razmaknute otprilike 5.5 cm, što je tipičan razmak između očiju osobe, kao što je prikazano na slici 1. Slika 1. Dvije kamere na postolju poravnate za stereoskopski vid. Blok dijagram visoke razine prikazan na slici 2 koristi dvije sinkronizirane video kamere koje koriste isti video standard, dva video dekodera i FPGA. Kako bi se osigurala identična brzina kadrova, video kamere moraju biti zaključane na zajedničku vremensku referencu. Bez sinkronizacije, neće biti moguće kombinirati izlaze bez korištenja vanjske memorije za pohranjivanje kompletnih video okvira. Slika 2. Blok dijagram visoke razine. Slika 3 prikazuje dva video toka zaključana linijom koji se spajaju u jednu stereoskopsku sliku. Slika 4 pokazuje kako se asinkroni video tokovi ne mogu spojiti bez spremanja cijelog video okvira u vanjsku memoriju. Slika 3. Spajanje dva sinkronizirana video toka. Slika 4. Asinkroni video tokovi ne mogu se spojiti bez upotrebe vanjske memorije. Izlazi dviju sinkroniziranih video kamera se zatim digitaliziraju video dekoderima kao što su ADV7181D, ADV7182 ili ADV7186 za analogne video kamere; ili putem HDMI prijemnika kao što su ADV7610 ili ADV7611 s digitalnim video kamerama. Video dekoderi i HDMI prijamnici koriste unutarnje fazno zaključane petlje (PLL) za proizvodnju podataka takta i piksela na svojim izlaznim sabirnicama. To znači da će se dvije odvojene domene takta generirati za dvije kamere prilikom digitalizacije analognog videa ili primanja HDMI streama. Štoviše, dva videostreama mogu biti pogrešno usklađena. Ove vremenske razlike i neusklađenosti moraju se kompenzirati u pozadinskom uređaju kao što je FPGA, dovodeći podatke u zajedničku domenu sata prije kombiniranja dvije video slike u jedan stereoskopski video okvir. Sinkronizirani video stream se zatim šalje preko HDMI 1.4 3D-sposobnog HDMI odašiljača kao što je ADV7511 ili ADV7513—ili se može predstaviti DSP-u kao što je ADSP-BF609 Blackfin® procesor—za daljnju obradu. Arhitekture takta Video dekoderi imaju dva različita izvora takta ovisno o tome jesu li zaključani ili otključani. Kada je video PLL zaključan na dolazni signal sinkronizacije – horizontalnu sinkronizaciju za video dekodere ili TMDS sat za HDMI – generira sat koji je zaključan za dolazni video izvor. Kada se video zaključavanje izgubi ili je PLL u prisilnom slobodnom načinu rada, video PLL nije zaključan na dolazni sinkronizacijski signal i generira izlaz takta koji je zaključan na kristalnom taktu. Osim toga, sat se možda neće prikazati nakon resetiranja jer je LLC upravljački program sata nakon resetiranja postavljen na način visoke impedancije. Dakle, ako sustav ima dvije ili više video staze od video dekodera ili HDMI prijemnika, imat će dvije različite domene sata s različitim frekvencijama i fazama, čak i kada je isti kristalni sat osiguran na dva video dekodera ili HDMI prijemnika, kao svaki uređaj generira vlastiti sat na temelju vlastitog PLL-a. Sinkroni sustav s zaključanim video dekoderima Kod tipičnog stereoskopskog videa koji koristi dva izvora, svaki od video dekodera zaključava dolazni video signal i generira vlastiti sat na temelju dolazne horizontalne sinkronizacije ili TMDS sata. Kada su dvije kamere sinkronizirane—ili su zaključane na istu vremensku referencu—linije okvira uvijek će biti poravnate. Budući da dva odvojena video dekodera primaju istu horizontalnu sinkronizaciju, taktovi piksela imat će istu frekvenciju takta piksela. To omogućuje dovođenje dvaju puteva podataka u zajedničku domenu sata, kao što je prikazano na slici 5. Slika 5. Dvije video kamere sinkronizirane na zajedničku referencu. Oba video dekodera primaju isti signal sinkronizacije, pa su i zaključana. Oba video dekodera primaju isti signal sinkronizacije, pa su i zaključana. Asinkroni video sustav Nažalost, jedan od dekodera može izgubiti zaključavanje zbog loše kvalitete video izvornog signala, kao što je prikazano na slici 6; ili kamere mogu izgubiti sinkronizaciju zbog prekinute video veze, kao što je prikazano na slici 7. To će dovesti do različitih frekvencija u dvije podatkovne staze, što će zatim dovesti do asimetrije količine podataka koji se taktiraju u stražnjem dijelu. Slika 6. Kamere zaključane na liniji s otključanim video dekoderima. Slika 7. Otključane kamere sa zaključanim video dekoderom. Izgubljeno zaključavanje videa može se otkriti korištenjem prekida (SD_UNLOCK za SD video dekodere, CP_UNLOCK za komponentne video dekodere ili TMDSPLL_LCK registre u HDMI prijemnicima) koji se uključuje nakon kašnjenja. Video dekoderi integriraju mehanizme za izglađivanje nestabilne horizontalne sinkronizacije, tako da otkrivanje izgubljenog video zaključavanja može potrajati i do nekoliko redaka. Ovo kašnjenje se može smanjiti kontroliranjem izgubljenog zaključavanja unutar FPGA. Način rada u tri stanja sata Prilikom projektiranja resursa takta FPGA, važno je znati da mnogi video dekoderi i HDMI proizvodi prema zadanim postavkama stavljaju sat i podatkovne linije u način rada s tri stanja nakon resetiranja. Dakle, LLC takt piksela neće biti prikladan za sinkrono resetiranje. Neusklađenost podataka u dva video toka Kako bi se pojednostavio sustav i smanjila memorija potrebna za kombiniranje dviju slika, podaci koji dolaze do FPGA trebaju biti sinkronizirani tako da se N-ti piksel Mth linije iz prve kamere prima s N-tim pikselom Mth linija iz druge kamere. To bi moglo biti teško postići na ulazu FPGA jer dvije video staze mogu imati različite latencije: kamere zaključane linijom mogu proizvesti neusklađene linije, različite duljine veze mogu doprinijeti neusklađenosti, a video dekoderi mogu uvesti promjenjive latencije pokretanja. Zbog ovih kašnjenja očekuje se da će sustav s kamerama s linijskim zaključavanjem imati određeni broj piksela neusklađenih. Neusklađenost kamere s zaključanom linijom Čak i kamere s zaključanom linijom mogu emitirati neusklađene video linije. Slika 8 prikazuje signale vertikalne sinkronizacije s CVBS izlaza dviju kamera. Jedna kamera, glavna sinkronizacija, daje signal za zaključavanje linije drugoj kameri, podređenoj sinkronizaciji. Jasno je vidljivo neusklađenost od 380 ns. Slika 9 prikazuje podatke koje prenose video dekoderi na izlazima ovih kamera. Može se vidjeti pomak od 11 piksela. Slika 8. 380-ns video neusklađenost između video kamera s zaključavanjem linije. Slika 9. Nekompenzirana neusklađenost videa od 11 piksela u digitalnoj domeni. Različite duljine veze Sve električne veze donose kašnjenje širenja, stoga provjerite imaju li obje video staze iste duljine staze i kabela. Kašnjenje video dekodera/HDMI prijemnika Svi video dekoderi uvode kašnjenje koje može varirati ovisno o omogućenim značajkama. Štoviše, neki video dijelovi sadrže elemente — kao što je FIFO duboke boje — koji mogu dodati nasumično kašnjenje pokretanja. Tipični stereoskopski sustav koji koristi video dekodere može imati nasumično kašnjenje pokretanja od oko 5 taktova piksela. Sustav koji sadrži HDMI odašiljače i prijemnike, kao što je prikazano na slici 10, može imati nasumično kašnjenje pokretanja od oko 40 taktova piksela. Slika 10. Postavljanje mjerenja kašnjenja cjevovoda. Kompenzacija neusklađenosti Slika 11 prikazuje sustav u kojem se analogni signal sa svake kamere digitalizira video dekoderom. Podaci i sat odvojeni su za svaki video put. Obje video staze su spojene na FIFO, koji u međuspremnik ulaznih podataka kompenzira neusklađenost podataka. Prilikom clockanja podataka, FIFO koriste zajednički sat iz jednog od dekodera. U zaključanom sustavu, dvije podatkovne staze trebale bi imati potpuno istu frekvenciju takta, osiguravajući da se FIFO ne prekorači ili ne spusti sve dok su kamere zaključane na liniji, a video dekoderi zaključani. Omogućavanjem ili onemogućavanjem FIFO izlaza, kontrolni blok održava razine FIFO kako bi se minimiziralo neusklađenost piksela. Ako je kompenzacija pravilno izvedena, izlaz FPGA bloka trebaju biti dvije podatkovne staze poravnate s prvim pikselom. Ti se podaci zatim dostavljaju FPGA stražnjoj strani za proizvodnju 3D formata. Slika 11. Korištenje digitalnih FIFO-a za ponovno poravnavanje video slika. Mjerenje neusklađenosti Neusklađenost između dva digitalizirana toka podataka može se izmjeriti na izlazu video FIFO-a korištenjem brojača jednog sata koji se resetira na impulsu vertikalne sinkronizacije (VS) jednog od dolaznih signala. Slika 12 prikazuje dva video toka (vs_a_in i vs_b_in) neusklađena za 4 piksela. Brojači mjere neusklađenost pomoću metode prikazane u Listingu 1. Brojanje počinje na rastućem rubu VS1 i zaustavlja se na rastućem rubu VS2. Ako je poznata ukupna duljina piksela okvira, negativan nagib (VS2 koji prethodi VS1) može se izračunati oduzimanjem vrijednosti brojanja od duljine okvira. Ovu negativnu vrijednost treba izračunati kada zakrivljenost prijeđe polovicu duljine okvira piksela. Rezultat bi se trebao koristiti za ponovno usklađivanje podataka pohranjenih u FIFO-ovima. Slika 12. Mjerenje neusklađenosti. Ispis 1. Jednostavno mjerenje neusklađenosti (Verilog®). modul misalign_measurement (resetiranje ulazne žice, clk_in ulazne žice, ulazna žica vs_a_in, ulazna žica vs_b_in, izlazni reg [15:0] neusklađen, izlazni reg spreman); reg [15:0] cnt; reg cnt_en, cnt_reset; reg vs_a_in_r, vs_b_in_r; dodijeli vs_a_rising = vs_a_in > vs_a_in_r; dodijeliti vs_b_rising = vs_b_in > vs_b_in_r; uvijek @(posedge clk_in) počinje vs_a_in_r <= vs_a_in; vs_b_in_r <= vs_b_in; kraj uvijek @(posedge clk_in) if (reset) begin { spreman, cnt_en } <= 2'b00; pogrešno poravnati <= 0; kraj else počinje if ((vs_a_in == 1'b0) && (vs_b_in == 1'b0)) { spreman, cnt_reset } <= 2'b01; inače cnt_reset <= 1'b0; /* početak */ if (vs_a_rising && vs_b_rising) begin misalign <= 0; { spreman, cnt_en } <= 2'b10; end else if ((vs_a_rising > vs_b_in) || (vs_b_rising > vs_a_in)) { spreman, cnt_en } <= 2'b01; /* završava */ if ((cnt_en == 1'b1) && (vs_a_rising || vs_b_rising)) begin { ready, cnt_en } <= 2'b10; pogrešno poravnati <= vs_a_rising ? (-(cnt + 1)): (cnt + 1); kraj kraj uvijek @(posedge clk_in) /* brojač */ if ((cnt_reset) || (reset)) cnt <= 0; inače if (cnt_en) cnt <= cnt + 1; endmodule Proizvodnja 3D videa iz dva usklađena video toka Nakon što su piksel, linija i okvir podataka uistinu sinkroni, FPGA može oblikovati video podatke u 3D video stream, kao što je prikazano na slici 13. Slika 13. Pojednostavljena arhitektura koja postiže 3D formate. Dolazni podaci se čitaju u memoriju pomoću zajedničkog sata. Analizator vremena sinkronizacije ispituje dolazne sinkronizacijske signale i izdvaja vrijeme video zapisa, uključujući horizontalne duljine prednjeg i stražnjeg trijema, okomite prednje i stražnje trijemove, horizontalnu i vertikalnu duljinu sinkronizacije, horizontalnu duljinu aktivne linije, broj okomitih aktivnih linija i polarizaciju sinkronizirani signali. Prosljeđivanje ove informacije regeneratoru vremena sinkronizacije zajedno s trenutnom horizontalnom i vertikalnom lokacijom piksela omogućuje mu generiranje vremena koje je modificirano kako bi se prilagodio željenoj 3D video strukturi. Novostvoreno vrijeme trebalo bi odgoditi kako bi se osiguralo da FIFO-ovi sadrže potrebnu količinu podataka. Side-by-Side 3D video Najmanje zahtjevna arhitektura u smislu memorije je side-by-side format, koji zahtijeva samo 2-line buffer (FIFO) za pohranjivanje sadržaja redaka koji dolaze iz oba video izvora. Usporedni format trebao bi biti dvostruko širi od izvornog dolaznog formata. Da bi se to postiglo, treba koristiti udvostručeni sat za taktiranje regeneriranog vremena sinkronizacije s udvostručenom duljinom horizontalne linije. Udvojeni sat koji se koristi za taktiranje stražnje strane će prazniti prvi FIFO, a zatim drugi FIFO dvostrukom brzinom, dopuštajući mu da postavi slike jednu uz drugu, kao što je prikazano na slici 14. Slika jedan pored drugog prikazana je na slici 15. Slika 14. Spajanje dviju slika jedna uz drugu pomoću jednostavnih FPGA linijskih međuspremnika. Slika 15. Usporedna slika 576p s vremenskim određivanjem vremena za video Zaključak Dekoderi Analog Devices i HDMI proizvodi zajedno s jednostavnom naknadnom obradom mogu stvoriti i omogućiti prijenos istinskog stereoskopskog 3D videa. Kao što je prikazano, moguće je postići 3D video jednostavnim digitalnim blokovima i bez skupe memorije.

Ostavite poruku 

Lista Poruka