Multimedija Crvena Flashcards
(35 cards)
Objasniti na čemu se zasniva kodiranje videa u MPEG-4?
Osnovno kodiranje videa u MPEG-4 zasniva se na DCT-u bloka i predikciji
pokreta(vektor pokreta).
Objasniti 6 novih naprednih alata čije korištenje omogućava poboljšanje kvalitete
komprimiranog videa(NAMPOMENA –ne samo nabrojati, nego objasniti što i
kako rade) MPEG4
4 vektora po makrobloku- omogućava korištenje 1 ili 4 vektora pokreta po
makrobloku, što nam omogućava bolju kompresiju zahtjevnijeg sadržaja tj. bolje
komprimiramo brze pokrete i detalje i rubove pokretnih objekata. Broj vektora
pokreta ovisi o složenosti sadržaja(1 za jednostavan, 4 za složeni sadržaj).
Neograničeni vektori pokreta – omogućava definiranje najsličnijeg makrobloka
koji je djelom izvan granica referentnog okvira.
Intra-prediction – omogućava predviđanje DC koeficijenata iz susjednih prethodno
kodiranih blokova i opcionalno predviđanje prvog retka i stupca matrice AC
koeficijenata. Koristi se za blokove koji imaju manje detalja i rubova.
Globalna kompenzacija pokreta – omogućava zamjenu četiri vektora pokreta
jednim vektorom pokreta koji ih sve zajedno opisuje (ne opisuje 100% svaki vektor,
nego predstavlja neki prosjek)
Kompenzacija pokreta na razini 1/4 elementa slike – prije nego se radi pretraga
vektora pokreta rezolucija se poveća 4 puta.
H.263/MPEG-2 kvantizator – omogućava odabit norme prema kojoj ćemo raditi
kvantizaciju koeficijenata.( ovisno o primjeni)
Koji se tip signala koristi pri digitalizaciji videa i zašto?(Dig videa poduzorkovanje)
Koristi se YUV signal kako bi se iskoristila manja osjetljivost ljudskog vizualnog
sustava na promjenu boje u odnosu na promjenu svjetline. Omogučava nam
poduzorkovanje boje.
Što znači poduzorkovanje boje u odnosu na svjetlinu, zašto se radi i koji je razlog
da se uopće može raditi (da to ima smisla)?(Dig videa poduzorkovanje)
Poduzorkovanje boje u odnosu na svjetlinu znači da prilikom uzorkovanja svim
pikselima pridodajemo uzorak svjetline dok samo određenim pikselima dodjeljujemo
uzorak boje dok kod drugih piksela tu vrijednost ponavljamo.. Radi se kako bi se
smanjila veličina videa. Ovo možemo raditi jer je ljudski vizualni sustav puno osjetljiviji
na promjenu svjetline nego na promjenu boje.
Nabrojati 4 moda obrade pri kompresiji videa i za svaki od njih objasniti što se
odvija u kojem modu (slajdovi 42 i 43)
Pre-dobrada - u predobradi se radi reduciranje 10 bitnog zapisa u 8 bitni, prebacivanje
u odgovarajuću shemu poduzorkovanja,redukcija šuma i čišćenje slike
Prostorna kompresija(unutarkovirna) – kod prostorne kompresije nastaju I okviri,
iskorištava se zalihost u horizontalnoj i vertikalnoj dimenziji slike, kompresiju radimo
unutar jednog okvira, slično JPEG-u.
Vremenska kompresija(međuokvirna) – iskorištava se vremenska zalihost tj. sličnost
u susjednim okvirima. Kod vremenske kompresije nastaju P(predviđeni) i B(dvostruko
predviđeni) okviri.
Kontrola protoka – kompresija može biti s konstantnom brzinom protoka podataka
(kvaliteta videa je veća za manje zahtjevan sadržaj) te može biti s konstantnom
kvalitetom videa gdje je brzina protoka podataka manja za manje zahtjevan
sadržaj(promjenjiva brzina protoka).
Za koje je aplikacije namijenjena H.264 norma s obzirom na svoje karaketristike
Namjenjena je za videotelefoniju, videokonferenciju, mobilne mreže i internet.
Objasniti 4 nova napreda alata u odnosu na prethodne norme, čije korištenje
omogućava poboljšanje kvalitete H.264 komprimiranog videa (NAMPOMENA –
ne samo nabrojati, nego objasniti što i kako rade)
Unutarokvirna predikcija – Predviđanje vrijednosti bloka iz već kodiranih
blokova.Koristi se kod kodiranja I okvira, podjela na blokove 8x8 za kromatske
komponente i 4x4 ili 16x16 za svjetlinu. Kodira se razlika predviđenih i stvarnih
vrijednosti . Koristi se cjelobrojna transformacija, a zatim aritmetičko kodiranje. Za
4x4 blokove postoji 9 modova predikcije, a za 16x16 4 moda.
- Proračun vektora pokreta iz više referentnih okvira- omogućava rekonstrukciju
okvira ukoliko se dogodi gubitak najbližeg referentnog okvira, prilikom proračuna
vektora pokreta koristimo više prethodnih okvira kao referentne okvire. - Adaptivni filtar za smanjenje efekta blokova – uklanja efekte blokova na
granicama blokova, uklanjanje se vrši primjenom deblocking filtra(niskopropusnog
filtra) na granicama blokova. - Ne koristi DCT nego cjelobrojnu transformaciju- rezultat transformacije su
cjelobrojni AC i DC koeficijenti.
Koje su osnovne karakteristike linearnog prediktivnog kodiranja govora?(LPC)
Koristi matematički model govornog trakta, pogodan je za male brzine prijenosa i
kodiranje mehaničkog govora.
Koje su ideje, a koji ciljevi LPC analize govora?Objasnite.
Ideja LPC analize je da se trenutni uzorak govora može predvidjeti pomoću linearne
kombinacije određenog broja prošlih uzoraka, gdje prethodni uzorci ne doprinose
jednako iznosu trenutnog uzorka(bliži uzorci doprinose više). Cilj LPC analize je
odrediti parametre linarnog prediktora.
Objasnite postupak kodiranja govornog signala koristeći LPC.
Govorni signal kodiramo tako da predviđamo trenutni uzorak iz prethodnih kodiranih
uzoraka tako da prethodne uzorke množimo s njihovim parametrima linearnog
prediktora te njihove umnoške zbrojimo kako bi dobili trenutni predviđeni uzorak.
Nakon toga uzimamo razliku trenutnog uzorka i trenutnog predviđenog uzorka i nju
kodiramo.
Što se šalje dekoderu pri kodiranju pojedinih uzoraka govornog signala LPC
koderom?
Dekoderu se šalju parametri linearnog prediktora i kodirana razlika trenutnog i trenutno
predviđenog uzorka.
Kako nastaju P okviri –shema za međuokvirno kodiranje i objašnjenje zašto se ono
uopće može raditi?(P i B okviri)
Koraci:
1. Podjela slike na makro blokove
2. Za svaki makroblok tražimo vektore pokreta
3. Dodavanje vektora pokreta na I okvir(kreiranje trenutnog predviđenog okvira)
4. Računanje okvira razlike
5. JPEG komprimiranje okvira razlike
6. Slanje komprimiranog okvira razlike i vektora pokreta dekoderu.
Međuokvirno kodiranje možemo raditi jer su susjedni okviri dosta slični, jer su
vremenski jako malo razmaknuti.
Kako nastaju B okviri –zbog čega je korisno nekada raditi dvosmjerno predviđanje
okvira?(P i B okviri)
B okviri nastaju iz nekog od prethodnih I ili P okvira i iz nekog od sljedećih I ili P
okvira. Postupak je skoro Identičan Kreiranju P okvira, samo što se kod kreiranja B radi
predviđanje i iz sljedećeg P ili I okvira. Korisno je raditi dvosmjerno predviđanje jer
nekad ne možemo pronaći iste ili slične makroblokove u prethodnom I ili P okviru a koji
se nalaze u sljedećem I ili P okviru.
Zašto se originalna slika dijeli na blokove 8x8 elemenata slike? (JPEG)
Kada bih radili DCT na cjeloj slici onda bi morali sačuvati puno informacija visokih
frekvencija dijela slike s puno tedalja čak i za dijelove na kojima nema detalja, kako
bi se to izbjeglo sliku djelimo na elemente 8x8, što nam omogučava izbacivanje
visokih frekvencija na dijelovima slike s malo detalja i rubova čime ostvarujemo
bolju kompresiju.8x8 bloki daje najbolji kompromis između brzine obrade i podjele
slike na blokove.
Što radi disketna kosinusna tranformacija (DCT), zašto se ona primjenjuje u
JPEG normi i što predstavljaju brojevi u matrici nakon DCT-a? (povezati s
pitanjem 25)(JPEG)
DCT prebacuje sliku (blokove slike) iz prostorne domene u domenu prostornih
frekvencija, primjenjujemo ju kako bismo intuitivnije odredili što možemo izbaciji iz
slike a što ne. U domeni prostornih frekvencija znamo što oko vidi te lagano
možemo izbaciti nepotrebne prostorne frekvencije. Nakon DCT-a blokovi sadrže
koeficijente amplituda dvodimenzionalnih prostornih frekvencija.
Koji je cilj kvantizacije i na koji se način ona provodi kod JPEG-a?
Cilj kvantizacije je smanjiti dinamički raspon DCT koeficijenata kako bi ih prikazali
s što manjim brojem bita, svjesno uvodimo gubitke. Ona se provodi tako da svaki
DCT koeficijent podjelimo s njemu odgovarajućom veličinom iz kvantizacijske
tablice. Kvantizacijska tablica je usklađena s karakteristikama ljudskog vizualnog
sustava.
- Kako se provodi entropijsko kodiranje AC koeficijenata kod JPEG-a?
(nije potrebno znati detalje o entropijskom kodiranju DC koeficijenata)
Entropijsko kodiranje AC koeficijenata se odvija u 3 faze. Prva faza je cik-cak
slaganje AC koeficijenata, druga faza je run-lenght kodiranje posloženih AC
koeficijenata i treća faza je huffmanovo kodiranje. Kod DC koeficijenata kodira se
samo razlika u odnosu na prethodni blok elemenata.
Što je potrebno poslati dekoderu kako bi mogao dekodirati kodiranu sliku?
Dekoderu je potrebno poslati kvantizacijske i kodne tablice i kodirane podatke.
Za što se koristi logaritamska transformacija i što se njome postiže?
Logaritamsku transformaciu koristimo kada želimo poboljšati razlučitost tamnijih
tonova uz gubitak informacija na svjetlijim tonovima. Log funkcija ističe točke male
vrijednosti relativno u odnosu na točke velike vrijednosti.
Izraz za logaritamsku transformaciju?
g(x,y)=a*log[f(x,y)+1]
Za što se koristi gama transformacija i što se njome postiže? Povežite ju s
promjenom kontrasta.
Gama transformacija ili gama-korekcija predstavlja nelinearnu promjenu intenziteta.
Koristi se za potrebe poboljšanja slike. Ako je a≠0 tada dolazi i do promjene
kontrasta(odnos između najvećeg i najmanjeg intenziteta). Ako je a=1 i γ<1 usko područje malih intenziteta na ulaznoj slici prebacuje se u šire područje intenziteta na izlaznoj slici. Iz
toga se da zaključiti ako je parametar γ<1 na izlazu dobivamo svjetliju sliku, a ukoliko je
parametar γ>1 dobivamo tamniju sliku na izlazu.
Može se predstaviti izrazom: g(x,y)=a*f(x,y)^y
Za što se koristi nisko-propusno filtriranje, a za što visoko-propusno filtriranje
slike? Što se njima postiže?
Niskopropusno filtriranje je proces koji koji koristimo za uklanjanje oštrih rubova.
Često se koristi za dodavanje sjene objektima. Primjeri niskopropusnih filtera su moving
average filtar i Gaussov niskopropusni filtar. Oba filtra koriste konvolucijske matrice
promjenjive veličine.
Visoko propusno filtriranje je proces koji se koristi za izoštravanje slike. Kod ove vrste
filtriranja središnji koeficijent konvolucijske matrice najviše doprinosi rezultatu.
Udaljavanjem od središta konvolucijske matrice doprinos koeficijenata opada. Ovakvo
filtriranje obično je preoštro, bolji rezultati se postižu oduzimanjem niskopropusne
verzije od orginala(unsharp masking)
Koji je način prikaza boja pri korištenju RGB modela boja?
RGB model boje koristi tri primara: crvenu, zelenu i plavu boju. Mje[anjem tih obja mo\
emo dobiti veliki broj drugih boja.
Zbog čega su odabrane upravo R, G i B boje kao primari za ovaj sustav boja?
Odabrani su jer je oko najosljetljivije na svjetlost tih valnih duljina i njihovim
mješanjem se može dobiti širok spektar drugih boja.
