miun.sePublikationer
Ändra sökning
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf
A Spatio-Temporal Filter for Region-of-Interest Video Coding
Mittuniversitetet, Fakulteten för naturvetenskap, teknik och medier, Institutionen för informationsteknologi och medier. (Realistic3D, SensibleReality)
Mittuniversitetet, Fakulteten för naturvetenskap, teknik och medier, Institutionen för informationsteknologi och medier. (Realistic3D, SensibleReality)ORCID-id: 0000-0003-3751-6089
(Engelska)Manuskript (preprint) (Övrigt vetenskapligt)
Abstract [en]

Region of interest (ROI) video coding increases the quality in regions interesting to the viewer at the expense of quality in the background. This enables a high perceived quality at low bit rates. A successfully detected ROI can be used to control the bit-allocation in the encoding. In this paper we present a filter that is independent of codec and standard. It is applied in both the spatial and the temporal domains. The filter’s ability to reduce the number of bits necessary to encode the background is analyzed theoretically and where these bits are re-allocated. The computational complexity of the algorithms is also determined. The quality is evaluated using PSNR of the ROI and subjective tests. Test showed that the spatio-temporal filter has a better coding efficiency than using only spatial or only temporal filtering. The filter successfully re-allocates the bits from the background to the foreground.

Nationell ämneskategori
Datorteknik Signalbehandling
Identifikatorer
URN: urn:nbn:se:miun:diva-11434OAI: oai:DiVA.org:miun-11434DiVA, id: diva2:311469
Projekt
Medi3DDigital 3D-reklamMediaSenseTillgänglig från: 2010-04-21 Skapad: 2010-04-21 Senast uppdaterad: 2018-01-12Bibliografiskt granskad
Ingår i avhandling
1. Coding for Improved Perceived Quality of 2D and 3D Video over Heterogeneous Networks
Öppna denna publikation i ny flik eller fönster >>Coding for Improved Perceived Quality of 2D and 3D Video over Heterogeneous Networks
2010 (Engelska)Doktorsavhandling, sammanläggning (Övrigt vetenskapligt)
Abstract [en]

The rapid development of video applications for TV, the internet and mobile phones is being taken one step further in 2010 with the introduction of stereo 3D TV. The 3D experience can be further improved using multiple views in the visualization. The transmission of 2D and 3D video at a sufficiently perceived quality is a challenge considering the diversity in content, the resources of the network and the end-users.Two problems are addressed in this thesis. Firstly, how to improve the perceived quality for an application with a limited bit rate. Secondly, how to ensure the best perceived quality for all end-users in a heterogeneous network.

A solution to the first problem is region-of-interest (ROI) video coding, which adapts the coding to provide a better quality in regions of interest to the viewer. A spatio-temporal filter is proposed to provide codec and standard independent ROI video coding. The filter reduces the number of bits necessary to encode the background and successfully re-allocate these bits to the ROI. The temporal part of the filter reduces the complexity compared to only using a spatial filter. Adaption to the requirements of the transmission channel is possible by controlling the standard deviation of the filter. The filter has also been successfully applied to 3D video in the form of 2D-plus-depth, where the depth data was used in the detection of the ROI.

The second problem can be solved by providing a video sequence that has the best overall quality. Hence, the best quality for each part of the network and for each 2D and 3D visualization system over time. Scalable video coding enables the extraction of the parts of the data to adapt to the requirements of the network and the end-user. A scheme is proposed in this thesis that provides scalability in the depth and view domain of multi-view plus depth video. The data are divided into enhancement layers depending on the content’s distance to the camera. Schemes to divide the data into layers within a view and between adjacent views have been analyzed. The quality evaluation indicates that the position of the layers in depth as well as the number of layers should be determined by analyzing the depth distribution. The front-most layers in adjacent views should be given priority over the others unless the application requires a high quality of the center views.

Abstract [sv]

Den snabba utvecklingen av videoapplikation för TV, Internet och mobiltelefoner tar ytterliggare ett steg i och med introduceringen av stereo 3D TV under 2010. Upplevelsen av 3D kan förstärkas ytterliggare genom att använda multipla vyer i visualiseringen. Skillnaden i innehåll, nätverksresurser och slutanvändare gör överföring av 2D och 3D video med en tillräcklig hög upplevd kvalitet till en utmaning. För det första, hur man ökar den upplevda kvalitén hos en applikation med en begränsad överföringshastighet. För det andra, hur man tillhandahåller den bästa upplevda kvalitén hos alla slutanvändare i ett heterogent nätverk.

Region-of-interest (ROI) videokodning är en lösning till det första problemet, vilken anpassar kodningen för att ge högre kvalitet i regioner som är intressanta för användaren. Ett spatio-temporalt filter är föreslaget för att tillhandahålla codec- och standardoberoende ROI videokodning. Filtret reducerar antalet bitar som krävs för att koda bakgrunden och omfördelar dessa till ROI:t. Den temporala delen av filtret minskar komplexiteten jämfört med att använda enbart spatiala filter. Filtret kan anpassas till överföringshastigheten genom att ändra standardavvikelsen för filtret. Filtret har också˙ använts på˙ 3D video i formen 2D-plus-depth, där djupdata användes i ROI detektionen.

Det andra problemet kan lösas genom att tillhandahålla en videosekvens som har högsta möjliga kvalitet i hela nätverket. Därmed även den bästa kvaliteten för for varje del av nätverket och för varje 2D- och 3D-skärm. Skalbar videokodning gör det möjligt att extrahera delar av datan för anpassning till de rådande förutsättningarna. En metod som ger skalbarhet i djupet och mellan kameravyer hos multi-view plus depth video har föreslagits. Videosekvensen delas upp i lager beroende på innehållets avstånd till kameran. Metoder för att fördela data över lager i djupet och mellan närliggande vyer har analyserats. Kvalitetsutvärderingen visar att lagrens position i djupet och antalet lager bör bestämmas utifrån fördelningen av djupdata. De främsta lagren i närliggande vyer bör ges högre prioritet om inte applikationen kräver hög kvalitet hos vyer i centrum.

Ort, förlag, år, upplaga, sidor
Sundsvall: Mittuniversitetet, 2010. s. 87
Serie
Mid Sweden University doctoral thesis, ISSN 1652-893X ; 87
Nationell ämneskategori
Data- och informationsvetenskap
Identifikatorer
urn:nbn:se:miun:diva-11461 (URN)978-91-86073-78-7 (ISBN)
Disputation
2010-05-27, O111, O-Huset, Holmgatan 10, Sundsvall, 10:00 (Engelska)
Opponent
Handledare
Projekt
Medi3D3D-reklamMediaSense
Tillgänglig från: 2010-04-29 Skapad: 2010-04-29 Senast uppdaterad: 2018-01-12Bibliografiskt granskad

Open Access i DiVA

Fulltext saknas i DiVA

Personposter BETA

Karlsson, Linda SofiaSjöström, Mårten

Sök vidare i DiVA

Av författaren/redaktören
Karlsson, Linda SofiaSjöström, Mårten
Av organisationen
Institutionen för informationsteknologi och medier
DatorteknikSignalbehandling

Sök vidare utanför DiVA

GoogleGoogle Scholar

urn-nbn

Altmetricpoäng

urn-nbn
Totalt: 78 träffar
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf