KR100658222B1 - 3D digital multimedia broadcasting system - Google Patents

3D digital multimedia broadcasting system Download PDF

Info

Publication number
KR100658222B1
KR100658222B1 KR1020040062418A KR20040062418A KR100658222B1 KR 100658222 B1 KR100658222 B1 KR 100658222B1 KR 1020040062418 A KR1020040062418 A KR 1020040062418A KR 20040062418 A KR20040062418 A KR 20040062418A KR 100658222 B1 KR100658222 B1 KR 100658222B1
Authority
KR
South Korea
Prior art keywords
video
audio
signal
encoding
additional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
KR1020040062418A
Other languages
Korean (ko)
Other versions
KR20060013818A (en
Inventor
윤국진
조숙희
서정일
박기윤
엄기문
장은영
강경옥
안충현
이수인
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020040062418A priority Critical patent/KR100658222B1/en
Priority to PCT/KR2004/003540 priority patent/WO2006016735A1/en
Priority to EP04808668A priority patent/EP1776832A4/en
Priority to CN2004800437751A priority patent/CN1998233B/en
Publication of KR20060013818A publication Critical patent/KR20060013818A/en
Application granted granted Critical
Publication of KR100658222B1 publication Critical patent/KR100658222B1/en
Assigned to 대한민국(산업통상자원부장관) reassignment 대한민국(산업통상자원부장관) 권리의 전부이전등록 Assignors: 한국전자통신연구원
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/44—Arrangements characterised by circuits or components specially adapted for broadcast
    • H04H20/46—Arrangements characterised by circuits or components specially adapted for broadcast specially adapted for broadcast systems covered by groups H04H20/53-H04H20/95
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/65—Arrangements characterised by transmission systems for broadcast
    • H04H20/71—Wireless systems
    • H04H20/72—Wireless systems of terrestrial networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/86—Arrangements characterised by the broadcast information itself
    • H04H20/88—Stereophonic broadcast systems
    • H04H20/89—Stereophonic broadcast systems using three or more audio channels, e.g. triphonic or quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H40/00—Arrangements specially adapted for receiving broadcast information
    • H04H40/18—Arrangements characterised by circuits or components specially adapted for receiving
    • H04H40/27—Arrangements characterised by circuits or components specially adapted for receiving specially adapted for broadcast systems covered by groups H04H20/53 - H04H20/95
    • H04H40/36—Arrangements characterised by circuits or components specially adapted for receiving specially adapted for broadcast systems covered by groups H04H20/53 - H04H20/95 specially adapted for stereophonic broadcast receiving
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/25—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with scene description coding, e.g. binary format for scenes [BIFS] compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/28—Arrangements for simultaneous broadcast of plural pieces of information

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야1. TECHNICAL FIELD OF THE INVENTION

본 발명은 3차원 디지털 멀티미디어 방송 시스템(3D DMB)에 관한 것임.The present invention relates to a three-dimensional digital multimedia broadcasting system (3D DMB).

2. 발명이 해결하려고 하는 기술적 과제2. The technical problem to be solved by the invention

본 발명은 양안식 3차원 영상 및 3차원 음향을 종래의 DMB 시스템 구조를 이용하여 처리함으로써, 종래의 DMB 시스템과 호환성을 유지하며 사용자에게 보다 현실감 있는 3차원 AV 서비스를 제공하기 위한 3차원 디지털 멀티미디어 방송 시스템을 제공하는데 그 목적이 있음.The present invention processes the binocular three-dimensional image and three-dimensional sound by using a conventional DMB system structure, thereby maintaining compatibility with the conventional DMB system and provide a three-dimensional digital multimedia service to the user more realistic three-dimensional AV service The purpose is to provide a broadcasting system.

3. 발명의 해결방법의 요지3. Summary of Solution to Invention

본 발명은, 3차원 디지털 멀티미디어 방송 송신 시스템으로서, 양안식 3차원 영상의 비디오 신호를 입력받아 부호화하기 위한 비디오 부호화 수단; 3차원 음향의 오디오 신호를 입력받아 부호화하기 위한 오디오 부호화 수단; 상기 부호화된 비디오 신호 및 오디오 신호를 SL(Sync Layer) 패킷으로 패킷화하기 위한 패킷화 수단; 및 상기 패킷화 수단에 의해 패킷화된 SL 패킷을 변환 및 다중화하여 출력하기 위한 다중화 수단을 포함함.The present invention provides a three-dimensional digital multimedia broadcasting transmission system comprising: video encoding means for receiving and encoding a video signal of a binocular three-dimensional image; Audio encoding means for receiving and encoding an audio signal of three-dimensional sound; Packetization means for packetizing the encoded video and audio signals into SL (Sync Layer) packets; And multiplexing means for converting, multiplexing and outputting the SL packet packetized by the packetizing means.

4. 발명의 중요한 용도4. Important uses of the invention

본 발명은 디지털 멀티미디어 방송 기반으로 3차원 AV를 서비스하기 위한 시스템 등에 이용됨.The present invention is used for a system for servicing 3D AV on the basis of digital multimedia broadcasting.

DMB, 디지털 방송, MPEG-2, MPEG-4, 3D AVDMB, Digital Broadcast, MPEG-2, MPEG-4, 3D AV

Description

3차원 디지털 멀티미디어 방송 시스템{3 Dimension Digital Multimedia Broadcasting System} 3D Digital Multimedia Broadcasting System             

도 1은 본 발명에 따른 3차원 디지털 멀티미디어 방송 송신 시스템의 일실시예 구성도,1 is a configuration diagram of an embodiment of a 3D digital multimedia broadcasting transmission system according to the present invention;

도 2는 도 1의 비디오 부호화 모듈의 일실시예 상세 구성도,2 is a detailed configuration diagram of an embodiment of a video encoding module of FIG. 1;

도 3은 도 1의 3D 부가 비디오 부호화 모듈의 일실시예 상세 구성도,3 is a detailed configuration diagram of an embodiment of the 3D additional video encoding module of FIG. 1;

도 4는 도 1의 오디오 부호화 모듈의 일실시예 상세 구성도, 4 is a detailed configuration diagram of an embodiment of an audio encoding module of FIG. 1;

도 5는 도 1의 3D 부가 오디오 부호화 모듈의 일실시예 상세 구성도,5 is a detailed configuration diagram of an embodiment of the 3D additional audio encoding module of FIG. 1;

도 6은 도 5의 부가 오디오 전처리부(Pre-Processor)의 일실시예 상세 구성도,FIG. 6 is a detailed configuration diagram of an embodiment of an additional audio pre-processor of FIG. 5.

도 7은 도 1의 시스템 부호화 모듈의 일실시예 상세 구성도,7 is a detailed configuration diagram of an embodiment of the system encoding module of FIG. 1;

도 8은 본 발명에 따른 OD(Object Descriptor)의 데이터 구조를 나타내는 일실시예 도면,8 is a diagram illustrating an embodiment of a data structure of an object descriptor (OD) according to the present invention;

도 9는 도 1의 M4오버M2 모듈의 일실시예 상세 구성도,9 is a detailed configuration diagram of an embodiment of the M4 over M2 module of FIG.

도 10은 본 발명에 따른 3차원 디지털 멀티미디어 방송 수신 시스템의 일실시예 구성도,10 is a configuration diagram of an embodiment of a 3D digital multimedia broadcasting reception system according to the present invention;

도 11은 도 10의 M2오버M4 모듈의 일실시예 상세 구성도,FIG. 11 is a detailed configuration diagram of an embodiment of the M2over M4 module of FIG. 10; FIG.

도 12는 도 10의 시스템 해석 모듈의 일실시예 상세 구성도,12 is a detailed configuration diagram of an embodiment of the system analysis module of FIG. 10;

도 13은 도 10의 3D 비디오 복호화 모듈의 일실시예 상세 구성도,FIG. 13 is a detailed configuration diagram of an embodiment of the 3D video decoding module of FIG. 10; FIG.

도 14는 도 10의 3D 오디오 복호화 모듈의 일실시예 상세 구성도,14 is a detailed configuration diagram of an embodiment of the 3D audio decoding module of FIG. 10;

도 15는 도 14의 3D 오디오 후처리부(Post-Processor)의 일실시예 상세 구성도,FIG. 15 is a detailed configuration diagram of an embodiment of the 3D audio post-processor of FIG. 14.

도 16은 도 10의 장면 생성 모듈의 일실시예 상세 구성도이다.16 is a detailed block diagram of an embodiment of the scene generation module of FIG. 10.

* 도면의 주요 부분에 대한 부호의 설명* Explanation of symbols for the main parts of the drawings

110 : 비디오 부호화 모듈 120 : 오디오 부호화 모듈110: video encoding module 120: audio encoding module

130 : 3D 부가 비디오 부호화 모듈 140 : 3D 부가 오디오 부호화 모듈130: 3D additional video encoding module 140: 3D additional audio coding module

150 : 시스템 부호화 모듈 160 : M4오버M2 모듈150: system encoding module 160: M4 over M2 module

210 : M2오버M4 모듈 220 : 시스템 해석 모듈210: M2 over M4 module 220: system analysis module

230 : 3D 비디오 복호화 모듈 240 : 3D 오디오 복호화 모듈230: 3D video decoding module 240: 3D audio decoding module

250 : 장면 생성 모듈250: scene creation module

본 발명은 3차원 디지털 멀티미디어 방송(3D DMB) 시스템에 관한 것으로, 더 욱 상세하게는 종래의 DMB(Digital Multimedia Broadcasting) 시스템과 호환성을 유지하면서 사용자에게 보다 현실감 있는 입체 방송을 서비스하기 위하여 3차원 AV(Audio/Video)를 부호화 하여 전송하고, 전송받은 신호를 3차원 AV로 복호화 하여 사용자에게 서비스하기 위한 3차원 디지털 멀티미디어 방송 송신 시스템 및 수신 시스템에 관한 것이다.The present invention relates to a three-dimensional digital multimedia broadcasting (3D DMB) system, and more particularly to three-dimensional AV service to provide a more realistic three-dimensional broadcasting to the user while maintaining compatibility with the conventional digital multimedia broadcasting (DMB) system The present invention relates to a 3D digital multimedia broadcasting transmission system and a reception system for encoding and transmitting (Audio / Video), decoding a received signal into 3D AV, and serving the user.

컴퓨터 및 통신기술의 발달로 인해 사람들 사이의 커뮤니케이션 영역이 크게 변화되고 있으며, 특히 다양한 멀티미디어의 각종 데이터를 DMB등 모바일과 연동하여 기존 단방향 서비스가 아닌 양방향 서비스가 활발히 이용되고 있다. Due to the development of computer and communication technology, the communication area between people is greatly changed, and in particular, interactive data is being actively used instead of the existing one-way service by interfacing various data of various multimedia with mobile such as DMB.

DMB 시스템은 이동중인 사용자에게 다양한 비디오, 오디오, 데이터 등의 멀티미디어 서비스를 언제 어디서나 제공하기 위한 방송시스템으로서, 세계 최초로 국내에서 서비스를 준비하고 있다.DMB system is a broadcasting system for providing multimedia services such as video, audio, data, etc. to mobile users anytime and anywhere, and is preparing for service for the first time in the world.

DMB 시스템은 전송 시스템으로서 디지털 오디오 방송(DAB: Digital Audio Broadcasting)을 적용하고, 미디어 처리 방식으로서 MPEG-4를 사용하며, 미디어 데이터들의 다중화, 동기화 및 전송을 위한 규격으로서 MPEG-4 및 MPEG-2 시스템을 사용한다. 이러한 DMB 시스템을 이용하여 사용자는 CD 수준의 고품질 음성과 영상 서비스를 제공받을 수 있다.The DMB system applies Digital Audio Broadcasting (DAB) as a transmission system, uses MPEG-4 as a media processing method, and MPEG-4 and MPEG-2 as a standard for multiplexing, synchronizing and transmitting media data. Use the system. Using such a DMB system, a user can be provided with CD-quality high quality audio and video services.

한편, 좌우영상을 갖는 양안식 3차원 동영상에 대한 처리기술이 많이 발전되어 디지털 방송과의 접목이 시도되고 있다. On the other hand, the processing technology for binocular three-dimensional video having left and right images has been developed a lot and attempts to integrate with digital broadcasting.

기존 2차원 동영상과는 달리 데이터의 양, 동기화 및 시스템 복잡도 측면에 서 3차원 동영상의 처리는 많은 어려운 점을 가지고 있으며, 더욱이 대부분 CG(Computer graphics)처리에 초점을 맞추고 있기 때문에 카메라를 통해 들어온 실사 영상에 대한 처리는 모바일 시스템 등에서 사용자에게 서비스를 하지 못하고 있다. Unlike conventional 2D video, processing of 3D video has many difficulties in terms of data volume, synchronization, and system complexity. Moreover, since most of them focus on computer graphics (CG) processing, due diligence from cameras Image processing is not available to users in mobile systems.

또한, 멀티채널 서라운드 오디오의 급속한 보급과 3차원 오디오를 위한 획득 및 재생 기술의 발전으로 디지털 방송에서의 입체음향에 대한 사용자의 요구가 증대하고 있다. In addition, the demand for stereophonic sound in digital broadcasting is increasing due to the rapid spread of multichannel surround audio and the development of acquisition and reproduction technology for 3D audio.

전술한 바와 같이 급증하고 있는 3차원 AV에 대한 관심과 요구로 인해 스포츠 중계, 광고, 교육, 의료, 게임 등 많은 응용분야에서 3차원 AV를 이용하고 있으나, DMB 서비스는 2차원 AV에 초점을 맞추어 제공하기 때문에, 현실감 및 입체감이 떨어지는 문제가 있다.As mentioned above, due to the increasing interest and demand for 3D AV, many applications such as sports relay, advertisement, education, medical care, and game are using 3D AV, but DMB service focuses on 2D AV. Since it provides, there is a problem that the realism and three-dimensional feeling is inferior.

종래의 DMB 시스템을 기반으로 3차원 AV를 표현하기 위하여는 새로운 MPEG-4 시스템 정보 및 구조, 기존 DMB 시스템과 호환성을 유지하면서 3차원 AV를 부/복호화하기 위한 방법, 수신단말에서 사용자 선택에 따라 3차원 AV를 2차원 AV 또는 3차원 AV로 디스플레이 하기 위한 방법, 그리고 이를 토대로 2차원 또는 3차원 AV를 서비스하기 위한 시스템 등의 구현이 요구되지만, 이러한 요구에 부응하는 3D 시스템은 아직 소개된 바 없다.In order to express 3D AV based on the conventional DMB system, new MPEG-4 system information and structure, a method for encoding / decoding 3D AV while maintaining compatibility with the existing DMB system, and the user's selection in the receiving terminal Although there is a need for a method for displaying a 3D AV as a 2D AV or a 3D AV, and a system for servicing a 2D or 3D AV based on the 3D AV, a 3D system that meets these requirements has yet been introduced. none.

본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로, 양안식 3차원 동 영상 및 3차원 음향을 종래의 DMB 시스템 구조를 이용하여 처리함으로써, 종래의 DMB 시스템과 호환성을 유지하며 사용자에게 보다 현실감 있는 3차원 AV 서비스를 제공하기 위한 3차원 디지털 멀티미디어 방송 시스템을 제공하는데 그 목적이 있다.
The present invention has been proposed to solve the above problems, by processing the binocular three-dimensional video and three-dimensional sound using a conventional DMB system structure, maintaining compatibility with the conventional DMB system 3 An object of the present invention is to provide a 3D digital multimedia broadcasting system for providing a 3D AV service.

본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
Other objects and advantages of the present invention can be understood by the following description, and will be more clearly understood by the embodiments of the present invention. Also, it will be readily appreciated that the objects and advantages of the present invention may be realized by the means and combinations thereof indicated in the claims.

상기 목적을 달성하기 위한 본 발명은, 3차원 디지털 멀티미디어 방송 송신 시스템으로서, 양안식 3차원 영상의 비디오 신호를 입력받아 부호화하기 위한 비디오 부호화 수단; 3차원 음향의 오디오 신호를 입력받아 부호화하기 위한 오디오 부호화 수단; 상기 부호화된 비디오 신호 및 오디오 신호를 SL(Sync Layer) 패킷으로 패킷화하기 위한 패킷화 수단; 및 상기 패킷화 수단에 의해 패킷화된 SL 패킷을 변환 및 다중화하여 출력하기 위한 다중화 수단을 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a three-dimensional digital multimedia broadcasting transmission system comprising: video encoding means for receiving and encoding a video signal of a binocular three-dimensional image; Audio encoding means for receiving and encoding an audio signal of three-dimensional sound; Packetization means for packetizing the encoded video and audio signals into SL (Sync Layer) packets; And multiplexing means for converting, multiplexing and outputting the SL packet packetized by the packetizing means.

또한, 본 발명은 3차원 디지털 멀티미디어 수신 시스템으로서, 양안식 3차원 영상 정보와 3차원 음향 정보를 포함하는 스트림을 역다중화하여 SL 패킷을 출력하기 위한 역다중화 수단; 상기 SL 패킷을 디패킷타이징하여 양안식 3차원 영상의 비 디오 신호와 3차원 음향의 오디오 신호의 부호화 스트림을 출력하기 위한 역패킷화 수단; 상기 양안식 3차원 영상의 비디오 신호에 대한 부호화 스트림을 복호화하기 위한 비디오 복호화 수단; 상기 3차원 음향의 오디오 신호에 대한 부호화 스트림을 복호화하기 위한 오디오 복호화 수단; 및 상기 비디오 복호화 수단 및 상기 오디오 복호화 수단으로부터 입력받은 비디오 및 오디오 신호를 이용하여 장면을 구성하여 출력하기 위한 장면 재생 수단을 포함하는 것을 특징으로 한다.The present invention also provides a three-dimensional digital multimedia reception system comprising: demultiplexing means for demultiplexing a stream including binocular three-dimensional image information and three-dimensional sound information to output an SL packet; Depacketizing means for depacketizing the SL packet to output an encoded stream of a video signal of a binocular three-dimensional image and an audio signal of three-dimensional sound; Video decoding means for decoding an encoded stream of a video signal of the binocular three-dimensional image; Audio decoding means for decoding an encoded stream of the audio signal of the three-dimensional sound; And scene reproducing means for constructing and outputting a scene using the video and audio signals received from the video decoding means and the audio decoding means.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 또한, 본 발명에 따른 디지털 멀티미디어 송신 시스템 및 수신 시스템에 있어서, 한국정보통신기술협회(TTA)의 초단파 디지털 방송 비디오 송수신 정합 표준 문서는 각 구성요소의 기능과 동작을 설명하는데 도움이 되는 범위에서 본 명세서의 일부로서 포함될 수 있다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.The above objects, features and advantages will become more apparent from the following detailed description taken in conjunction with the accompanying drawings, whereby those skilled in the art may easily implement the technical idea of the present invention. There will be. In addition, in describing the present invention, when it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, in the digital multimedia transmission system and reception system according to the present invention, the TTA's ultra-high frequency digital broadcast video transmission / reception matching standard document is viewed in a range that helps explain the function and operation of each component. It may be included as part of the specification. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 3차원 디지털 멀티미디어 방송 송신 시스템의 일실시예 구성도이다.1 is a configuration diagram of an embodiment of a 3D digital multimedia broadcasting transmission system according to the present invention.

본 발명에 따른 3차원 디지털 멀티미디어 방송 송신 시스템은 AV 데이터(비디오 신호 및 오디오 신호) 및 3D 부가 AV 데이터(3D 부가 비디오 신호 및 3D 부가 오디오 신호)를 입력받아 MPEG-4 기반으로 부호화한 후 다중화된 MPEG-2 TS를 출력하기 위한 시스템이다.In the 3D digital multimedia broadcasting transmission system according to the present invention, AV data (video signal and audio signal) and 3D additional AV data (3D additional video signal and 3D additional audio signal) are received, encoded based on MPEG-4, and then multiplexed. It is a system for outputting MPEG-2 TS.

도 1에 도시된 바와 같이, 상기 3차원 디지털 멀티미디어 방송 송신 시스템은 비디오 부호화 모듈(110), 3D 부가 비디오 부호화 모듈(130), 오디오 부호화 모듈(120), 3D 부가 오디오 부호화 모듈(140), 시스템 부호화 모듈(150) 및 M4오버M2 모듈(160)을 포함한다.As shown in FIG. 1, the 3D digital multimedia broadcasting transmission system includes a video encoding module 110, a 3D additional video encoding module 130, an audio encoding module 120, a 3D additional audio encoding module 140, and a system. The encoding module 150 and the M4 over M2 module 160.

여기서, 비디오 부호화 모듈(110)은 양안식 3차원 동영상의 좌영상 또는 우영상 중 하나의 영상을 MPEG-4 파트 10 AVC(Advanced Video Coding) 베이스라인 프로파일(baseline profile) 규격으로 부호화하기 위한 모듈이다.Here, the video encoding module 110 is a module for encoding one of the left or right image of the binocular three-dimensional video to MPEG-4 Part 10 Advanced Video Coding (AVC) baseline profile standard. .

3D 부가 비디오 부호화 모듈(130)은 양안식 3차원 동영상의 좌영상 또는 우영상 중 비디오 부호화 모듈(110)로 입력되지 않은 나머지 하나의 영상을 MPEG-4 파트 10 AVC(Advanced Video Coding) 베이스라인 프로파일(baseline profile) 규격으로 부호화하기 위한 모듈이다.The 3D additional video encoding module 130 performs the MPEG-4 Part 10 Advanced Video Coding (AVC) baseline profile on the left or right image of the binocular 3D video that is not input to the video encoding module 110. (baseline profile) This module is used to encode to standard.

오디오 부호화 모듈(120)은 외부로부터 입력받은 오디오 신호를 MPEG-4 BSAC(Bit Sliced Arithmetic Coding) 규격으로 부호화하기 위한 모듈이다.The audio encoding module 120 is a module for encoding an audio signal received from the outside according to the MPEG-4 bit sliced arithmetic coding (BSAC) standard.

3D 부가 오디오 부호화 모듈(140)은 외부로부터 입력받은 3D 부가 오디오 신호를 MPEG-4 BSAC 규격으로 부호화하기 위한 모듈이다.The 3D additional audio encoding module 140 is a module for encoding the 3D additional audio signal received from the outside according to the MPEG-4 BSAC standard.

시스템 부호화 모듈(150)은 MPEG-4 IOD((Initial Object Descriptor))/OD/BIFS(Binary Format for Scene) 데이터를 생성 및 부호화하며, 전술한 4개의 부호화 모듈(110 내지 140)로부터 출력된 ES(Elementary Stream) 및 외부로부터 입력받은 데이터를 이용하여 생성한 OD/BIFS 스트림을 SL(Sync Layer) 패킷으로 패킷화하기 위한 모듈이다.The system encoding module 150 generates and encodes MPEG-4 IOD (Initial Object Descriptor) / OD / BIFS (Binary Format for Scene) data, and outputs the ES from the four encoding modules 110 to 140 described above. A module for packetizing an OD / BIFS stream generated using an Elementary Stream and externally input data into SL (Sync Layer) packets.

M4오버M2 모듈(160)은 SL패킷 데이터를 입력받아 MPEG-2 TS로 패킷화하고, 패킷화된 MPEG-2 TS들을 하나의 MPEG-2 TS로 다중화한 후 출력하기 위한 모듈이다.The M4 over M2 module 160 is a module for receiving SL packet data and packetizing it into an MPEG-2 TS, multiplexing the packetized MPEG-2 TSs into one MPEG-2 TS, and then outputting the packet.

도 2는 도 1의 비디오 부호화 모듈의 일실시예 상세 구성도이다.FIG. 2 is a detailed block diagram of an embodiment of a video encoding module of FIG. 1.

도 2에 도시된 바와 같이, 비디오 부호화 모듈(110)은 외부로부터 양안식 3차원 동영상에 대한 좌영상(또는 우영상) 비디오 신호를 입력받아 영상 사이즈 크기를 QVGA(320x240) 또는 CIF(352x288) 크기로 변환하기 위한 비디오 전처리부(Pre-processor)(111) 및 비디오 전처리부(111)에서 변환한 비디오 신호를 부호화 파라미터(비트율)에 근거하여 MPEG-4 파트 10 AVC(Advanced Video Coding) 베이스라인 프로파일(baseline profile) 규격으로 부호화한 부호화 스트림(ES : Elementary Stream)인 비디오 ES를 출력하기 위한 비디오 인코더(113)를 포함한다.As shown in FIG. 2, the video encoding module 110 receives a left image (or right image) video signal for a binocular 3D video from the outside and displays an image size of QVGA (320x240) or CIF (352x288). MPEG-4 Part 10 Advanced Video Coding (AVC) baseline profile based on the encoding parameter (bit rate) of the video preprocessor 111 and the video signal converted by the video preprocessor 111 and a video encoder 113 for outputting a video ES which is an encoded stream (ES: Elementary Stream) encoded by a (baseline profile) standard.

이 때, 비디오 부호화 모듈(110)은 일반적인 2차원 동영상 비디오 신호를 입력받아 처리할 수 있음은 물론이다.In this case, the video encoding module 110 may receive and process a general 2D video signal.

도 3은 도 1의 3D 부가 비디오 부호화 모듈의 일실시예 상세 구성도이다.3 is a detailed block diagram of an embodiment of the 3D additional video encoding module of FIG. 1.

도 3에 도시된 바와 같이, 3D 부가 비디오 부호화 모듈(130)은 외부로부터 양안식 3차원 동영상에 대한 우영상(또는 좌영상) 비디오 신호를 입력받아 영상 사이즈 크기를 QVGA/CIF 크기에서 가로 또는 세로로 1/2로 축소된 160x240/320x120 또는 176x288/352x144 크기로 변환하기 위한 부가 비디오 전처리부(Pre-processor)(131) 및 상기 부가 비디오 전처리부(131)에서 변환한 비디오 신호를 부호화 파라미터(비트율)에 근거하여 MPEG-4 파트 10 AVC(Advanced Video Coding) 베이스라인 프로파일(baseline profile) 규격으로 부호화한 3D 부가 비디오 ES(Elementary Stream)를 출력하기 위한 부가 비디오 인코더(133)를 포함한다.As shown in FIG. 3, the 3D additional video encoding module 130 receives a right image (or left image) video signal for a binocular three-dimensional video from the outside and adjusts the image size to a horizontal or vertical size from a QVGA / CIF size. An additional video pre-processor 131 for converting to 160x240 / 320x120 or 176x288 / 352x144 reduced in size by 1/2 and a video signal converted by the additional video preprocessor 131 are encoded parameters (bitrates). And an additional video encoder 133 for outputting a 3D additional video elementary stream (ES) encoded according to the MPEG-4 part 10 AVC (Advanced Video Coding) baseline profile standard.

도 4는 도 1의 오디오 부호화 모듈의 일실시예 상세 구성도이다.4 is a detailed block diagram of an embodiment of the audio encoding module of FIG. 1.

도 4에 도시된 바와 같이, 오디오 부호화 모듈(120)은 외부로부터 입력받은 오디오 신호의 해상도와 표본화 주파수를 MPEG-4 BSAC(Bit Sliced Arithmetic Coding) 규격 조건에 맞도록 변환하기 위한 오디오 전처리부(121) 및 오디오 전처리부(121)에서 변환한 오디오 신호 또는 후술할 3D 부가 오디오 부호화 모듈(140)에서 생성한 2채널 다운믹스 오디오 신호를 입력받아 부호화 파라미터(비트율)에 근거하여 MPEG-4 BSAC(Bit Sliced Arithmetic Coding) 규격으로 부호화한 오디오 ES를 생성하기 위한 오디오 인코더(123)를 포함한다.As shown in FIG. 4, the audio encoding module 120 converts the resolution and sampling frequency of the audio signal received from the outside to meet the MPEG-4 Bit Sliced Arithmetic Coding (BSAC) standard. ) And an audio signal converted by the audio preprocessor 121 or a 2-channel downmix audio signal generated by the 3D additional audio encoding module 140, which will be described later, based on an encoding parameter (bit rate). And an audio encoder 123 for generating an audio ES encoded according to the Sliced Arithmetic Coding (Standard).

도 5는 도 1의 3D 부가 오디오 부호화 모듈의 일실시예 상세 구성도이다.FIG. 5 is a detailed block diagram of an embodiment of the 3D additional audio encoding module of FIG. 1.

도 5에 도시된 바와 같이, 3D 부가 오디오 부호화 모듈(140)은 외부로부터 입력받은 3D 부가 오디오 신호를 이용하여 2채널 다운믹스 신호 및 3채널 3D 부가 오디오 신호를 생성하여 출력하되 상기 2채널 다운믹스 신호는 MPEG-4 오디오 부호화 모듈(120)의 오디오 인코더(123)로 출력하기 위한 부가 오디오 전처리부(141) 및 상기 3채널 3D부가 오디오 신호를 MPEG-4 BSAC 규격으로 부호화하여 3D 부가 오디오 ES를 출력하기 위한 부가 오디오 인코더(143)를 포함한다.As shown in FIG. 5, the 3D additional audio encoding module 140 generates and outputs a two-channel downmix signal and a three-channel 3D additional audio signal by using a 3D additional audio signal input from an external source, but outputs the two-channel downmix. The signal is an additional audio preprocessor 141 for outputting to the audio encoder 123 of the MPEG-4 audio encoding module 120 and the three-channel 3D additional encoding of the audio signal according to the MPEG-4 BSAC standard. An additional audio encoder 143 for output.

여기서, 상기 3D 부가 오디오 신호는 전방 좌측 스피커 신호(L), 전방 우측 스피커 신호(R), 전방 가운데 스피커 신호(C), 후방 좌측 스피커 신호(LS) 및 후방 우측 스피커 신호(RS)로 구성된 5 채널 입체 음향 신호 또는 상기 5개의 신호에 서브우퍼 신호(SW)가 더 추가된 5.1 채널 입체 음향 신호 등 다양한 다중 채널 입체 음향 신호일 수 있다.Here, the 3D additional audio signal includes 5 consisting of a front left speaker signal L, a front right speaker signal R, a front center speaker signal C, a rear left speaker signal LS, and a rear right speaker signal RS. The multi-channel stereo sound signal may be a channel stereo sound signal or a 5.1 channel stereo sound signal in which a subwoofer signal SW is further added to the five signals.

도 6은 도 5의 부가 오디오 전처리부(Pre-Processor)의 일실시예 상세 구성도이다.FIG. 6 is a detailed block diagram of an embodiment of an additional audio pre-processor of FIG. 5.

도 6에 도시된 바와 같이, 부가 오디오 전처리부(141)는 외부로부터 다양한 다중 채널 입체 음향 신호인 3D 부가 오디오 신호를 입력받아 신호 특성(표본화 주파수, 양자화 비트수 등)을 처리하고 필터링(Low-pass filtering)한 5채널 입체 음향 신호를 생성하기 위한 전처리기(145) 및 상기 전처리기(145)로부터 입력받은 5채널 입체 음향 신호를 ITU-R BS.775-1규격에 정의된 믹싱방법을 이용하여 2채널 다운믹스 신호(LO, R0)와 3채널 부가 오디오 신호(T, Q1, Q2)를 생성하기 위한 채널 혼합기(147)를 포함한다.As illustrated in FIG. 6, the additional audio preprocessor 141 receives 3D additional audio signals, which are various multi-channel stereo signals, from outside and processes signal characteristics (sampling frequency, number of quantization bits, etc.) and filters (Low−). A preprocessor 145 for generating a 5-channel stereoscopic signal subjected to pass filtering and a mixing method defined in the ITU-R BS.775-1 standard using the pre-processor 145 and the 5-channel stereo signal received from the preprocessor 145. And a channel mixer 147 for generating the two-channel downmix signals LO and R0 and the three-channel additional audio signals T, Q1 and Q2.

여기서, 상기 2채널 다운믹스 신호(LO, RO)는 스테레오 재생 시 사용되는 좌 /우 오디오 신호이며, 상기 3채널 부가 오디오 신호(T, Q1, Q2)는 원신호를 재구성하기 위한 신호이다. 그리고 상기 전처리기(145)에 입력되는 3D 부가 오디오 신호가 5채널 입체 음향 신호인 경우에는 전처리기(145)는 특별한 처리 없이 입력 신호를 그대로 출력할 수도 있다.Here, the two-channel downmix signals LO and RO are left and right audio signals used for stereo reproduction, and the three-channel additional audio signals T, Q1 and Q2 are signals for reconstructing the original signal. When the 3D additional audio signal input to the preprocessor 145 is a 5-channel stereo sound signal, the preprocessor 145 may output the input signal without any special processing.

도 7은 도 1의 시스템 부호화 모듈의 일실시예 상세 구성도이다.FIG. 7 is a detailed configuration diagram of an embodiment of the system encoding module of FIG. 1.

도 7에 도시된 바와 같이, 시스템 부호화 모듈(150)은 SL 패킷타이저(151), OD/BIFS 생성기(153) 및 IOD(Initial Object Descriptor) 생성기(155)를 포함한다.As shown in FIG. 7, the system encoding module 150 includes an SL packetizer 151, an OD / BIFS generator 153, and an initial object descriptor (IOD) generator 155.

여기서, OD/BIFS 생성기(153)는 외부로부터 입력받은 OD/BIFS 텍스트 데이터를 이용하여 OD/BIFS 부호화 스트림을 생성하여 출력한다. 이때, 비디오/3D 부가 비디오 및 오디오/3D 부가 오디오에 대하여 각각 하나의 OD를 이용하여 3차원 AV를 표현한다.Here, the OD / BIFS generator 153 generates and outputs an OD / BIFS encoded stream using OD / BIFS text data input from the outside. In this case, three-dimensional AV is expressed using one OD for video / 3D additional video and audio / 3D additional audio.

그리고, SL 패킷타이저(151)는 전술한 4개의 부호화 모듈로부터 입력받은 비디오 ES, 오디오 ES, 3D 부가 비디오 ES, 3D 부가 오디오 ES 및 상기 OD/BIFS 부호화 스트림을 입력받아 국내 이동 멀티미디어 방송 규격에 따라 각각 SL 패킷으로 패킷화하여 출력한다.The SL packetizer 151 receives the video ES, the audio ES, the 3D additional video ES, the 3D additional audio ES, and the OD / BIFS coded streams inputted from the four encoding modules described above, and applies them to the domestic mobile multimedia broadcasting standard. Therefore, each packet is output as an SL packet.

그리고, IOD 생성기(155)는 외부로부터 입력받은 IOD 텍스트 데이터를 이용하여 IOD 부호화 스트림을 생성하여 출력한다.The IOD generator 155 generates and outputs an IOD encoded stream using IOD text data received from the outside.

도 8은 본 발명에 따른 OD(Object Descriptor)의 데이터 구조를 나타내는 일 실시예 설명도이다.8 is a diagram illustrating an embodiment of a data structure of an object descriptor (OD) according to the present invention.

기존 DMB 시스템에서의 OD/BIFS 구조와의 호환성을 유지하면서 3D AV를 표현하기 위하여, 비디오는 하나의 OD 아래 좌영상(또는 우영상) 비디오와 우영상(또는 좌영상)의 3차원 부가 비디오에 대한 2개의 "ES_Descriptor"가 종속관계로 구성되며, 오디오 또한 하나의 OD 아래 오디오와 3차원 부가 오디오에 대한 2개의 "ES_Descriptor"가 종속관계로 구성된다.In order to express 3D AV while maintaining compatibility with the OD / BIFS structure in the existing DMB system, the video is added to the 3D video of the left (or right) video and the right (or left) video under one OD. The two "ES_Descriptors" for the audio are configured as dependencies, and the audio also includes two "ES_Descriptors" for the audio under one OD and three-dimensional additional audio as dependencies.

이러한 종속관계는 MPEG-4 OD의 “Stream DependenceFlag” 및 “dependsOn_ES_ID”를 이용하여 표현할 수 있다.This dependency can be expressed using "Stream DependenceFlag" and "dependsOn_ES_ID" of MPEG-4 OD.

또한, 기존 DMB시스템과 호환성을 유지하면서 3차원 AV를 서비스하기 위하여 3D 부가 비디오 ES의 “ObjectTypeIndication"는 "User private"로 "stream type"는 "Visual”로 세팅하고, 3D 부가 오디오 ES의 "ObjectTypeIndication"은 "user private"로 "stream type"는 "Audio”로 세팅한다. 나머지 비디오 및 오디오 ES는 기존 DMB 시스템 규격대로 세팅한다.In addition, to maintain 3D AV service while maintaining compatibility with the existing DMB system, "ObjectTypeIndication" of 3D additional video ES is set to "User private", "stream type" to "Visual", and "ObjectTypeIndication of 3D additional audio ES". "" Is set to "user private" and "stream type" to "Audio." The rest of the video and audio ESs are set according to the existing DMB system specifications.

이를 통하여 기존 DMB 시스템은 3D 부가 AV 스트림에 대한 “ObjectTypeIndication” 정보를 인식하지 못하게 되며 결국 연관된 3D 부가 AV부호화 스트림을 수신하지 못하게 된다. This prevents the existing DMB system from recognizing the "ObjectTypeIndication" information for the 3D additional AV stream and eventually does not receive the associated 3D additional AV encoding stream.

결국, 일반적인 2차원 비디오 및 오디오만을 인식하게 되며, 이와 연관된 부호화 스트림만을 수신하게 되어 사용자는 3차원 AV에 대하여 2차원 동영상으로 받아 볼 수 있는 역호환성을 제공받게 된다.As a result, only general two-dimensional video and audio are recognized, and only encoded streams related thereto are received, so that the user is provided with backward compatibility for receiving two-dimensional video with respect to three-dimensional AV.

도 9는 도 1의 M4오버M2 모듈의 일실시예 상세 구성도이다.FIG. 9 is a detailed block diagram illustrating an embodiment of the M4over M2 module of FIG. 1.

도 9에 도시된 바와 같이, M4오버M2 모듈(160)은 PES(Packetized Elementary Stream) 패킷타이저(Packetizer)(161), PES TS 패킷타이저(PES to TS Packetizer)(162), 다중화기(163), 스위치부(164), 14496 섹션(Section) 패킷타이저(165), PSI 생성기(166), PSI 섹션 TS 패킷타이저(PSI to TS Packetizer)(167) 및 14496 섹션 TS 패킷타이저(14496 Section to TS Packetizer)(168)를 포함한다.As shown in FIG. 9, the M4 over M2 module 160 includes a packetized elementary stream (PES) packetizer 161, a PES TS packetizer 162, and a multiplexer ( 163, switch unit 164, 14496 section packetizer 165, PSI generator 166, PSI section TS packetizer (167) and 14496 section TS packetizer ( 14496 Section to TS Packetizer).

스위치부(164)는 시스템 부호화 모듈(150)로부터 OD/BIFS SL 패킷을 입력받아 SL 패킷의 부호화 정보에 따라 PES 패킷타이저(161) 또는 14496 섹션 패킷타이저(165)로 출력한다.The switch unit 164 receives the OD / BIFS SL packet from the system encoding module 150 and outputs the OD / BIFS SL packet to the PES packetizer 161 or the 14496 section packetizer 165 according to the encoding information of the SL packet.

PES 패킷타이저(161)는 시스템 부호화 모듈(150)로부터 입력받은 상기 비디오 SL 패킷, 오디오 SL 패킷, 3D 부가 비디오 SL 패킷, 3D 부가 오디오 SL 패킷 및 스위치부(164)로부터 입력받은 OD/BIFS SL 패킷을 각각 PES 패킷화하여, PES TS 패킷타이저(162)로 출력한다.The PES packetizer 161 is a video SL packet, an audio SL packet, a 3D additional video SL packet, a 3D additional audio SL packet, and an OD / BIFS SL input from the switch unit 164 received from the system encoding module 150. Each packet is PES packetized and output to the PES TS packetizer 162.

14496 섹션 패킷타이저(165)는 스위치부(164)로부터 입력받은 OD/BIFS SL 패킷을 14496 섹션으로 패킷화하여 14496 섹션 TS 패킷타이저(168)로 출력한다.The 14496 section packetizer 165 packetizes the OD / BIFS SL packet received from the switch unit 164 into the 14496 section, and outputs the OD96 packet to the 14496 section TS packetizer 168.

PSI(Program Specific Information) 생성기(166)는 시스템 부호화 모듈(150)로부터 입력받은 IOD정보를 이용하여 PAT(Program Associaion Table) 섹션(PA_section) 및 PMT(Program Map Table) 섹션(PM_section)을 포함하는 PSI를 생성하여 PSI 섹션 TS 패킷타이저(167)로 출력한다.The PSI generator 166 includes a PSI (Program Associaion Table) section (PA_section) and a Program Map Table (PMT) section (PM_section) using the IOD information received from the system encoding module 150. Is generated and output to the PSI section TS packetizer 167.

PES TS 패킷타이저(162)는 입력되는 PES 패킷을 MPEG-2 TS로 패킷화하여 다 중화기(Multiplexor)(163)로 출력한다.The PES TS packetizer 162 packetizes the input PES packet into MPEG-2 TS and outputs the packetized PES packet to the multiplexer 163.

14496 섹션 TS 패킷타이저(168)는 입력되는 14496 섹션을 MPEG-2 TS로 패킷화하여 다중화기(163)로 출력한다.The 14496 section TS packetizer 168 packetizes the input 14496 section into MPEG-2 TS and outputs the packet to the multiplexer 163.

PSI 섹션 TS 패킷타이저(167)는 PSI 정보를 입력받아 MPEG-2 TS로 패킷화하여 다중화기(163)로 출력한다. The PSI section TS packetizer 167 receives the PSI information, packetizes it into an MPEG-2 TS, and outputs the packetized information to the multiplexer 163.

다중화기(163)는 입력받은 MPEG-2 TS들를 하나의 전송 스트림으로 다중화하여 다중화된 MPEG-2 TS를 출력한다.The multiplexer 163 multiplexes the received MPEG-2 TSs into one transport stream and outputs the multiplexed MPEG-2 TSs.

도 10은 본 발명에 따른 3차원 디지털 멀티미디어 방송 수신 시스템의 일실시예 구성도이다.10 is a configuration diagram of an embodiment of a 3D digital multimedia broadcasting reception system according to the present invention.

본 발명에 따른 3차원 디지털 멀티미디어 방송 수신 시스템은 외부로부터 수신한 다중화된 MPEG-2 TS를 역다중화하고 복호화하여 사용자에게 2차원 AV 또는 3차원 AV를 디스플레이하기 위한 시스템이다.The 3D digital multimedia broadcasting reception system according to the present invention is a system for displaying a 2D AV or 3D AV to a user by demultiplexing and decoding the multiplexed MPEG-2 TS received from the outside.

도 10에 도시된 바와 같이, 상기 3차원 디지털 멀티미디어 방송 수신 시스템은 M2오버M4 모듈(210), 시스템 해석 모듈(220), 3D 비디오 복호화 모듈(230), 3D 오디오 복호화 모듈(240) 및 장면생성 모듈(250)을 포함한다.As shown in FIG. 10, the 3D digital multimedia broadcasting reception system includes an M2over M4 module 210, a system analysis module 220, a 3D video decoding module 230, a 3D audio decoding module 240, and a scene generation. Module 250.

여기서, M2오버M4 모듈(210)은 외부로부터 입력받은 다중화된 MPEG-2 TS를 역다중화하고 디패킷타이징하여 비디오 SL 패킷, 오디오 SL 패킷, 3D 부가 비디오 SL 패킷, 3D 부가 오디오 SL 패킷, OD/BIFS SL 패킷과 IOD 데이터를 출력하기 위한 모듈이다.Here, the M2over M4 module 210 demultiplexes and depackets the multiplexed MPEG-2 TS received from the outside, such as a video SL packet, an audio SL packet, a 3D additional video SL packet, a 3D additional audio SL packet, and an OD. / BIFS This module outputs SL packets and IOD data.

그리고, 시스템 해석 모듈(220)은 입력받은 SL 패킷(비디오 SL 패킷, 오디오 SL 패킷, 3D 부가 비디오 SL 패킷, 3D 부가 오디오 SL 패킷 및 OD/BIFS SL 패킷)을 디패킷타이징하여 부호화 스트림(비디오 ES, 오디오 ES, 3D 부가 비디오 ES, 3D 부가 오디오 ES)으로 출력하고, IOD 데이터 및 OD/BIFS 데이터를 복호화하여 출력하기 위한 모듈이다.The system analysis module 220 depackets the received SL packet (video SL packet, audio SL packet, 3D additional video SL packet, 3D additional audio SL packet, and OD / BIFS SL packet) to encode an encoded stream (video). ES, audio ES, 3D additional video ES, 3D additional audio ES), and decodes and outputs IOD data and OD / BIFS data.

그리고, 3D 비디오 복호화 모듈(230)은 비디오 ES 및 3D 부가 비디오 부호화 ES를 복호화하여 2차원 비디오 장면 또는 3차원 비디오 장면으로 출력하기 위한 모듈이다.The 3D video decoding module 230 is a module for decoding the video ES and the 3D additional video encoding ES and outputting the 2D video scene or the 3D video scene.

그리고, 3D 오디오 복호화 모듈(240)은 오디오 ES 및 3D 부가 오디오 ES를 복호화하여, 3차원 오디오 신호를 2차원 오디오 또는 3차원 오디오 신호로 출력하는 모듈이다.The 3D audio decoding module 240 decodes the audio ES and the 3D additional audio ES and outputs a 3D audio signal as a 2D audio signal or a 3D audio signal.

그리고, 장면 생성 모듈(250)은 3D 비디오 복호화 모듈(230) 및 3D 오디오 부호화 모듈(240)로부터 입력받은 2D/3D 비디오 신호 및 2D/3D 오디오 신호를 이용하여 BIFS의 정의에 따라 장면을 구성하여 출력하기 위한 모듈이다.The scene generation module 250 constructs a scene according to the definition of BIFS by using the 2D / 3D video signal and the 2D / 3D audio signal received from the 3D video decoding module 230 and the 3D audio encoding module 240. This module is for outputting.

도 11은 도 10의 M2오버M4 모듈(210)의 일실시예 상세 구성도이다.FIG. 11 is a detailed block diagram of an embodiment of the M2over M4 module 210 of FIG. 10.

도 11에 도시된 바와 같이, M2오버M4 모듈(210)은 역다중화기(De_Multiplexor)(211), TS PES 디패킷타이저(TS to PES De-Packetizer)(212), TS 14496 섹션 디패킷타이저(TS to 14496 Section De-Packetizer)(213), TS PSI 섹션 디패킷타이저(TS to PSI Section De-Packetizer)(214), PES 디패킷타이저(PES De- Packetizer)(215), 14496 섹션 분석기(14496 Section Analyzer)(216) 및 PSI 섹션 분석기(PSI Section Analyzer)(217)를 포함한다.As shown in FIG. 11, the M2over M4 module 210 includes a De_Multiplexor 211, a TS to PES De-Packetizer 212, and a TS 14496 Section Depacketizer. (TS to 14496 Section De-Packetizer) (213), TS to PSI Section De-Packetizer (214), PES De-Packetizer (215), Section 14496 14496 Section Analyzer 216 and PSI Section Analyzer 217.

역다중화기(211)는 외부로부터 입력받은 다중화된 MPEG-2 TS를 비디오, 오디오, 3D 부가 비디오, 3D 부가 오디오, OD/BIFS, 14496 섹션 및 PSI에 대한 각각의 단일 MPEG-2 TS로 역다중화하여 출력한다.The demultiplexer 211 demultiplexes the multiplexed MPEG-2 TS received from the outside into each single MPEG-2 TS for video, audio, 3D additional video, 3D additional audio, OD / BIFS, 14496 section, and PSI. Output

TS PES 디패킷타이저(212)는 역다중화기(211)로부터 비디오, 오디오, 3D 부가 비디오, 3D 부가 오디오 및 OD/BIFS의 MPEG-2 TS를 입력받아 이를 PES 패킷으로 디패킷타이징하여 PES 디패킷타이저(215)로 출력한다.The TS PES depacketizer 212 receives video, audio, 3D additional video, 3D additional audio, and OD / BIFS MPEG-2 TS from the demultiplexer 211 to depacketize the PES packet into PES packets. Output to the packetizer 215.

TS 14496 섹션 디패킷타이저(213)는 14496 섹션의 MPEG-2 TS를 입력받아 이를 14496 섹션으로 디패킷타이징한 후 14496 섹션 분석기(216)로 출력한다. The TS 14496 section depacketizer 213 receives the MPEG-2 TS of the 14496 section, depackets it to the 14496 section, and outputs it to the 14496 section analyzer 216.

TS PSI 섹션 디패킷타이저(214)는 PSI의 MPEG-2 TS를 입력받아 이를 PAT 섹션(PA-section) 및 PMT 섹션(PM-section)으로 디패킷타이징한 후 PSI 섹션 분석기(217)로 출력한다. The TS PSI section depacketizer 214 receives the MPEG-2 TS of the PSI, depackets it into a PAT section and a PMT section, and then sends it to the PSI section analyzer 217. Output

PES 디패킷타이저(215)는 TS PES 디패킷타이저(212)로부터 비디오, 오디오, 3D 부가 비디오, 3D 부가 오디오 및 OD/BIFS에 대한 각각의 PES 패킷을 입력받아, 이를 SL 패킷으로 디패킷타이징하여 비디오 SL 패킷, 오디오 SL 패킷, 3D 부가 비디오 SL 패킷, 3D 부가 오디오 SL 패킷 및 OD/BIFS SL 패킷을 출력한다.The PES depacketizer 215 receives respective PES packets for video, audio, 3D additional video, 3D additional audio, and OD / BIFS from the TS PES depacketizer 212, and depackets them as SL packets. It is then sized to output video SL packets, audio SL packets, 3D additional video SL packets, 3D additional audio SL packets and OD / BIFS SL packets.

14496 섹션 분석기(216)는 TS 14496 섹션 디패킷타이저(213)로부터 14496 섹션을 입력받아, OD/BIFS SL 패킷을 추출하여 출력한다.The 14496 section analyzer 216 receives the 14496 section from the TS 14496 section depacketizer 213 and extracts and outputs an OD / BIFS SL packet.

PSI 섹션 분석기(217)는 PAT 섹션 및 PMT 섹션을 입력받아 IOD 데이터를 추 출하여 출력한다.The PSI section analyzer 217 receives the PAT section and the PMT section and extracts and outputs IOD data.

도 12는 도 10의 시스템 해석 모듈(220)의 일실시예 상세 구성도이다.12 is a detailed block diagram of an embodiment of the system analysis module 220 of FIG. 10.

도 12에 도시된 바와 같이, 시스템 해석 모듈(220)은 SL 디패킷타이저(De-Packetizer)(221), OD/BIFS 디코더(222) 및 IOD 디코더(223)를 포함한다.As shown in FIG. 12, the system analysis module 220 includes an SL De-Packetizer 221, an OD / BIFS decoder 222, and an IOD decoder 223.

SL 디패킷타이저(221)는 상기 M2오버M4 모듈(210)로부터 비디오 SL 패킷, 오디오 SL 패킷, 3D 부가 비디오 SL 패킷, 3D 부가 오디오 SL 패킷 및 OD/BIFS SL 패킷을 입력받아 각각 부호화 스트림으로 디패킷타이징하여 비디오 ES 및 3D 부가 비디오 ES는 3D 비디오 복호화 모듈(230)로, 오디오 ES 및 3D 부가 오디오 ES는 3D 오디오 복호화 모듈(240)로, OD/BIFS 데이터는 OD/BIFS 디코더(222)로 출력한다.The SL depacketizer 221 receives a video SL packet, an audio SL packet, a 3D additional video SL packet, a 3D additional audio SL packet, and an OD / BIFS SL packet from the M2over M4 module 210 as an encoded stream, respectively. Depacketize the video ES and the 3D additional video ES to the 3D video decoding module 230, the audio ES and the 3D additional audio ES to the 3D audio decoding module 240, and the OD / BIFS data to the OD / BIFS decoder 222. )

OD/BIFS 디코더(222)는 SL 디패킷타이저(221)로부터 OD/BIFS 부호화 데이터를 입력받아 복호화하여 복호된 BIFS 정보는 장면 생성 모듈(250)로 출력하고, 복호된 OD 정보는 각 미디어 디코더를 초기화하는데 이용된다.The OD / BIFS decoder 222 receives and decodes the OD / BIFS encoded data from the SL depacketizer 221 and outputs the decoded BIFS information to the scene generation module 250. The decoded OD information is output to each media decoder. Used to initialize.

IOD 디코더(223)는 IOD 부호화 데이터를 입력받아 복호화하여 출력하며, 복호된 IOD 데이터는 OD/BIFS 데이터를 추출하는데 이용된다.The IOD decoder 223 receives IOD encoded data, decodes it, and outputs the decoded IOD data. The decoded IOD data is used to extract OD / BIFS data.

도 13은 도 10의 3D 비디오 복호화(230) 모듈의 일실시예 상세 구성도이다.FIG. 13 is a detailed block diagram of an embodiment of the 3D video decoding 230 module of FIG. 10.

도 13에 도시된 바와 같이, 3D 비디오 복호화 모듈(230)은 비디오 디코더(231), 부가 비디오 디코더(233) 및 3D 비디오 후처리부(Post-Processor)(235)를 포함한다.As shown in FIG. 13, the 3D video decoding module 230 includes a video decoder 231, an additional video decoder 233, and a 3D video post-processor 235.

비디오 디코더(231)는 시스템 해석 모듈(220)의 SL 디패킷타이저(221)로부터 320x240/352x288 영상 사이즈의 MPEG-4 파트(part) 10 AVC 규격의 비디오 ES를 입력받아 복호화하여 3D 비디오 후처리부(235)로 출력한다.The video decoder 231 receives and decodes an MPEG-4 part 10 AVC standard video ES having a 320x240 / 352x288 image size from the SL depacketizer 221 of the system analysis module 220, and then decodes the 3D video post-processor. Output to (235).

부가 비디오 디코더(233)는 시스템 해석 모듈(220)의 SL 디패킷타이저(221)로부터 160x240/320x120 또는 176x288/352x144 영상 사이즈의 MPEG-4 part 10 AVC 규격의 3D 부가 비디오 ES를 입력받아 복호화하여 3D 비디오 후처리부(235)로 출력한다.The additional video decoder 233 receives and decodes 3D additional video ES of MPEG-4 part 10 AVC standard having a 160x240 / 320x120 or 176x288 / 352x144 image size from the SL depacketizer 221 of the system analysis module 220. The 3D video post-processing unit 235 outputs the same.

3D 비디오 후처리부(235)는 상기 비디오 디코더(231) 및 부가 비디오 디코더(233)로부터 각각 복호된 비디오 신호 및 3D 부가 비디오 신호를 입력받아, 사용자로부터 입력받은 비디오 재생 모드 정보가 3D 비디오 재생 모드인 경우에는 비디오 신호와 3D 부가 비디오 신호를 필드별로 합성하여 QVGA(320x240) 또는 CIF(352x288)영상 크기의 3D 비디오 신호로 출력하고, 2D 비디오 재생 모드인 경우에는 입력되는 3D 부가 비디오 신호는 무시하고 단지 320x240 또는 352x288 영상 크기의 2D 비디오 신호만을 그대로 출력한다. 이를 통하여 사용자는 원하는 디스플레이 방식을 선택하여 3차원 AV를 감상할 수 있다.The 3D video post-processing unit 235 receives the decoded video signal and the 3D additional video signal from the video decoder 231 and the additional video decoder 233, respectively, and the video reproduction mode information received from the user is a 3D video playback mode. In this case, the video signal and the 3D additional video signal are synthesized for each field and output as a 3D video signal having a QVGA (320x240) or CIF (352x288) image size.In the 2D video playback mode, the input 3D additional video signal is ignored and only Only 2D video signal with 320x240 or 352x288 image size is output as it is. Through this, the user can select a desired display method and enjoy 3D AV.

도 14는 도 10의 3D 오디오 복호화 모듈의 일실시예 상세 구성도이다.14 is a detailed block diagram of an embodiment of the 3D audio decoding module of FIG. 10.

도 14에 도시된 바와 같이, 3D 오디오 복호화 모듈(240)은 오디오 디코더(241), 부가 오디오 디코더(243) 및 3D 오디오 후처리부(Post-Processor)(245)를 포함한다.As shown in FIG. 14, the 3D audio decoding module 240 includes an audio decoder 241, an additional audio decoder 243, and a 3D audio post-processor 245.

오디오 디코더(241)는 시스템 해석 모듈(220)의 SL 디패킷타이저(221)로부터 MPEG-4 BSAC 규격의 오디오 부호화 스트림(오디오 ES)을 입력받아 복호화하여 3D 오디오 후처리부(245)로 출력한다.The audio decoder 241 receives an audio encoding stream (audio ES) of MPEG-4 BSAC standard from the SL depacketizer 221 of the system analysis module 220 and outputs the decoded audio signal to the 3D audio post-processor 245. .

부가 오디오 디코더(243)는 시스템 해석 모듈(220)의 SL 디패킷타이저(221)로부터 MPEG-4 BSAC 규격의 3D 부가 오디오 부호화 스트림을 입력받아 복호화한 후, 3D 오디오 후처리부(245)로 출력한다.The additional audio decoder 243 receives and decodes a 3D additional audio encoding stream of MPEG-4 BSAC standard from the SL depacketizer 221 of the system analysis module 220 and outputs the decoded 3D audio encoding stream to the 3D audio post-processing unit 245. do.

3D 오디오 후처리부(245)는 오디오 디코더(241) 및 부가 오디오 디코더(243)로부터 복호된 오디오 신호 및 3D 부가 오디오신호를 입력받아 사용자로부터 입력받은 오디오 재생 모드 정보를 이용하여 2차원 오디오 신호 또는 3차원 오디오 신호를 생성하여 출력한다.The 3D audio post-processing unit 245 receives the decoded audio signal and the 3D additional audio signal from the audio decoder 241 and the additional audio decoder 243, and uses the audio reproduction mode information received from the user to display the 2D audio signal or the 3D audio signal. Generates and outputs a 3D audio signal.

도 15는 도 14의 3D 오디오 후처리부(Post-Processor)의 일실시예 상세 구성도이다.FIG. 15 is a detailed block diagram of an embodiment of the 3D audio post-processor of FIG. 14.

도 15에 도시된 바와 같이, 3D 오디오 후처리부(245)는 2D/3D 스위치부(246), 디매트릭서(De-Matrixer)(247) 및 가상 신써사이저(Virtual 3D Synthesizer)(248)를 포함한다.As shown in FIG. 15, the 3D audio post-processing unit 245 uses a 2D / 3D switch unit 246, a de-matrixer 247, and a virtual 3D synthesizer 248. Include.

2D/3D 스위치부(246)는 사용자로부터 입력받은 오디오 재생 모드 정보가 3D 오디오 재생모드일 경우에는 복호화된 오디오 신호 및 3D 부가 오디오 신호를 합성하여 5채널 3D 오디오 신호(L0, R0, T, Q1, Q2)를 출력하고, 2D 오디오 재생 모드일 경우에는 입력되는 3D 부가 오디오 신호는 무시하고 단지 2D 오디오 신호(L0, R0)만을 그대로 출력한다.When the audio reproduction mode information input from the user is a 3D audio reproduction mode, the 2D / 3D switch unit 246 synthesizes the decoded audio signal and the 3D additional audio signal to form a 5-channel 3D audio signal (L0, R0, T, Q1). , Q2), and in the 2D audio reproduction mode, ignores the input 3D additional audio signal and outputs only the 2D audio signals L0 and R0 as they are.

디매트릭서(247)는 오디오 신호와 3D 오디오 신호를 입력받아 ITU-R BS.775-1의 규격을 이용하여 5채널 오디오 신호(L, R, C, LS, RS)를 출력한다.The dematrixer 247 receives an audio signal and a 3D audio signal and outputs five channel audio signals L, R, C, LS, and RS using the standard of ITU-R BS.775-1.

가상 신써사이저(248)는 상기 5채널 오디오 신호를 입력받아 2채널 가상 서라운드 신호(L, R)인 3D 오디오 신호로 변환하여 출력한다.The virtual synthesizer 248 receives the 5-channel audio signal and converts the 5-channel audio signal into a 3D audio signal which is a 2-channel virtual surround signal (L, R) and outputs the converted 3D audio signal.

도 16은 도 10의 장면 생성 모듈(250)의 일실시예 상세 구성도이다.FIG. 16 is a detailed block diagram of an embodiment of the scene generation module 250 of FIG. 10.

도 16에 도시된 바와 같이, 장면 생성 모듈(250)은 장면 구성부(Scene Compositor)(251) 및 렌더링부(Renderer)(253)를 포함한다.As illustrated in FIG. 16, the scene generation module 250 includes a scene compositor 251 and a renderer 253.

장면 구성부(251)는 3D 비디오 복호화 모듈(230) 및 3D 오디오 복호화 모듈(240)로부터 AV 데이터(2D/3D 비디오 신호, 2D/3D 오디오 신호)를 입력받아, 시스템 해석 모듈(220)의 OD/BIFS 디코더(222)로부터 입력받은 BIFS 데이터에 따라 장면을 구성한 AV 장면(2D/3D 비디오 장면, 2D/3D 오디오 장면)을 렌더링부(253)로 출력한다.The scene configuration unit 251 receives the AV data (2D / 3D video signal, 2D / 3D audio signal) from the 3D video decoding module 230 and the 3D audio decoding module 240, and receives the OD of the system analysis module 220. The AV scene (2D / 3D video scene, 2D / 3D audio scene) constituting the scene is output to the rendering unit 253 according to the BIFS data received from the / BIFS decoder 222.

렌더링부(253)는 장면 구성부(251)로부터 AV 장면(2D/3D 비디오 장면, 2D/3D 오디오 장면)을 입력받아 렌더링하여 이를 모니터 및 스피커로 출력한다.The rendering unit 253 receives an AV scene (2D / 3D video scene, 2D / 3D audio scene) from the scene configuration unit 251 and renders it to the monitor and the speaker.

이렇게 하여 기존의 DMB 시스템과 호환성을 유지하면서 사용자에게 3D AV 콘텐츠를 서비스할 수 있는 시스템 구현이 가능하다.In this way, it is possible to implement a system that can provide 3D AV content to users while maintaining compatibility with existing DMB systems.

상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.As described above, the method of the present invention may be implemented as a program and stored in a recording medium (CD-ROM, RAM, ROM, floppy disk, hard disk, magneto-optical disk, etc.) in a computer-readable form. Since this process can be easily implemented by those skilled in the art will not be described in more detail.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.The present invention described above is capable of various substitutions, modifications, and changes without departing from the technical spirit of the present invention for those skilled in the art to which the present invention pertains. It is not limited by the drawings.

상기와 같은 본 발명은, 기존 DMB 시스템과의 호환성을 유지하면서 사용자에게 2차원 AV 또는 보다 현실감 있는 3차원 AV를 서비스를 할 수 있는 효과가 있다.As described above, the present invention has the effect of providing two-dimensional AV or more realistic three-dimensional AV to a user while maintaining compatibility with the existing DMB system.

또한, 본 발명은 사용자에게 3차원 AV를 서비스하기 위한 시스템을 기존의 DMB 시스템을 이용하여 경제적으로 구현할 수 있는 부가적 효과가 있다.In addition, the present invention has an additional effect that can economically implement a system for servicing a three-dimensional AV to a user using an existing DMB system.

Claims (13)

3차원 디지털 멀티미디어 방송 송신 시스템으로서,3D digital multimedia broadcasting transmission system, 양안식 3차원 영상의 좌영상 또는 우영상 비디오 신호인 기본 비디오 신호를 부호화하기 위한 제 1 비디오 부호화 수단;First video encoding means for encoding a basic video signal that is a left or right video signal of a binocular three-dimensional image; 상기 좌영상 또는 우영상 비디오 신호 중 상기 제 1 비디오 부호화 수단에서 부호화하지 않은 3차원 부가 비디오 신호를 부호화하기 위한 제 2 비디오 부호화 수단;Second video encoding means for encoding a three-dimensional additional video signal not encoded by the first video encoding means among the left or right video signals; 모노 또는 스테레오 오디오 신호인 기본 오디오 신호를 부호화하기 위한 제 1 오디오 부호화 수단;First audio encoding means for encoding a basic audio signal that is a mono or stereo audio signal; 3차원 부가 오디오 신호를 부호화하기 위한 제 2 오디오 부호화 수단;Second audio encoding means for encoding a three-dimensional additional audio signal; 상기 3차원 부가 비디오 신호 또는 3차원 부가 오디오 신호에 대한 기술 정보를 포함하는 OD(Object Descriptor)를 생성하기 위한 OD 생성 수단;OD generating means for generating an object descriptor (OD) including descriptive information about the 3D additional video signal or the 3D additional audio signal; 상기 부호화된 기본 비디오 신호, 3차원 부가 비디오 신호, 기본 오디오 신호, 3차원 부가 오디오 신호 및 상기 OD를 SL(Sync Layer) 패킷으로 패킷화하기 위한 패킷화 수단; 및Packetizing means for packetizing the encoded basic video signal, three-dimensional additional video signal, basic audio signal, three-dimensional additional audio signal, and the OD into a SL (Sync Layer) packet; And 상기 패킷화 수단에 의해 패킷화된 SL 패킷을 변환 및 다중화하여 출력하기 위한 다중화 수단Multiplexing means for converting, multiplexing and outputting an SL packet packetized by the packetizing means 을 포함하는 3차원 디지털 멀티미디어 방송 송신시스템.3D digital multimedia broadcasting transmission system comprising a. 삭제delete 삭제delete 제 1 항에 있어서,The method of claim 1, 상기 제 1 비디오 부호화 수단은,The first video encoding means, 입력받은 비디오 신호의 영상 사이즈를 변환하기 위한 제 1 비디오 전처리수단; 및First video preprocessing means for converting an image size of an input video signal; And 상기 제 1 비디오 전처리 수단에서 변환한 신호를 부호화하기 위한 제 1 비디오 인코딩 수단First video encoding means for encoding the signal converted by the first video preprocessing means 을 포함하는 3차원 디지털 멀티미디어 방송 송신시스템.3D digital multimedia broadcasting transmission system comprising a. 제 4 항에 있어서,The method of claim 4, wherein 상기 제 2 비디오 부호화 수단은,The second video encoding means, 입력받은 비디오 신호의 영상 사이즈를 상기 제 1 비디오 전처리 수단에서 변환하는 크기보다 가로 또는 세로로 1/2 작게 변환하기 위한 제 2 비디오 전처리수단; 및Second video preprocessing means for converting an image size of an input video signal by 1/2 smaller horizontally or vertically than a size converted by the first video preprocessing means; And 상기 제 2 비디오 전처리 수단에서 변환한 신호를 부호화하기 위한 제 2 비디오 인코딩 수단Second video encoding means for encoding the signal converted by the second video preprocessing means 을 포함하는 3차원 디지털 멀티미디어 방송 송신시스템.3D digital multimedia broadcasting transmission system comprising a. 제 1 항에 있어서,The method of claim 1, IOD 부호화 스트림을 생성하기 위한 IOD 생성 수단IOD generation means for generating an IOD encoded stream 을 더 포함하는 3차원 디지털 멀티미디어 방송 송신시스템.Three-dimensional digital multimedia broadcasting transmission system further comprising. 삭제delete 제 1 항에 있어서,The method of claim 1, 상기 OD는,The OD is, 상기 3차원 부가 비디오 또는 3차원 부가 오디오 신호에 대한 역호환성을 제공하기 위한 객체 유형 정보를 포함하는 것을 특징으로 하는 3차원 디지털 멀티미디어 방송 송신시스템.And object type information for providing backward compatibility with the 3D additional video or the 3D additional audio signal. 제 1 항에 있어서,The method of claim 1, 상기 OD는,The OD is, 비디오 및 오디오 신호에 대하여 각각 하나의 OD가 2개의 "ES_Descriptor"를 포함하고,One OD each contains two "ES_Descriptors" for video and audio signals, 상기 "ES_Descriptor"는 3차원 부가 비디오 또는 3차원 부가 오디오 신호에 대한 역호환성을 제공하기 위하여, 3차원 부가 비디오 신호 및 3차원 부가 오디오 신호를 각각 기본 비디오 신호 및 기본 오디오 신호의 종속관계로 설정하고,In order to provide backward compatibility with the 3D additional video or the 3D additional audio signal, the "ES_Descriptor" sets the 3D additional video signal and the 3D additional audio signal as dependencies of the basic video signal and the basic audio signal, respectively. , 3차원 부가 비디오 신호에 대한 "Stream Type"은 "Visual"로 "ObjectTypeIndication"은 "User private"로 설정하고,Set "Stream Type" to "Visual" and "ObjectTypeIndication" to "User private" for the 3D video signal. 3차원 부가 오디오 신호에 대한 "Stream Type"은 "Audio"로 "ObjectTypeIndication"은 "User private"로 설정하는 것을 특징으로 하는 3차원 디지털 멀티미디어 방송 송신시스템.And "Stream Type" for "3D additional audio signal" and "ObjectTypeIndication" for "User private". 3차원 디지털 멀티미디어 방송 수신 시스템으로서,3D digital multimedia broadcasting receiving system, 양안식 3차원 영상 정보와 3차원 음향 정보를 포함하는 스트림을 역다중화하여 SL 패킷을 출력하기 위한 역다중화 수단;Demultiplexing means for demultiplexing a stream including binocular 3D image information and 3D sound information to output an SL packet; 상기 SL 패킷을 디패킷타이징하여 양안식 3차원 영상의 비디오 신호와 3차원 음향의 오디오 신호의 부호화 스트림을 출력하기 위한 역패킷화 수단;Depacketizing means for depacketizing the SL packet and outputting an encoded stream of a video signal of a binocular three-dimensional image and an audio signal of three-dimensional sound; 상기 양안식 3차원 영상의 비디오 신호에 대한 부호화 스트림을 복호화하기 위한 비디오 복호화 수단;Video decoding means for decoding an encoded stream of a video signal of the binocular three-dimensional image; 상기 3차원 음향의 오디오 신호에 대한 부호화 스트림을 복호화하기 위한 오디오 복호화 수단; 및Audio decoding means for decoding an encoded stream of the audio signal of the three-dimensional sound; And 상기 비디오 복호화 수단 및 상기 오디오 복호화 수단으로부터 입력받은 비디오/3차원 부가 비디오 및 오디오/3차원 부가 오디오 신호를 이용하여 2차원 AV 또는 3차원 AV 장면을 구성하여 출력하기 위한 장면 재생 수단Scene reproducing means for constructing and outputting a 2D AV or 3D AV scene using the video / 3D additional video and the audio / 3D additional audio signals input from the video decoding means and the audio decoding means. 을 포함하는 3차원 디지털 멀티미디어 방송 수신시스템.3D digital multimedia broadcasting receiving system comprising a. 제 10 항에 있어서,The method of claim 10, 상기 비디오 복호화 수단은,The video decoding means, 상기 역패킷화 수단으로부터 양안식 3차원 영상의 좌영상 또는 우영상에 대한 비디오 부호화 스트림을 입력받아 복호화하기 위한 제 1 비디오 복호화 수단;First video decoding means for receiving and decoding a video encoding stream of a left or right image of a binocular three-dimensional image from the depacketization means; 상기 역패킷화 수단으로부터 상기 좌영상 또는 우영상 비디오 신호 중 상기 제 1 비디오 복호화 수단으로 입력되지 않는 신호에 대한 비디오 부호화 스트림을 입력받아 복호화하기 위한 제 2 비디오 복호화 수단; 및Second video decoding means for receiving and decoding a video encoding stream for a signal which is not input to the first video decoding means of the left video or right video video signal from the depacketization means; And 상기 제 1 비디오 복호화 수단 및 상기 제 2 비디오 복호화 수단에 의해 복호화된 비디오 신호를 외부로부터 입력받은 비디오 재생 모드 정보에 따라 2차원 비디오 신호 또는 3차원 비디오 신호로 출력하기 위한 비디오 후처리 수단Video post-processing means for outputting a video signal decoded by the first video decoding means and the second video decoding means as a 2D video signal or a 3D video signal according to the video reproduction mode information received from the outside; 을 포함하는 3차원 디지털 멀티미디어 방송 수신시스템.3D digital multimedia broadcasting receiving system comprising a. 제 11 항에 있어서,The method of claim 11, 상기 제 2 비디오 복호화 수단에서 입력받는 비디오 부호화 스트림의 영상 크기는 상기 제 1 비디오 복호화 수단에서 입력받는 비디오 부호화 스트림의 영상 크기에 비해 가로 또는 세로 크기가 1/2인 것을 특징으로 하는 3차원 디지털 멀티미디어 방송 수신시스템.3D digital multimedia, characterized in that the image size of the video encoding stream received by the second video decoding means is 1/2 the horizontal or vertical size compared to the image size of the video encoding stream received by the first video decoding means. Broadcast reception system. 제 10 항에 있어서,The method of claim 10, 상기 오디오 복호화 수단은,The audio decoding means, 상기 역패킷화 수단으로부터 모노 또는 스테레오 오디오 부호화 스트림을 입력받아 복호화하기 위한 제 1 오디오 복호화 수단;First audio decoding means for receiving and decoding a mono or stereo audio encoded stream from the depacketization means; 상기 역패킷화 수단으로부터 3채널 부가 오디오 부호화 스트림을 입력받아 복호화하기 위한 제 2 오디오 복호화 수단; 및Second audio decoding means for receiving and decoding a 3-channel additional audio coded stream from the depacketization means; And 상기 제 1 오디오 복호화 수단 및 상기 제 2 오디오 복호화 수단에 의해 복호화된 오디오 신호를 외부로부터 입력받은 오디오 재생 모드 정보에 따라 2차원 오디오 신호 또는 3차원 오디오 신호로 출력하기 위한 오디오 후처리 수단Audio post-processing means for outputting audio signals decoded by the first audio decoding means and the second audio decoding means as two-dimensional audio signals or three-dimensional audio signals according to audio reproduction mode information received from the outside; 을 포함하는 3차원 디지털 멀티미디어 방송 수신시스템.3D digital multimedia broadcasting receiving system comprising a.
KR1020040062418A 2004-08-09 2004-08-09 3D digital multimedia broadcasting system Expired - Lifetime KR100658222B1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020040062418A KR100658222B1 (en) 2004-08-09 2004-08-09 3D digital multimedia broadcasting system
PCT/KR2004/003540 WO2006016735A1 (en) 2004-08-09 2004-12-30 3-dimensional digital multimedia broadcasting system
EP04808668A EP1776832A4 (en) 2004-08-09 2004-12-30 THREE-DIMENSIONAL DIGITAL MULTIMEDIA BROADCAST SYSTEM
CN2004800437751A CN1998233B (en) 2004-08-09 2004-12-30 3-dimensional digital multimedia broadcasting system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040062418A KR100658222B1 (en) 2004-08-09 2004-08-09 3D digital multimedia broadcasting system

Publications (2)

Publication Number Publication Date
KR20060013818A KR20060013818A (en) 2006-02-14
KR100658222B1 true KR100658222B1 (en) 2006-12-15

Family

ID=35839476

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040062418A Expired - Lifetime KR100658222B1 (en) 2004-08-09 2004-08-09 3D digital multimedia broadcasting system

Country Status (4)

Country Link
EP (1) EP1776832A4 (en)
KR (1) KR100658222B1 (en)
CN (1) CN1998233B (en)
WO (1) WO2006016735A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101319535B1 (en) 2006-12-26 2013-10-21 삼성전자주식회사 Device of processing image and method thereof
KR101435815B1 (en) * 2007-11-28 2014-08-29 엘지전자 주식회사 Broadcasting system and audio data processing method

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4828906B2 (en) * 2004-10-06 2011-11-30 三星電子株式会社 Providing and receiving video service in digital audio broadcasting, and apparatus therefor
KR101191195B1 (en) * 2006-05-04 2012-10-15 엘지전자 주식회사 apparatus for transmitting contents, apparatus for outputting contents, method for transmitting contents and method for outputting contents
MX2008012315A (en) 2006-09-29 2008-10-10 Lg Electronics Inc Methods and apparatuses for encoding and decoding object-based audio signals.
RU2407072C1 (en) * 2006-09-29 2010-12-20 ЭлДжи ЭЛЕКТРОНИКС ИНК. Method and device for encoding and decoding object-oriented audio signals
EP2084704B1 (en) * 2006-10-17 2012-04-18 Electronics and Telecommunications Research Institute Apparatus and method for transmitting or replaying multi-channel audio signal
KR100910996B1 (en) * 2006-12-08 2009-08-05 한국전자통신연구원 Method of Providing Three-Dimensional Video Service in Digital Multimedia Broadcasting System
KR100842582B1 (en) * 2007-01-08 2008-07-01 삼성전자주식회사 Digital broadcasting system for transmitting and receiving digital multimedia data and method thereof
EP2111617B1 (en) 2007-02-14 2013-09-04 LG Electronics Inc. Audio decoding method and corresponding apparatus
KR101292893B1 (en) * 2007-05-08 2013-09-02 한국전자통신연구원 Scalable coding apparatus and method, scalable decoding apparatus and method
KR100826519B1 (en) * 2007-05-29 2008-04-30 한국전자통신연구원 Object description and multiplexing method for 3D still image service based on DMV, decoding apparatus and method therefor
CN101378545B (en) * 2007-08-28 2012-07-18 中兴通讯股份有限公司 Layered transmission method for multimedia broadcast and multicast business
KR101531510B1 (en) * 2008-11-27 2015-06-26 엘지전자 주식회사 Receiving system and method of processing audio data
KR100979445B1 (en) * 2008-10-31 2010-09-02 한국전자통신연구원 DMB-based 3D data service providing method and receiving method thereof
US8520057B2 (en) 2008-11-04 2013-08-27 Electronics And Telecommunications Research Institute Method and system for transmitting/receiving 3-dimensional broadcasting service
US10257493B2 (en) 2009-01-20 2019-04-09 Koninklijke Philips N.V. Transferring of 3D image data
CN102396236B (en) 2009-01-28 2015-03-25 Lg电子株式会社 Broadcast receiver and video data processing method thereof
KR101672283B1 (en) * 2009-03-19 2016-11-03 엘지전자 주식회사 Method for processing three dimensional (3d) video signal and digital broadcast receiver for performing the processing method
KR101599554B1 (en) * 2009-03-23 2016-03-03 한국전자통신연구원 3 3d binaural filtering system using spectral audio coding side information and the method thereof
WO2010149700A1 (en) 2009-06-24 2010-12-29 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Audio signal decoder, method for decoding an audio signal and computer program using cascaded audio object processing stages
US9036700B2 (en) * 2009-07-15 2015-05-19 Google Technology Holdings LLC Simulcast of stereoviews for 3D TV
KR101641684B1 (en) * 2009-08-18 2016-07-21 삼성전자주식회사 Apparatus and method for transmitting digital multimedia broadcasting, and method and apparatus for receiving digital multimedia broadcasting
KR101676037B1 (en) * 2009-12-04 2016-11-14 한국전자통신연구원 3D broadcasting service apparatus and method in a broadcasting system combined with mobile broadcasting
KR101647408B1 (en) * 2010-02-03 2016-08-10 삼성전자주식회사 Apparatus and method for image processing
KR101277267B1 (en) * 2010-04-02 2013-06-20 전자부품연구원 Coding method and apparatus for 3D broadcasting
US20130176387A1 (en) * 2010-10-16 2013-07-11 Jongyeul Suh Digital receiver and method for processing 3d contents in digital receiver
KR20130011994A (en) * 2011-07-22 2013-01-30 삼성전자주식회사 Transmitter, receiver and the method thereof
EP2922057A1 (en) 2014-03-21 2015-09-23 Thomson Licensing Method for compressing a Higher Order Ambisonics (HOA) signal, method for decompressing a compressed HOA signal, apparatus for compressing a HOA signal, and apparatus for decompressing a compressed HOA signal
EP4539046A1 (en) 2014-03-21 2025-04-16 Dolby International AB Method for compressing a higher order ambisonics (hoa) signal, method for decompressing a compressed hoa signal, apparatus for compressing a hoa signal, and apparatus for decompressing a compressed hoa signal
WO2021015314A1 (en) * 2019-07-22 2021-01-28 (주)알고코리아 Mobile terminal having integrated radio function, and integrated radio system using same

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10150608A (en) 1996-11-19 1998-06-02 Sanyo Electric Co Ltd User-side terminal of digital broadcasting system
JPH10164448A (en) 1996-12-02 1998-06-19 Sanyo Electric Co Ltd Method and device for reproducing image for television broadcasting system
JPH10336700A (en) 1997-05-30 1998-12-18 Sanyo Electric Co Ltd Digital broadcasting system, transmitter and receiver
KR20030042090A (en) * 2001-11-21 2003-05-28 한국전자통신연구원 The processing system and it's method for the stereoscopic/multiview Video
KR20040035297A (en) * 2002-10-19 2004-04-29 삼성전자주식회사 Apparatus and method for transmission of digital broadcasting system having the composition error correction coding function
KR20050038054A (en) * 2003-10-21 2005-04-27 전자부품연구원 Apparatus for adaptive multiplexing/demultiplexing for 3d multiview video processing and its method

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10174064A (en) * 1996-12-06 1998-06-26 Sanyo Electric Co Ltd Digital broadcast system
US6057884A (en) * 1997-06-05 2000-05-02 General Instrument Corporation Temporal and spatial scaleable coding for video object planes
US6539357B1 (en) * 1999-04-29 2003-03-25 Agere Systems Inc. Technique for parametric coding of a signal containing information
KR100392384B1 (en) * 2001-01-13 2003-07-22 한국전자통신연구원 Apparatus and Method for delivery of MPEG-4 data synchronized to MPEG-2 data
US7292690B2 (en) * 2002-01-02 2007-11-06 Sony Corporation Video scene change detection
EP1500084B1 (en) * 2002-04-22 2008-01-23 Koninklijke Philips Electronics N.V. Parametric representation of spatial audio
KR100488804B1 (en) * 2002-10-07 2005-05-12 한국전자통신연구원 System for data processing of 2-view 3dimention moving picture being based on MPEG-4 and method thereof
KR100751422B1 (en) * 2002-12-27 2007-08-23 한국전자통신연구원 Stereoscopic video encoding and decoding method, encoding and decoding device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10150608A (en) 1996-11-19 1998-06-02 Sanyo Electric Co Ltd User-side terminal of digital broadcasting system
JPH10164448A (en) 1996-12-02 1998-06-19 Sanyo Electric Co Ltd Method and device for reproducing image for television broadcasting system
JPH10336700A (en) 1997-05-30 1998-12-18 Sanyo Electric Co Ltd Digital broadcasting system, transmitter and receiver
KR20030042090A (en) * 2001-11-21 2003-05-28 한국전자통신연구원 The processing system and it's method for the stereoscopic/multiview Video
KR20040035297A (en) * 2002-10-19 2004-04-29 삼성전자주식회사 Apparatus and method for transmission of digital broadcasting system having the composition error correction coding function
KR20050038054A (en) * 2003-10-21 2005-04-27 전자부품연구원 Apparatus for adaptive multiplexing/demultiplexing for 3d multiview video processing and its method

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
1020030042090 *
1020040035297 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101319535B1 (en) 2006-12-26 2013-10-21 삼성전자주식회사 Device of processing image and method thereof
KR101435815B1 (en) * 2007-11-28 2014-08-29 엘지전자 주식회사 Broadcasting system and audio data processing method

Also Published As

Publication number Publication date
CN1998233B (en) 2011-12-07
EP1776832A1 (en) 2007-04-25
KR20060013818A (en) 2006-02-14
EP1776832A4 (en) 2009-08-26
CN1998233A (en) 2007-07-11
WO2006016735A1 (en) 2006-02-16

Similar Documents

Publication Publication Date Title
KR100658222B1 (en) 3D digital multimedia broadcasting system
US9380288B2 (en) System and method for transmitting/receiving three dimensional video based on digital broadcasting
CN103650515B (en) wireless 3D streaming server
JP4828535B2 (en) Apparatus and method for transmitting / receiving 3D stereoscopic digital broadcast using 3D stereoscopic video additional data
KR100747550B1 (en) Method for providing three dimensional image service based on DMB, Apparatus and Method of Decoding for three dimensional image service based on DMB
KR100397511B1 (en) The processing system and it's method for the stereoscopic/multiview Video
JP5575949B2 (en) Broadcast data transmission method and apparatus
EP2369836B1 (en) Object-based 3-dimensional audio service system using preset audio scenes
CN101473645B (en) Object-based 3D audio service system using preset audio scenes
KR101154051B1 (en) Apparatus and method for multi-view video transmission and reception
CN103190153B (en) For the method for communicating signals of third dimension Video service and the equipment of use the method
KR100874226B1 (en) Multi-view Image and 3D Audio Transceiver and Transmit and Receive Method Using the Same
KR100703715B1 (en) Multiview 3D Video Transceiver System
WO2007067020A1 (en) System and method for transmitting/receiving three dimensional video based on digital broadcasting
KR100883366B1 (en) DMB reception system and method for providing integrated data service in digital multimedia broadcasting
KR101336423B1 (en) Scalable coding apparatus and method, decoding apparatus and method
KR100943216B1 (en) Apparatus and method for processing multichannel audio signals
HK1141920A (en) Method and device for encoding and decoding audio signal
KR20110080459A (en) PC-based 3D Encoding Device

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

FPAY Annual fee payment

Payment date: 20111129

Year of fee payment: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R14-asn-PN2301

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20121209

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20121209

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PC1801 Expiration of term

St.27 status event code: N-4-6-H10-H14-oth-PC1801

Not in force date: 20240810

Ip right cessation event data comment text: Termination Category : EXPIRATION_OF_DURATION