KR100681914B1 - Digital broadcasting system and method using heterogeneous network - Google Patents
Digital broadcasting system and method using heterogeneous network Download PDFInfo
- Publication number
- KR100681914B1 KR100681914B1 KR1020050087433A KR20050087433A KR100681914B1 KR 100681914 B1 KR100681914 B1 KR 100681914B1 KR 1020050087433 A KR1020050087433 A KR 1020050087433A KR 20050087433 A KR20050087433 A KR 20050087433A KR 100681914 B1 KR100681914 B1 KR 100681914B1
- Authority
- KR
- South Korea
- Prior art keywords
- frame information
- communication network
- basic
- extended
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/16—Arrangements for providing special services to substations
- H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
- H04L12/1836—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast with heterogeneous network architecture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/46—Receiver circuitry for the reception of television signals according to analogue transmission standards for receiving on more than one standard at will
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H2201/00—Aspects of broadcast communication
- H04H2201/10—Aspects of broadcast communication characterised by the type of broadcast system
- H04H2201/11—Aspects of broadcast communication characterised by the type of broadcast system digital multimedia broadcasting [DMB]
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
본 발명은 디지털 방송에 있어서 기본 프레임 정보를 전송하는 기본 계층(Base Layer)은 제1 통신망을 이용하고 확장 프레임 정보를 전송하는 확장 계층(Enhancement Layer)은 상기 제1 통신망과는 상이한 종류의 제2 통신망을 이용하여 단말기로 전송하는 이기종 네트워크를 이용한 디지털 방송 시스템 및 방법에 관한 것이다.According to the present invention, in the digital broadcasting, a base layer for transmitting basic frame information uses a first communication network, and an enhancement layer for transmitting extended frame information includes a second type different from that of the first communication network. The present invention relates to a digital broadcasting system and method using a heterogeneous network for transmitting to a terminal using a communication network.
본 발명에 따르면, 기본 프레임 정보와 확장 프레임 정보를 서로 다른 통신망을 통해 전송하기 때문에, 한정된 무선자원(디지털 방송 채널)을 효과적으로 이용할 수 있으며 또한 과거 출시된 단말기와 고화질 방송용 신종 단말기를 모두 사용할 수 있는 효과를 가진다.According to the present invention, since basic frame information and extended frame information are transmitted through different communication networks, it is possible to effectively use limited radio resources (digital broadcasting channels) and to use both terminals released in the past and new terminals for high-definition broadcasting. Has an effect.
Description
도 1은 종래기술에 따른 단일 네트워크를 이용한 디지털 방송 시스템의 개요도,1 is a schematic diagram of a digital broadcasting system using a single network according to the prior art;
도 2는 본 발명에 따른 이기종 네트워크를 이용한 디지털 방송 시스템의 개요도,2 is a schematic diagram of a digital broadcasting system using a heterogeneous network according to the present invention;
도 3은 시간적 스케일러빌리티를 이용한 확장 계층 형성방법을 설명하는 도면,3 is a diagram illustrating a method for forming an enhancement layer using temporal scalability;
도 4는 공간적 스케일러빌리티를 이용한 확장 계층 형성방법을 설명하는 도면,4 is a view for explaining a method of forming an enhancement layer using spatial scalability;
도 5는 시간적 및 공간적 스케일러빌리티를 이용한 확장 계층 형성방법을 설명하는 도면이다.5 is a diagram illustrating a method of forming an enhancement layer using temporal and spatial scalability.
< 도면의 주요부분에 대한 부호의 설명 ><Description of Symbols for Major Parts of Drawings>
100, 110: 디지털 방송센터 200: 통신망100, 110: Digital broadcasting center 200: communication network
210: 제1 통신망 220: 제2 통신망210: first communication network 220: second communication network
310: 제1 단말기 320: 제2 단말기310: first terminal 320: second terminal
본 발명은 이기종 네트워크를 이용한 디지털 방송 시스템 및 방법에 관한 것으로, 보다 상세하게는 위성 DMB(Digital Multimedia Broadcasting) 등과 같은 디지털 방송에 있어서 기본 프레임 정보를 전송하는 기본 계층(Base Layer)은 제1 통신망(예; 위성 DMB망, 지상파 DMB망)을 이용하고 확장 프레임 정보를 전송하는 확장 계층(Enhancement Layer)은 상기 제1 통신망과는 상이한 종류의 제2 통신망(예; Wibro)을 이용하여 단말기로 전송하는 이기종 네트워크를 이용한 디지털 방송 시스템 및 방법에 관한 것이다.The present invention relates to a digital broadcasting system and method using a heterogeneous network, and more particularly, a base layer for transmitting basic frame information in digital broadcasting such as satellite digital multimedia broadcasting (DMB) may include a first communication network ( For example, an enhancement layer for transmitting extended frame information using a satellite DMB network and a terrestrial DMB network is transmitted to a terminal using a second communication network (eg, Wibro) that is different from the first communication network. The present invention relates to a digital broadcasting system and method using a heterogeneous network.
종래기술에 따른 디지털 방송 시스템을 간단히 살펴보면, 도 1에 도시된 바와 같이, 디지털 방송센터(100)에서는 위성 DMB망 또는 지상파 DMB망(200) 등을 이용하여 동영상 정보를 전송하고 DMB 수신 단말기(310,320)가 이를 수신하여 재생하는 방식으로 디지털 방송이 이루어졌다. 그런데, 이러한 종래기술에 따른 디지털 방송의 경우, 디지털 방송센터(100)가 송신하는 동영상 정보에 있어 해상도 및 프레임 속도는 고정되어 있으며, DMB 수신 단말기(310,320) 역시 상기 고정된 해상도 및 프레임 속도를 갖는 동영상 정보를 단일 네트워크(위성 DMB망/지상파 DMB망)를 통하여 수신하여 재생하였다. 예컨대, 위성 DMB의 경우를 설명하면, 종래의 위성 DMB는 해상도 및 프레임 속도가 각각 QVGA(Quater Video Graphics Arry), 15fps(frame per second)로 고정되어 있으며, 위성 DMB 수신 단말기 역시 QVGA, 15fps로 고정됨으로써 디지털 방송을 수신할 수 있다.Referring to the digital broadcasting system according to the related art, as shown in FIG. 1, the
그러나, 기술의 발달과 더불어 사용자의 요구사항은 점점 증대될 것이고, 이 경우 향후 수년 후에는 지금의 QVGA, 15fps의 수준의 화질은 시청자에게는 만족스럽지 못한 품질이 될 것이다. 그리하여, 수년 후에 더 좋은 해상도와 프레임 속도로 서비스를 하고자 할 경우, 디지털 방송센터는 송신하는 동영상 정보를 고화질의 영상으로 수정해야 하는데, 이 경우에는 기존에 출시되어 사용되는 단말기가 수신이 안 되어 더 이상 사용할 수 없는 문제가 발생한다.However, with the development of the technology, user requirements will increase and in this case, the quality of the current QVGA, 15fps will be unsatisfactory for the viewers in the next few years. Thus, in order to provide better resolution and frame rate after several years, the digital broadcasting center needs to modify the video information to be transmitted to high-definition video. A problem that cannot be used anymore occurs.
본 발명은 상기와 같은 종래기술의 문제점을 해결하기 위하여 창안된 것으로, 본 발명의 목적은 기존 출시된 단말기에 대하여는 종래의 화질로 계속하여 시청이 가능하고 신규 단말기에 대하여는 고화질 방송이 가능한 이기종 네트워크를 이용한 디지털 방송 시스템 및 방법을 제공하는 것이다.The present invention has been made to solve the problems of the prior art as described above, an object of the present invention is to provide a heterogeneous network capable of continuously watching in the conventional image quality for the existing terminal and high-definition broadcasting for the new terminal It is to provide a digital broadcasting system and method used.
상기 목적을 위하여, 본 발명에 따른 이기종 네트워크를 이용한 디지털 방송 시스템은, 기본 방송용 기본 프레임을 재생할 수 있는 기본 프레임 정보와 고화질 방송용 확장 프레임을 재생할 수 있는 확장 프레임 정보를 각각 분류하여 제1 통신망 및 제2 통신망으로 송신하는 디지털 방송센터; 상기 기본 프레임 정보를 전송하는 제1 통신망; 상기 확장 프레임 정보를 전송하며, 상기 제1 통신망과는 상이한 제2 통신망; 및 상기 제1 통신망을 통해 기본 프레임 정보를 수신하고, 상기 제2 통신망을 통해 확장 프레임 정보를 수신하여, 상기 기본 프레임 정보와 확장 프레임 정보를 조합하여 디지털 방송을 출력하는 단말기를 포함하는 것을 특징으로 한 다.For this purpose, the digital broadcasting system using a heterogeneous network according to the present invention is classified into basic frame information capable of reproducing basic frames for basic broadcasting and extended frame information capable of reproducing extended frames for high-definition broadcasting, respectively. A digital broadcasting center transmitting over two communication networks; A first communication network transmitting the basic frame information; A second communication network transmitting the extended frame information and different from the first communication network; And a terminal configured to receive basic frame information through the first communication network, receive extended frame information through the second communication network, and output digital broadcasting by combining the basic frame information and the extended frame information. do.
그리고, 본 발명에 따른 이기종 네트워크를 이용한 디지털 방송 방법은, 디지털 방송센터가 기본 방송용 기본 프레임을 재생할 수 있는 기본 프레임 정보와 고화질 방송용 확장 프레임을 재생할 수 있는 확장 프레임 정보를 각각 분류하여 송신하는 단계; 상기 기본 프레임 정보가 제1 통신망을 통해 전송되고, 상기 확장 프레임 정보가 상기 제1 통신망과는 상이한 종류의 제2 통신망을 통해 전송되는 단계; 단말기가 상기 제1 통신망을 통해 기본 프레임 정보를 수신하고, 상기 제2 통신망을 통해 확장 프레임 정보를 수신하는 단계; 및 상기 단말기가 상기 기본 프레임 정보와 확장 프레임 정보를 조합하여 디지털 방송을 출력하는 단계를 포함하는 것을 특징으로 한다.The digital broadcasting method using the heterogeneous network according to the present invention includes the steps of: classifying and transmitting, by the digital broadcasting center, basic frame information capable of reproducing basic frames for basic broadcasting and extended frame information capable of reproducing high quality broadcasting extended frames, respectively; The basic frame information is transmitted through a first communication network, and the extended frame information is transmitted through a second communication network of a different type from the first communication network; Receiving, by the terminal, basic frame information through the first communication network and receiving extended frame information through the second communication network; And outputting, by the terminal, the digital broadcast by combining the basic frame information and the extended frame information.
상기 제1 통신망은 디지털 방송을 위해 전문화된 망(network)으로 예컨대 위성 DMB망 또는 지상파 DMB망 등을 이용하는 것이 바람직하며, 상기 제2 통신망은 전문전인 디지털 방송망이 아닌 기존의 상용화된 망으로서 예컨대 무선 인터넷, 유선 인터넷, 이동통신망 등을 이용하는 것이 바람직하다.Preferably, the first communication network is a network specialized for digital broadcasting, for example, a satellite DMB network or a terrestrial DMB network. The second communication network is a conventional commercialized network instead of a professional digital broadcasting network. It is preferable to use the Internet, a wired Internet, a mobile communication network, and the like.
그리고, 고화질 방송을 위한 확장 프레임 정보는 시간적 스케일러빌리티(Temporal Scalability), 공간적 스케일러빌리티(Spatial Scalability), 또는 시간적 및 공간적 스케일러빌리티(Temporal & Spatial Scalability)를 이용하는 것이 바람직하다.The extended frame information for high quality broadcasting may use temporal scalability, spatial scalability, or temporal and spatial scalability.
이하에서는 첨부 도면 및 바람직한 실시예를 참조하여 본 발명을 상세히 설명한다. 하기 설명에서 도면들 중 동일 또는 유사한 구성요소에 대하여는 가능한 한 동일한 참조부호를 사용하였으며, 또한 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략하였다. 예컨대, 디지털 방송의 표준 또는 규격에 대한 상세한 내용은 해당 표준(규격)을 참조할 수 있으므로 여기서는 그 설명을 생략하였다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings and preferred embodiments. In the following description, the same or similar components are denoted by the same reference numerals as much as possible, and detailed descriptions of well-known functions and configurations that may unnecessarily obscure the subject matter of the present invention are omitted. For example, a detailed description of a standard or a standard of digital broadcasting can be referred to the standard (standard), so the description thereof is omitted here.
우선, 도 2는 본 발명에 따른 이기종 네트워크를 이용한 디지털 방송 시스템의 개요도를 도시한 것이다. 도 2에 도시된 바와 같이, 본 발명에 따른 디지털 방송 시스템은 기본 프레임 정보와 확장 프레임 정보를 각각 분류하여 제1 통신망 및 제2 통신망으로 송신하는 디지털 방송센터(110), 상기 기본 프레임 정보를 전송하는 제1 통신망(210), 상기 확장 프레임 정보를 전송하는 제2 통신망(220), 그리고 상기 기본 프레임 정보와 확장 프레임 정보를 수신 및 조합하여 동영상을 재생하는 단말기(320)로 구성된다.First, FIG. 2 is a schematic diagram of a digital broadcasting system using a heterogeneous network according to the present invention. As shown in FIG. 2, the digital broadcasting system according to the present invention classifies basic frame information and extended frame information, respectively, and transmits them to the first communication network and the second communication network, and transmits the basic frame information. The
디지털 방송센터(110)는 일반적으로 대용량의 동영상 정보(데이터)를 효과적으로 압축하여 전송하는데, 이러한 동영상 압축 기술의 표준으로는 ISO/IEC(International data Communication/International Electrotechnical Commission)의 MPEG(Moving Picture Experts Group) 시리즈와 ITU-T(International Telecommunication Union-Telecommunication Session)의 H.26x 시리즈가 있다. 그리고, 현재 상용되는 디지털 방송은 주로 "MPEG4"나 또는 ISO/IEC와 ITU-T의 합작인 JVC(Joint Video Team)에서 제안한 "H.264/MPEG4 part 10"을 이용한다.The
동영상 압축 기술은 동영상 데이터의 통계적 특성이 공간적, 시간적으로 중복성(Redundancy)이 많다는 점을 이용하며, 일반적으로는 공간적 중복성을 줄이기 위하여 영상을 프레임별로 이산여현변환(DCT; Discrete Cosine Transform)을 수행하고, 시간적 중복성을 줄이기 위하여 프레임별로 이미 인코딩한 참조 영상으로부터 영상들 사이의 연속성 및 유사성을 찾아 차분펄스부호변조(DPCM; Differential Pulse Coded Modulation)를 수행한다.Video compression technology takes advantage of the fact that the statistical characteristics of video data have a lot of spatial and temporal redundancy.In general, a discrete cosine transform (DCT) is performed for each frame to reduce spatial redundancy. In order to reduce temporal redundancy, differential pulse coded modulation (DPCM) is performed to find continuity and similarity between images from a reference image that has been encoded for each frame.
이러한 동영상 압축을 위한 인코딩 모드로서는 인트라 모드(Intra mode)와 인터 모드(Inter mode)가 있다. 인트라 모드는 원 영상 자체에 내포된 연속성 및 유사성을 기반으로 변환하여 인코딩하는 모드이다. 그리고, 인터 모드는 영상 상호간의 연속성 및 유사성을 기반으로 인코딩하는 모드인데, 이는 시간상 이전에 존재하는 영상으로부터 움직임을 예측하고 이를 원 영상과 비교하여 예측에러를 인코딩하는 순방향 예측 모드(Predictive mode)와 시간상 이전 또는 이후에 존재하는 영상으로부터 움직임을 예측하고 이를 원 영상과 비교하여 예측에러를 인코딩하는 양방향 예측 모드(Bi-predictive mode) 등으로 구분될 수 있다.As encoding modes for video compression, there are an intra mode and an inter mode. Intra mode is a mode that converts and encodes based on continuity and similarity included in the original image itself. In addition, the inter mode is a mode for encoding based on continuity and similarity between images, which is a predictive mode that predicts motion from an existing image in time and compares it with the original image to encode a prediction error. It may be classified into a bi-predictive mode, which predicts a motion from an image existing before or after time, and compares it with an original image to encode a prediction error.
이하에서는, 도 3 내지 도 5를 참조하여 서로 다른 통신망을 통해 전송되는 기본 프레임 정보와 확장 프레임 정보에 대하여 상세히 설명한다.Hereinafter, basic frame information and extended frame information transmitted through different communication networks will be described in detail with reference to FIGS. 3 to 5.
구체적 설명에 앞서 본 발명에서 사용된 용어를 간단히 정의하면, "기본 방송"이란 (국가별 또는 지역별) 디지털 방송 표준 또는 규격에 의해 설정되는 것으로서 DMB 수신 단말기를 통해 시청할 수 있는 최소 화질(기본 화질)의 방송을 말하며, "고품질 방송"이란 상기 기본 방송보다 해상도 및/또는 프레임 속도 등이 향상된 보다 높은 품질의 방송을 말한다. Prior to the detailed description, the terminology used in the present invention is simply defined, and the term "basic broadcast" is set by a digital broadcasting standard or standard (per country or region), and the minimum image quality (basic image quality) that can be viewed through a DMB receiving terminal. The term " high quality broadcast " refers to higher quality broadcast with improved resolution and / or frame rate than the basic broadcast.
위성 DMB의 경우를 예로 들어 설명하면, 현재 상용화된 위성 DMB는 해상도 및 프레임 속도가 각각 QVGA(320×240) 및 15fps로 설정되어 있는데, 이 경우 QVGA/15fps가 기본 방송이 된다. 그러나, 현재는 상용화되지 않았지만, 해상도가 VGA(640×480)로 향상되거나 및/또는 프레임 속도가 30fps로 향상된 방송을 전송할 수 있으며, 이 경우 QVGA/30fps, VGA/15fps, VGA/30fps 등의 방송이 고화질 방송이 될 것이다.Taking satellite DMB as an example, the commercially available satellite DMB has a resolution and a frame rate set to QVGA (320 × 240) and 15 fps, respectively. In this case, QVGA / 15 fps is the basic broadcast. However, although not currently commercialized, broadcasts with resolutions up to VGA (640 × 480) and / or frame rates up to 30fps can be transmitted, in which case broadcasts such as QVGA / 30fps, VGA / 15fps, and VGA / 30fps. This will be a high definition broadcast.
도 3은 시간적 스케일러빌리티를 이용한 확장 계층 형성방법을 설명하는 도면이다.3 is a diagram illustrating a method of forming an enhancement layer using temporal scalability.
제1 통신망을 통해 전송되는 기본 계층(Base Layer)은 기본 방송을 위한 다수의 기본 프레임으로 구성된다. 기본 프레임 중 최초 프레임은 원 영상으로부터 인트라 모드로 처리되며, 그 이후의 프레임들은 주로 이전 또는 이후의 프레임과의 연속성 및 유사성을 비교하여 인터 모드로 처리되거나 이웃하는 프레임과의 연속성 및 유사성이 낮은 경우(예, 장면이 전환된 경우)에는 인트라 모드로 처리된다. The base layer transmitted through the first communication network is composed of a plurality of base frames for basic broadcasting. The first frame of the basic frame is processed in the intra mode from the original image, and subsequent frames are mainly processed in inter mode by comparing the continuity and similarity with previous or subsequent frames, or when the continuity and similarity with neighboring frames are low. (Eg, when the scene is switched), it is processed in the intra mode.
도 3을 참조하여 상세히 설명하면, 도시되지는 않았지만 'B(0)'를 최초 프레임이라 가정하면, 'B(0)'는 참조할 수 있는 프레임(참조 프레임)이 존재하지 않으므로 원 영상 자체로부터 인트라 모드로 처리되며, n번째 기본 프레임인 'B(n)'은 이웃하는 기본 프레임인 'B(n-4)', 'B(n-2)', 'B(n+2)'와 연속성 및 유사성을 비교한 후 가장 유사한 기본 프레임을 참조하여 인터 모드로 처리되거나 또는 연속성 및 유사성이 낮은 경우 원 영상으로부터 인트라 모드로 처리된다.Although not shown in detail with reference to FIG. 3, assuming that 'B (0)' is the first frame, since 'B (0)' does not have a frame (reference frame) that can be referred to from the original image itself. It is processed in intra mode, and the nth basic frame 'B (n)' is adjacent to the neighboring basic frames 'B (n-4)', 'B (n-2)', and 'B (n + 2)'. After comparing the continuity and the similarity, the most similar basic frame is processed in the inter mode, or when the continuity and the similarity are low, the process is processed in the intra mode from the original image.
그리고, 이러한 인터 모드 또는 인트라 모드를 이용하여 원래의 기본 프레임들을 재생할 수 있는 정보가 기본 프레임 정보이며, 디지털 방송센터(110)는 기본 프레임 정보를 제1 통신망(210)을 통해 단말기(310,320)로 전송함으로써 단말기는 기준 방송을 출력할 수 있다. 이러한 기본 프레임 정보에는 인코딩된 모드를 표현하는 인코딩 모드 정보, 인터 모드시 참조한 프레임을 나타내는 참조 프레임 식별정보, 그리고 움직임 보상을 위한 예측에러 정보가 포함된다.In addition, information that can reproduce the original basic frames using the inter mode or the intra mode is basic frame information, and the
한편, 디지털 방송센터는 상기 기준 프레임 보다 프레임 속도가 우수한 방송을 위하여 별도의 확장 프레임 정보를 생성한다. 시간적 스케일러빌리티를 이용할 경우 확장 프레임은 상기 기준 프레임들 사이에 삽입되어 시간당 프레임 속도를 향상시키는데, 도 3을 참조하면, 확장 프레임 'T(n-3)', 'T(n-1)', 'T(n+1)'은 각각 기본 프레임 'B(n-4)', 'B(n-2)', 'B(n)' 뒤에 삽입되어 프레임 속도를 2배로 향상시킨다.Meanwhile, the digital broadcasting center generates separate extended frame information for broadcasting having a better frame rate than the reference frame. When temporal scalability is used, an extended frame is inserted between the reference frames to improve an hourly frame rate. Referring to FIG. 3, extended frames 'T (n-3)', 'T (n-1)', 'T (n + 1)' is inserted after the basic frames 'B (n-4)', 'B (n-2)' and 'B (n)', respectively, to double the frame rate.
이러한 확장 계층을 형성하는 확장 프레임들은 기본 계층의 기본 프레임 또는 자체(확장 계층)의 확장 프레임으로부터 인터 모드로 처리되는데, 도 3을 참조하면, 확장 프레임 'T(n+1)'은 이웃하는 기본 프레임 'B(n)' 또는 'B(n+2)'를 참조 프레임으로 이용하거나 또는 시간상으로 이전에 위치하는 확장 프레임 'T(n-3)' 또는 'T(n-1)'를 참조 프레임으로 이용하여 인터 모드로 처리된다. 이 경우 시간상 이전에 위치하는 프레임만을 참조한 경우 전방향 예측 모드가 되며, 도시한 바와 같이 시간상 이전 또는 이후에 위치하는 프레임을 참조할 경우 양방향 예측 모드가 된다. 그리고, 기본 프레임 정보와 마찬가지로 확장 프레임 정보에도 인코딩 모드 정보, 참조 프레임 식별정보, 예측에러 정보가 포함된다.Extended frames forming such an extended layer are processed in an inter mode from a base frame of a base layer or an extended frame of itself (extended layer). Referring to FIG. 3, an extended frame 'T (n + 1)' is a neighboring base. Use frame 'B (n)' or 'B (n + 2)' as reference frame or refer to extended frame 'T (n-3)' or 'T (n-1)' previously located in time The frame is processed in inter mode. In this case, when only the frames located before are referred to in time, the omnidirectional prediction mode is used. As illustrated, when the frames are located before or after time, the bidirectional prediction mode is used. As in the basic frame information, the extended frame information includes encoding mode information, reference frame identification information, and prediction error information.
상기와 같이 기본 계층을 기초로 생성된 확장 계층은 기본 계층과 링크되어 있으며, 기본 프레임 정보가 전송되는 제1 통신망과는 상이한 별도의 제2 통신망을 통해 단말기로 전송된다.As described above, the enhancement layer generated based on the base layer is linked to the base layer and is transmitted to the terminal through a second communication network that is different from the first communication network through which the basic frame information is transmitted.
한편, DMB 수신 단말기는 그 성능(기능)에 따라 재생(출력)할 수 있는 방송 품질이 정해질 것이며, 예컨대 제1 단말기(310)와 같이 기본 방송만 재생할 수 있는 경우에는 기본 프레임 정보만을 수신하여 기본 방송을 재생할 것이며, 제2 단말기(320)와 같이 고화질 방송을 재생할 수 있는 경우에는 기본 방송 또는 고화질 방송을 선택하여 재생할 수 있을 것이다. 물론, 고화질 방송을 위하여 제2 단말기(320)는 제1 통신망을 통해 전송되는 기본 프레임 정보뿐만 아니라 제2 통신망을 통해 전송되는 확장 프레임 정보를 모두 수신하여야 하며, 상기 기본 프레임 정보를 기초로 확장 프레임 정보를 조합하여 기본 프레임과 확장 프레임을 복원(디코딩)하여야 한다. On the other hand, the DMB receiving terminal will determine the broadcast quality that can be reproduced (output) according to its performance (function). For example, if only the basic broadcast can be reproduced like the
위성 DMB의 경우, 현재 기본 방송에서는 해상도 및 프레임 속도가 각각 QVGA(320×240) 및 15fps로 설정되어 있는데, 전술한 시간적 스케일러빌리티를 적용할 경우 QVGA/30fps, QVGA/45fps, QVGA/60fps 등의 방송이 고화질 방송이 될 것이다.In the case of satellite DMB, the resolution and frame rate are set to QVGA (320 × 240) and 15 fps, respectively, in the basic broadcast, but QVGA / 30fps, QVGA / 45fps, QVGA / 60fps, etc. are applied when the temporal scalability described above is applied. The broadcast will be a high definition broadcast.
도 4는 공간적 스케일러빌리티를 이용한 확장 계층 형성방법을 설명하는 도면이다.4 is a view for explaining a method for forming an enhancement layer using spatial scalability.
전술한 시간적 스케일러빌리티와 유사하게, 도시되지는 않았지만 'B(0)'를 최초 프레임이라 가정하면, 'B(0)'는 참조할 수 있는 프레임(참조 프레임)이 존재하지 않으므로 원 영상 자체로부터 인트라 모드로 처리되며, n번째 기본 프레임인 'B(n)'은 이웃하는 기본 프레임인 'B(n-4)', 'B(n-2)', 'B(n+2)'와 연속성 및 유사성을 비교한 후 가장 유사한 기본 프레임으로부터 인터 모드로 처리되거나 또는 연속성 및 유사성이 낮은 경우 원 영상으로부터 인트라 모드로 처리된다.Similar to the temporal scalability described above, assuming that B (0) is the first frame, although not shown, 'B (0)' does not exist from the original image itself since there is no reference frame (reference frame). It is processed in intra mode, and the nth basic frame 'B (n)' is adjacent to the neighboring basic frames 'B (n-4)', 'B (n-2)', and 'B (n + 2)'. After continuity and similarity are compared, they are processed in the inter mode from the most similar basic frame or in the intra mode from the original image when the continuity and similarity are low.
한편, 디지털 방송센터는 상기 기준 프레임 보다 해상도가 우수한 방송을 위하여 별도의 확장 프레임 정보를 생성한다. 공간적 스케일러빌리티를 이용할 경우 확장 프레임은 상기 기준 프레임과 프레임 속도는 동일하지만 해상도가 높은 프레임이 생성된다. 예컨대, 도 4에 도시된 확장 프레임 'S(n-4)', 'S(n-2)', 'S(n)', 'S(n+2)'은 각각 기본 프레임 'B(n-4)', 'B(n-2)', 'B(n)', 'B(n+2)' 과 동일한 영상을 표현하지만 해상도는 더 높은 프레임이다.Meanwhile, the digital broadcasting center generates separate extended frame information for broadcasting having a higher resolution than the reference frame. In case of using spatial scalability, an extended frame generates a frame having the same frame rate but higher resolution than the reference frame. For example, the extended frames 'S (n-4)', 'S (n-2)', 'S (n)', and 'S (n + 2)' shown in FIG. 4 are respectively basic frames 'B (n)'. -4) ',' B (n-2) ',' B (n) ', and' B (n + 2) ', but with higher resolution.
이러한 확장 계층을 형성하는 확장 프레임들은 기본 계층의 기본 프레임 또는 자체(확장 계층)의 확장 프레임으로부터 인터 모드로 처리되는데, 도 4를 참조하면, 확장 프레임 'S(n)'은 기본 프레임 'B(n)'을 참조 프레임으로 이용하거나 또는 시간상으로 이전에 위치하는 확장 프레임 'S(n-4)' 또는 'S(n-2)'를 참조 프레임으로 이용하여 인터 모드로 처리된다. The extended frames forming such an extended layer are processed in an inter mode from a base frame of the base layer or an extended frame of itself (extended layer). Referring to FIG. 4, the extended frame 'S (n)' is referred to as the base frame 'B ( n) 'is used as a reference frame or an extended frame' S (n-4) 'or' S (n-2) 'previously located in time is used as the reference frame and processed in the inter mode.
상기와 같이 기본 계층을 기초로 생성된 확장 계층은 기본 계층과 링크되어 있으며, 기본 프레임 정보가 전송되는 제1 통신망과는 상이한 별도의 제2 통신망을 통해 단말기로 전송된다. 그리고, 시간적 스케일러빌리티의 경우와 마찬가지로, 고화질 방송을 재생할 수 있는 제2 단말기(320)는 기본 방송 또는 고화질 방송을 선택하여 재생할 수 있다.As described above, the enhancement layer generated based on the base layer is linked to the base layer and is transmitted to the terminal through a second communication network that is different from the first communication network through which the basic frame information is transmitted. As in the case of temporal scalability, the
위성 DMB의 경우, 현재 기본 방송에서는 해상도 및 프레임 속도가 각각 QVGA(320×240) 및 15fps로 설정되어 있는데, 전술한 공간적 스케일러빌리티를 적용할 경우 VGA(640×480)/15fps, XGA(1024×768)/15fps, SVGA(1280×1024)/15fps, UXGA(1600×1200)/15fps 등의 방송이 고화질 방송이 될 것이다.In the case of satellite DMB, the resolution and frame rate are set to QVGA (320 × 240) and 15fps, respectively, in the basic broadcasting, and VGA (640 × 480) / 15fps and XGA (1024 ×) are applied when the spatial scalability described above is applied. 768) / 15fps, SVGA (1280 × 1024) / 15fps, UXGA (1600 × 1200) / 15fps, etc., will be high quality broadcasts.
도 5는 시간적 및 공간적 스케일러빌리티를 이용한 확장 계층 형성방법을 설명하는 도면이다.5 is a diagram illustrating a method of forming an enhancement layer using temporal and spatial scalability.
이는 전술한 시간적 스케일러빌리티와 공간적 스케일러빌리티를 조합한 것으로, 시간적 스케일러빌리티를 이용하여 제1 확장 계층을 형성하고 이를 기초로 다시 공간적 스케일러빌리티를 이용하여 제2 확장 계층을 형성한다.This is a combination of the above-described temporal scalability and spatial scalability, and forms a first enhancement layer using temporal scalability, and again forms a second enhancement layer using spatial scalability.
먼저, 기본 계층 형성과정을 설명하면, 'B(0)'는 원 영상 자체로부터 인트라 모드로 처리되고, n번째 기본 프레임인 'B(n)'은 이웃하는 기본 프레임인 'B(n-4)', 'B(n-2)', 'B(n+2)'와 연속성 및 유사성을 비교한 후 가장 유사한 기본 프레임을 참조하여 인터 모드로 처리되거나 또는 연속성 및 유사성이 낮은 경우 원 영상으로부터 인트라 모드로 처리된다.First, the basic layer formation process will be described, in which 'B (0)' is processed in the intra mode from the original image itself, and 'B (n)', the nth basic frame, is' B (n-4), which is the neighboring basic frame. ) ',' B (n-2) ', and' B (n + 2) 'and compare the continuity and similarity, then process them in the inter mode with reference to the most similar basic frame, or from the original image if the continuity and similarity are low It is processed in intra mode.
그리고, 제1 확장 계층을 형성하는 제1 확장 프레임 'T(n+1)'은 이웃하는 기본 프레임 'B(n)' 또는 'B(n+2)'를 참조 프레임으로 이용하거나 또는 시간상으로 이전에 위치하는 제1 확장 프레임 'T(n-3)' 또는 'T(n-1)'를 참조 프레임으로 이용하여 인터 모드로 처리된다. 그리고, 이러한 제1 확장 프레임 'T(n-3)', 'T(n-1)', 'T(n+1)'은 각각 기본 프레임 'B(n-4)', 'B(n-2)', 'B(n)' 뒤에 삽입되어 프레임 속도를 2배로 향상시킨다.The first extended frame 'T (n + 1)' forming the first extended layer uses a neighboring basic frame 'B (n)' or 'B (n + 2)' as a reference frame or in time. The first extended frame 'T (n-3)' or 'T (n-1)', which is positioned previously, is used as the reference frame and processed in the inter mode. The first extended frames' T (n-3) ',' T (n-1) ', and' T (n + 1) 'respectively represent basic frames' B (n-4)' and 'B (n). -2) ', inserted after' B (n) 'to double the frame rate.
마지막으로, 제2 확장 계층을 형성하는 제2 확장 프레임 'TS(n)'은 기본 프 레임 'B(n)'으로부터 인터 모드로 처리되거나, 제1 확장 프레임 'T(n+1)'로부터 인터 모드로 처리되거나, 또는 제2 확장 프레임 'TS(n-2)', 'TS(n-1)'로부터 인터 모드로 처리된다. Finally, the second extended frame 'TS (n)' forming the second extended layer is processed in inter mode from the base frame 'B (n)' or from the first extended frame 'T (n + 1)'. The inter mode is processed or the second extended frame 'TS (n-2)' or 'TS (n-1)' is processed in the inter mode.
상기와 같이 기본 계층을 기초로 생성된 제1 확장 계층은 기본 계층과 링크되어 있으며, 제2 확장 계층은 다시 제1 확장 계층과 링크되어 있다. 그리고, 기본 프레임 정보는 제1 통신망을 통해 단말기로 전송되며, 제1 및 제2 확장 프레임 정보는 제1 통신망과는 상이한 통신망을 통해 단말기로 전송된다. 이 경우, 제1 확장 프레임 정보를 제2 통신망을 통해 전송하고, 제2 확장 프레임 정보를 또 다른 제3 통신망을 통해 전송하는 방식도 고려할 수 있다.As described above, the first enhancement layer generated based on the base layer is linked with the base layer, and the second enhancement layer is again linked with the first enhancement layer. The basic frame information is transmitted to the terminal through the first communication network, and the first and second extended frame information are transmitted to the terminal through a different communication network from the first communication network. In this case, a method of transmitting the first extended frame information through the second communication network and transmitting the second extended frame information through another third communication network may also be considered.
마지막으로, 고화질 방송을 재생할 수 있는 제2 단말기(320)는 기본 프레임 정보만 수신하여 기본 방송을 재생하거나, 기본 프레임 정보 및 제1 확장 프레임 정보를 수신하여 프레임 속도가 향상된 고화질 방송을 재생하거나, 또는 기본 프레임 정보와 제1 및 제2 확장 프레임 정보를 모두 수신하여 해상도 및 프레임 속도가 향상된 고화질 방송을 재생할 수 있다.Finally, the
위성 DMB의 경우, 현재 기본 방송에서는 해상도 및 프레임 속도가 각각 QVGA(320×240) 및 15fps로 설정되어 있는데, 전술한 시간적 및 공간적 스케일러빌리티를 적용할 경우 VGA/30fps, VGA/60fps, XGA/30fps, XGA/60fps 등의 방송이 고화질 방송이 될 것이다.In the case of satellite DMB, the resolution and frame rate are set to QVGA (320 × 240) and 15fps, respectively, in the basic broadcasting, and VGA / 30fps, VGA / 60fps, and XGA / 30fps are applied when the temporal and spatial scalability described above is applied. For example, broadcasts such as XGA / 60fps will be high quality broadcasts.
한편, 본 발명에는 디지털 방송 시청을 위한 공지의 사용자(단말기) 인증 기술이 접목될 수 있으며, 특히 고품질 방송의 경우 사용자(단말기)를 인증하고 이에 대하여 추가의 요금을 과금하는 서비스도 가능하다. On the other hand, the present invention may be combined with a known user (terminal) authentication technology for watching digital broadcasting, in particular, in the case of high-quality broadcasting, a service for authenticating a user (terminal) and charging an additional fee for this.
지금까지 본 발명을 바람직한 실시예를 참조하여 상세히 설명하였지만, 본 발명이 속하는 기술분야의 당업자는, 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다.Although the present invention has been described in detail with reference to preferred embodiments, it will be apparent to those skilled in the art that the present invention can be implemented in other specific forms without changing the technical spirit or essential features thereof. One embodiment is to be understood in all respects as illustrative and not restrictive.
그리고, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 특정되는 것이며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태는 본 발명의 범위에 포함되는 것으로 해석되어야 한다.In addition, the scope of the present invention is specified by the appended claims rather than the detailed description, and all changes or modifications derived from the meaning and scope of the claims and equivalent concepts are included in the scope of the present invention. Should be interpreted as
본 발명에 따르면, 전문적인 디지털 방송망에는 기본 프레임 정보만 전송하고 고화질 방송용 확장 프레임 정보는 기존의 무선인터넷, 유선인터넷, 이동통신망 등을 통해 전송함으로써, 한정된 무선자원(디지털 방송 채널)을 효과적으로 이용할 수 있으며 또한 과거 출시된 단말기와 고화질 방송용 신종 단말기를 모두 사용할 수 있는 효과를 가진다.According to the present invention, only basic frame information is transmitted to a professional digital broadcasting network, and extended frame information for high-definition broadcasting is transmitted through a conventional wireless internet, a wired internet, and a mobile communication network, thereby effectively using a limited radio resource (digital broadcasting channel). In addition, it has the effect of using both the terminals released in the past and new terminals for high-definition broadcasting.
그리고, 고화질 방송용 확장 프레임 정보는 기본 프레임 정보와 링크되는 것으로 고화질 방송을 위한 추가적 정보만을 포함하고 있으므로, 기본 프레임 정보 크기만큼 데이터 용량이 감소되고 따라서 망(network) 부화를 감소시킬 수 있는 효과를 가진다.Since the extended frame information for high definition broadcasting is linked with the basic frame information and includes only additional information for high definition broadcasting, the data capacity is reduced by the size of the basic frame information, thereby reducing network hatching. .
Claims (9)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020050087433A KR100681914B1 (en) | 2005-09-20 | 2005-09-20 | Digital broadcasting system and method using heterogeneous network |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020050087433A KR100681914B1 (en) | 2005-09-20 | 2005-09-20 | Digital broadcasting system and method using heterogeneous network |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR100681914B1 true KR100681914B1 (en) | 2007-02-12 |
Family
ID=38106223
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020050087433A Expired - Fee Related KR100681914B1 (en) | 2005-09-20 | 2005-09-20 | Digital broadcasting system and method using heterogeneous network |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100681914B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010107220A3 (en) * | 2009-03-16 | 2010-12-23 | 한국방송공사 | Device and method for hierarchical broadcasting |
| KR101605773B1 (en) * | 2014-09-25 | 2016-04-01 | 현대자동차주식회사 | Terminal, Vehicle having the same and method for controlling the same |
| JP2025108519A (en) * | 2013-08-29 | 2025-07-23 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Receiving device |
-
2005
- 2005-09-20 KR KR1020050087433A patent/KR100681914B1/en not_active Expired - Fee Related
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010107220A3 (en) * | 2009-03-16 | 2010-12-23 | 한국방송공사 | Device and method for hierarchical broadcasting |
| KR101012980B1 (en) | 2009-03-16 | 2011-02-10 | 한국방송공사 | Hierarchical Broadcasting Device and Method |
| CN102356642A (en) * | 2009-03-16 | 2012-02-15 | 韩国放送公社 | Device and method for hierarchical broadcasting |
| US8533752B2 (en) | 2009-03-16 | 2013-09-10 | Korean Broadcasting System | Device and method for hierarchical broadcasting |
| CN102356642B (en) * | 2009-03-16 | 2014-10-08 | 韩国放送公社 | Device and method for hierarchical broadcasting |
| JP2025108519A (en) * | 2013-08-29 | 2025-07-23 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Receiving device |
| JP7799881B2 (en) | 2013-08-29 | 2026-01-15 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Receiving device |
| KR101605773B1 (en) * | 2014-09-25 | 2016-04-01 | 현대자동차주식회사 | Terminal, Vehicle having the same and method for controlling the same |
| US9521457B2 (en) | 2014-09-25 | 2016-12-13 | Hyundai Motor Company | Terminal, vehicle having the same, and method of controlling the same |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2409005C2 (en) | Method of scalable coding and decoding of video signal | |
| KR101488548B1 (en) | Video indexing method, and video indexing device | |
| KR102135957B1 (en) | Method and apparatus for multi-layer video encoding for random access, method and apparatus for multi-layer video decoding for random access | |
| US8885710B2 (en) | Method and device for encoding/decoding video signals using base layer | |
| US6025888A (en) | Method and apparatus for improved error recovery in video transmission over wireless channels | |
| US20160127728A1 (en) | Video compression apparatus, video playback apparatus and video delivery system | |
| MX2014012452A (en) | Method and apparatus for determining reference images for inter prediction. | |
| JPH1132330A (en) | Image encoding device and image encoding method, image decoding device and image decoding method, and image processing device and image processing method | |
| Omori et al. | A 120 fps high frame rate real-time HEVC video encoder with parallel configuration scalable to 4K | |
| KR20060027779A (en) | Method and apparatus for encoding and decoding video signal using temporal and spatial correlation of video block | |
| Lippman | Feature sets for interactive images | |
| Shishikui et al. | High-performance video codec for super hi-vision | |
| US7403563B2 (en) | Image decoding method and apparatus, and television receiver utilizing the same | |
| JP2014175857A (en) | Video processing device and video processing method | |
| CN112261441A (en) | Video data processing method, system, device and storage medium | |
| KR100681914B1 (en) | Digital broadcasting system and method using heterogeneous network | |
| US20060078053A1 (en) | Method for encoding and decoding video signals | |
| JP4043406B2 (en) | Image decoding method and apparatus, and television receiver capable of using them | |
| KR100734141B1 (en) | Temporal and spatial scalable encoding and decoding method for referencing a plurality of frames and apparatus therefor | |
| KR100731884B1 (en) | Temporal scalable encoding and decoding method for referencing a plurality of frames and apparatus therefor | |
| CN115088262A (en) | Method and apparatus for signaling image information | |
| KR100681920B1 (en) | Spatial scalable encoding and decoding method for referencing a plurality of frames and apparatus thereof | |
| JPH05304664A (en) | High efficient encoding device and video information recording and reproducing device | |
| US8073273B2 (en) | Moving image receiving apparatus | |
| KR20060043050A (en) | Method of encoding and decoding video signal |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
St.27 status event code: A-0-1-A10-A12-nap-PA0109 |
|
| PA0201 | Request for examination |
St.27 status event code: A-1-2-D10-D11-exm-PA0201 |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
St.27 status event code: A-1-2-D10-D22-exm-PE0701 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
St.27 status event code: A-2-4-F10-F11-exm-PR0701 |
|
| PR1002 | Payment of registration fee |
St.27 status event code: A-2-2-U10-U11-oth-PR1002 Fee payment year number: 1 |
|
| PG1601 | Publication of registration |
St.27 status event code: A-4-4-Q10-Q13-nap-PG1601 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 4 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 5 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 6 |
|
| PN2301 | Change of applicant |
St.27 status event code: A-5-5-R10-R13-asn-PN2301 St.27 status event code: A-5-5-R10-R11-asn-PN2301 |
|
| FPAY | Annual fee payment |
Payment date: 20130103 Year of fee payment: 7 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 7 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
| FPAY | Annual fee payment |
Payment date: 20140121 Year of fee payment: 8 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 8 |
|
| FPAY | Annual fee payment |
Payment date: 20150122 Year of fee payment: 9 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 9 |
|
| FPAY | Annual fee payment |
Payment date: 20160125 Year of fee payment: 10 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 10 |
|
| FPAY | Annual fee payment |
Payment date: 20170124 Year of fee payment: 11 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 11 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 12 |
|
| P22-X000 | Classification modified |
St.27 status event code: A-4-4-P10-P22-nap-X000 |
|
| FPAY | Annual fee payment |
Payment date: 20190129 Year of fee payment: 13 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 13 |
|
| FPAY | Annual fee payment |
Payment date: 20191216 Year of fee payment: 14 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 14 |
|
| PC1903 | Unpaid annual fee |
St.27 status event code: A-4-4-U10-U13-oth-PC1903 Not in force date: 20210207 Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE |
|
| PC1903 | Unpaid annual fee |
St.27 status event code: N-4-6-H10-H13-oth-PC1903 Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE Not in force date: 20210207 |