KR20160030193A - 지능형 갭 필링 프레임워크 내의 2-채널 프로세싱을 이용한 오디오 인코더, 오디오 디코더 및 관련 방법들 - Google Patents

지능형 갭 필링 프레임워크 내의 2-채널 프로세싱을 이용한 오디오 인코더, 오디오 디코더 및 관련 방법들 Download PDF

Info

Publication number
KR20160030193A
KR20160030193A KR1020167001755A KR20167001755A KR20160030193A KR 20160030193 A KR20160030193 A KR 20160030193A KR 1020167001755 A KR1020167001755 A KR 1020167001755A KR 20167001755 A KR20167001755 A KR 20167001755A KR 20160030193 A KR20160030193 A KR 20160030193A
Authority
KR
South Korea
Prior art keywords
spectral
channel
representation
frequency
band
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020167001755A
Other languages
English (en)
Other versions
KR101809592B1 (ko
Inventor
사샤 디쉬
프레드리크 나겔
랄프 가이거
발라지 나겐드란 토슈카나
콘스탄틴 슈미트
스테판 바이어
크리스티안 노이캄
베른트 에들러
크리스티안 헴리히
Original Assignee
프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. filed Critical 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Publication of KR20160030193A publication Critical patent/KR20160030193A/ko
Application granted granted Critical
Publication of KR101809592B1 publication Critical patent/KR101809592B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G10L19/0208—Subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • G10L19/025—Detection of transients or attacks for time/frequency resolution switching
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/028—Noise substitution, i.e. substituting non-tonal spectral components by noisy source
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/03—Spectral prediction for preventing pre-echo; Temporary noise shaping [TNS], e.g. in MPEG2 or MPEG4
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G10L21/0388—Details of processing therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/06—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being correlation coefficients
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/21—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/007—Two-channel systems in which the audio signals are in digital form
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)

Abstract

디코딩된 2-채널 신호를 발생시키는 장치에 있어서, 제1스펙트럼 부분들의 제1세트를 얻기 위해 인코딩된 2-채널 신호를 디코딩하는 오디오 프로세서(802); 제2스펙트럼 부분들에 대해 제1 또는 제2의 상이한 2-채널 표현을 각각 식별하는 2-채널 식별 및 제2스펙트럼 부분들의 제2세트에 대한 파라미터 데이터를 제공하는 파라미터 디코더(804); 제2부분에 대한 2-채널 식별 및 제2부분에 대한 파라미터 데이터, 제1스펙트럼 부분들의 제1세트의 제1스펙트럼 부분에 의존하여 제2스펙트럼 부분을 재생하는 주파수 재생기(806);를 포함하는, 디코딩된 2-채널 신호를 발생시키는 장치.

Description

지능형 갭 필링 프레임워크 내의 2-채널 프로세싱을 이용한 오디오 인코더, 오디오 디코더 및 관련 방법들{AUDIO ENCODER, AUDIO DECODER AND RELATED METHODS USING TWO-CHANNEL PROCESSING WITHIN AN INTELLIGENT GAP FILLING FRAMEWORK}
본 발명은 오디오 코딩/디코딩에 관한 것으로서, 특히 지능형 갭 필링(Intelligent Gap Filling, IGF)을 사용하는 오디오 코딩에 관한 것이다.
오디오 코딩은 음향심리학적 지식을 사용하여 오디오 신호들 내의 중복과 무관성(irrelevancy)의 이용을 처리하는 신호 압축의 도메인이다. 오늘날 오디오 코덱들은 일반적으로 거의 모든 종류의 오디오 신호의 지각적 투명 코딩(perceptually transparent coding)을 위하여 약 60 kbps/채널이 필요하다. 새로운 코덱들은 대역폭 확장(BWE)과 같은 기술들을 사용하여 신호 내의 스펙트럼 유사성들을 이용함으로써 코딩 비트레이트를 감소시키는 것을 목표로 한다. 대역폭 확장 전략은 오디오 신호의 고주파수 성분들을 표현하기 위하여 낮은 비트레이트 파라미터 설정을 사용한다. 고주파수 스펙트럼은 저주파수 영역들과 스펙트럼 형상, 틸드 및 원래 신호의 음색(timbre)과 색(color)을 유지하도록 조정된 시간 지속성으로부터 스펙트럼 콘텐츠로 채워진다. 그러한 대역폭 확장 방법들은 오디오 코덱들이 약 24 kbps/채널의 낮은 비트레이트에서도 뛰어난 품질을 유지하는 것을 가능하게 한다.
오디오 신호들의 저장 또는 전송은 종종 엄격한 비트레이트 제약(bitrate constraint)의 대상의 된다. 과거에, 코더들은 매우 낮은 비트레이트만이 이용가능할 때 전송된 오디오 대역폭을 극적으로 감소시키도록 강요당했다.
현대 오디오 코덱들은 오늘날 대역폭 확장 방법들을 사용함으로써 광대역 신호들을 코딩할 수 있다([1]). 이러한 알고리즘들은 고주파수 콘텐츠의 파라미터 표현에 의존하는데, 이는 고주파수 스펙트럼 영역("패칭(patching)") 내로의 전위(transposition) 및 파라미터 구동 후처리의 적용에 의해 디코딩된 신호의 파형 코딩된 저주파수로부터 발생된다. 대역폭 확장 전략들에서, 주어진 이른바 크로스오버 주파수(cross-over frequency) 위의 고주파수 스펙트럼 영역의 재구성은 종종 스펙트럼 패칭을 기초로 한다. 일반적으로, 고주파수 영역은 다수의 인접한 패치로 분해되고 이러한 패치들 각각은 주어진 크로스오버 주파수 아래의 저주파수 스펙트럼의 대역-통과(band-pass, BP) 영역들로부터 근원된다. 최신 시스템들은 소스(source)로부터 표적 영역으로 인접한 부대역 계수들을 복사함으로써 필터뱅크 표현, 예를 들면 직각 대칭 필터(Quadrature Mirror Filter, QMF) 내에서 패칭을 실행한다.
압축 효율을 증가시키고 이에 의해 낮은 비트레이트에서 확장된 오디오 대역폭을 가능하게 하는 오늘날의 오디오 코덱들에서 발견되는 또 다른 기술은 오디오 스펙트럼의 적합한 부분들의 파라미터 구동 합성 대체(parasmeter driven synthetic replacement)이다. 예를 들면, 원래 오디오 신호의 잡음(noise) 같은 신호 부분들은 디코더 내에서 발생되고 부가 정보 파라미터들에 의해 스케일링되는 인공 잡음에 의한 주관적 품질의 실질적 손실 없이 대체될 수 있다. 일례가 MPEG-4 고급 오디오 코딩(AAC)에 포함되는 지각적 잡음 대체(perceptual noise substitution)이다([5]).
또한 확장된 오디오 대역폭을 가능하게 하는 또 다른 제공은 MPED-D 통합 음성 오디오 코딩(Unified Speech and Audio Coding, USAC) 내에 포함된 잡음 필링(noise filling) 기술이다([7]). 너무 거친(coarse) 양자화에 기인하여 양자화기(quantizer)의 사각지대(dead-zone)에 의해 추론되는 스펙트럼 갭들(제로들)은 그 뒤에 디코더 내의 인공 잡음으로 채워지고 파라미터-구동 후-처리에 의해 스케일링된다.
또 다른 최신 시스템은 정확한 스펙트럼 대체(Accurate Spectral Replacement, ASR)이다([2-4]). 파형 코덱에 더하여, 정확한 스펙트럼 대체는 디코더에서 신호의 지각적으로 중요한 정현파(sinusoidal) 부분들을 저장하는 전용 신호 합성 단계를 이용한다. 또한, [5]에서 설명되는 시스템은 낮은 비트레이트에서 적절한 지각 품질을 갖는 확장된 오디오 대역폭을 가능하게 하기 위하여 파형 코더의 고주파수 영역 내의 정현파 모델링에 의존한다. 이러한 모든 방법은 변형 이산 코사인 변환(MDCT)을 제외하고 제 2 도메인 내로의 데이터의 변환을 포함하며 또한 고주파수 정현파 성분들의 보존을 위한 상당히 복잡한 분석/합성 단계들을 포함한다.
도 13a는 예를 들면, 고효율 고급 오디오 코딩에서 사용되는 갓과 같은, 대역폭 확장 기술을 위한 오디오 인코더의 개략적인 다이어그램을 도시한다. 라인(1300)에서의 오디오 신호는 저역 통과(low pass,(1302) 및 고역 통과(1304)를 포함하는 필터 시스템 내로 입력된다. 고역 통과 필터(1304)에 의해 출력되는 신호는 파라미터 추출기/코더(1306) 내로 입력된다. 파라미터 추출기/코더(1306)는 예를 들면, 스펙트럼 엔벨로프 파라미터, 잡음 첨가 파라미터, 손실 고조파(missing harmonics) 파라미터, 또는 역 필터링 파라미터와 같은 파라미터들을 계산하고 코딩하도록 구성된다. 이러한 추출된 파라미터들은 비트 스트림 멀티플렉서(1308) 내로 입력된다. 저역 통과 출력 신호는 일반적으로 다운 샘플러(down sampler, 1310) 및 코어 코더(1312)의 기능성을 포함하는 프로세서 내로 입력된다. 저역 통과(1302)는 대역폭이 라인(1300) 상의 원래 입력 오디오 신호에서 발생하는 것보다 상당히 작은 대역폭으로 인코딩되도록 제한한다. 이는 코어 코더에서 발생하는 전체 기능이 감소된 대역폭을 갖는 신호 상에서 운용하여야만 한다는 사실에 기인하여 중요한 코딩 이득을 제공한다. 예를 들면 라인(1300) 상의 오디오 신호의 대역폭이 20 ㎑이고 저역 통과 필터(1302)가 바람직하게는 4 ㎑의 대역폭을 가질 때, 샘플링 정리(sampling theorem)을 충족시키기 위하여, 다운 샘플러 뒤의 신호는 적어도 40 ㎑이어야만 하는 오디오 신호(1300)를 위하여 필요한 샘플링 레이트에 대한 실질적인 감소인, 8 ㎑의 샘플링 주파수를 갖는 것이 이론적으로 충분하다.
도 13b는 상응하는 대역폭 확장 디코더의 개략적인 다이어그램을 도시한다. 디코더는 비트스트림 멀티플렉서(1320)를 포함한다. 비트스트림 디멀티플렉서(1320)는 코더 디코더(1322)를 위한 입력 신호 및 파라미터 디코더(1324)를 위한 입력 신호를 포함한다. 코어 디코더 출력 신호는 위의 예에서, 8 ㎑의 샘플링 레이트, 따라서 4 ㎑의 대역폭을 가지며 반면에 완전한 대역폭 재구성을 위하여, 고주파수 재구성기(1330)의 출력 신호는 적어도 40 ㎑의 샘플링 레이트를 필요로 하는 20 ㎑에 존재하여야만 한다. 이를 가능하게 하기 위하여, 업샘를러(upsampler, 1325)와 필터뱅크(1326)의 기능성을 갖는 디코더 프로세서가 필요하다. 고주파수 재구성기(1330)는 그리고 나서 필터뱅크(1326)에 의해 주파수 분석된 저주파수 신호 출력을 수신하고 고주파수 대역의 파라미터 표현을 사용하여 도 13a의 고역 통과 필터(1304)에 의해 정의되는 주파수 범위를 재구성한다. 고주파수 재구성기(1330)는 저주파수 범위 내의 소스 범위를 사용하여 상부 주파수 범위의 재생, 스펙트럼 엔벨로프 조정, 잡음 첨가 기능 및 상부 주파수 범위 내에 손실 고조파를 도입하기 위한 기능과 같은 몇몇 기능을 가지며 만일 도 13a의 인코더 내에 적용되고 계산되면, 고주파수 범위가 일반적으로 낮은 주파수 범위만큼 음조(tonal)가 아니라는 것을 설명하기 위하여 역 필터링의 작동을 갖는다. 고효율 고급 오디오 코딩에서, 손실 고조파는 디코더 면 상에서 재합성되고 정확하게 재구성 대역의 중간에 위치된다. 따라서, 특정 재구성 대역 내에서 결정된 모든 손실 고조파 라인은 원래 신호 내에 위치된 주파수 값들에 위치되지 않는다. 대신에, 그러한 손실 고조파 라인들은 특정 대역의 중앙 내의 주파수들에 위치된다. 따라서, 원래 신호 내의 손실 고조파 라인이 원래 신호의 재구성 대역 경계와 매우 가깝게 위치되었을 때, 이러한 손실 고조파를 대역의 중앙에서 재구성된 신호 내에 위치시킴으로써 도입되는 주파수 내의 오류는 파라미터들이 발생되고 전송된, 개별 재구성 대역의 50%에 가깝다.
게다가, 일반적인 오디오 코어 코더들이 스펙트럼 도메인 내에서 운용하더라도, 코어 디코더는 그럼에도 불구하고 그때 다시 필터 뱅크(1326) 기능성에 의해 스펙트럼 도인으로 전환되는, 시간 도메인 신호를 발생시킨다. 이는 부가적인 처리 지연을 도입하고, 처음에 스펙트럼 도메인으로부터 주파수 도메인으로 변환하고 다시 일반적으로 서로 다른 주파수 도메인으로 변환하는 이중 처리(tanden processiong)에 기인하는 아티팩트(artifact)들을 도입할 수 있으며, 물론 이는 상당한 양의 계산 복잡도 및 이에 의에 대역폭 확장이 휴대폰, 태블릿 또는 랩톱 컴퓨터 등과 같은 모바일 장치에 적용될 때 문제가 되는, 전력을 필요로 한다.
현재 오디오 코덱들은 코딩 전략의 구성 요소로서 대역폭 확장을 사용하여 낮은 비트레이트 오디오 코딩을 실행한다. 대역폭 확장 기술들은 고주파수 콘텐츠만을 대체하도록 한정된다. 게다가, 주어진 크로스오버 주파수 위의 지각적으로 중요한 콘텐츠가 파형 코딩되도록 허용하지 않는다. 따라서, 현재의 오디오 코덱들은 대역폭 확장이 구현될 때 고주파 상세부분 또는 음색을 손실하는데, 그 이유는 신호의 음조 고조파의 정확한 정렬이 대부분의 시스템에서 고려되지 않기 때문이다.
현재 기술의 대역폭 확장 시스템들의 또 다른 단점은 오디오 신호의 대역폭 확장의 구현을 위한 새로운 도메인으로의 변환(예를 들면, 변형 이산 코사인 변환(MDCT)으로부터 직각 대칭 필터(QMF) 도메인으로의 변환)을 위한 필요성이다. 이는 동기화의 복잡성, 부가적인 계산 복잡도 및 증가되는 메모리 요구량에 이르게 한다.
2-채널 쌍들의 경우에, 기본적으로 개별 채널 표현 또는 연결 채널 표현 같은 몇개의 채널 표현들이 존재한다. 잘 알려진 연결 표현은 미드/사이드(mid/side) 표현으로 미드 채널은 왼쪽 및 오른쪽 채널의 합이며 사이드 채널은 왼쪽 및 오른쪽 채널 사이의 차이이다.
또다른 표현은 다운믹스 채널 및 잔류 채널 및 상기 다운믹스 및 상기 잔류물로부터 왼쪽 및 오른쪽 채널을 재생성(recreate)하는 것을 가능케하는 추가 예측 계수이다. 개별 표현은, 이러한 경우에, 개별 채널 왼쪽 및 오른쪽 또는 일반적으로, 제1채널 및 제2채널이 될 것이다.
게다가, 갭 필링 작업들을 위한 소스 범위가 강한 상관관계(correlation)를 가지고, 반면 타겟 범위는 이러한 강한 상관을 보이지 않는 경우가 존재한다. 소스 범위가, 이러한 실시예에서, 코어 주파수 부분에 대한 비트레이트를 감소시키기 위해 미드/사이드 표현 같은 제1스테레오 표현을 이용하여 인코딩될 때, 잘못된 2-채널 이미지가 복원 부분 또는 타겟 범위에 대해 발생되게 된다. 다른 한편으로, 상기 소스 범위가 어떠한 상관관계도 보이지 않고 또는 아주 작은 상관관계만을 갖고 상기 타겟 범위가 작은 상관관계를 갖거나 상관관계를 갖지 않는 경우, 다시 간단한 갭 필링 작업은 아티팩트들을 도출할 것이다.
그렇기에, 본 발명의 목적은 2-채널 표현들에 대한 향상된 인코딩/디코딩 개념을 제공하는 것이다.
본 발명의 목적은 청구항 1항의 오디오 디코더, 청구항 14항의 오디오 인코더, 청구항 19항의 오디오 디코딩 방법, 청구항 20항의 오디오 디코딩 방법, 또는 청구항 21항의 컴퓨터 프로그램에 의해 달성된다.
또 다른 양상은 상관관계 상황이 소스 범위를 위하여 중요할 뿐만 아니라 표적 범위를 이해서도 중요하다는 사실을 기초로 한다. 게다가, 본 발명은 소스 범위와 표적 범위에서 서로 다른 상관관계 상황이 발생할 수 있다는 사실을 인식한다. 예를 들면, 높은 주파수 잡음을 갖는 음성 신호가 고려될 때, 상황은 스피커가 중간에 위치될 때 적은 수의 배음(overtone)을 갖는 음성 신호를 포함하는 저주파수 대역이 왼쪽 채널 및 오른쪽 채널과 높은 상관관계에 있을 수 있다는 것이다. 그러나, 고주파수 부분은 또 다른 고주파수 잡음과 비교하여 왼쪽 면 상에 서로 다른 고주파수 잡음이 존재할 수 있거나 또는 오른쪽 면 상에 어떠한 고주파수 잡음도 존재하지 않을 수 있다는 사실 때문에 매우 비-상관관계일 수 있다. 따라서, 이러한 상황을 무시하는 단순한 갭 필링 운용이 실행될 수 있을 때, 고주파수 부분이 상호관련될 수 있을 뿐만 아니라 이는 재구성되는 신호 내에 심각한 공간적 분리 아티팩트들을 발생시킬 수 있다. 이러한 문제를 다루기 위하여, 재구성 대역, 또는 일반적으로 제 1 스펙트럼 부분들의 제 1 세트를 사용하여 재구성되어야만 하는 제 2 스펙트럼 부분들의 제 2 세트를 위한 파라미터 데이터가 제 2 스펙트럼 대역 또는 달리 표현하여 재구성 대역을 위한 제 1 또는 제 2의 서로 다른 2-채널 표현을 식별하도록 계산된다. 인코더 면 상에서, 따라서 제 2 스펙트럼 부분들, 즉 부가적으로 재구성 대역을 위한 에너지 정보가 계산되는 부분들을 위하여 2-채널 식별이 계산된다. 디코더 면 상의 주파수 재생기는 그리고 나서 제 1 스펙트럼 부분들의 제 1 세트의 제 1 부분, 즉 소스 범위 및 스펙트럼 엔벨로프 에너지 정보 또는 어떠한 다른 스펙트럼 엔벨로프와 같은 제 2 부분을 위한 파라미터 데이터에 의존하고, 부가적으로 제 2 부분, 즉 재고려하에서의 이러한 재구성 대역을 위한 2-채널 식별에 의존하여 제 2 스펙트럼 부분을 재생한다.
2-채널 식별은 바람직하게는 각각의 재구성 대역을 위한 플래그로서 전송되고 이러한 데이터는 인코더로부터 디코더로 전송되며 디코더는 그리고 나서 바람직하게는 코어 대역들을 위하여 계산되는 플래그들에 의해 나타내는 것과 같이 코어 신호를 디코딩한다. 그리고 나서 일 구현에서, 코어 신호는 스테레오 표현들 모두(예를 들면, 왼쪽/오른쪽 및 중간/측면)에 저장되고 지능형 갭 필링 주파수 타일 필링을 위하여, 지능형 갭 필링 또는 재구성 대역들, 즉 표적 범위를 위한 2-채널 식별 플래그들에 의해 나타내는 것과 같이 표적 타일 식별에 적합하도록 소스 타일 표현이 선택된다.
이러한 과정은 스테레오 신호들, 즉 왼쪽과 오른쪽 채널을 위하여 운용할 뿐만 아니라 다중 채널 신호들을 위하여 운용한다. 다중 채널 신호의 경우에 있어서, 몇몇 서로 다른 채널들의 쌍은 제 1 쌍으로서 왼쪽과 오른쪽 채널, 제 2 쌍으로서 왼쪽 서라운드 채널과 오른쪽 서라운드 채널 및 제 3 쌍으로서 중앙 채널과 저주파수 효과(Low Frequency Effects, LFE) 채널과 같은 방법으로 처리될 수 있다. 7.1, 11.1 등과 같은 높은 출력 채널 포맷들을 위하여 다른 쌍(pairing)들이 결정될 수 있다.
또 다른 양상은 한편으로는 대역폭 확장의 분리 및 다른 한편으로는 코어 코딩과 관련된 문제점들이 코어 디코더가 운용하는 동일한 스펙트럼 도메인 내에서 대역폭 확장을 실행함으로써 다루어지고 극복될 수 있다는 사실을 기초로 한다. 따라서, 완전한 오디오 신호 범위를 인코딩하고 디코딩하는 완전 비율 코어 디코더가 제공된다. 이는 인코더-면 상에서의 다운샘플러 및 디코더-면 상에서의 업샘플러에 대한 필요성을 요구하지 않는다. 대신에, 완전한 샘플링 비율 또는 완전한 대역폭 도메인 내에서 전체 처리가 실행된다. 높은 코딩 이득을 획득하기 위하여, 오디오 신호는 높은 해상도로 인코딩되어야만 하는 제 1 스펙트럼 부분들의 제 1 세트를 발견하도록 분석되며, 이러한 제 1 스펙트럼 부분들의 제 1 세트는 일 실시 예에서, 오디오 신호의 음조 부분들을 포함할 수 있다. 다른 한편으로, 제 2 스펙트럼 부분들의 제 2 세트로 구성되는 오디오 신호 내의 비-음조 또는 잡음 성분들은 낮은 스펙트럼 해상도로 파라미터로 인코딩된다. 인코딩된 오디오 신호는 그리고 나서 파형 보존 방식으로 인코딩되는 제 1 스펙트럼 부분들의 제 1 세트 및 부가적으로, 제 1 세트로부터 기원하는 주파수 "타일들"을 사용하여 낮은 해상도로 파라미터로 인코딩되는 제 2 스펙트럼 부분들의 제 2 세트만을 필요로 한다. 디코더 면 상에서, 완전한 대역 디코더인, 코어 디코더는 파형 보존 방식으로, 즉 어떠한 부가적인 주파수 재생이 존재한다는 지식 없이 제 1 스펙트럼 부분들의 제 1 세트를 재구성한다. 그러나, 그렇게 재셍된 스펙트럼은 많은 스펙트럼 갭을 갖는다. 이러한 갭들은 그 뒤에 한편으로는 파라미터 데이터를 적용하고 다른 한편으로는 소스 스펙트럼 범위, 즉 완전 비율 오디오 디코더에 의해 재구성되는 제 1 스펙트럼 부분들을 사용하는 주파수 재생을 사용함으로써 본 발명의 지능형 갭 필링 기술로 채워진다.
또 다른 실시 예들에서, 대역폭 복제 또는 주파수 타일 필링보다는 잡음 필링에 의해서만 재구성되는, 스펙트럼 부분들은 제 3 스펙트럼 부분들의 제 3 세트를 구성한다. 코딩 개념이 한편으로는 코어 코딩/디코딩 및 다른 한편으로는 주파수 재생을 위한 단일 도메인 내에서 운용한다는 사실 때문에, 지능형 갭 필링은 주파수 재생이 없는 잡음 필링 또는 서로 다른 주파수 범위에서 주파수 타일을 사용하는 주파수 재생에 의해, 높은 주파수 범위를 채우도록 제한될 뿐만 아니라 낮은 주파수 범위들을 채울 수 있다.
게다가, 스펙트럼 에너지들에 대한 정보, 개별 에너지들에 대한 정보 또는 개별 에너지 정보, 생존 에너지(survive energy)에 대한 정보 또는 생존 에너지 정보, 타일 에너지에 대한 정보 또는 타일 에너지 정보, 혹은 손실 에너지에 대한 정보 또는 손실 에너지 정보가 에너지 값뿐만 아니라, (예를 들면, 절대) 진폭 값, 레벨 값 또는 최종 에너지 값이 유도될 수 있는 어떠한 다른 값을 포함할 수 있다는 것이 강조된다. 따라서, 에너지에 대한 정보는 예를 들면, 에너지 값 자체 및/또는 레벨의 값 및/또는 진폭 및/또는 절대 진폭을 포함할 수 있다.
또다른 양상은, 예를 들어, 높은 스펙트럼 범위에서 지각적으로 중요한 음조 부분들이 여전히 파라미터 대체보다 코어 코더에 의해 인코딩될 수 있도록, 전체 스펙트럼이 코어 인코더에 접근가능하기 때문에 복원된 신호의 오디오 품질이 IGF(지능형 갭 필링)을 통해 향상될 수 있다는 발견에 기초한다. 추가적으로, 예를 들어, 일반적으로 저주파수 범위뿐만 아니라, 이용가능한 경우 고주파수 범위로부터, 음조 부분들의 세트인, 제1스펙트럼 부분들의 제1세트로부터 주파수 타일들을 이용하는 갭 필링 작업이 수행된다. 그러나, 디코더 측에서 스펙트럼 엔벨로프(포락선) 조정에 대해, 복원 대역에 위치되는 스펙트럼 부분들의 제1세트로부터의 스펙트럼 부분들은, 예를 들어, 스펙트럼 조정에 의해 추가로 후-처리(post-processed)되지 않는다. 코어 디코더로부터 유래되지 않는 복원 대역에서 잔존 스펙트럼 값들만이 엔벨로프 정보를 이용하여 엔벨로프 조정될 것이다. 바람직하게는, 엔벨로프 정보는 복원 대역의 제1스펙트럼 부분들의 제1세트 및 동일 복원 대역의 제2스펙트럼의 제2세트의 에너지를 설명(차지)하는 전체 대역 엔벨로프 정보이며, 여기서 제2스펙트럼 부분들의 제2세트의 나중의(latter) 스펙트럼 값들은 제로(0, zero)로 표시되고, 그래서, 코어 인코더에 의해 인코딩되지 않으나, 저해상도 에너지 정보와 파라미터적으로 코딩된다.
대응 대역의 대역폭에 관해 정규화되거나 정규화되지 않은, 절대 에너지 값들은, 디코더 측에 적용시 유용하고 아주 효율적이라는 것이 발견되었다. 이는 특히 이득 인자(gain factors)가 복원 대역에서 잔류 에너지에 기반하여 계산되어야 할 때, 복원 대역의 손실 에너지 및 복원 대역의 주파수 타일 정보를 적용한다.
인코딩된 비트스트림이 복원 대역들에 대한 에너지 뿐만 아니라, 추가적으로, 게다가, 최대 주파수까지 확장하는 스케일 인수 대역들에 대한 스케일 인수까지 커버하는 것이 바람직하다. 이는 각 복원 대역에 대해, 특정 음조 부분, 즉 제1스펙트럼 부분이 이용가능하다는 것이 보장하며, 제1스펙트럼 부분의 이 제1세트는 실제적으로 올바른 진폭과 디코딩될 수 있다. 게다가, 각 복원 대역에 대한 스케일 인자에 더하여, 이러한 복원 대역에 대한 에너지는 인코더에서 발생되고 디코더에 전송된다. 게다가, 복원 대역이 스케일 인수 대역들과 일치하거나 또는 에너지가 그룹화하는 경우, 복원 대역의 적어도 경계들이 스케일 인수 대역들의 경계들과 일치하는 것이 바람직하다.
또 다른 양상은 오디오 품질 내의 특정 장애가 신호 적응적 주파수 타일 필링 전략을 적용함으로써 개선될 수 있다는 발견을 기초로 한다. 이를 위하여, 특정 표적 영역의 최상의 매칭 소스 영역을 발견하기 위하여 인코더-면에 대한 분석이 실행된다. 표적 영역을 위하여 선택적으로 일부 부가적인 정보와 함께 특정 소스 영역을 식별하는 매칭 정보가 발생되고 부가 정보로서 디코더에 전송된다. 디코더는 그리고 나서 매칭 정보를 사용하여 주파수 타일 필링 운용을 적용한다. 이를 위하여, 디코더는 전송된 데이터 스트림 또는 데이터 파일로부터 매칭 정보를 판독하고 특정 재구성 영역을 위하여 식별된 소스 영역을 액세스하며, 만일 매칭 정보 내에 표시되면, 재구성 대역을 위한 부가적으로 원시 스펙트럼 데이터(raw spectral data)를 발생시키기 위하여 이러한 소스 영역 데이터의 일부 처리를 실행한다. 그리고 나서, 주파수 타일 필링 운용의 이러한 결과, 즉 재구성 대역을 위한 원시 스펙트럼 데이터는 최종적으로 음조 부분들과 같은 제 1 스펙트럼 부분들을 포함하는 재구성 대역을 획득하기 위하여 스펙트럼 엔벨로프 정보를 사용하여 형상화된다. 그러나, 이러한 음조 부분들은 적응적 타일 필링 전략에 의해 발생되지 않으나, 이러한 제 1 스펙트럼 부분들은 오디오 디코더 또는 코어 디코더에 의해 직접적으로 출력된다.
적응적 스펙트럼 타일 선택 전략은 낮은 입상도로 운용할 수 있다. 이러한 구현에서, 소스 영역은 일반적으로 오버래핑 소스 영역들로 세분되고 비-오버래핑 주파수 표적 영역들에 의해 표적 영역 또는 재구성 대역들이 주어진다. 그리고 나서, 디코더-면에서 각각의 소스 영역과 각각의 표적 영역 사이의 유사성들이 결정되고 매칭 정보에 의해 소스 영역과 표적 영역의 최상의 매칭 쌍이 식별되며, 디코더-면 상에서, 재구성 대역을 위한 원시 스펙트럼 데이터를 발생시키기 위하여 매칭 정보 내에 식별된 소스 영역이 사용된다.
높은 입상도를 획득하기 위한 목적으로, 각각의 소스 영역은 유사성들이 최대인 특정 래그(lag)를 획득하기 위하여 이동하도록 허용된다. 이러한 래그는 주파수 빈(bin)만큼 훌륭하고 소스 영역과 표적 영역 사이의 훨씬 더 뛰어난 매칭을 허용한다.
게다가, 최상의 매칭 쌍의 식별에 더하여, 이러한 상관관계 래그는 또한 매칭 정보 내에 전송될 수 있으며 부가적으로,부호(sign)도 전송될 수 있다. 디코더- 면 상에서 부호가 음으로 결정될 때, 상응하는 부호 플래그가 또한 매칭 정보 내에 전송되고, 디코더-면 상에서, 소스 영역 스펙트럼 값들이 "-1"과 곱해지거나 또는 복소수 표현으로, 180도 회전된다.
본 발명의 또 다른 구현은 타일 백색화 운용(tile whitening operation)이다. 스텍트럼의 백색화는 거친 스펙트럼 엔벨로프 정보를 제거하고 타일 유사성의 평가를 위하여 가장 관심 있는 스펙트럼 미세 구조를 강조한다. 따라서, 한편으로는 주파수 타일 및/또는 다른 한편으로는 소스 신호가 상호 상관관계 측정을 계산하기 전에 백색화된다. 타일만이 백색화될 때, 미리 정의된 과정을 사용하여, 동일한 미리 정의된 백색화 과정이 지능형 갭 필링 내의 주파수에 적용되어야만 한다는 것을 디코더에 나타내는 백색화 플래그가 전송된다.
타일 선택과 관련하여, 변환 빈들의 정수(integer number)에 의해 재생된 스펙트럼을 스펙트럼으로 이동시키기 위하여 상관관계의 래그를 사용하는 것이 바람직하다. 근본적인 변환에 의존하여, 스펙트럼 이동은 부가적인 상관관계들을 필요로 할 수 있다. 홀수 래그들의 경우에, 타일은 변형 이산 코사인 변환 내의 모든 다른 대역의 주파수 역전된 표현을 보상하기 위하여 부가적으로 -1/1의 대안의 시간적 시퀀스와의 곱셈을 통하여 조절된다. 게다가, 주파수 타일을 발생시킬 때 상관관계 결과의 부호가 적용된다.
게다가, 동일한 재구성 영역 또는 표적 영역을 위한 소스 영역들의 고속 변화에 의해 생성되는 아티팩트들이 방지되는 것을 확인하기 위하여 타일 전지작업(tile pruning)과 안정화를 사용하는 것이 바람직하다. 이를 위하여, 서로 다른 식별된 소스 영역들 중에서 유사성 분석이 실행되고 소스 타일이 한계를 넘는 유사성을 갖는 다른 소스 타일들과 유사할 때, 이러한 소스 타일은 잠재적 소스 타일들의 세트로부터 떨어질 수 있는데 그 이유는 이것이 다른 소스 타일들과 높은 상관관계를 갖기 때문이다. 게다가, 타일 선택 안정화의 한 종류로서, 만일 현재 프레임 내의 어떠한 소스 타일도 현재 프레임 내의 표적 타일들과 전혀 관련되지 않으면, 이전 프레임으로부터 타일 순서를 유지하는 것이 바람직하다.
본 발명은 고주파수 재구성을 갖는 시간적 잡음 형상화(Temporal Noise Shaping, TNS) 또는 시간적 타일 형상화(TTS) 기술을 결합함으로써 오디오 신호들 내에 빈번히 발생됨에 따라 특히 트랜지언트 부분들을 포함하는 신호들을 위한 향상된 품질과 감소된 비트레이트가 획득된다는 사실을 기초로 한다. 주파수에 대한 예측에 의해 구현되는 인코더 면 상의 시간적 잡음 형상화/시간적 타일 형상화 처리는 오디오 신호의 시간 엔벨로프를 재구성한다. 구현에 따라, 즉, 시간적 잡음 형상화 필터가 소스 주파수 범위뿐만 아니라 주파수 재생 디코더 내에 재구성되려는 표적 주파수 범위를 포함하는 주파수 범위 내에서 결정될 때, 시간적 엔벨로프는 갭 필링 개시 주파수까지 코어 오디오 신호에 적용될 뿐만 아니라, 시간적 엔벨로프는 또한 재구성되는 제 2 스펙트럼 부분들의 스펙트럼 범위들에 적용된다. 따라서, 시간적 터일 형상화 없이 발생할 수 있는 전-에코들 또는 후-에코들 이 감소되거나 또는 제거된다. 이는 특정 갭 필링 개시 주파수까지의 코어 주파수 범위 내에서뿐만 아니라 코어 주파수 범위 위의 주파수 범위 내에서도 적용함으로써 달성된다. 이를 위하여, 주파수에 대한 예측을 적용하기 전에 디코더 면 상에서 주파수에 대한 역 예측을 적용함으로써 주파수 재생 또는 주파수 타일 재생이 실행된다. 그러나, 주파수에 대한 예측은 필터링 뒤의 스펙트럼 잔류 값들 또는 엔벨로프 형성화 이전의 (완전한) 스펙트럼 값들 상에서 에너지 정보 계산이 실행되었는지에 따라 스펙트럼 엔벨로프 형상화 이전에 또는 그 뒤에 적용될 수 있다.
하나 또는 그 이상의 주파수 타일에 대한 시간적 타일 형상화 처리는 소스 범위와 재구성 범위 사이 혹은 두 인접한 재구성 범위 또는 주파수 타일 내의 상관관계의 지속성을 수립한다.
일 구현에서, 복소수 시간적 잡음 형상화/시간적 타일 형상화 필터링을 사용하는 것이 바람직하다. 이에 의해, 변형 이산 코사인 변환 같은 중요하게 샘플링된 실제 표현의 시간적 얼라이싱 아티팩트들이 방지된다. 복소수 시간적 잡음 형상화 필터는 게다가 복소수 변형 변환을 획득하기 위하여 변형 이산 코사인 변환뿐만 아니라 변형 이산 사인 변환을 적용함으로써 인코더-면 상에서 계산될 수 있다. 그럼에도 불구하고, 변형 이산 코사인 변환, 즉 복소수 변환의 실수 부분만이 전송된다. 그러나 디코더-면 상에서, 선행 또는 뒤따르는 프레임들의 변형 이산 코사인 변환 스펙트럼을 사용하여 변환의 허수 부분을 추정하는 것이 가능하며, 따라서 디코더-면 상에서, 복소 필터(complex filter)가 다시 주파수에 대한 역 예측 및, 특히 소스 범위와 재구성 범위 사이의 경계 및 재구성 범위 내의 주파수 인접한 주파수 타일들 사이의 경계에 대한 예측에서도 다시 적용될 수 있다.
발명의 오디오 코딩 시스템은 광범위한 비트레이트들에서 임의 오디오 신호들을 효율적으로 코딩한다. 반면에, 높은 비트레이트를 위하여, 본 발명의 시스템은 투명성(transparency)에 집중되는데, 그 이유는 낮은 비트레이트 지각걱 어노이언스(annoyance)가 최소화되기 때문이다. 따라서, 이용가능한 비트레이트의 주된 공유는 인코더 내의 신호의 바로 지각적으로 가장 관련 있는 구조를 파형 코딩하도록 사용되고, 결과로서 생기는 스펙트럼 갭들은 원래 스펙트럼과 대략 근사치인 신호 콘텐츠를 갖는 디코더 내에 채워진다. 인코더로부터 디코더로 전송되는 전용 부가 정보에 의해 파라미터 구동되는 이른바 스펙트럼 지능형 갭 필링을 제어하기 위하여 매우 제한된 비트 예산(bit budget)이 소모된다.
본 발명의 바람직한 실시 예들이 첨부된 도면들을 참조하여 이후에 설명된다.
도 1a는 오디오 신호를 인코딩하기 위한 장치를 도시한다.
도 1b는 도 1a의 인코더와 매칭하는 인코딩된 오디오 신호를 디코딩하기 위한 장치를 도시한다.
도 2a는 디코더의 바람직한 일 구현을 도시한다.
도 2b는 인코더의 바람직한 일 구현을 도시한다.
도 3a는 도 1b의 스펙트럼 도메인 디코더에 의해 발생된 것과 같은 스펙트럼의 개략적 표현을 도시한다.
도 3b는 스케일 인자 대역들을 위한 스케일 인자들과 재구성 대역들을 위한 에너지들 및 잡음 필링 대역을 위한 잡음 필링 정보 사이의 관계를 나타내는 테이블을 도시한다.
도 4a는 스펙트럼 부분들의 제 1 및 제 2 세트 내로 스펙트럼 부분의 선택을 적용하기 위한 스펙트럼 도메인 인코더의 기능을 도시한다.
도 4b는 도 4a의 기능의 일 구현을 도시한다.
도 5a는 변형 이산 코사인 변환 인코더의 기능을 도시한다.
도 5b는 변형 이산 코사인 변환 기술을 갖는 디코더의 기능을 도시한다.
도 5c는 주파수 재생기의 일 구현을 도시한다.
도 6a는 시간적 잡음 형상화/시간적 타일 형상화 기능을 갖는 오디오 코더를 도시한다.
도 6b는 시간적 잡음 형상화/시간적 타일 형상화 기술을 갖는 디코더를 도시한다.
도 6c는 서로 다른 순서의 스펙트럼 예측 필터 및 스펙트럼 형상화기(spectral shaper)를 갖는 시간적 잡음 형상화/시간적 타일 형상화 기능의 또 다른 기능을 도시한다.
도 7a는 시간적 타일 형상화 기능의 일 구현을 도시한다.
도 7b는 도 7a이 인코더 구현과 매칭하는 디코더 구현을 도시한다.
도 7c는 시간적 타일 형상화 없이 원래 신호 및 확장된 신호의 스펙트로그램을 도시한다.
도 7d는 지능형 갭 필링 주파수들과 시간적 타일 형상화 에너지들 사이의 상응성을 나타내는 주파수 표현을 도시한다.
도 7e는 시간적 타일 형상화를 갖는 원래 신호 및 확장된 신호의 스펙트로그램을 도시한다.
도 8a는 주파수 재생을 갖는 2-채널 디코더를 도시한다.
도 8b는 서로 다른 표현들의 조합 및 소스/목적지(destination) 범위들을 나타내는 테이블을 도시한다.
도 8c는 도 8a의 주파수 재생을 갖는 2-채널 디코더의 기능을 나타내는 플로우 차트를 도시한다.
도 8d는 도 8a의 디코더의 더 상세한 구현을 도시한다.
도 8e는 도 8a의 디코더에 의해 디코딩되는 2-채널 처리를 위한 인코더의 일 구현을 도시한다.
도 9a는 재생 주파수 범위를 위한 에너지 값들을 사용하는 주파수 재생 기술을 갖는 디코더를 도시한다.
도 9b는 도 9a의 주파수 재생의 더 상세한 구현을 도시한다.
도 9c는 도 9b의 기능을 개략적으로 도시한다.
도 9d는 도 9a의 디코더의 또 다른 구현을 도시한다.
도 10a는 도 9a의 디코더와 매칭하는 인코더의 블록 다이어그램을 도시한다.
도 10b는 도 10a의 파라미터 계산기의 또 다른 기능을 나타내기 위한 블록 다이어그램을 도시한다.
도 10c는 도 10a의 파라미터 계산기의 또 다른 기능을 나타내는 블록 다이어그램을 도시한다.
도 10d는 도 10a의 파라미터 계산기의 또 다른 기능을 나타내는 블록 다이어그램을 도시한다.
도 11a는 디코더 내의 스펙트럼 타일 필링 운용을 위한 특정 소스 범위식별을 갖는 또 다른 디코더를 도시한다.
도 11b는 도 11a의 주파수 재생기의 또 다른 기능을 도시한다.
도 11c는 도 11a의 디코더와 협력하도록 사용되는 인코더를 도시한다.
도 11d는 도 11c의 파라미터 계산기의 일 구현의 블록 다이어그램을 도시한다.
도 12a 및 12b는 소스 범위 및 주파수 범위를 나타내기 위한 주파수 스케치(frequency sketch)들을 도시한다.
도 12c는 두 신호들의 일례의 상관관계의 플롯을 도시한다.
도 13a는 대역폭 확장을 갖는 종래 기술의 인코더를 도시한다.
도 13b는 대역폭 확장을 갖는 종래 기술의 디코더를 도시한다.
도 1a는 오디오 신호(99)를 인코딩하기 위한 장치를 도시한다. 오디오 신호(99)는 샘플링 레이트를 갖는 오디오 신호를 시간 스펙트럼 변환기(time spectrum converter)에 의해 출력되는 스펙트럼 표현(101)으로 변환하기 위한 시간 스펙트럼 변환기(100) 내로 입력된다. 스펙트럼(101)은 스펙트럼 표현(101)을 분석하기 위하여 스펙트럼 분석기(102) 내로 입력된다. 스펙트럼 분석기(102)는 제 1 스펙트럼 해상도로 인코딩되려는 제 1 스펙트럼 부분들(103)의 제 1 세트 및 제 2 스펙트럼 해상도로 인코딩되려는 제 2 스펙트럼 부분들(105)의 다른 제 2 세트를 결정하도록 구성된다. 제 2 스펙트럼 해상도는 제 1 스펙트럼 해상도보다 작다. 제 2 스펙트럼 부분들(105)의 제 2 세트는 제 2 스펙트럼 해상도를 갖는 스펙트럼 엔벨로프 정보를 계산하기 위한 파라미터 계산기 또는 파라미터 코더(104) 내로 입력된다. 게다가, 제 1 스펙트럼 해상도를 갖는 제 1 스펙트럼 부분들의 제 1 인코딩된 표현을 발생시키기 위하여 스펙트럼 도메인 오디오 코더(105)가 제공된다. 게다가, 파라미터 계산기/파라미터 코더(106)가 제 2 스펙트럼 부분들의 제 2 세트의 제 2 인코딩된 표현을 발생시키도록 구성된다. 제 1 인코딩된 표현(107)과 제 2 인코딩된 표현(109)은 비트 스트림 멀티플렉서 또는 비트 스트림 포머(108) 내로 입력되고 블록(108)이 최종적으로 저장 장치 상으로의 전송 또는 저장을 위하여 인코딩된 오디오 신호를 출력한다.
일반적으로, 도 3a의 306과 같은 제 1 스펙트럼 부분은 307a, 307b와 같은 두 개의 제 2 스펙트럼 부분에 의해 둘러싸일 것이다. 이는 코어 코더 주파수 범위가 대역 제한적인 고효율 고급 오디오 코딩에서는 그렇지 않다.
도 1b는 도 1a의 인코더와의 디코더 매칭을 도시한다. 제 1 인코딩된 표현(107)은 제 1 스펙트럼 부분들이 제 1 세트의 제 1 디코딩된 표현을 발생시키기 위하여 스펙트럼 도메인 오디오 디코더(112) 내로 입력되며, 디코딩된 표현은 제 1 스펙트럼 해상도를 갖는다. 게다가, 제 2 인코딩된 표현(109)은 제 1 스펙트럼 해상도보다 낮은 제 2 스펙트럼 해상도를 갖는 제 2 스펙트럼 부분들의 제 2 세트의 제 2 디코딩된 표현을 발생시키기 위하여 파라미터 디코더(114) 내로 입력된다.
디코더는 제 1 스펙트럼 부분을 사용하여 제 1 스펙트럼 해상도를 갖는 재구성된 제 2 스펙트럼 부분을 발생시키기 위한 주파수 재생기(116)를 더 포함한다. 주파수 재생기(116)는 타일 필링 운용을 실행하는데, 즉 타일 또는 제 1 스펙트럼 부분들이 제 1 세트를 사용하고 이러한 제 1 스펙트럼 부분들이 제 1 세트를 제 2 스펙트럼 부분을 갖는 재구성 범위 또는 재구성 대역 내로 복사하며 일반적으로 파라미터 디코더(114)에 의해, 즉 제 2 스펙트럼 부분들의 제 2 세트에 대한 정보를 사용함으로써 출력된 디코딩된 제 2 표현에 의해 나타낸 것과 같이 스펙트럼 엔벨로프 형상화 또는 다른 운용을 실행한다. 라인(117) 상기 주파수 재생기(116)의 출력에서 나타내는 것과 같이 제 1 스펙트럼 부분들의 디코딩된 제 1 세트 및 스펙트럼 부분들의 재구성된 제 2 세트는 제 1 디코딩된 표현과 재구성된 제 2 스펙트럼 부분을 시간 표현(119)으로 변환하도록 구성되는 스펙트럼-시간 변환기(118) 내로 입력되며, 시간 표현은 특정한 높은 샘플링 레이트를 갖는다.
도 2b는 도 1a의 인코더의 일 구현을 도시한다. 오디오 입력 신호(99)는 도 1a의 시간 스펙트럼 변환기(100)와 상응하는 분석 필터뱅크(220) 내로 입력된다. 그리고 나서, 시간적 잡음 형상화 블록(222) 내에서 시간적 잡음 형상화 운용이 실행된다. 따라서, 도 2b의 블록 음조 마스크(226)와 상응하는 도 1a의 스펙트럼 분석기(102) 내로의 입력은 시간적 잡음 형상화/시간적 타일 형상화 운용이 적용되지 않을 때 완전한 스펙트럼 값들일 수 있거나 또는 도 2b에 도시된 것과 같이 시간적 잡음 형상화 운용 블록(222)이 적용될 때, 스펙트럼 잔류 값들일 수 있다. 2-채널 신호들 또는 다중 채널 신호들을 위하여, 조인트 채널 코딩(228)이 부가적으로 실행될 수 있으며, 따라서 도 1a의 스펙트럼 도메인 인코더(106)는 조인트 채널 코딩 블록(228)을 포함할 수 있다. 게다가, 또한 도 1a의 스펙트럼 도에인 인코더(106)의 일부분인, 무손실 데이터 압축을 실행하기 위한 엔트로피 코더(232)가 제공된다.
스펙트럼 분석기/음조 마스크(226)는 시간적 잡음 형상화 블록(222)의 출력을 제 1 스펙트럼 부분들(103)의 제 1 세트와 상응하는 코어 대역과 음조 성분들 및 도 1a의 제 2 스펙트럼 부분들(105)의 제 2 세트와 상응하는 잔류 성분들로 분리한다. 지능형 갭 필링 파라미터 추출 인코딩으로서 표시되는 블록(224)은 도 1a의 파라미터 코어(104)와 상응하고 비트스트림 멀티플렉서(230)는 도 1a의 비트스트림 멀티플렉서(108)와 상응한다.
바람직하게는, 분석 필터뱅크(222)는 변형 이산 코사인 변환 필터뱅크로서 구현되고 변형 이산 코사인 변환 필터뱅크는 주파수 분석 공구로서 작용하는 변형 이산 코사인 변환으로 신호(99)를 시간-주파수 도메인으로 변환시키도록 사용된다.
스펙트럼 분석기(226)는 바람직하게는 음조성 마스크(tonality mask)를 적용한다. 음조성 마스크 추정 단계는 신호 내의 잡음 유사 성분들로부터 음조 성분들을 분리하도록 사용된다. 이는 코어 코더(228)가 모든 음조 성분을 음향심리학적 모듈로 인코딩하도록 허용한다. 음조성 마스크 추정 단계는 다양한 서로 다른 방법들로 구현될 수 있고 바람직하게는 음성/오디오 코딩을 위한 사인 및 잡음-모델링([8, 9]) 또는 [10]에서 설명되는 HILN(Harmonic and Individual Line plus Noise) 모델 기반 오디오 코더에서 사용된다. 바람직하게는, 출생-사망 궤도를 dnb지할 필요 없이 구현하기에 쉬운 구현이 사용되나, 다른 음조성 또는 잡음 검출기가 또한 사용될 수 있다.
지능형 갭 필링 모듈은 소스 영역과 표적 영역 사이에 존재하는 유사성을 계산한다. 표적 영역은 소스 영역으로부터의 스펙트럼에 의해 표현될 것이다. 소스 및 표적 영역 사이의 유사성의 측정은 상호 상관관계 접근법을 사용하여 수행된다. 표적 영역은 nTar 비-오버래핑 주파수 타일들로 분할된다. 표적 영역 내의 모든 타일을 위하여, 고정된 시작 주파수(start frequency)로부터 nSrc 소스 타일들이 생성된다. 이러한 소스 타일들은 0과 1 사이의 인자에 의해 오버래핑되는데, 0은 0% 오버랩을 의미하고 1은 100% 오버랩을 의미한다. 이러한 소스 타일들 각각은 표적 타일과 최적으로 매칭하는 소스 타일을 찾기 위하여 다양한 래그에서 표적 타일과 상호 연관된다.
최적으로 매칭하는 타일 수는 tileNum[idx_tar] 내에 저장되고, 표적과 가장 상호 관련되는 래그는 xcorr_lag[idx_tar][idx_src] 내에 저장되며 상관관계의 부호는 xcorr_sign[idx_tar][idx_src] 내에 저장된다. 상관관계가 고도로 음성일 때, 소스 타일은 디코더에서의 타일 필링 과정 전에 -1로 곱해질 필요가 있다. 지능형 갭 필링 모듈은 또한 스펙트럼 내의 음조 성분들의 비-오버라이팅(overwriting)을 처리하는데, 그 이유는 음조 성분들이 음조성 마스크를 사용하여 보존되기 때문이다. 스펙트럼을 정확하게 재구성하는 것을 가능하게 하는 표적 영역을 에너지를 저장하기 위하여 대역 방법 에너지 파라미터가 사용된다.
이러한 방법은 다중-톤(tone) 신호의 고조파 그리드(grid)가 코어 코더에 의해 보존되며 정현파들 사이의 갭들이 소스 영역으로부터 최적으로 매칭하는 "형상화된 잡음"에 의해 보존된다는 점에서 고전적인 스펙트럼 대역 복제([1])에 대하여 특정 장점을 갖는다. ASR과 비교하여 이러한 시스템의 또 다른 장점은 디코더에서 신호의 중요한 부분을 생성하는 신호 합성 단계의 부재이다. 대신에, 이러한 작업은 스펙트럼의 중요한 성분들의 보존을 가능하게 하는, 코어 코더에 의해 발생된다. 제안된 시스템의 또 다른 장점은 특징들이 제공하는 지속적인 확장성(scalability)이다. tileNum[idx_tar] 및 xcorr_lag=0만의 사용은 모든 타일을 위하여 총 입상도 매칭으로 불리고 변수 xcorr_lag를 사용하는 동안에 낮은 비트레이트를 위하여 사용될 수 있고 모든 타일을 위하여 표적 및 소스 스펙트럼을 더 잘 매칭하는 것을 가능하게 한다.
게다가, 트릴링(trilling)과 음악 잡음과 같은 주파수 도메인 아티팩트들을 제거하는 타일 선택 안정화 기술이 제안된다.
스테레오 채널 쌍들의 경우에 부가적인 조인트 스테레오 과정이 적용된다. 이는 특정 도착지 범위를 위하여 신호가 고도로 상관된 패닝된(panned) 음원을 할 수 있기 때문에 필요하다. 이러한 특정 영역을 위하여 선택된 소스 영역들이 상관관계를 잘 갖지 않는 경우에 있어서, 공간적 이미지는 비-상관된 소스 영역들 때문에 악화될 수 있다. 인코더는 일반적으로 스펙트럼 값들의 상호 상관관계를 실행하는, 각각의 목적지 영역 에너지 대역을 분석하고 만일 특정 한계값이 초과되면, 이러한 에너지 대역을 위한 조인트 플래그를 설정한다. 디코더에서 왼쪽 및 오른쪽 채널 에너지 대역은 만일 이러한 조인트 스테레오 플래그가 설정되지 않으면, 개별적으로 처리된다. 조인트 스테레오 플래그가 설정된 경우에 있어서, 에너지들과 패칭 모두 조인트 스테레오 도메인 내에서 실행된다. 지능형 갭 필링 영역들을 위한 조인트 스테레오 정보는 예측이 경우에 예측의 방향이 다운믹스로부터 잔류로 되거나 이와 반대인지를 나타내는 플래그를 포함하는, 코어 코딩을 위한 조인트 스테레오 정보와 유사하게 시그널링된다.
에너지들은 왼쪽/오른쪽 도메인 내의 전송된 에너지들로부터 계산될 수 있다.
midNrg[k] = leftNrg[k] + rightNrg[k];
sideNrg[k] = leftNrg[k] - rightNrg[k];
여기서 k는 변환 도메인 내의 주파수 지수이다.
도 다른 해결책은 조인트 스테레오가 활성인 대역들을 위하여 조인트 스테레오 도메인 내에서 직접적으로 에너지들을 계산하고 전송하는 것이며, 따라서 디코더 면에서 어떠한 부가적인 변환도 필요하지 않다.
소스 타일들은 항상 중면(mid/side) 매트릭스에 따라 생성된다:
midTile[k] = 0.5·(leftTile[k] + rightTile[k])
sideTile[k] = 0.5·(leftTile[k] - rightTile[k])
*에너지 조정:
midTile[k] = midTile[k] * midNrg[k];
sideTile[k] = sideTile[k] * sideNrg[k];
조인트 스테레오 → LR 변환
만일 어떠한 부가적인 예측 파라미터도 코딩되지 않으면:
leftTile[k] = midTile[k] + sideTile[k]
rightTile[k] = midTile[k] - sideTile[k]
만일 부가적인 예측 파라미터가 코딩되고 시그널링된 방향이 중간으로부터 측면이면:
sideTile[k] = sideTile[k] - predictionCoeff·midTile[k]
leftTile[k] = midTile[k] + sideTile[k]
leftTile[k] = midTile[k] - sideTile[k]
만일 시그널링된 방향이 측면으로부터 중간이면:
midTile[k] = midTile[k] - predictionCoeff·sideTile[k]
leftTile[k] = midTile[k] - sideTile[k]
leftTile[k] = midTile[k] + sideTile[k]
이러한 과정은 고도로 상관관계인 목적지 영역들과 패닝된 목적지 영역들을 발생시키기 위하여 사용되는 타일들로부터, 결과로서 생기는 왼쪽과 오른쪽 채널들은 만일 소스 영역들이 상관되지 않더라도, 여전히 상관되고 패닝된 음원을 표현하는 것을 보장하며, 그러한 영역들을 위한 스테레오 이미지를 보존한다.
바꾸어 말하면, 비트스트림 내에서, 일반적인 조인트 스테레오 코딩을 위한 예로서 왼쪽/오른쪽 또는 중/면이 사용되어야만 하는지를 나타내는 조인트 스테레오 플래그들이 전송된다. 디코더에서, 첫 번째로, 코어 신호가 코어 대역들을 위한 조인트 스테레오 플래그들에 의해 나타낸 것과 같이 디코딩된다. 두 번째로, 코어 신호는 오른쪽/왼쪽 및 중간/측면 모두에 저장된다, 지능형 갭 필링 타일 필링을 위하여, 지능형 갭 필링 대역들을 위한 조인트 스테레오 정보에 의해 나타낸 것과 같이 표적 타일 표현에 맞추기 위하여 소스 타일 표현이 선택된다.
시간적 잡음 형상화는 표준 기술이고 고급 오디오 코딩의 일부분이다([11-13]). 시간적 잡음 형상화는 필터뱅크와 양자화 단계 사이의 선택적 초리 단계를 삽입하는, 지각적 코더의 기본 전략의 확장으로서 고려될 수 있다. 시간적 잡음 형상화 모듈의 주요 작업은 트랜지언트 유사 신호들의 시간적 마스킹 영역 내에 생산된 양자화 잡음을 감추는 것이며 따라서 이는 더 효율적인 코딩 전략에 이르게 한다. 우선, 시간적 잡음 형상화는 변환 도메인 내의 "순방향 예측", 예들 들면 변형 이산 코사인 변환을 사용하여 예측 계수들의 세트를 계산한다. 이러한 계수들은 그리고 나서 신호의 시간적 엔벨로프를 평탄화(flattening)하기 위하여 사용된다. 양자화가 시간적 잡음 형상화 필터링된 스펙트럼에 영향을 미치기 때문에, 양자화 잡음이 시간적으로 편평하다. 디코더 면 상에 역 시간적 잡음 형상화를 적용함으로써, 양자화 잡음이 시간적 잡음 형상화 필터의 시간적 엔벨로프에 따라 형상화되고 따라서 양자화 잡음이 트랜지언트에 의해 마스킹된다.
지능형 갭 필링은 변형 이산 코사인 변환 표현을 기초로 한다. 효율적인 코딩을 위하여, 바람직하게는 약 20 ms의 긴 블록들이 사용되어야만 한다. 만일 그러한 긴 블록 내의 신호가 트랜지언트들을 포함하면, 타일 필링에 기인하여 지능형 갭 필링 스펙트럼 대역들 내에 가청(audible) 전- 및 후-에코들이 발생한다. 도 7c는 지능형 갭 필링에 기인하는 트랜지언트 개시 전에 일반적인 전-에코 효과를 도시한다. 왼쪽 면 상에, 원래 신호의 스펙트로그램이 도시되고 오른쪽 면 상에 시간적 잡음 형상화 필터링 없는 대역폭 확장된 신호의 스펙트로그램이 도시된다.
전-에코 효과는 지능형 갭 필링 콘텍스트 내의 시간적 잡음 형상화를 사용하여 감소된다. 여기서, 시간적 잡음 형상화는 시간적 타일 형상화로서 사용되는데 그 이유는 디코더 내의 스펙트럼 재생이 시간적 잡음 형상화 잔류 신호 상에서 실행되기 때문이다. 일반적으로 인코더 면 상에서 완전한 스펙트럼을 사용하여 필요한 시간적 타일 형상화 예측 계수들이 계산되고 적용된다. 시간적 잡음 형상화/시간적 타일 형상화 시작 및 중단 주파수(stop frequency)들은 지능형 갭 필링 공구의 지능형 갭 필링 시작 주파수(fIGFstart)에 의해 영향을 받지 않는다. 레거시 시간적 잡음 형상화와 비교하여, 시간적 타일 형상화 중단 주파수는 지능형 갭 필링 공구의 중단 주파수로 중가되며, 이는 지능형 갭 필링 시작 주파수보다 높다. 디코더 면 상에서 시간적 잡음 형상화/시간적 타일 형상화 계수들이 완전한 스펙트럼 상에 다시 적용되는데, 즉 코어 스펙트럼 플러스 재생된 스펙트럼 플러스 음조성 맵으로부터의 음조 성분들이다(도 7e 참조). 시간적 타일 형상화의 적용은 원래 신호의 엔벨로프를 다시 매칭하기 위하여 재생된 스펙트럼의 시간적 엔벨로프를 형성하는데 필요하다. 따라서 도시된 전-에코들이 감소된다. 게다가, 시간적 잡음 형상화에서와 같이 지능형 갭 필링 시작 주파수 아래의 신호 내에 여전히 양자화 잡음을 형상화한다.
레거시 디코더들에서, 오디오 신호에 대한 스펙트럼 패칭은 패치 경계들에서 스펙트럼 상관관계에 오류를 발생시키고 이에 의해 분산(dispersion)을 도입함으로써 오디오 신호의 시간적 엔벨로프를 손상시킨다. 따라서, 잔류 신호 상의 지능형 갭 필링 타일 필링 실행의 또 다른 혜택은 형상화 필터의 적용 후에 타일 경계들이 균일하게 상관되고, 신호의 더 신뢰할 수 있는 시간적 재생을 야기한다는 것이다.
본 발명의 인코더에서, 명기된 시간적 잡음 형상화/시간적 타일 형상화를 갖는 스펙트럼, 음조성 마스크 처리 및 지능형 갭 필링 파라미터 추정은 음조 성분들을 제외하고 지능형 갭 필링 시작 주파수 위의 어떠한 신호도 없다. 이러한 희소 스펙트럼은 이제 산술 코딩과 예측 코딩의 원리들을 사용하여 코어 코더에 의해 코딩된다. 시그널링 비트들과 함께 이러한 코딩된 성분들은 오디오의 비트스트림을 형성한다.
도 2a는 상응하는 디코더 구현을 도시한다. 인코딩된 오디오 신호와 상응하는 도 2a의 비트스트림은 도 1b와 관련하여 블록들(112 및 114)에 연결될 수 있는 디멀티플렉서/디코더 내로 입력된다. 비트스트림 디멀티플렉서는 입력 오디오 신호를 도 1b의 제 1 인코딩된 표현(107) 및 도 1b의 제 2 인코딩된 표현(109)의 입력 오디오 신호로 분리한다. 제 1 스펙트럼 부분들의 제 1 세트를 갖는 제 1 인코딩된 표현은 도 1b의 스펙트럼 도메인 디코더와 상응하는 조인트 채널 디코딩 블록(204) 내로 입력된다. 제 2 인코딩된 표현은 도 2a에 도시되지 않은 파라미터 디코더(114) 내로 입력되고 그리고 나서 제 1b의 주파수 재생기(116)와 상응하는 지능형 갭 필링 블록(202) 내로 입력된다. 주파수 재생을 위하여 필요한 제 1 스펙트럼 부분들의 제 1 세트는 라인(203)을 거쳐 지능형 갭 필링 블록(202) 내로 입력된다. 게다가, 음조 마스크의 출력이 스펙트럼 도메인 디코더(112)의 출력과 상응하도록 조인트 채널 디코딩(204) 뒤에 특정 코어 디코딩이 음조 마스크 블록(206) 내에 적용된다. 그리고 나서, 결합기(208)에 의한 결합, 즉 결합기(208)의 출력이 이제 완전 범위 스펙트럼을 가지나, 여전히 시간적 잡음 형상화/시간적 타일 형상화 필터링된 도메인 내에 존재하는 프레임 빌딩이 실행된다. 그리고 나서, 블록(210)에서, 라인(109)을 통하여 제공되는 시간적 잡음 형상화/시간적 터일 형상화 정보를 사용하여 역 시간적 잡음 형상화/시간적 터일 형상화 운용이 실행되는데, 즉 시간적 타일 형상화 부가 정보는 바람직하게는 예를 들면 간단한 고급 오디오 코딩 또는 통합 음성 오디오 코딩일 수 있는, 스펙트럼 도메인 인코더(106)에 의해 발생되는 제 1 인코딩된 표현 내에 포함되거나, 또는 제 2 인코딩된 표현 내에 포함될 수 있다. 블록(210)의 출력에서, 최대 주파수까지 원래 입력 신호의 샘플링 레이트에 의해 정의되는 완전 범위 주파수인, 완전한 스펙트럼이 제공된다. 그리고 나서, 최종적으로 오디오 출력 신호를 획득하기 위하여 합성 필터뱅크(212) 내에서 스펙트럼/시간 변환이 실행된다.
도 3a는 스펙트럼의 개략적인 표현을 도시한다. 스펙트럼은 도 3a에 도시된 예에서 7개의 스케일 인자 대역(SCB1 내지 SCB7)이 존재하는 스케일 인자 대역(SCB)들로 세분된다. 스케일 인자 대역들은 고급 오디오 코딩 표준에서 정의되고 도 3에 개략적으로 도시된 것과 같이 상부 주파수들까지 증가하는 대역폭을 갖는 고급 오디오 코딩 스케일 인자일 수 있다. 스펙트럼의 바로 시작부터, 즉 낮은 주파수들에서 지능형 갭 필링을 실행하는 것이 아니고, 309에 도시된 지능형 갭 필링 시작 주파수에서 지능형 갭 필링 운용을 시작하는 것이 바람직하다. 따라서, 코어 주파수 대역은 스펙트럼 최저 주파수로부터 지능형 갭 필링 주파수로 확장한다. 지능형 갭 필링 시작 주파수 위에서, 제 2 스펙트럼 부분들의 제 2 세트에 의해 표현되는 낮은 해상도 성분들로부터 높은 해상도 스펙트럼 성분들(304, 305, 306, 307, 제 1 스펙트럼 부분들의 제 1 세트)을 분리하기 위하여 스펙트럼 분석이 적용된다. 도 3a는 바람직하게는 스펙트럼 도메인 인코더(106) 또는 조인트 채널 코더(228) 내로 입력되는 스펙트럼을 도시하는데, 즉 코어 인코더는 완전한 범위 내에서 운용하나, 상당한 양의 제로 스펙트럼 값들을 인코딩하는데, 즉 이러한 제로 스펙트럼 값들은 0으로 양자화되거나 또는 양자화 전에 양자화 뒤에 0으로 설정된다. 어쨌든, 코어 인코더는 완전한 범위 내에서 운용하는데, 즉 스펙트럼이 도시된 것과 같을 수 있으며, 즉 코어 디코더는 어떠한 지능형 갭 필링 또는 낮은 스펙트럼 해상도를 갖는 제 2 스펙트럼 부분들의 제 2 세트의 인코딩을 반드시 지각할 필요는 없다.
바람직하게는, 높은 해상도는 변형 이산 코사인 변환 라인들과 같은 스펙트럼 라인들의 라인 방식 코딩에 의해 정의되며, 제 2 해상도 또는 낮은 해상도는 예를 들면, 스케일 인자 대역 당 하나의 단일 스펙트럼 값을 계산함으로써 정의되는데, 스케일 인자는 일부 주파수 라인들을 포함한다. 따라서, 제 2 낮은 해상도는 그것의 스펙트럼 해상도와 관련하여, 일반적으로 고급 오디오 코딩 또는 통합 음성 오디오 코딩 코어 인코더와 같은 코어 인코더에 의해 적용되는 라인 방식 코딩에 의해 정의되는 제 1 또는 높은 해상도보다 훨씬 낮다.
스케일 인자 또는 에너지 계산과 관련하여, 상황이 도 3b에 도시된다. 인코더가 코어 인코더라는 사실 때문에, 그리고 각각의 대역 내의 스펙트럼 부분들의 제 1 세트의 성분들일 수는 있으나 반드시 그럴 필요는 없다는 사실 때문에, 코어 인코더는 지능형 갭 필링 시작 주파수(309) 아래뿐만 아니라, 샘플링 주파수의 반, 즉 fs /2와 유사하거나 또는 동일한 최대 주파수(fIGFstop)까지 지능형 갭 필링 시작 주파수 위의 코어 범위 내의 각각의 대역을 위한 스케일 인자를 계산한다. 따라서, 도 3a의 인코딩된 음조 부분들(302, 304, 305, 306, 307)은 본 실시 예에서는 스케일 인자들(SCB1 내지 SCB7)과 함께 높은 해상도 스펙트럼 데이터와 상응한다. 낮은 해상도 스펙트럼 데이터는 지능형 갭 필링 시작 주파수로부터 시작하여 계산되며 스케일 인자들(SCB1 내지 SCB7)과 함께 전송되는, 에너지 정보 값들(E1, E2, E3, E4)과 상응한다.
특히, 코어 인코더가 낮은 비트레이트 상태 하일 때, 코어 대역, 즉 지능형 갭 필링 시작 주파수보다 주파수가 낮은, 즉 스케일 인자 대역들(SCB1 내지 SCB7) 내에서 부가적인 잡음-필링 운용이 적용될 수 있다. 디코더 면 상에서, 0으로 양자화된 이러한 값들은 재합성되고 재합성된 스펙트럼 값들은 도 3b의 308에 도시된 NF2와 같은 잡음-필링 에너지를 사용하여 그것들의 진폭 내에서 조정된다. 특히 통합 음성 오디오 코딩에서와 같이 스케일 인자와 관련하여 절대 항들 또는 상대 항들 내에서 주어질 수 있는 잡음-필링 에너지는 0으로 양자화된 스펙트럼 값들의 세트의 에너지와 상응한다. 이러한 잡음-필링 스펙트럼 라인들은 또한 소스 범위와 에너지 정보(E1, E2, E3, E4)로부터 스펙트럼 값들을 사용하여 주파수 타일들을 재생하기 위하여 다른 주파수들로부터 주파수 타일들을 사용하는 주파수 재생에 의존하는 어떠한 지능형 갭 필링 운용 없이 간단한 잡음-필링 합성에 의해 재생되는 제 3 스펙트럼 부분들의 제 3 세트로서 고려될 수 있다.
바람직하게는, 에너지 정보가 계산되는 대역들은 스케일 인자 대역들과 일치한다. 다른 실시 예들에서, 에너지 정보 값 그룹화(grouping)가 적용되며 따라서 예를 들면 스케일 인자 대역들(4 및 5)을 위하여, 단일 에너지 정보 값만이 전송되나, 본 실시 예서도 그룹화된 재구성 대역들의 경계들은 스케일 인자 대역들의 경계들과 일치한다. 만일 서로 다른 대역 분리가 적용되면, 특정 재-계산들 또는 동기화 계산들이 적용될 수 있으며, 이는 특정 구현에 따라 이해할 수 있다.
바람직하게는, 도 1a의 스펙트럼 도메인 인코더(106)는 도 4a에 도시된 것과 같이 음향심리학적으로 구동되는 인코더이다. 일반적으로, 예를 들면 MPEG2/4 고급 오디오 코딩 표준 또는 MPEG1/2 계층 3 표준에서 나타내는 것과 같이, 스펙트럼 범위(도 4a의 401)로 변환된 후에 인코딩되려는 오디오 신호는 스케일 인자 계산기(400)로 전달된다. 스케일 인자 계산기는 부가적으로 인코딩되려는 오디오 신호를 수신하거나 또는 MPEG1/2 계층 3 또는 MPEG 고급 오디오 코딩 표준에서와 같이 오디오 신호의 복소수 스펙트럼 신호를 수신하는 음향심리학적 모델에 의해 제어된다. 음향심리학적 모델은 각각의 스케일 인자 대역을 위하여, 음향 심리학적 한계를 표현하는 스케일 인자를 계산한다. 부가적으로, 시간 인자들은 그리고 나서, 잘 알려진 내부 또는 외부 반복 루프들에 이하거나 또는 어떠한 다른 적절한 인코딩 과정에 의해 특정 비트레이트 상태들이 충족되도록 조정된다. 그리고 나서 한편으로는 양자화되려는 스펙트럼 값들 및 다른 한편으로는 계산된 스케일 인자들이 양자화기 프로세서(404) 내로 입력된다. 간단한 오디오 인코더 운용에서, 양자화되려는 스펙트럼 값들은 스케일 인자들에 의해 가중되고, 가중된 스케일 스펙트럼 값들은 그리고 나서 일반적으로 상부 진폭 범위들에 대하여 압축 기능을 갖는 고정된 양자화기 내로 입력된다. 그리고 나서, 양자화기 프로세서의 출력에서 일반적으로 인접한 주파수 값들을 위한 제로-양자화 지수들의 세트, 또는 종래에 제로 값들의 런(run)"으로 불린 것과 같은, 특이적이고 매우 효율적인 코딩을 갖는 엔트로피 인코더 내로 전달되는 양자화 지수들이 존재한다.
그러나, 도 1a의 오디오 인코더에서, 양자화기 프로세서는 일반적으로 스펙트럼 분석기로부터 제 2 스펙트럼 부분들에 대한 정보를 수신한다. 따라서, 양자화기 프로세서(404)는 양자화기 프로세서(404)의 출력에 있어서, 스펙트럼 분석기(102)에 의해 정의되는 것과 같이 제 2 스펙트럼 부분들이 0이거나 또는 특히 스펙트럼 내에 제로 값들의 "런"이 존재할 때, 매우 효율적으로 코딩될 수 있는 제로 표현으로서 인코더 또는 디코더에 의해 인정되는 표현을 갖도록 한다.
도 4b는 양자화기 프로세서의 일 구현을 도시한다. 변형 이산 코사인 변환 스펙트럼 값들은 제로 블록(410)으로의 설정 세트 내로 입력될 수 있다. 그리고 나서, 제 2 스펙트럼 부분들은 블록(412) 내에서 스펙트럼 인자들에 의한 가중 이전에 이미 0으로 설정된다. 부가적인 구현에서, 블록(410)은 제공되지 않으나, 가중 블록(412) 뒤의 블록(418)에서 0으로의 설정 협력이 실행된다. 또 다른 구현에서, 양자화 블록(420) 내에서의 양자화 뒤에 0으로의 설정 블록(422) 내에서 0으로의 설정 운용이 또한 실행될 수 있다. 이러한 구현에서, 블록들(410 및 413)은 존재하지 않을 수 있다. 일반적으로, 특정 구현에 따라 블록들(410, 418, 422) 중 적어도 하나가 제공된다.
그리고 나서, 블록(422)의 출력에서, 도 3a에 도시된 것과 상응하는 양자화된 스펙트럼이 획득된다. 양자화된 스펙트럼은 그리고 나서 허프만 코더(Huffman coder) 또는 예를 들면 통합 음성 오디오 코딩 표준에서 정의되는 것과 같은 산술 코더일 수 있는, 도 2b의 232와 같은 엔트로피 코더 내로 입력된다.
대안으로서 서로 또는 병렬로 제공되는 0으로의 설정 블록들(410, 418, 422)은 스펙트럼 분석기(424)에 의해 제어된다. 스펙트럼 분석기는 바람직하게는 잘 알려진 음조성 검출기의 어떠한 구현을 포함하거나 또는 스펙트럼을 높은 해상도로 인코딩되려는 성분들과 낮은 해상도로 인코딩되려는 성분들로 분리하도록 운용되는 어떠한 다른 종류의 검출기를 포함한다. 스펙트럼 분석기에서 구현되는 그러한 다른 알고리즘들은 보이스 활성 검출기(voice activity detector), 잡음 검출기, 음성 검출기 또는 서로 다른 스펙트럼 부분들을 위한 해상도 요구사항에 대한 스펙트럼 정보 또는 관련 메타데이터에 따라 결정하는 어떠한 다른 검출기일 수 있다.
도 5a는 예를 들면 고급 오디오 코딩 또는 통합 음성 오디오 코딩에서 구현되는 것과 같은, 도 1a의 시간 스펙트럼 변환기(100)의 바람직한 구현을 도시한다. 시간 스펙트럼 변환기(100)는 트랜지언트 검출기(504)에 의해 제어되는 윈도우어(windower, 502)를 포함한다. 트랜지언트 검출기(504)가 트랜지언트를 검출할 때, 긴 윈도우들로부터 짧은 윈도우들로의 전환(switchover)이 윈도우어에 시그널링된다. 윈도우어(502)는 그리고 나서 블록들의 오버래핑을 위하여, 윈도우잉된(windowed) 프레임들을 계산하는데, 각각의 윈도우잉된 프레임은 일반적으로 2048 값들과 같은 두 개의 N 값을 갖는다. 그리고 나서, 블록 변환기(506) 내의 변환이 실행되고, 이러한 블록 변환기는 일반적으로 부가적으로 대시메이션(decimation)을 제공하며, 따라서 변형 이산 코사인 변환 스펙트럼 값들과 같은 N 값들을 갖는 스펙트럼 프레임을 획득하기 위하여 결합된 데시메이션/변환이 실행된다. 따라서, 긴 윈도우 운용을 위하여, 블록(506)의 입력에서의 프레임은 2048 값들과 같은 두 개의 N 값을 포함하고 스펙트럼 프레임은 그때 1024 값들을 갖는다. 그러나, 그리고 나서 8개의 짧은 블록이 실행될 때 짧은 블록들로의 전환이 실행되며 각각의 짧은 블록은 긴 윈도우와 비교하여 1/8 윈도우잉된 시간 도메인을 갖고 각각의 스펙트럼 블록은 긴 블록과 비교하여 1/8 스펙트럼 값들을 갖는다. 따라서, 데시메이션이 윈도우어의 50% 오버랩 운용과 결합될 때, 스펙트럼은 시간 도메인 오디오 신호(99)의 중요하게 샘플링된 버전이다.
그 뒤에, 더 1b의 주파수 재생기(118) 및 스펙트럼-시간 변환기(118), 또는 도 2a의 블록들(208, 212)의 운용의 특정 구현을 도시한 도 5b가 참조된다. 도 5b에서, 도 3a의 스케일 인자 대역(6)과 같은 특정 재구성 대역이 고려된다. 이러한 재구성 대역 내의 제 1 스펙트럼 부분, 즉 도 3a의 제 1 스펙트럼 부분(306)은 프레임 빌더(frame builder)/조정기 블록(510) 내로 입력된다. 게다가, 스케일 인자 대역(6)을 위한 재구성된 제 2 스펙트럼 부분이 또한 프레임 빌더/조정기(510) 내로 입력된다. 게다가, 스케일 인자 대역(6)을 위한 도 3b의 E3과 같은 에너지 정보가 또한 블록(510) 내로 입력된다. 재구성 대역 내의 재구성된 제 2 스펙트럼 부분은 이미 소스 영역을 사용하여 주파수 타일 필링에 의해 발생되었고 재구성 대역은 그리고 나서 표적 범위와 상응한다. 이제, 그리고 나서 예를 들면 도 2a의 결합기(208)의 출력에서 획득된 것과 같은 N 값을 갖는 최종적으로 완전한 재구성된 프레임을 획득하기 위하여 프레임의 에너지 조정이 실행된다. 그리고 나서 블록(512)에서, 예를 들면 블록(512)의 입력에서 124 스펙트럼 값들을 위한 248 시간 도메인 값들을 획득하기 위하여 역 블록 변환/보간(interpolation)이 실행된다. 그리고 나서, 인코딩된 오디오 신호 내의 부가 정보로서 전송된 긴 윈도우/짧은 윈도우 표시에 의해 다시 제어되는 합성 윈도우잉 운용이 실행된다. 그리고 나서 블록(516)에서, 이전 시간 프레임을 갖는 오버랩/애드 운용이 실행된다. 바람직하게는, 변형 이산 코사인 변환은 50% 오버랩을 적용하며, 따라서 2N 값들의 각각의 새로운 시간 프레임을 위하여, N 시간 도메인 값들이 최종적으로 출력된다. 50% 오버랩은 블록(516) 내의 오버랩/애드 운용에 기인하여 하나의 프레임으로부터 그 다음 프레임으로 중요한 샘플링과 지속적인 크로스오버를 제공한다는 사실 때문에 매우 바람직하다.
도 3a의 301에 도시된 것과 같이, 잡음-필링 운용은 부가적으로 도 3a의 스케일 인자 대역과 일치하는 고려된 재구성 대역을 위한 것과 같이 지능형 갭 필링 시작 주파수 아래에서뿐만 아니라 지능형 갭 필링 시작 주파수 위에서도 적용될 수 있다. 그리고 나서, 잡음-필링 스펙트럼 값들은 또한 프레임 빌더/조정기(510) 내로 입력될 수 있고 잡음-필링 스펙트럼 값들의 조정이 또한 이러한 블록 내에 적용될 수 있거나 또는 잡음-필링 스펙트럼 값들은 프레임 빌더/조정기(510) 내로 입력되기 전에 잡음-필링 에너지를 사용하여 이미 조정될 수 있다.
바람직하게는, 지능형 갭 필링 운용, 즉 다른 부분들로부터 스펙트럼 값들을 사용하는 주파수 타일 필링 운용은 완전한 스펙트럼 내에서 적용될 수 있다. 따라서, 스펙트럼 타일 필링 운용은 지능형 갭 필링 시작 주파수 위의 고대역에서 뿐만 아니라 저대역에서도 적용될 수 있다. 게다가, 주파수 타일 필링이 없는 잡음-필링은 또한 지능형 갭 필링 시작 주파수 아래에서뿐만 아니라 지능형 갭 필링 시작 주파수 위에서도 적용될 수 있다. 그러나, 높은 품질 및 고효율 오디오 인코딩은 잡음-필링 운용이 지능형 갭 필링 시작 주파수 아래의 주파수 범위에 한정될 때, 그리고 주파수 타일 필링 운용이 도 3a에 도시된 것과 같이 지능형 갭 필링 시작 주파수 위의 주파수 범위에 제한될 때 획득될 수 있다는 것을 발견하였다.
바람직하게는, 표적 터일(TT, 지능형 갭 필링 시작 주파수보다 큰 주파수들을 갖는)은 완전 비율 코더의 스케일 인자 대역 경계들로 향한다. 정보가 얻어지는 소스 타일들(ST)은, 즉 지능형 갭 필링 시작 주파수보다 낮은 주파수들을 위하여 스케일 인자 대역 경계들에 얽매이지 않는다. 소스 타일의 크기는 관련된 표적 타일의 크기와 상응하여야만 한다. 이는 다음의 예를 사용하여 설명된다. TT[0]은 10 변형 이산 코사인 변환 빈들의 크기를 갖는다. 이는 정확하게 두 개의 뒤따르는 스케일 인자 대역의 길이(4+6과 같이)와 상응한다. 그리고 나서 TT[0]과 상관되는 모든 가능한 소스 타일이 10 빈의 길이를 갖는다. TT[0]에 인접한 제 2 표적 타일(TT[1])은 15 빈의 길이를 갖는다(7+8의 길이를 갖는 스케일 인자 대역). 그리고 나서, 이를 위한 소스 타일은 TT[0]에 대하여 10 빈보다는 15 빈의 길이를 갖는다.
표적 타일의 길이를 갖는 소스 타일을 위한 표적 타일을 발견할 수 없는 경우가 발생하면(예를 들면 표적 타일의 길이가 이용가능한 소스 범위보다 클 때), 상관관계는 계산되지 않으며 소스 범위는 표적 타일(TT)이 완전히 채워질 때까지 이러한 표적 타일 내로 여러 번 복사된다(복사는 두 번째 복사의 최저 주파수를 위한 주파수 라인이 첫 번째 복사의 최고 주파수를 위한 주파수 라인을 바로 뒤따르도록 번갈아 수행된다).
그 뒤에, 도 1b의 주파수 재생기(116) 또는 도 2a의 지능형 갭 필링 블록(202)의 또 다른 바람직한 실시 예를 도시한 도 5c가 참조된다. 블록(522)은 표적 대역 식별뿐만 아니라 부가적으로 소스 대역 식별을 수신하는 주파수 타일 발생기이다. 바람직하게는, 인코더 면 상에서 도 3a의 스케일 인자 대역(3)이 스케일 인자 대역(7)을 재구성하기에 매우 적합하다는 것을 결정하였다. 따라서, 소스 대역 식별은 2일 수 있으며 표적 대역 식별은 7일 수 있다. 이러한 정보를 기초로 하여, 주파수 타일 발생기(522)는 스펙트럼 성분들(523)의 원시 제 2 부분들을 발생시키기 위하여 고조파 타일 필링 운용 또는 어떠한 다른 필링 운용까지 복사를 적용한다. 스펙트럼 성분들의 원시 제 2 부분들은 제 1 스펙트럼 부분들의 제 1 세트 내에 포함된 주파수 해상도와 동일한 주파수 해상도를 갖는다.
그리고 나서, 도 3a의 307과 같은 재구성 대역의 제 1 스펙트럼 부분이 프레임 빌더(524) 내로 입력되고 원시 제 2 부분(523)이 또한 프레임 빌더(524) 내로 입력된다. 그리고 나서, 재구성된 프레임은 이득 인자 계산기(528)에 의해 계산되는 재구성 대역을 위한 이득 인자를 사용하여 조정기(526)에 의해 조정된다. 그러나 중요하게도, 프레임 내의 제 1 스펙트럼 부분은 조정기(526)에 의해 영향을 받지 않으나, 재구성 프레임을 위한 원시 제 2 부분만이 조정기(526)에 의해 영향을 받는다. 이를 위하여, 이득 인자 계산기(528)는 소스 대역 또는 원시 제 2 부분(523)을 분석하고 부가적으로 스케일 인자 대역(7)이 고려될 때, 조정기(526)에 의해 출력된 조정된 프레임의 에너지가 에너지(E4)를 갖도록 최종적으로 정확한 이득 인자(527)를 찾기 위하여 재구성 대역 내의 제 1 스펙트럼 부분을 분석한다.
이러한 문맥에서, 고효율 고급 오디오 코딩과 비교하여 본 발명의 고주파수 재구성 정확도를 평가하는 것은 매우 중요하다. 이는 도 3a의 스케일 인자 대역(7)과 관련하여 설명된다. 도 13a에 도시된 것과 같은 종래의 인코더는 "손실 고조파"로서 높은 해상도로 인코딩되려는 스펙트럼 부분(307)을 검출할 수 있는 것으로 추정된다. 그리고 나서, 이러한 스펙트럼 성분의 에너지는 스케일 인자 대역(7)과 같은 재구성 대역을 위한 스펙트럼 엔벨로프 정보와 함께 디코더로 전송될 수 있다. 그리고 나서, 디코더는 손실 고조파를 재생성할 수 있다. 그러나, 손실 고조파(307)가 도 13a의 종래의 디코더에 의해 재구성될 수 있는 스펙트럼 값은 재구성 주파수(390)에 의해 나타내는 주파수에서 대역(7)의 중간에 존재할 수 있다. 따라서, 본 발명은 도 13d의 종래의 디코더에 의해 도입될 수 있는 주파수 오류(391)를 방지한다.
일 구현에서, 스펙트럼 분석기는 또한 제 1 스펙트럼 부분들과 제 2 스펙트럼 부분들 사이의 유사성들을 계산하도록 구현되고 계산된 유사성들을 기초로 하여, 재구성 범위 내의 제 2 스펙트럼 부분을 위하여 가능한 한 빨리 제 2 스펙트럼 부분과 매칭하는 제 1 스펙트럼 부분을 결정한다. 그리고 나서 이러한 가변 소스/목적지 범위 구현에서, 파라미터 코더가 부가적으로 제 2 인코딩된 표현 내로 도입될 것이며 매칭 정보는 각각의 목적지 범위를 위하여 매칭 소스 범위를 나타낸다. 디코더 면 상에서, 이러한 정보는 그리고 나서 소스 대역 식별과 표적 대역 식별을 기초로 하여 원시 제 2 부분(523)의 발생을 나타내는 도 5c의 주파수 타일 발생기(522)에 의해 사용될 수 있다.
게다가, 도 3a에 도시된 것과 같이, 스펙트럼 분석기는 샘플링 주파수의 반 이하의 적은 양이고 바람직하게는 샘플링 주파수의 적어도 1/4 또는 일반적으로 높은 최대 분석 주파수까지 스펙트럼 표현을 분석하도록 구성된다.
도시된 것과 같이, 인코더는 다운샘플링 없이 운용하고 디코더는 업샘플링 없이 운용한다. 바꾸어 말하면, 스펙트럼 도메인 오디오 코더는 원래 입력된 오디오 신호의 샘플링 레이트에 의해 정의되는 나이퀴스트 주파수(Nyquist frequency)를 갖는 스펙트럼 표현을 발생시키도록 구성된다.
게다가, 도 3a에 도시된 것과 같이, 스펙트럼 분석기는 갭 필링 시작 주파수로 시작하여 스펙트럼 표현 내에 포함된 최대 주파수에 이해 표현되는 최대 주파수로 끝나는 스펙트럼 표현을 분석하도록 구성되며, 최소 주파수로부터 갭 필링 시작 주파수까지 확장하는 스펙트럼 부분은 스펙트럼 부분들의 제 1 세트에 속하고 갭 필링 주파수 위의 주파수 값들을 갖는 304, 305, 306, 307과 같은 또 다른 스펙트럼 부분은 부가적으로 제 1 스펙트럼 부분들의 제 1 세트 내에 포함된다.
설명된 것과 같이, 스펙트럼 도메인 오디오 디코더(112)는 제 1 디코딩된 표현 내의 스펙트럼 값에 의해 표현되는 최대 주파수가 샘플링 레이트를 갖는 시간 주파수 내에 포함되는 최대 주파수와 동일하도록 구성되며 제 1 스펙트럼 부분들의 제 1 세트 내의 최대 주파수를 위한 스펙트럼 값은 0이거나 또는 0과 다르다. 어쨌든, 스펙트럼 성분들의 제 1 세트 내의 최대 주파수를 위하여 스케일 인자 대역 내의 모든 스펙트럼 값이 도 3a와 3b의 맥락에서 논의된 것과 같이 0으로 설정되거나 또는 그렇지 않은지와 관계없이 발생되거나 또는 전송되는, 스케일 인자 대역을 위한 스케일 인자가 존재한다.
따라서, 본 발명은 압축 효율을 증가시키기 위한 다른 파라미터 기술들, 예를 들면 잡음 대체 및 잡음 필링(이러한 기술들은 독점적으로 잡음 같은 국부적 신호 콘텐츠의 효율적인 표현을 위한 것이다)과 관련하여 본 발명은 음조 성분들의 정확한 주파수 재생을 허용한다는 점에서 바람직하다. 지금까지, 어떠한 최신 기술도 저대역과 고대역 내의 고정된 연역적 세분의 제한 없이 스펙트럼 갭 필링에 의한 임의적 신호 콘텐츠의 효율적인 파라미터 표현을 다루지 못한다.
본 발명의 시스템의 실시 예들은 종래 접근법들을 향상시키고 이에 의해 낮은 비트레이트들에서도 높은 압출 효율, 없거나 매우 적은 지각적 어노이언스(annoyance), 및 완전한 오디오 대역폭을 제공한다.
*일반적인 시스템은 다음을 구성한다:
● 완전 대역 코어 코딩
● 지능형 갭 필링(타일 필링 또는 잡음 필링)
● 음조 마스크에 의해 선택되는 코어 내의 희소 음조 부분들
● 터일 필링을 포함하는, 완전 대역을 위한 조인트 스테레오 쌍 코딩
● 타일 상의 시간적 잡음 형상화
● 지능형 갭 필링 범위 내의 스펙트럼 백색화
더 효율적인 시스템을 향한 제 1 단계는 스펙트럼 데이터를 코어 코더와 다른 제 2 변환 도메인으로 변환하기 위한 필요성을 제거하는 것이다. 예를 들면 고급오디오 코딩과 같은, 대부분의 오디오 코덱들이 기본 변환으로서 변형 이산 코사인 변환을 사용하기 때문에 변형 이산 코사인 변환 도메인 내의 대역폭 확장을 실행하는 것이 또한 유용하다. 대역폭 확장 시스템의 두 번째 요구사항은 고주파수 음조 성분들이 보존되고 코딩된 오디오의 품질이 따라서 현존하는 시스템들보다 뛰어난 음조 그리드들 보존하기 위한 필요성일 수 있다. 위에 언급된 대역폭 확장 전략을 위한 요구사항 모두를 처리하기 위하여, 지능형 갭 필링으로 불리는 새로운 시스템이 제안된다. 도 2b는 인코더 면 상의 제안된 시스템의 다이어그램을 도시하고 도 2a는 디코더 면 상의 시스템을 도시한다.
도 6a는 본 발명이 또 다른 구현에서 인코딩된 오디오 신호를 디코딩하기 위한 장치를 도시한다. 디코딩을 위한 장치는 스펙트럼 부분들의 제 1 세트의 제 1 디코딩된 표현을 발생시키기 위한 스펙트럼 도메인 오디오 디코더(602) 및 제 1 스펙트럼 부분들의 제 1 세트의 제 1 스펙트럼 부분을 사용하여 재구성된 다운스트림을 발생시키기 위한 주파수 재생기(604)를 포함한다. 603에 도시된 것과 같이, 제 1 스펙트럼 부분과 제 2 스펙트럼 부분 내의 스펙트럼 값들은 스펙트럼 예측 잔류 값들이다. 이러한 스펙트럼 예측 잔류 값들을 완전한 스펙트럼 표현으로 변환하기 위하여, 스펙트럼 역 예측 필터(606)가 제공된다. 이러한 스펙트럼 역 예측 필터는 제 1 주파수의 제 1 세트와 재구성된 제 2 스펙트럼 부분들을 위한 스펙트럼 전류 값들을 사용하여 주파수에 대한 역 예측을 실행하도록 구성된다. 스펙트럼 역 예측 필터(606)는 인코딩된 오디오 신호 내에 포함된 필터 정보에 의해 구성된다. 도 6b는 도 6a의 더 상세한 구현을 도시한다. 스펙트럼 예측 잔류 값들(603)은 재구성 대역을 위하거나 또는 특정 제 2 주파수 부분을 위한 원시 스펙트럼 값들을 발생시키는 주파수 타일 발생기(612) 내로 입력되고 고해상도 제 1 스펙트럼 표현과 동일한 해상도를 갖는 이러한 원시 데이터는 스펙트럼 형상기(614) 내로 입력된다. 스펙트럼 형상기는 이제 비트스트림 내에 전송된 엔벨로프 정보를 사용하여 스펙트럼을 형상화하고 스펙트럼으로 형상화된 데이터는 그리고 나서 최종적으로 비트스트림을 거쳐 인코더로부터 디코더로 전송되는 필터 정보(607)를 사용하여 완전한 스펙트럼 값들의 프레임을 발생시키는 스펙트럼 예측 필터(616)에 적용된다.
도 6b에서, 디코더 면 상에서, 엔벨로프 정보의 계산 뒤에 비트스트림을 거쳐 전송되고 라인(607)을 거쳐 사용되는 필터 정보의 계산이 실행된다. 따라서, 바꾸어 말하면, 도 6b의 디코더와 매칭하는 인코더는 먼저 스펙트럼 잔류 값들을 계산할 수 있고 그리고 나서 예를 들면 도 7a에 도시된 것과 같이, 스펙트럼 전류 값들을 갖는 엔벨로프 정보를 계산할 수 있다. 그러나, 특정 구현들을 위하여 또한 다른 구현이 사용하며, 엔벨로프 정보는 인코더 면 상에서 시간적 잡음 형상화 또는 시간적 타일 형상화 필터링을 실행하기 전에 계산된다. 그리고 나서, 블록(524)에서 스펙트럼 형상화를 실행하기 전에 스펙트럼 예측 필터(622)가 적용된다. 따라서, 바꾸어 말하면, (완전한) 스펙트럼 값들은 스펙트럼 형상화 운용이 적용되기 전에 발생된다.
바람직하게는, 복소수 값의 시간적 잡음 형상화 필터 또는 시간적 타일 형상화 필터가 계산된다. 이는 도 7a에 도시된다. 원래 오디오 신호는 복소수 변형 이산 코사인 변환 블록(702) 내로 입력된다. 그리고 나서 복소수 도메인 내에서 시간적 타일 형상화 필터 계산과 시간적 타일 형상화 필터링이 실행된다. 그리고 나서, 블록(706) 내에서, 지능형 갭 필링 부가 정보가 계산되고 코딩 등을 위한 스펙트럼 분석과 같은 어떠한 다른 운용이 또한 계산된다. 그리고 나서, 도 7a의 X(k)에 나타낸 제 1 스펙트럼 부분들의 제 1 세트를 획득하기 위하여 블록(706)에 의해 발생되는 제 1 스펙트럼 부분의 제 1 세트가 708에 도시된 음향심리학적 모델 구동 인코더로 인코딩되며 이러한 모든 데이터는 비트스트림 멀티플렉서(710)에 전달된다.
디코더 면 상에서, 인코딩된 데이터는 한편으로는 지능형 갭 필링 부가 정보, 다른 한편으로는 시간적 타일 형상화 부가 정보 및 제 1 스펙트럼 부분들의 제 1 세트의 인코딩된 표현을 분리하기 위하여 디멀티플렉서(720) 내로 입력된다.
그리고 나서, 하나 또는 그 이상의 실수치(real-valued) 스펙트럼으로부터 복소수 스펙트럼을 계산하기 위하여 블록(724)이 사용된다. 그리고 나서, 재구성 대역을 위한 제 2 스펙트럼 부분들의 제 2 세트 내에 재구성된 주파수 값들을 발생시키기 위하여 실수치와 복소수 스펙트럼 모두 블록(726) 내로 입력된다. 그리고 나서, 완전히 획득되고 타일로 채워진 안전한 대역 프레임 상에서, 역 시간적 타일 형상화 운용이 실행되고, 디코더 면 상에서, 블록(730)에서 최종 역 복소수 변형 이산 코사인 변환 운용이 실행된다. 따라서, 복소수 시간적 잡음 형상화 필터 정보의 사용은 코어 대역 내에서 또는 개별 타일 대역들 내에서 적용될 뿐만 아니라 코어/타일 경계들 또는 타일/타일 경계들을 넘어 적용될 때 자동으로 타일 경계 처리를 발생시키도록 허용하며, 이는 결국에는 타일들 사이의 상관관계를 재도입한다. 타일 경계들을 넘는 이러한 스펙트럼 상관관계는 주파수 타일들의 발생 및 주파수 타일들의 이러한 원시 데이터에 대한 스펙트럼 엔벨로프 조정의 실행에 의해서만 획득되지는 않는다.
도 7c는 원래 신호(왼쪽 패널) 및 시간적 타일 형상화 없는 확장된 신호의 비교를 도시한다. 750에 도시된 상부 주파수 범위 내에 확장된 부분들에 의해 나타낸 강력한 아티팩트들이 존재한다는 것을 알 수 있다. 그러나, 이는 750에서의 동일한 스펙트럼 부분이 도 7c의 아티팩트 관련 성분(750)과 비교될 때 도 7e에서는 발생하지 않는다.
실시 예들 또는 본 발명의 오디오 코딩 시스템은 인코더 내의 신호의 지각적으로 가장 관련된 구조만을 파형 코딩하기 위하여 가변 비트레이트의 주요 공유를 사용하며, 결과로서 생기는 스펙트럼 갭들은 원래 스펙트럼과 거의 근사치의 신호 콘텐츠를 갖는 디코더에 채워진다. 인코더로부터 디코더로 전송되는 전용 부가 정보에 의해 파라미터로 구동되는 이른바 스펙트럼 지능형 갭 필링을 제어하기 위하여 매우 제한된 비트 예산이 소비된다.
오디오 신호들의 저장 또는 전송은 때때로 엄격한 비트레이트 제약의 대상이 된다. 과거에, 코더들은 매우 낮은 비트레이트만이 이용가능할 때 전송된 오디오 대역폭을 대폭 감소시키도록 강요당했다. 현대 오디오 코더들은 이제 스펙트럼 대역폭 복제(SBR)와 같은 대역폭 확장 방법들을 이용함으로써 광대역 신호들을 코딩할 수 있다([1]). 이러한 알고리즘들은 고주파수 콘텐츠의 파라미터 표현에 의존하며, 고주파수 스펙트럼 영역으로의 치환 및 파라미터 구동 후처리의 적용에 의해 디코딩된 신호의 파형 코딩된 저주파수 부분으로부터 발생된다. 대역폭 확장 전략들에서, 주어지는 이른바 크로스오버 주파수 위의 고주파수 스펙트럼 영역의 재구성은 종종 스펙트럼 패칭을 기초로 한다. 일반적으로, 고주파수 영역은 다수의 인접한 패치로 구성되고 이러한 패치들 각각은 주어진 크로스오버 주파수 아래의 저주파수 스펙트럼의 대역-통과 영역들로부터 기원한다. 최신 시스템들은 소스로부터 표적 영역으로 인접한 부대역 계수들의 세트를 복사함으로써 필터뱅크 표현 내에서 패칭을 효율적으로 실행한다.
만일 대역폭 확장 시스템이 필터뱅크 또는 시간-주파수 변환 도메인 내에서 구현되면, 대역폭 확장 신호의 시간적 형태를 제어하기 위하여 제한된 가능성만이 존재한다. 일반적으로, 시간적 입상도는 인접한 변환 원도우들 사이에서 사용되는 홉-크기에 의해 제한된다. 이는 대역폭 확장 스펙트럼 범위 내의 원치 않는 전- 또는 후-에코에 이르게 할 수 있다.
지각적 오디오 코딩으로부터, 오디오 신호의 시간적 엔벨로프의 형상은 시간적 엔벨로프 형상화 같은 스펙트럼 필터링 기술들을 사용함으로써 복원될 수 있다는 것이 알려졌다. 그러나, 최신 기술로부터 알려진 시간적 잡음 형상화 필터는 실수치 필터 또는 실수치 스펙트럼들이다. 실수치 스펙트럼 상의 그러한 실수치 필터는 특히 만일 기본적인 실제 변환이 변형 이산 코사인 변환이면, 에일리어싱 아티팩트(aliasing artifact)들에 의해 심각하게 손상될 수 있다.
시간적 엔벨로프 타일 형상화는 예를 들면 복소수 변형 이산 코사인 변환(CMDCT)으로부터 획득되는 것과 같은, 복소수 값의 스펙트럼 상에서 복소수 필터링을 적용한다. 이에 의해 에일리어싱 아티팩드들이 방지된다.
시간적 타일 형상화는 다음과 같이 구성된다:
● 복소수 필터 계수 추정 및 인코더 내의 원래 신호 스펙트럼 상의 편평화 필터의 적용
● 부가 정보 내의 필터 계수들의 전송
● 디코더 내의 타일 필링된 재구성된 스펙트럼 상의 형상화 필터의 적용
본 발명은 오디오 변환 코딩으로부터, 특히 대역폭 확장의 맥락에서 변형된 방식으로의 사용을 위하여, 주파수 방향을 따라 선형 예측에 의한 시간적 잡음 형상화로부터 알려진 최신 기술을 확장한다.
또한 본 발명의 대역폭 확장 알고리즘은 지능형 갭 필링을 기초로 하나, 신호의 임계적으로 샘플링된 변형 이산 코사인 변환 표현에 의존하는 지능형 갭 필링 표준 구성과는 대조적으로, 오버샘플링된, 복소수 값의 변환(CMDCT)을 사용한다. 복소수 변형 이산 코사인 변환은 각각의 복소수 값의 스펙트럼 계수들의 실수 부분 내의 변형 시산 코사인 변환 계수들 및 허수 부분의 변형 이산 코서인 변환 계수들의 결합으로서 알 수 있다.
지능형 갭 필링의 맥락에서 새로운 접근법이 설명되나, 본 발명의 처리는 오디오 신호의 필터 뱅크 표현을 기초로 하는 어떠한 대역폭 확장 방법과 조합하여 사용될 수 있다.
이러한 신규 맥락에서, 주파수 방향을 따른 선형 예측은 시간적 잡음 형상화로서 사용되지 않고, 오히려 시간적 타일 형상화 기술로서 사용된다. 타일 필링된 신호 성분들은 최신 지각적 변환 코더들 내의 시간적 타일 형상화에 의한 양자화 잡음 형상화와 대조적으로, 시간적 타일 형상화에 의해 형상화된다는 사실에 의해 재명명(renaming)이 정당화된다.
도 7a는 지능형 갭 필링을 사용하는 대역폭 확장 및 새로운 시간적 타일 형상화 접근법의 블록 다이어그램을 도시한다.
따라서 기본 인코딩 전략은 다음과 같이 운용된다:
- 주파수 도메인 신호(X9k))를 얻기 위하여 시간 도메인 신호(x(n))의 변형 이산 코사인 변환을 계산한다
- 복소수 값의 시간적 타일 형상화 필터를 계산한다
- 대역폭 확장을 위한 부가 정보를 획득하고 디코더에 의해 복제되어야만 하는 스펙트럼 정보를 제거한다
- 음향심리학적 모듈(PAM)을 사용하여 양자화를 적용한다
- 데이터를 저장/전송하며, 실수치의 변형 이산 코사인 변환 계수들만이 전송된다
도 7b는 상응하는 디코더를 도시한다. 이는 주로 인코더 내에서 수행되는 단계들과 반대된다.
여기서, 기본 디코딩 전략은 다음과 같이 운용한다:
- 변형 이산 코사인 변환 값들로부터 변형 이산 사인 변환 계수들을 추정하고(이러한 과정은 하나의 블록 디코더 지연을 추가한다) 변형 이산 코사인 변환 및 변형 이산 사인 변환 값들을 복소수 값의 복소수 변형 이산 코사인 변환 계수들로 결합한다
- 그것의 후처리로 타일 필링을 실행한다
- 전송된 시간적 타일 형상화 필터 계수들로 역 시간적 타일 형상화 필터링을 적용한다
- 역 복소수 변형 이산 코사인 변환
대안으로서, 시간적 타일 형상화 합성 및 지능형 갭 필링 후-처리의 순서는 또한 만일 시간적 타일 형상화 분석과 지능형 갭 필링 파라미터 추정이 인코더 내에서 지속적으로 역전되면 디코더 내에서 역전될 수 있다는 것에 유의하여야 한다.
*효율적인 변환 코딩을 위하여, 합리적인 변환 이득을 달성하기 위하여 바람직하게는 약 20 ms의 이른바 "긴 블록들"이 사용되어야만 한다. 만일 그러한 긴 블록 내의 신호가 트랜지언트들을 포함하면, 타일 필링에 기인하여 재구성된 스펙트럼 대역들 내에 가청 전- 및 후-에코들이 발생한다. 도 7c는 지능형 갭 필링에 기인하여 트랜지언트들을 손상시키는 일반적인 전- 및 후-에코 효과들을 도시한다. 도 76c의 왼쪽 패널 상에서, 원래 신호의 스펙트로그램이 도시되고, 오른쪽 패널 상에 본 발명의 시간적 타일 형상화 필터링 없이 타일 필링된 신호의 스펙트로그램이 도시된다. 이러한 예에서, 코어 대역과 타일 필링 대역 사이의 지능형 갭 필링 시작 주파수(f IGFstart 또는 f Split )는 f s 1/4가 되도록 선택된다. 도 7c의 오른쪽 패널 상에서, 트랜지언트를 둘러싸는 뚜렷한 전- 및 후-에코들이 보이고 특히 복제된 주파수 영역의 상부 스펙트럼 단부에 두드러진다.
시간적 타일 형상화 모듈의 주요 작업은 트랜지언트 주위의 가까운 인근에 이러한 원치 않는 신호 성분들을 국한시키고 그것들을 인간 지각의 시간적 마스킹 효과에 의해 통제되는 시간적 영역 내에 감추는 것이다. 따라서, 복소수 변형 이산 코사인 변환 도메인 내의 "순방향 예측"을 사용하여 필요한 시간적 타일 형상화 예측 계수들이 계산되고 적용된다.
시간적 타일 형상화와 지능형 갭 필링을 하나의 코덱으로 결합하는 일 실시 예에서, 지능형 갭 필링 타일이 하나의 시간적 타일 형상화 필터(평탄화 또는 형상화 필터)에 의해 완전히 필터링되거나 또는 그렇게 되지 않는 것과 같이 특정 시간적 타일 형상화 파라미터들과 지능형 갭 필링 파라미터들을 정렬하는 것이 중요하다. 따라서, TTSstart[..] 또는 TTSstop[..] 주파수들은 지능형 갭 필링 타일 내에 포함되어서는 안 되며, 오히려 각각의 f IGF .. 주파수들에 정렬되어야만 한다. 도 7d는 세 개의 시간적 타일 형상화 필터의 세트를 위한 시간적 타일 형상화 및 지능형 갭 필링 운용 영역들의 일례를 도시한다.
시간적 타일 형상화 중단 주파수는 f IGFstart 보다 높은, 지능형 갭 필링 공구의 주파수를 중단시키도록 조정된다. 만일 시간적 타일 형상화가 하나보다 많은 필터를 사용하면, 두 개의 필터 사이의 크로스오버 주파수는 지능형 갭 필링 분할 주파수와 매칭하도록 해야만 한다는 것을 보장하여야만 한다. 그렇지 않으면, 하나의 시간적 타일 형상화 서브-필터가 과-형상화 같은 원치 않는 아티팩트들을 야기하는 f IGFstart 에 대하여 구동할 것이다.
도 7a와 7c에 도시된 구현 변형에서, 부가적으로 디코더 지능형 갭 필링 에너지들이 정확하게 조정되도록 처리되어야만 한다. 이는 만일 시간적 타일 형상화 및 지능형 갭 필링 처리 과정에서, 서로 다른 예측 이득들을 갖는 서로 다른 시간적 타일 형상화 필터들이 하나의 지능형 갭 필링 타일의 소스 영역(평탄화 필터로서)과 표적 스펙트럼 영역(상기 평탄화 필터의 정확한 상대방(counterpart)dl 아닌 형상화 필터로서)에 적용되는 경우에 특히 그러하다. 이러한 경우에 있어서, 적용된 두 시간적 타일 형상화 필터의 예측 이득 비율은 더 이상 동일하지 않으며 따라서 이러한 비율에 의한 에너지 조정이 적용되어야만 한다.
대안의 구현 변형에서, 지능형 갭 필링 후처리와 시간적 타일 형상화의 순서는 역전된다. 디코더 내에서, 이는 지능형 갭 필링 후처리에 의한 에너지 조정이 시간적 타일 형상화 필터링 뒤에 계산되고 이에 의해 합성 변환 이전의 최종 처리 단계라는 것을 의미한다. 따라서, 코딩 동안에 하나의 타일에 적용되는 서로 다른 시간적 타일 형상화 필터 이득들에 상관없이, 최종 에너지는 지능형 갭 필링 처리에 의해 항상 정확하게 조정된다.
디코더 면 상에서, 시간적 타일 형상화 필터 계수들은 완전한 스펙트럼, 즉 재생된 스펙트럼에 의해 다시 확장되는 코어 스펙트럼 상에 다시 적용된다. 시간적 타일 형상화의 적용은 원래 신호의 엔벨로프를 다시 매칭시키기 위하여 재생된 스펙트럼의 시간적 엔벨로프를 형성하는데 필요하다. 따라서 도시된 전-에코들을 감소된다. 게다가, 여전히 레거시 시간적 잡음 형상화에서와 같이 f IGFstart 아래의 신호 내의 양자화 잡음을 시간적으로 형상화한다.
레거시 코더들에서, 오디오 신호(예를 들면, 스펙트럼 대역 복제) 상의 스펙트럼 패칭은 패치 경계들에서 스펙트럼 상관관계의 오류를 발생시키고 이에 의해 분산의 도입에 의한 오디오 신호의 시간적 엔벨로프를 손상시킨다. 따라서, 잔류 신호 상의 지능형 갭 필링 타일 필링의 실행의 또 다른 혜택은 시간적 타일 형상화 필터의 적용 후에, 타일 경계들이 균일하게 상관되고, 더 충실한 신호의 시간적 재생을 야기한다는 것이다.
이에 따라 처리된 신호의 결과가 도 7e에 도시된다. 필터링되지 않은 버전(도 7c, 오른쪽 패널)과 비교하여, 시간적 타일 형상화 필터링된 신호는 원치 않는 전- 및 후-에코들의 뛰어난 감소를 나타낸다(도 7e, 오른쪽 패널).
게다가, 설명된 것과 같이, 도 7a는 도 7b의 디코더 또는 도 6a의 디코더와 매칭하는 인코더를 도시한다. 기본적으로, 오디오 신호를 인코딩하기 위한 장치는 오디오 신호를 스펙트럼 신호로 변환시키기 위한 702와 같은 시간-스펙트럼 변환기를 포함한다. 스펙트럼 표현은 실수 값 스펙트럼 표현일 수 있거나, 또는 블록(702) 내에 도시된 것과 같이 복소수 값 스펙트럼 표현일 수 있다. 게다가, 스펙트럼 잔류 값들을 발생시키기 위하여 주파수에 대한 예측을 실행하기 위한 704와 같은 예측 필터가 제공되며, 예측 필터(704)는 도 7a의 714에 도시된 것과 같이, 오디오 신호로부터 유래하고 비트스트림 멀티플렉서(710)로 전달되는 예측 필터 정보에 의해 정의된다. 게다가, 음향심리학적으로 구동되는 오디오 인코더(704)와 같은 오디오 코더가 제공된다. 오디오 코더는 인코딩된 제 1 스펙트럼 값들의 제 1 세트를 획득하기 위하여 스펙트럼 잔류 값들의 제 1 스펙트럼 부분들의 제 1 세트를 인코딩하도록 구성된다. 부가적으로, 도 7a의 706에 도시된 것과 같은 파라미터 코더가 제 2 스펙트럼 부분들의 제 2 세트를 인코딩하기 위하여 제공된다. 바람직하게는, 제 1 스펙트럼 부분들의 제 1 세트는 제 2 스펙트럼 부분들의 제 2 세트와 비교하여 높은 스펙트럼 해상도로 인코딩된다.
최종적으로, 도 7a에 도시된 것과 같이, 파라미터로 인코딩된 제 2 스펙트럼 부분들의 제 2 세트, 인코딩된 제 1 스펙트럼 부분들의 제 1 세트 및 도 7a의 714에 "TTS info"로서 도시된 필터 정보를 포함하는 인코딩된 신호를 출력하기 위하여 출력 인터페이스가 제공된다.
바람직하게는, 예측 필터(704)는 필터 정보를 계산하기 위하여 스펙트럼 표현의 스펙트럼 값들을 사용하도록 구성되는 필터 정보 계산기를 포함한다. 게다가, 예측 필터는 필터 정보를 계산하기 위하여 스펙트럼 표현의 동일한 스펙트럼 값들을 사용하여 스펙트럼 잔류 값들을 계산하도록 구성된다.
바람직하게는, 시간적 타일 형상화 필터(704)는 고급 오디오 코딩 표준에 따라 시간적 잡음 형상화 공구를 적용하는 종래 오디오 인코더들을 위하여 알려진 동일한 방법으로 구성된다.
그 다음에, 도 8a 내지 8e의 맥락에서 2-채널 디코딩을 사용하는 또 다른 구현이 논의된다. 게다가, 도 2a, 2b의 맥락에서(조인트 채널 코딩(228) 및 조인트 채널 디코딩(204)) 상응하는 소자들의 설명이 참조된다.
도 8a는 디코딩된 2-채널 신호를 발생시키기 위한 오디오 디코더를 도시한다. 오디오 디코더는 제 1 스펙트럼 부분들의 제 1 세트를 획득하기 위하여 인코딩된 2-채널 신호를 디코딩하기 위한 4개의 오디오 디코더(802) 및 부가적으로 제 2 스펙트럼 부분들의 제 2 세트를 위한 파라미터 데이터를 제공하기 위한 파라미터 디코더(804) 및 부가적으로, 제 2 스펙트럼 부분들의 제 1 또는 제 2의 서로 다른 2-채널 표현을 식별하는 2-채널 식별을 포함한다. 부가적으로, 제 1 스펙트럼 부분들의 제 1 세트의 제 1 스펙트럼 부분 및 제 2 부분을 위한 파라미터 데이터와 제 2 부분을 위한 2-채널 식별에 의존하여 제 2 스펙트럼 부분을 재생시키기 위하여 주파수 재생기(806)가 제공된다. 도 8b는 소스 범위와 목적지 범위 내의 2-채널 표현을 위한 서로 다른 결합들을 도시한다. 소스 범위는 2-채널 표현 내에 존재할 수 있고 목적지 범위는 또한 제 1 2-채널 표현 내에 존재할 수 있다. 대안으로서, 소스 범위는 제 1 2-채널 표현 내에 존재할 수 있고 목적지 범위는 제 2 2-채널 표현 내에 존재할 수 있다. 게다가, 소스 범위는 제 2 2-채널 표현 내에 존재할 수 있고 목적지 범위는 도 8b의 제 3 열에 표시된 것과 같이 제 1 2-채널 표현 내에 존재할 수 있다. 최종적으로, 소스 범위와 목적지 범위 모두 제 2 2-채널 표현 내에 존재할 수 있다. 일 실시 예에서, 제 1 2-채널 표현은 2-채널 신호의 두 채널이 개별적으로 표현되는 개별 2-채널 표현이다. 그때, 제 2 2-채널 표현은 2-채널 신호의 두 채널이 결합하여 표현되는, 즉 상응하는 스피커들로의 출력을 위하여 필요한 것과 같이 개별 2-채널 표현을 재계산하기 위하여 또 다른 처리 또는 표현 변환이 필요한, 조인트 표현이다.
일 구현에서, 제 1 2-채널 표현은 왼쪽/오른쪽(L/R) 표현일 수 있고 제 2 2-채널 표현은 조인트 스테레오 표현이다. 그러나, 본 발명을 위하여 왼쪽/오른쪽 또는 M/S 또는 스테레오 예측을 제외하고 다른 2-채널 표현들이 적용될 수 있고 사용될 수 있다.
도 8c는 도 8a의 오디오 디코더에 의해 실행되는 운용들을 위한 플로우 차트를 도시한다. 단계 812에서, 오디오 디코더(802)는 소스 범위의 디코딩을 실행한다. 소스 범위는 도 3a와 관련하여, 스케일 인자 대역들(SCB1 내지 SCB3)을 포함할 수 있다. 게다가, 각각의 스케일 인자 대역을 위하여 2-채널 식별이 존재할 수 있고 스케일 인자 대역(1)은 예를 들면, 제 1 표현(오른쪽/왼쪽과 같은) 내에 존재할 수 있고 제 3 스케일 인자 대역은 M/S 또는 예측 다운믹스/잔류와 같은 제 2 2-채널 표현 내에 존재할 수 있다. 따라서, 단계 812는 서로 다른 대역들을 위한 서로 다른 표현들을 야기할 수 있다. 그리고 나서, 단계 814에서, 주파수 재생기(806)는 주파수 재생을 위한 소스 범위를 선택하도록 구성된다. 단계 816에서, 주파수 재생기(806)는 그리고 나서 소스 범위의 표현을 검사하고 블록(818) 내에서 주파수 재생기(806)는 소스 범위의 2-채널 표현을 표적 범위의 2-채널 표현과 비교한다. 만일 두 표현이 동일하면, 주파수 재생기(806)는 2-채널 신호의 각각의 채널을 위한 개별 주파수 재생을 제공한다. 그러나, 블록(818) 내에 검출된 것과 같이 두 표현이 동일하지 않으면, 신호 흐름(824)이 얻어지고 블록(822)은 표적 범위의 재생을 위하여 소스 범위로부터 다른 2-채널 표현을 계산하고 계산된 다른 2-채널 표현을 사용한다. 따라서, 도 8a의 디코더는 제 1 2-채널 표현 내에 존재하는 소스 범위를 사용하여 제 2 2-채널 표현을 갖는 것과 같이 표시되는 목적지 범위를 재생하는 것을 가능하게 한다. 자연적으로, 본 발명은 부가적으로 동일한 2-채널 식별을 갖는 소스 범위를 사용하여 표적 범위를 재생하도록 허용한다. 그리고, 부가적으로, 본 발명은 조인트 2-채널 표현을 나타내는 2-채널 식별을 갖는 표적 범위를 재생하도록 허용하고 그리고 나서 이러한 표현을 2-채널 신호를 위한 상응하는 스피커들로의 저장 또는 전송에 필요한 개별 채널 표현으로 변환하도록 허용한다.
2-채널 표현의 2개의 채널은 왼쪽 채널 및 오른쪽 채널과 같은 두 개의 스테레오 채널일 수 있다는 것이 강조된다. 그러나, 신호는 또한 예를 들면, 5개의 채널과 하나의 서브-우퍼(sub-woofer)를 갖거나 또는 더 많은 채널을 갖는 다중 채널 신호일 수 있다. 그리고 나서, 도 8a 내지 8e의 맥락에서 논의된 것과 같이 쌍 방식의 2-채널 처리가 실행될 수 있으며 쌍들은 예를 들면, 왼쪽 채널과 오른쪽 채널, 왼쪽 서라운드 채널과 오른쪽 서라운드 채널, 및 중앙 채널과 저주파수 효과(서브우퍼) 채널일 수 있다. 예를 들면, 3가지 2-채널 과정에 의한 6개의 입력 채널을 표현하기 위하여 어떠한 다른 쌍들이 사용될 수 있다.
도 8d는 도 8a와 상응하는 본 발명의 디코더의 블록 다이어그램을 도시한다. 소스 범위 또는 코어 디코더(830)는 오디오 디코더(802)와 상응할 수 있다. 다른 블록들(832, 834, 836, 838, 840, 842 및 846)은 도 8a의 주파수 재생기(806)의 부분들일 수 있다. 특히, 블록(832)은 개별 대역들 내의 소스 범위 표현들을 변환하기 위한 표현 변환기(representation transformer)이며 따라서 블록(832)의 출력에서, 한편으로는 제 1 표현 및 다른 한편으로는 제 2 2-채널 표현 내의 소스 범위의 완전한 세트가 존재한다. 이러한 두 개의 완전한 소스 범위 표현은 소스 범위의 두 표현을 위한 저장장치(storage, 834) 내에 저장될 수 있다.
그리고 나서, 블록(836)은 입력으로서 소스 범위 식별을 사용하고 부가적으로 입력으로서 표적 범위를 를 2- 채널 식별을 사용하여 주파수 타일 재생을 적용한다. 표적 범위를 위한 2-채널 식별을 기초로 하여, 주파수 타일 발생기는 저장장치(834)를 액세스하고 835에서 주파수 타일 발생기 내로 입력된 표적 범위를 위한 2-채널 식별과 매칭하는 소스 범위의 2-채널 표현을 수신한다. 따라서, 표적 범위를 위한 2-채널 식별이 조인트 스테레오 처리를 나타내면, 주파수 타일 발생기(836)는 소스 범위 식별(833)에 의해 나타낸 소스 범위의 조인트 스테레오 표현을 획득하기 위하여 저장장치(834)를 액세스한다.
주파수 타일 발생기(836)는 각각의 표적 범위를 위하여 이러한 운용을 실행하고 주파수 타일 발생기의 출력은 2-채널 식별에 의해 식별되는 채널 표현의 각각의 채널이 존재하기 위한 것이다. 그리고 나서, 엔벨로프 조정기(838)에 의한 엔벨로프 조정이 실행된다. 엔벨로프 조정은 2-채널 식별에 의해 식별되는 2-채널 도메인 내에서 실행된다. 이를 위하여, 엔벨로프 조정 파라미터들이 필요하고 이러한 파라미터들은 설명된 것과 동일한 2-채널 표현 내에서 인코더로부터 디코더로 전송된다. 엔벨로프 조정기에 의해 처리되려는 표적 범위 내의 2-채널 식별이 이러한 표적 범위를 위한 엔벨로프 데이터와 다른 2-채널 표현을 나타내는 2-채널 식별을 가질 때, 파라미터 변환기(840)는 엔벨로프 파라미터들을 필요한 2-채널 표현으로 변환한다. 예를 들면 하나의 대역을 위한 2-채널 표현이 조인트 스테레오 코딩을 나타내고 이러한 표적 범위를 위한 파라미터들이 오른쪽/왼쪽 엔벨로프 파라미터들로서 전송되었을 때, 파라미터 변환기는 표적 범위의 스펙트럼 엔벨로프 조정을 위하여 정확한 파라미터 표현이 사용되도록 하기 위하여 설명된 것과 같이 오른쪽/왼쪽 엔벨로프 파라미터들로부터 조인트 스테레오 엔벨로프 파라미터들을 계산한다.
또 다른 바람직한 실시 예에서, 엔벨로프 파라미터들은 표적 대역 내에 조인트 스테레오가 사용될 때 조인트 스테레오 파라미터들로서 이미 전송된다.
엔벨로프 조정기(838) 내로의 입력이 서로 다른 2-채널 표현들을 갖는 표적 범위들의 세트로 가정될 때, 엔벨로프 조정기(838)로의 출력은 또한 서로 다른 2-채널 표현들 내의 표적 범위들의 세트이다. 표적 범위가 M/S와 같은 일련의 표현을 가질 때, 이러한 표적 범위는 확성기들로의 저장 또는 전송을 위하여 필요한 개별 표현을 계산하기 위한 표현 변환기(842)에 의해 처리된다. 그러나, 표적 범위가 이미 개별 표현을 가질 때, 신호 흐름(844)이 얻어지고 표현 변환기(842)는 우회된다. 블록(842)의 출력에서, 개별 2-채널 표현인 2-채널 스펙트럼 표현이 획득되고 그리고 나서 블록(846)에 의해 나타낸 것과 같이 더 처리되며, 이러한 뒤따르는 처리는 예를 들면, 주파수/시간 변환 또는 어떠한 다른 필요한 처리일 수 있다.
바람직하게는, 제 2 스펙트럼 부분들은 주파수 대역들과 상응하고, 각각의 주파수를 위하여 하나의 플래그가 존재하는 도 8b의 테이블과 상응하는 플래그들의 어레이로서 2-채널 식별이 제공된다. 그때, 파라미터 디코더는 제 1 스펙트럼 부분의 제 1 표현 또는 제 2 표현을 사용하기 위한 플래그에 따라 주파수 재생기(106)를 제어하도록 설정되는지 또는 그렇지 않은지를 검사하도록 구성된다.
일 실시 예에서, 도 3a의 지능형 갭 팔랑 시작 주파수(309)로 시작하는 재구성 범위만이 서로 다른 재구성 대역들을 위한 2-채널 식별들을 갖는다. 또 다른 실시 예에서, 이는 또한 지능형 갭 팔랑 시작 주파수(309) 아래의 범위를 위하여 적용된다.
또 다른 실시 예에서, 소스 대역 식별과 표적 대역 식별은 유사성 분석에 의해 적응적으로 결정될 수 있다. 그러나, 표적 범위에 대한 소스 범위의 고정된 연관성이 존재할 때 본 발명의 2-채널 처리가 또한 적용될 수 있다. 소스 범위는 고조파 주파수 타일 필링 운용에 의하거나 또는 고효율 고급 오디오 코딩으로부터 알려진 다중 패치를 위한 처리와 유사한 두 개 또는 그 이상의 주파수 타일 필링 운용을 사용하는 카피-업(copy-up) 주파수에 의해 주파수와 관련하여 더 넓은 표적 범위를 생성하도록 사용될 수 있다.
도 8a는 2-채널 오디오 신호를 인코딩하기 위한 오디오 인코더를 도시한다. 인코더는 2-채널 오디오 신호를 스펙트럼 표현으로 변환하기 위한 시간-스펙트럼 변환기(860)를 포함한다. 게다가, 2-채널 오디오 채널 오디오 신호를 스펙트럼 표현으로 변환하기 위한 스펙트럼 분석기(866)를 포함한다. 게다가, 스펙트럼 분석기(866)는 어떠한 스펙트럼 부분들이 높은 해상도로 인코딩되는지를 결정하기 위하여, 즉 제 1 스펙트럼 부분들의 제 1 세트를 찾고 부가적으로 제 2 스펙트럼 부분들의 제 2 세트를 찾기 위하여 분석을 실행하도록 제공된다.
게다가, 2-채널 식별이 제 1 2-채널 표현 또는 제 2 2-채널 표현을 식별하는지를 결정하기 위하여 제 2 스펙트럼 부분들의 제 2 세트를 분석하도록 2-채널 분석기(864)가 제공된다.
2-채널 분석기(864)의 결과에 의존하여, 제 2 스펙트럼 표현 내의 대역은 제 1 2-채널 표현 또는 제 2 2-채널 표현을 사용하여 파라미터화되고, 이는 파라미터 인코더(868)에 의해 실행된다. 코어 주파수 범위, 즉 도 3a의 지능형 갭 필링 시작 주파수(309) 아래의 주파수 대역은 코어 인코더(870)에 의해 인코딩된다. 블록들(868 및 870)의 결과는 출력 인터페이스(872) 내로 입력된다. 표시된 것과 같이, 2-채널 분석기는 지능형 갭 필링 시작 주파수 위의 각각의 대역을 위한, 또는 전체 주파수 범위를 위한 2-채널 식별을 제공하고, 이러한 2-채널 식별은 또한 이러한 데이터가 출력 인터페이스(872)에 의해 출력되는 인코딩된 신호(873) 내에 또한 포함되도록 출력 인터페이스(872)에 전달된다.
게다가, 오디오 인코더는 대역 방식(bandwise) 변환기(862)를 포함하는 것이 바람직하다. 2-채널 분석기(862)의 결정을 기초로 하여, 시간 스펙트럼 변환기(862)의 출력 신호는 2-채널 분석기 및 특히 2-채널 식별(835)에 의해 나타내는 표현으로 변환된다. 따라서, 대역 방식 변환기(862)의 출력은 각각의 주파수 대역이 제 1 2-채널 표현 또는 다른 제 2 2-채널 표현 내에 존재할 수 있는 주파수 대역들의 세트이다. 본 발명이 완전한 대역 내에 족용될 때, 즉 소스 범위와 재구성 범위 모두 대역 방식 변환기에 의해 처리될 때, 스펙트럼 분석기(860)는 이러한 표현을 분석할 수 있다. 그러나 대안으로서, 스펙트럼 분석기(860)는 또한 제어 라인(861)에 의해 표시된 것과 같이 시간 스펙트럼 변환기에 의해 신호 출력을 분석할 수 있다. 따라서, 스펙트럼 분석기(860)는 대역 방식 변환기(862)의 출력 또는 bandwise 변환기(862)에 의해 처리되기 전에 시간 스펙트럼 변환기(860)의 출력에 대한 바람직한 음조성 분석을 적용할 수 있다. 게다가, 스펙트럼 분석기는 대역 방식 변환기(862)의 결과 또는 시간 스펙트럼 변환기(860)의 결과에 대한 특정 표적 범위를 위하여 최상의 매칭 소스 범위의 식별을 적용할 수 있다.
그 다음에, 이미 도 3a 및 도 3b의 맥락에서 논의된 에너지 정보 값들의 바람직한 계산을 설명하기 위하여 도 9a 내지 9d가 참조된다.
현대 기술의 오디오 인코더들은 주어진 오디오 신호를 표현하는 데이터의 양을 최소화하기 위하여 다양한 기술들을 적용한다. 통합 음성 오디오 코딩([1]) 같은 오디오 코더들은 주어진 오디오 신호의 스펙트럼 표현을 얻기 위하여 변형 이산 코사인 변환 같은 주파수 변환에 시간을 적용한다. 이러한 변형 이산 코사인 변환 계수들은 인간 청각 시스템의 음향심리학적 양상들을 이용하여 양자화된다. 만일 이용가능한 비트레이트가 감소되면 양자화는 디코더 면에서 가청 아티팩트들에 이르게 하는 다수의 제로가 된 스펙트럼 값들의 거친 도입을 얻는다. 지각적 품질을 향상시키기 위하여, 최신 디코더들은 이러한 제로가 된 스펙트럼 부분들을 임의의 잡음으로 채운다. 지능형 갭 필링 방법은 스펙트럼 내에 그러한 갭들을 채우기 위하여 나머지 비-제로 신호로부터 타일들을 수확한다. 스펙트럼 계수들의 스펙트럼 엔벨로프 및 에너지 분포가 보존되는 것이 디코딩된 오디오 신호의 지각적 품질을 위하여 중요하다. 여기에 제시된 에너지 보존 방법은 오디오 신호의 스펙트럼 변형 이산 코사인 변환 엔벨로프를 재구성하기 위하여 전송된 부가 정보를 사용한다.
e스펙트럼 대역 복제([15]) 내에서 오디오 신호는 적어도 2의 인자에 의해 다운샘플링되고 스펙트럼의 고주파수 부분은 완전히 제로가 된다([1, 17]). 이러한 결실된 부분은 디코더 면 상에서 파라미터 기술들, e스펙트럼 대역 복제로 대체된다. e스펙트럼 대역 복제는 부가적인 변환, 빈 고주파수 부분을 채우기 위하여, 그리고 오디오 신호를 재샘플링하기 위하여 사용되는 직각 대칭 필터 변환의 사용을 암시한다. 이는 계산 복잡도와 메모리 소비 모두를 오디오 코더에 더한다.
통합 음성 오디오 코딩([15])은 스펙트럼 홀들(제로가 된 스펙트럼 라인들)을 임의의 잡음으로 채우는 가능성을 제공하나 다음의 불리한 면들을 갖는다: 임의의 잡음은 트랜지언트 신호의 시간적 미세 구조를 보존할 수 없으며 이는 음조 신호의 고조파 구조를 보존할 수 있다.
디코더 면 상에서 e스펙트럼 대역 복제가 운용하는 영역은 인코더에 의해 완전히 검출되었다([1]). 따라서 e스펙트럼 대역 복제는 고주파수 영역 내의 음조 라인들을 결실하거나 원래 신호의 고조파 구조들을 왜곡하기 쉽다. e스펙트럼 대역 복제의 직각 대창 필터 주파수 해상도가 매우 낮고 정현파 성분들의 재삽입이 기본적인 필터뱅크의 거친 해상도 내에서만 가능하기 때문에, 복제된 주파수 범위 내의 e스펙트럼 대역 복제 내의 음조 성분들의 재생은 매우 낮은 정확도를 갖는다.
e스펙트럼 대역 복제는 패칭된 영역들의 에너지들을 조정하기 위한 기술들, 스펙트럼 엔벨로프 조정([1])을 사용한다. 이러한 기술은 스펙트럼 엔벨로프를 재형상화하기 위하여 직각 대칭 필터 주파수 시간 그리드 상에 전송된 엔저지 값들을 사용한다. 최신 기술들은 부분적으로 결실된 스펙트럼을 처리하지 않으며 높은 시간 해상도 때문에 적절한 에너지 값을 전송하거나 또는 에너지 값들에 거친 양자화를 적용하기 위하여 상대적으로 많은 양의 비트를 필요로 하기 쉽다.
지능형 갭 필링의 방법은 부가적인 변환을 필요로 하지 않는데 그 이유는 [15]에 설명된 것과 같이 계산되는 레거시 변형 이산 코사인 변환을 사용하기 때문이다.
여기에 제시된 에너지 조정 방법은 오디오 신호의 스펙트럼 엔벨로프를 재구성하기 위하여 인코더에 의해 발생된 부가 정보를 사용한다. 이러한 부가 정보는 아래에 설명되는 것과 같이 인코더에 의해 발생된다:
a) 윈도우잉된 변형 이산 코사인 변환을 입력 오디오 신호에 적용하거나([16, 섹션 4.6]), 선택적으로 윈도우잉된 변형 이산 사인 변환을 계산하거나, 또는 계산된 변형 이산 코사인 변환으로부터 윈도우잉된 변형 이산 사인 변환을 추정한다.
b) 변형 이산 코사인 변환 계수들 상에 시간적 잡음 형상화/시간적 타일 형상화를 적용한다(15, 섹션 7.8]).
c) 지능형 갭 필링 중단 주파수(f IGFstop )까지 지능형 갭 필링 시작 주파수(f IGFstart ) 위의 모든 변형 이산 코사인 변형 스케일 인자 대역을 위한 평균 에너지를 계산한다.
d) 평균 에너지 값들을 양자화한다.
f IGFstart 및 f IGFstop 은 사용자에 주어진 파라미터들이다.
단계 c)와 d)로부터 계산된 값들은 손실 없이 인코딩되고 비트 스트림을 갖는 부가 정보로서 디코더에 전송된다.
디코더는 전송된 값들을 수신하고 스펙트럼 엔벨로프를 조정하기 위하여 그것들을 사용한다.
a) 전송된 변형 이산 코사인 변환 값들을 탈양자화한다.
b) 만일 시그널링되면 레거시 통합 음성 오디오 코딩 잡음 필링을 적용한다.
c) 지능형 갭 필링 타일 필링을 적용한다.
d) 전송된 에너지 값들을 탈양자화한다.
e) 스펙트럼 엔벨로프 스케일 인자 대역 방식을 조정한다.
f) 만일 시그널링되면 시간적 잡음 형상화/시간적 타일 형상화를 적용한다.
Figure pct00001
을 윈도우 길이(2N)의 윈도우잉된 오디오 신호의 변형 이산 코사인 변환된, 실수치 스펙트럼 표현으로 한다. 이러한 변환은 [16]에서 설명된다. 인코더는 선택적으로
Figure pct00002
상에 시간적 잡음 형상화를 적용한다.
[16, 4.6.2]에서, 스케일-인자 대역들 내의
Figure pct00003
의 파티션이 설명된다. 스케일-인자 대역들은 지수들의 세트이고 본 발명에서는 scb로 표시된다.
k = 0,1,2,...max _ sfb를 갖는 각각의 scb k 의 한계들은 어레이(swb_offset(16, 4.6.2))에 의해 정의되고, swb _offset[k] 및 swb _offset[k+1]-1은 scb k 내에 포함된 가장 낮고 가장 높은 스펙트럼 계수 라인을 위한 첫 번째 및 마지막 지수를 정의된다. 본 발명의 발명자들은 다음과 같이 스케일 인자 대역을 나타낸다:
Figure pct00004
만일 인코더에 의해 지능형 갭 필링 공구가 사용되면, 사용자는 지능형 갭 필링 시작 주파수 및 지능형 갭 필링 중단 주파수를 정의한다. 이러한 두 값은 최적으로 매칭하는 스케일-인자 대역 지수(igfStartSfb 및 igfStopSfb)에 매핑된다. 둘 모두 비트스트림 내에서 디코더로 시그널링된다.
[16]은 긴 블록 및 짧은 블록 변환 모두를 설명한다. 긴 블록들을 위하여 스펙트럼 계수들의 하나의 세트만이 스케일-인자들의 하나의 세트와 함께 디코더로 전송된다. 짧은 블록들을 위하여 스펙트럼 계수들의 8개의 서로 다른 세트를 갖는 8개의 짧은 윈도우가 계산된다. 비트레이트를 저장하기 위하여, 그러한 8개의 짧은 블록 윈도우의 스케일 인자들은 인코더에 의해 그룹화된다.
지능형 갭 필링의 경우에 있어서 여기에 제시된 방법은 디코더로 전송되는 스펙트럼 값들을 그룹화하기 위하여 레거시 스케일 인자를 사용한다:
Figure pct00005
여기서 k = igfStartSfb,1 + igfStartSfb,2 + igfStartSfb,...,igfEndSfb이다.
양자화를 위하여 다음이 계산된다. 모든 값(
Figure pct00006
)은 디코더로 전송된다.
Figure pct00007
본 발명의 발명자들은 인코더들이 num_window_group 스케일-인자 세트들을 그룹화하도록 결정한다는 것을 가정하였다. 본 발명의 발명자들은 w로 8개의 짧은 윈도우의 지수들인 세트 {0, 1, 2,..., 7}의 이러한 그룹화-파티션을 나타내었는데, w l 은 w의 l번째 서브셋을 나타내며, l은 윈도우 그룹의 지수를 나타내며, 0≤l＜num_window_group이다.
짧은 블록 계산을 위하여 사용자 정의된 지능형 갭 필링 시작/중단 주파수는 적절한 스케일-인자 대역들에 매핑된다. 그러나, 단순성을 위하여, 짧은 블록들을 위하여 또한 k = igfStartSfb,1 + igfStartSfb,2 + igfStartSfb,...,igfEndSfb을 표시한다.
지능형 갭 필링 에너지 계산은 값들(E k,l )을 그룹화하기 위하여 그룹화 정보를 사용한다:
Figure pct00008
양자화를 위하여 다음이 계산된다. 모든 값(
Figure pct00009
)은 디코더에 전송된다.
Figure pct00010
위에 언급된 인코딩 공식은 실수치 변형 이산 코사인 변환 계수들(
Figure pct00011
)만을 사용하여 운용한다. 지능형 갭 필링 범위 내의 더 안정적인 에너지 분포를 획득하기 위하여, 즉 시간적 진폭 변동들을 감소시키기 위하여, 값들(
Figure pct00012
)을 계산하기 위하여 대안의 방법이 사용될 수 있다:
Figure pct00013
을 윈도우 길이(2N)의 윈도우잉된 오디오 신호의 변형 이산 코사인 변환된, 실수치 스펙트럼 표현으로 하고,
Figure pct00014
을 오디오 신호의 동일한 부분의 실수치 변형 이산 사인 변환된 스펙트럼 표현으로 한다. 변형 이산 사인 변환 스펙트럼 표현(
Figure pct00015
)은
Figure pct00016
로부터 정확하게 계산되거나 또는 추정될 수 있다.
Figure pct00017
은 그것의 실수 부분으로서
Figure pct00018
을 갖고 그것의 허수 부분으로서
Figure pct00019
을 갖는 윈도우잉된 오디오 신호의 복소수 스펙트럼 표현을 나타낸다. 인코더는 선택적으로
Figure pct00020
및
Figure pct00021
상에 시간적 잡음 형상화를 적용한다.
이제 지능형 갭 필링 범위 내의 원래 신호의 에너지가 다음으로 측정될 수 있다:
Figure pct00022
재구성 대역의 실수- 및 복소수 값의 에너지들, 즉 지능형 갭 필링 범위(scbk)의 재구성에서 디코더 면 상에 사용되어야만 하는 타일은 다음으로 계산되며:
*
Figure pct00023
여기서 trk는 scbk에 의존하는, 지수들의 세트(관련 소스 타일 범위)이다. 위의 두 가지 공식에서, 지수 세트(scbk) 대신에, 세트(
Figure pct00024
, 본 발명에서 뒤에 정의되는)는 더 정확한 값들(Et 및 Er)을 달성하기 위하여 trk를 생성하도록 사용될 수 있다.
다음을 계산한다:
Figure pct00025
만일 Etk＞0이면, fk = 0이다.
다음의 공식으로:
Figure pct00026
이제 Ek의 더 안정적인 버전이 계산되는데, 그 이유는 변형 이산 코사인 변환 값들만을 갖는 Ek의 계산은 변형 이산 코사인 변환 값들이 파시발의 정리(Parseval's theorem)를 따르지 않고, 따라서 스펙트럼 값들의 완전한 정보를 반영하지 않는다는 사실에 의해 손상되기 때문이다.
Figure pct00027
은 위와 같이 계산된다.
이미 설명된 것과 같이, 짧은 블록들을 위하여 본 발명의 발명자들은 인코다가 NUM-WINDOE_GROUP 스케일-인자 세트들을 그룹화하도록 결정한다는 것을 가정한다. 위에서와 같이, w l 은 w의 l번째 서브셋을 나타내며, l은 윈도우 그룹의 지수를 나타내며, 0≤l＜num_window_group이다.
다시, Ek,l의 더 안정적인 버전을 계산하기 위하여 위에 설명된 대안의 버전이 계산될 수 있다.
Figure pct00028
, 변형 이산 코사인 변환된
Figure pct00029
및 길이(2N)의 변황 이산 사인 변환된 윈도우잉된 오디오 신호인
Figure pct00030
의 정의들로, 다음을 계산한다:
Figure pct00031
유사하게 다음을 계산하고:
Figure pct00032
인자(fk,l)로 처리하며:
Figure pct00033
이는 이전에 계산된 Erk,l을 조정하도록 사용된다:
Figure pct00034
Figure pct00035
은 위에서와 같이 계산된다.
복소수 재구성 대역 또는 변형 이산 코사인 변환 값들로부터 유래하는 재구성 대역의 에너지의 사용뿐만 아니라, 소스 범위로부터 에너지 정보의 사용 과정은 더 향상된 에너지 재구성을 제공한다.
특히, 파라미터 계산기(1006)는 재구성 대역의 에너지에 대한 정보를 사용하고 부가적으로 재구성 대역을 재구성하도록 사용되기 위하여 소스 범위의 에너지에 대한 정보를 사용하여 재구성 대역을 위한 에너지 정보를 계산하도록 구성된다.
게다가, 파라미터 계산기(1006)는 재구성 대역을 재구성하도록 사용되기 위하여 원래 신호의 복소수 스펙트럼의 실수치 부분의 소스 범위에 대한 또 다른 에너지 정보(Erk)를 계산하기 위하여, 원래 신호의 복소수 스펙트럼의 재구성 대역에 대한 정보(Eok)를 계산하도록 구성되며, 파라미터 계산기는 에너지 정보(Eok) 및 또 다른 에너지 정보(Erk)를 사용하여 재구성 대역을 위한 에너지 정보를 계산하도록 구성된다.
게다가, 파라미터 계산기(1006)는 원래 신호의 복소수 스펙트럼의 재구성되려는 스케일 인자 대역에 대한 제 1 에너지 정보(Eok)를 결정하도록 구성되고, 재구성되려는 스케일 인자 대역을 재구성하도록 사용되기 위하여 원래 신호의 복소수 스펙트럼의 소스 범위에 대한 제 2 에너지 정보(Etk)를 결정하도록 구성되며, 재구성되려는 스케일 인자 대역을 재구성하도록 사용되기 위하여 원래 신호의 복소수 스펙트럼의 실수치 부분의 소스 범위에 대한 제 2 에너지 정보(Erk)를 결정하도록 구성되며, 제 1 에너지 정보, 제 2 에너지 정보 및 제 3 에너지 정보 중 적어도 두 개 사이의 연관성을 기초로 하여 가중 정보를 결정하도록 구성되며, 그리고 가중된 에너지 정보를 획득하기 위하여 가중 정보를 사용하여 제 1 에너지 정보와 제 3 에너지 정보 중 하나를 가중하고 재구성 대역을 위한 에너지 정보로서 가중된 에너지 정보를 사용하도록 구성된다.
계산을 위한 예들은 다음과 같으나, 위의 일반적인 원리와 관련하여 통상의지식을 가지 자들에 다른 많은 예들이 나타날 수 있다:
Figure pct00036
이러한 모든 예는 실수치 변형 이산 코사인 변환 값들만이 디코더 면 상에서 처리되더라도, 실제 계산은 - 오버랩 및 애드(add) 때문에-, 복소수들을 사용하여 암묵적으로 만들어지는 시간 도메인 에일리어싱 취소 과정이다. 그러나, 특히, 재구성 대역(920) 내의 주파수들을 갖는 제 1 스펙트럼 부분(921)과 다른 주파수 값들을 위한 재구성 대역(920)의 도 다른 스펙트럼 부분들(922, 923)의 에너지 정보의 결정(918)은 실수 변형 이산 코사인 변환 값들에 의존한다. 따라서, 디코더로 전송된 에너지 정보는 일반적으로 원래 신호의 복소수 스펙트럼의 재구성 대역에 대한 에너지 정보(Eok)보다 작을 것이다. 예를 들면 위의 경우 C를 위하여, 이는 인자(f_k), 가중 정보)가 1보다 작을 것이라는 것을 의미한다.
디코더 면 상에서, 만일 지능형 갭 필링 공구가 온(ON)으로 시그널링되면, 전송된 값들(
Figure pct00037
)은 비트스트림으로부터 획득되고 다음으로 양자화되어야만 하며:
Figure pct00038
모두를 위하여 k = igfStartSfb,1 + igfStartSfb,2 + igfStartSfb,..,igfEndSfb이다.
디코더는 전송된 변형 이산 코사인 값들을 x∈RN으로 양자화하고 나머지 생존 에너지를 계산하는데:
Figure pct00039
여기서 k는 위에 정의된 것과 같은 범위 내에 존재한다.
본 발명의 발명자들은
Figure pct00040
을 나타낸다. 이러한 설정은 인코더에 의해 0으로 양자회된, 스케일 인자 대역의 모든 지수(scb k )를 포함한다.
지능형 갭 필링 획득 부대역 방법(여기서는 설명되지 않음)은 전송된 변형 이산 코사인 변환의 비-제로 값들을 사용함으로써 인코더 면에서 변형 이산 코사인 변환 스펙트럼 값들의 거친 양자화로부터 야기하는 스펙트럼 값들을 채우도록 사용된다. x는 부가적으로 이전에 0이 된 모든 값을 대체하는 값들을 포함한다. 타일 에너지는 다음에 의해 계산되는데:
Figure pct00041
여기서 k는 위에 정의된 것과 같은 범위 내에 존재한다.
재구성 대역 내의 에너지 손실은 다음에 의해 계산된다:
Figure pct00042
그리고 조정을 위한 이득 인자는 다음에 의해 계산된다:
Figure pct00043
여기서 g' = min(g, 10)이다.
이득 인자를 사용하는 스펙트럼 엔벨로프 조정은 다음과 같으며:
x i : = g'x i ,
모두를 위하여
Figure pct00044
이고 k는 위에 정의된 것과 같은 범위 내에 존재한다.
이는 x의 스펙트럼 엔벨로프를 원래 스펙트럼 엔벨로프(
Figure pct00045
)의 형태로 재형상화한다.
짧은 윈도우 시퀀스로 위에 설명된 것과 같은 모든 계산은 원칙적으로 그대로 유지되나, 스케일-인자 대역들의 그룹화가 고려된다. 본 발명의 발명자들은 E k,l 로서 비트스트림으로부터 획득된 탈양자화된 그룹화된 에너지 값들을 나타내었다. 다음과 같이 계산한다:
Figure pct00046
및
Figure pct00047
지수(j)는 짧은 블록 시퀀스의 윈도우 지수를 설명한다.
다음과 같이 계산한다:
Figure pct00048
및
Figure pct00049
여기서
g' = min(g, 10)이다.
다음을 적용하며:
x j,i : = g'x j,i ,
모두를 위하여
Figure pct00050
이다.
낮은 비트레이트 적용을 위하여 너무 많은 정확도의 손실 없이 값들(E k )의 쌍 방식의 그룹화가 가능하다. 이러한 방법은 긴 블록들로만 적용된다:
Figure pct00051
여기서 k = igfStartSfb,2 + igfStartSfb,4 + igfStartSfb,..,igfEndSfb이다.
다시, 양자화 후에 모든 값(E k ≫ 1)은 디코더로 전송된다.
도 9a는 제 1 스펙트럼 부분들의 제 1 세트의 인코딩된 표현 및 제 2 스펙트럼 부분들의 제 2 세트를 위한 스펙트럼 에너지들을 나타내는 파라미터 데이터의 인코딩된 표현을 포함하는 인코딩된 오디오 신호를 디코딩하기 위한 장치를 도시한다. 스펙트럼 부분들의 제 1 세트는 도 9a에서 901a에 표시되고, 파라미터 데이터의 인코딩된 표현은 도 9a에서 901b에 표시된다.
오디오 디코더(900)는 디코딩된 제 1 스펙트럼 부분들(904)의 제 1 세트를 획득하도록 제 1 스펙트럼 부분들의 제 1 세트의 인코딩된 표현(901a)을 디코딩하기 위하여, 그리고 개별 재구성 대역들을 위한 개별 에너지들을 나타내는 제 2 스펙트럼 부분들의 제 2 세트를 위한 디코딩된 파라미터 데이터(902)를 획득하도록 파라미터 데이터의 인코딩된 표현을 디코딩하기 위하여 제공되며, 제 2 스펙트럼 부분들은 재구성 대역들 내에 위치된다. 게다가, 제 2 스펙트럼 부분을 포함하는 재구성 대역의 스펙트럼 값들을 재구성하기 위하여 주파수 재생기(906)가 제공된다. 주파수 재생기(906)는 제 1 스펙트럼 부분들의 제 1 세트의 하나의 제 1 스펙트럼 부분 및 재구성 대역을 위한 하나의 개별 에너지 정보를 사용하며, 재구성 대역은 제 1 스펙트럼 부분과 제 2 스펙트럼 부분을 포함한다.
주파수 재생기(906)는 재구성 대역 내의 주파수들을 갖는 제 1 스펙트럼 부분의 축적된 에너지를 포함하는 생존 에너지 정보를 결정하기 위한 계산기(912)를 포함한다. 게다가, 주파수 재생기(906)는 재구성 대역의 또 다른 스펙트럼 부분들의 타일 에너지 정보를 결정하고 제 1 스펙트럼 부분과 다른 주파수 값들을 결정하기 위한 계산기(918)를 포함하며, 이러한 주파수 값들은 재구성 대역 내의 주파수들을 가지며, 또 다른 스펙트럼 부분들은 재구성 대역 내의 제 1 스펙트럼 부분과 다른 제 1 스펙트럼 부분을 사용하는 주파수 재생에 의해 발생된다.
주파수 재생기(906)는 재구성 대역 내의 손실 에너지를 위한 계산기(914)를 더 포함하며, 계산기(914)는 재구성 대역을 위한 개별 에너지 및 블록(912)에 의해 발생되는 생존 에너지를 사용하여 운용한다. 게다가, 주파수 재생기(906)는 손실 에너지 정보 및 블록(918)에 의해 발생된 에너지 정보를 기초로 하여 재구성 대역 내의 또 다른 스펙트럼 부분들을 조정하기 위한 스펙트럼 엔벨로프 조정기(916)를 포함한다.
특정 재구성 대역(920)을 도시한 도 9c가 참조된다. 재구성 대역은 921에 개략적으로 도시된 도 3a에서의 제 1 스펙트럼 부분(306)과 같은 재구성 대역 내의 제 1 스펙트럼 부분을 포함한다. 게다가, 재구성 대역 내의 스펙트럼 값들의 나머지는 예를 들면 도 3a의 지능형 갭 필링 시작 주파수(309) 아래의 스케일 인자 대역(1, 2, 3)으로부터, 소스 영역을 사용하여 발생된다. 주파수 재생기(906)는 제 2 스펙트럼 부분들(922 및 923)을 위한 원시 스펙트럼 값들을 발생시키도록 구성된다. 그리고 나서, 이제 동일한 스펙트럼 해상도, 즉 제 1 스펙트럼 부분(921)과 동일한 라인 거리를 갖는 재구성 대역(920) 내의 재구성되고 조정된 제 2 스펙트럼 부분들을 획득하기 위하여 최종적으로 주파수 대역들(922, 923) 내의 원시 스펙트럼 값들을 조정하도록 도 9c에 도시된 것과 같이 이득 인자(g)가 계산된다. 도 9c의 921에 도시된 재구성 대역 내의 제 1 스펙트럼 부분은 오디오 디코더(900)에 의해 디코딩되고 도 9b의 엔벨로프 조정 실행된 블록(916)에 의해 영향을 받지 않는다는 것을 이해하는 것이 중요하다. 대신에, 921에 표시된 재구성 대역 내의 제 1 스펙트럼 부분은 그대로 남는데, 그 이유는 이러한 스펙트럼 부분이 라인(904)을 통하여 완전 대역폭 또는 완전 비율 오디오 디코더(900)에 의해 출력되기 때문이다.
그 뒤에, 실수들을 갖는 특정 예가 설명된다. 블록(912)에 의해 계산된 것과 같은 나머지 생존 에너지는 예를 들면, 5개의 에너지 유닛이며 이러한 에너지는 제 1 스펙트럼 부분(921) 내에 바람직하게 표시된 4개의 스펙트럼 라인의 에너지이다.
게다가, 도 3b 또는 3a의 스케일 인자 대역(6)과 상응하는 재구성 대역을 위한 에너지 값(E3)은 10개의 유닛과 동일하다. 중요하게도, 에너지 값은 스펙트럼 부분들(922, 923)의 에너지뿐만 아니라,
인코더-면 상에서, 즉 예를 들면 음조성 마스크를 사용하여 스펙트럼 분석을 실행하기 전에 계산된 것과 같은 재구성 대역(920)의 완전한 에너지를 포함한다. 따라서, 10개의 에너지 유닛은 재구성 대역 내의 제 1 및 제 2 스펙트럼 부분들을 커버한다. 그때, 블록들(922, 923) 또는 블록들(922, 923)을 위한 원시 표적 범위 데이터를 위한 소스 범위 데이터의 에너지는 8개의 에너지 유닛과 동일한 것으로 가정된다. 따라서, 5개의 유닛의 손실 에너지가 계산된다.
타일 에너지(tEk)에 의해 세분된 손실 에너지를 기초로 하여, 0.79의 이득 인자가 계산된다. 그리고 나서 제 2 스펙트럼 부분들(922, 923)을 위한 원시 스펙트럼 라인들은 계산된 이득 인자와 곱해진다. 따라서, 제 2 스펙트럼 부분들(922, 923)을 위한 스펙트럼 값들만이 조정되고 제 1 스펙트럼 부분들(921)을 위한 스펙트럼 라인들은 이러한 엔벨로프 조정에 의해 영향을 받지 않는다. 제 2 스펙트럼 부분들(922, 923)을 위한 원시 스펙트럼 값들을 곱한 후에, 재구성 대역 내의 제 1 스펙트럼 부분들로 구성되고, 재구성 대역(920) 내의 제 2 스펙트럼 부분들(922, 923) 내의 스펙트럼 라인들로 구성되는 완전한 재구성 대역이 계산되었다.
바람직하게는, 대역들(922, 923) 내의 원시 스펙트럼 데이터를 발생시키기 위한 소스 범위는 주파수와 관련하여, 지능형 갭 필링 시작 주파수(309) 아래이고 재구성 대역(920)은 지능형 갭 필링 시작 주파수(309) 위이다.
게다가, 재구성 대역 경계들이 스케일 인자 대역 경계들과 일치하는 것이 바람직하다. 따라서, 재구성 대역은 일 실시 예에서, 코어 오디오 디코더의 스케일 인자 대역들의 상응하는 크기를 갖거나 또는 에너지 쌍이 적용될 때, 재구성 대역을 위한 에너지 값이 스케일 인자 대역들의 2 또는 그 이상의 정수를 제공하도록 크기화된다. 따라서, 스케일 인자 대역(4), 스케일 인자 대역(5) 및 스케일 인자 대역(6)을 위하여 에너지 축적이 실행된다고 가정될 때, 재구성 대역(920)의 낮은 주파수 경계는 스케일 인자 대역(4)의 낮은 경계와 동일하고 재구성 대역(920)의 높은 주파수 경계는 스케일 인자 대역(6)의 높은 경계와 동일하다.
그 뒤에, 도 9a의 디코더의 도 다른 기능을 나타내기 위하여 도 9d가 설명된다. 오디오 디코더(900)는 스펙트럼 부분들의 제 1 세트의 제 1 스펙트럼 부분들과 상응하는 탈양자화된 스펙트럼 값들을 수신하고, 부가적으로 도 3b에 도시된 것과 같은 스케일 인자 대역들을 위한 스케일 인자들이 역 스케일링 블록(940)에 제공된다. 역 스케일링 블록(940)은 도 3a의 지능형 갭 필링 시작 주파수(309) 아래의 제 1 스펙트럼 부분들의 모든 제 1 세트, 및 부가적으로 지능형 갭 필링 시작 주파수(309) 위의 제 1 스펙트럼 부분들, 즉 도 9d의 941에 도시된 것과 같은 재구성 대역 내에 모두 위치되는 도 3a의 제 1 스펙트럼 부분들(304, 305, 306, 307)을 제공한다. 게다가, 재구성 대역 내의 주파수 타일 필링을 위하여 사용되는 소스 대역 내의 제 1 스펙트럼 부분들이 엔벨로프 조정기/계산기(942)에 제공되고 이러한 블록은 부가적으로 도 9d의 943에 도시된 것과 같이 인코딩된 오디오 신호에 대한 파라미터 부가 정보로서 제공되는 재구성 대역을 위한 에너지 정보를 수신한다. 그리고 나서, 엔벨로프 조정기/계산기(942)는 도 9b와 9c의 기능들을 제공하고 최종적으로 재구성 대역 내의 제 2 스펙트럼 부분들을 위한 조정된 스펙트럼 값들을 출력한다. 재구성 대역 내의 제 2 스펙트럼 부분들의 이러한 조정된 스펙트럼 값들(922, 923) 및 도 9d의 라인(941)에 표시된 재구성 대역 내의 제 1 스펙트럼 부분들은 공동으로 재구성 대역 내의 완전한 스펙트럼 표현을 표현한다.
그 뒤에, 인코딩된 오디오 신호를 제공하거나 또는 발생시키기 위하여 오디오 신호의 인코딩을 위한 오디오 인코더의 바람직한 실시 예들을 설명하기 위하여 도 10a 내지 10b가 참조된다. 인코더는 스펙트럼 분석기(1004)를 공급하는 시간/스펙트럼 변환기(1002)를 포함하고, 스펙트럼 분석기(1004)는 한편으로는 파라미터 계산기(1006)에, 다른 한편으로는 오디오 인코더(1008)에 연결된다. 오디오 인코더(1008)는 제 1 스펙트럼 부분들의 제 1 세트의 인코딩된 표현을 제공하고 제 2 스펙트럼 부분들의 제 2 세트를 포함하지는 않는다. 다른 한편으로는, 파라미터 계산기(1006)는 제 1 및 제 2 스펙트럼 부분들을 포함하는 재구성 대역을 위한 에너지 정보를 제공한다. 게다가, 오디오 인코더(1008)는 제 1 스펙트럼 해상도를 갖는 제 1 스펙트럼 부분들의 제 1 세트의 제 1 인코딩된 표현을 발생시키도록 구성되며, 오디오 인코더(1008)는 블록(1002)에 의해 발생되는 스펙트럼 표현의 모든 대역을 위한 스케일 인자들을 제공한다. 부가적으로, 도 3b에 도시된 것과 같이, 인코더는 주파수와 관련하여, 적어도 도 3a에 도시된 것과 같은 지능형 갭 필링 시작 주파수(309) 위에 위치되는 재구성 대역들을 위한 에너지 정보를 제공한다. 따라서, 바람직하게는 스케일 인자 대역들과 일치하거나 또는 스케일 인자 대역들의 그룹들과 일치하는 재구성 대역들을 위하여, 두 개의 값, 즉 오디오 인코더(1008)로부터의 상응하는 스케일 인자 및 부가적으로, 파라미터 계산기(1006)에 의해 출력되는 에너지 정보가 주어진다.
오디오 인코더는 바람직하게는 서로 다른 주파수 대역폭들, 즉 서로 다른 수의 스펙트럼 값들을 갖는 스케일 인자 대역들을 갖는다. 따라서, 파라미터 계산기는 특정 재구성 대역의 대역폭과 관련하여 사로 다른 대역폭을 위한 에너지들을 정규화하기 위한 정규화기(normalizer, 1012)를 포함한다. 이를 이하여, 정규화기(1012)는 입력들로서, 대역 내의 에너지 및 대역 내의 스펙트럼 값들의 수를 수신하고 정규화기(1012)는 그리고 나서 재구성/스케일 인자 대역 당 정규화된 에너지를 출력한다.
게다가, 도 10a의 파라미터 계산기(1006a)는 도 10a의 라인(1007)에 의해 도시된 것과 같이 코어 또는 오디오 인코더(1008)로부터 제어 정보를 수신하는 에너지 값 계산기를 포함한다. 이러한 제어 정보는 오디오 인코더에 의해 사용되는 긴/짧은 블록들에 대한 정보 및/또는 그룹화 정보를 포함할 수 있다. 따라서, 긴/짧은 블록들에 대한 정보 및 짧은 윈도우들에 대한 그룹화 정보는 "시간" 그룹화와 관련되며, 그룹화 정보는 부가적으로 스펙트럼 그룹화, 즉 두 스케일 인자 대역의 단일 재구성 대역으로의 그룹화를 언급할 수 있다. 따라서, 에너지 값 계산기(1006)는 스펙트럼 부분들만이 그룹화되었을 때 제 1 및 제 2 스펙트럼 부분을 포함하는 각각의 그룹화된 대역을 위한 단일 에너지 값을 출력한다.
도 10d는 스펙트럼 그룹화를 구현하는 또 다른 실시 예를 도시한다. 이를 위하여, 블록(1016)은 두 개의 인접한 대역을 위한 에너지 값들을 계산하도록 구성된다. 그리고 나서, 불록(1018)에서, 인접한 대역들을 위한 에너지 값들이 비교되고, 에너지 값들이 예를 들면 한계(threshold)에 의해 정의되는 것과 크게 다르지 않거나 또는 약간 다를 때, 블록(1020)에 표시된 것과 같이 두 대역을 위한 단일(정규화된) 값이 발생된다. 라인(1024)에 의해 도시된 것과 같이, 블록(1018)은 우회될 수 있다. 게다가, 블록(1020)에 의해 실행되는 두 개 또는 그 이상의 대역을 위한 단일 값의 발생은 인코더 비트레이트 제어(1024)에 의해 제어될 수 있다. 따라서, 비트레이트가 감소될 때, 인코딩된 비트레이트 제어(1024)는 블록(1018) 내의 비교가 에너지 정보 값들을 그룹화하도록 허용되지 않았더라도 두 개 또는 그 이상의 대역을 위한 단일의 정규화된 값을 발생시키도록 블록(1020)을 제어한다.
오디오 인코더가 두 개 또는 그 이상의 짧은 윈도우의 그룹화를 실행하는 경우에 있어서, 이러한 그룹화는 또한 에너지 정보를 위하여 적용된다. 코어 인코더가 두 개 또는 그 이상의 짧은 블록의 그룹화를 실행할 때, 이러한 두 개 또는 그이상의 블록을 위하여, 스케일 인자들의 단일 세트만이 계산되고 전송된다. 디코더-면 상에서, 오디오 디코더는 그리고 나서 두 그룹화된 윈도우를 위하여 동일한 스케일 인자들의 세트를 적용한다.
에너지 정보 계산과 관련하여, 재구성 대역 내의 스펙트럼 값들은 두 개 또는 그 이상의 짧은 윈도우에 대하여 축적된다. 바꾸어 말하면, 이는 짧은 블록 및 뒤따르는 짧은 블록을 위한 특정 재구성 대역 내의 스펙트럼 값들이 함께 축적되고 두 개의 짧은 블록을 포함하는 이러한 재구성 대역을 위하여 단일 에너지 정보 값만이 전송되는 것을 의미한다. 그리고 나서 디코더-면 상에서, 도 9a 내지 9d와 관련하여 설명된 엔벨로프 조정이 각각의 짧은 블록을 위하여 개별적으로 실행되지 않고 그룹화된 짧은 윈도우들의 세트를 위하여 함께 실행된다.
상응하는 정규화는 그리고 나서 주파수 내의 어떠한 그룹화 또는 시간 내의 그룹화가 실행되었더라도 디코더-면 상에서 에너지 값 정보 계산을 위하여, 한편으로는 에너지 정보 값 및 재구성 대역 또는 그룹화된 재구성 대역들의 세트 내의 스펙트럼 라인들의 양이 알려져야만 하도록 쉽게 허용한다.
최신 대역폭 확장 전략들에서, 주어진 이른바 크로스-오버 주파수 위의 고주파수 스펙트럼 영역의 재구성은 종종 스펙트럼 패칭을 기초로 한다. 일반적으로, 고주파수 영역은 다수의 인접한 패치들로 구성되고 이러한 패치들 각각은 주어진 크로스-오버 주파수 아래의 저주파수 스펙트럼의 대역-통과(BP) 영역들로부터 기원한다. 신호의 필터뱅크 표현 내에서 그러한 시스템들은 표적 영역 내의 저주파수 스펙트럼 중에서 인접한 부대역 계수들의 세트를 복사한다. 선택된 세트들의 경계들은 일반적으로 시스템 의존적이고 신호 의존적이 아니다. 일부 신호 콘텐츠를 위하여, 이러한 정적 패치 선택은 재구성 대역의 불쾌한 음색 및 컬러링(cloloring)에 이르게 할 수 있다.
다른 접근법들은 신호 적응적 단측파대(Single Side Band, SSB) 변조를 통하여 저주파수 신호를 고주파수에 전달한다. 그러한 접근법들은 [1]과 비교하여 고도의 계산 복잡도를 갖는데, 그 이유는 시간 도메인 샘플들 상에서 높은 샘플링 비율로 운용하기 때문이다. 또한, 패칭은 특히 비-음조 신호들(예를 들면, 무성음)을 위하여 비안정적이며, 이에 의해 최신의 신호 적응적 패칭이 신호 내로 손상(impairment)들을 도입할 수 있다.
본 발명의 접근법은 지능형 갭 필링으로 불리며, 그것의 바람직한 구성에서, 이는 예를 들면 변형 이산 코사인 변환 같은, 시간-주파수 변환을 기초로 하는 대욕폭 확장 시스템 내에 적용된다. 그럼에도 불구하고, 본 발명의 원리는 일반적으로 예를 들면 직각 대칭 필터뱅크 기반 시스템 내에 유사하게 적용가능하다.
변형 이산 코사인 변환을 기초로 하는 지능형 갭 필링의 장점은 변형 이산 코사인 변환 기반 오디오 코더들, 예를 들면 MPEG 고급 오디오 코딩으로의 매끄러운 통합이다 파형 오디오 코딩 및 대역폭 확장을 위한 동일한 변환의 공유는 오디오 코덱을 위한 전체 계산 복잡도를 상당히 감소시킨다.
게다가, 본 발명은 최신의 적응적 패칭 전략들에서 발견되는 고유의 안정성 문제들을 위한 해결책을 제공한다.
제안된 시스템은 일부 신호를 위하여, 비유도된(unguided) 패치 선택이 음색 변화들과 신호 착색들에 이르게 할 수 있다는 관찰을 기초로 한다.
만일 스펙트럼 소스 영역(SSR)에서 음조이나 스펙트럼 표적 영역(STR)에서 잡음 유사이면, 음조 스펙트럼 소스 영역에 의해 잡음 유사 스펙트럼 표적 영역의 패칭은 부자연스러운 음색에 이르게 한다. 신호의 음색은 또한 변할 수 있는데 그 이유는 신호의 음조 구조가 패칭 과정에 의해 오정렬되거나 도는 심지어 파괴되기 때문이다.
처리된 지능형 갭 필링 시스템은 특정 스펙트럼 소스 영역과 특정 스펙트럼 표적 영역 사이의 유사성 측정으로서 상호 상관관계를 사용하여 지능형 타일 선택을 실행한다. 두 신호의 상호 상관관계는 그러한 신호들 및 또한 최대 상관관계의 래그와 그것의 부호의 유사성의 측정을 제공한다. 따라서, 타일 선택을 기초로 하는 상관관계의 접근법은 또한 원래 스펙트럼 구조에 가능한 한 가깝게 되도록 복사된 스펙트럼의 스펙트럼 개시를 정확하게 조정하도록 사용될 수 있다.
처리된 시스템의 기본적인 기여는 적절한 유사성 측정의 선택, 및 타일 선택 과정을 안정화하는 기술들이다. 처리된 기술은 즉각적인 신호 및 동시에 시간적 안정성 사이의 최적 균형을 제공한다. 시간적 안정성의 제공은 특히 SSR과 STR의 유사성을 거의 갖지 않고 따라서 상호 상관관계 값들들을 나타내는 신호들을 위하여 중요하거나 또는 만일 모호한 유사성 측정들이 이용되면 중요하다. 그러한 경우들에 있어서, 안정화는 적응적 타일 선택의 의사 난수(pseudo-random) 행동을 방지한다.
예를 들면, 최신 대역폭 확장에 대한 문제점들을 제기하는 신호들의 등급은 도 12a(왼쪽)에 도시된 것과 같이, 임의 스펙트럼 영역들에 대한 에너지의 뚜렷한 집중을 특징으로 한다.
비록 표적 영역 내의 재구성된 스펙트럼의 스펙트럼 엔벨로프와 음조성을 조정하는데 이용가능한 방법들이 존재하나. 일부 신호들을 위하여 이러한 방법들은 도 12a(오른쪽)에 도시된 것과 같이 음색을 잘 보존할 수 없다. 도 12a에 도시된 실시 예에서, 이른바 크로스오버 주파수(f xover , 도 12a, 왼쪽) 위의 원래 신호의 표적 영역 내의 스펙트럼의 진폭은 거의 선형으로 감소한다. 이와 대조적으로, 재구성된 스펙트럼 내에서(도 12a, 오른쪽), 음색 채색 아티팩트로서 인지되는 하락과 피크의 뚜렷한 경사가 존재한다.
새로운 접근법의 중요한 단계는 뒤따르는 유사성 기반 선택이 발생할 수 있는 타일들의 세트를 정의하는 것이다. 우선, 소스 영역과 표적 영역이 타일 경계들이 서로에 따라 정의되어야만 한다. 따라서, 코어 코더의 지능형 갭 필링 시작 주파수(f IGFstart )와 최고로 이용가능한 주파수(f IGFstop ) 사이의 표적 영역이 타일들의 임의의 정수(nTar)로 세분되며, 이들 각각은 개별의 미리 정의된 크기를 갖는다. 그리고 나서, 각각의 표적 타일(tar[idx_tar])을 위하여, 동일한 크기의 소스 타일들(src[idx_src])의 세트가 발생된다. 이에 의해, 지능형 갭 필링 시스템의 기본적인 자유도가 결정된다. 소스 타일들(nSrc)의 총 수는 소스 영역의 대역폭에 의해 결정되며,
bw src = (f IGFstart - f IGFmin )
여기서 f IGFmin 는 소스 타일들의 정수(nSrc)가 bw src 와 꼭 들어맞는 것과 같이 타일 선택을 위한 가장 낮은 이용가능한 주파수이다. 소스 타일들의 최소 수는 0이다.
선택과 조정을 위한 자유도를 더 증가시키기 위하여, 소스 타일들은 0과 1 사이의 오버랩 인자에 의해 서로 오버랩하도록 정의될 수 있으며, 0은 오버랩이 아닌 것을 의미하고 1은 100% 오버랩을 의미한다. 100% 오버랩 경우는 하나의 타일 소스만이 이용가능하거나 또는 어떠한 타일 소스도 이용가능하지 않는 것을 나타낸다.
도 12b는 타일들의 세트의 타일 경계들의 일례를 도시한다. 이러한 경우에 있어서, 모든 표적 타일은 각각의 소스 타일들과 상관된다. 이러한 예에서, 소스 타일들은 50%로 오버랩한다.
표적 타일을 위하여, 상호 상관관계는 xcorr_maxLag 빈들까지 래그들에서 다양한 소스 타일들로 계산된다. 주어진 표적 타일(idx_tar)과 소스 타일(idx_src)을 위하여, xcorr_val[idx_tar][idx_src]는 타일들 사이의 절대 상호 상관관계의 최대 값을 주며, 반면에 xcorr_lag[idx_tar][idx_src]는 이러한 최대가 발생하는 래그를 주며, xcorr_sign[idx_tar][idx_src]는 xcorr_lag[idx_tar][idx_src]에서 상호 상관관계의 부호를 준다.
파라미터(xcorr_lag)는 소스 및 표적 타일들 사이의 일치의 근사성을 제어하도록 사용된다. 이러한 파라미터는 감소된 아티팩트들에 이르게 하며 신호의 음색과 색을 보존하는데 더 도움을 준다.
일부 시나리오에서 특정 표적 타일의 크기가 이용가능한 소스 타일들의 크기보다 큰 경우가 발생할 수 있다. 이러한 경우에 있어서, 이용가능한 소스 타일은 특정 표적 타일을 완전히 채우는데 필요한 만큼 자주 반복된다. 상호 상관관계 래그(xcorr_lag) 및 부호(xcorr_sign)와 관련하여 표적 터일 내의 소스 타일의 최상의 위치를 얻기 위하여 가장 큰 표적 타일과 가장 작은 소스 타일 사이의 상호 상관관계를 실행하는 것이 또한 가능하다.
원시 스펙트럼 타일들과 원래 신호의 상호 상관관계는 강력한 포먼트 구조(formant structure)를 갖는 오디오 스펙트럼에 적용되는 가정 적절한 유사성 측정이 아닐 수 있다. 스펙트럼의 백색화는 거친 엔벨로프 정보를 제거하고 이에 의해 타일 유사성의 평가를 위하여 가정 중요한 관심인, 스펙트럼 미세 구조를 강조한다. 백색화는 또한 지능형 갭 필링에 의해 처리된 영역들을 위하여 디코더에서 STR의 쉬운 엔벨로프 형상화에 도움을 준다. 따라서, 선택적으로, 타일과 소스 신호는 상호 상관관계가 계산되기 전에 백색화된다.
다른 구현들에서, 미리 정의된 과정을 사용하여 타일만이 백색화된다. 전송된 "백색화" 플래그는 동일한 미리 정의된 백색화 과정이 지능형 갭 필링 내의 타일에 적용되어야만 한다는 것을 디코더에 나타낸다.
신호의 백색화를 위하여, 제 1 스펙트럼 엔벨로프 추정이 계산된다. 그리고 나서, 변형 이산 코사인 변환 스펙트럼은 스펙트럼 엔벨로프ㅜ에 의해 세분된다. 스펙트럼 엔벨로프 추정은 변형 이산 코사인 변환 스펙트럼, 변형 이산 코사인 변환 에너지들, 변형 이산 코사인 변환 기반 복소수 파워 스펙트럼 또는 파워 스펙트럼 추정들 상에서 추정될 수 있다. 엔벨로프가 추정되는 신호는 이제부터 기저 신호(base signal)로 불릴 것이다.
기저 신호로서 변형 이산 코사인 변환 기반 복소수 파워 스펙트럼 또는 파워 스펙트럼 추정들 상에서 계산된 엔벨로프들은 음조 성분들 상에서 시간적 변동을 갖지 않는 장점을 갖는다.
만일 기저 신호가 에너지 도메인 내에 존재하면, 변형 이산 코사인 변환 스펙트럼은 신호를 정확하게 백색화하기 위하여 엔벨로프의 제곱근으로 나눠진다.
엔벨로프를 계산하는 서로 다른 방법들이 존재한다:
● 이산 코사인 변환(DCT)으로 기저 신호를 변환, 낮은 이산 코사인 변환 계수들(가장 위를 0으로 설정)만을 유지, 그리고 나서 역 이산 코사인 변환을 계산
● 시간 도메인 오디오 프레임 상에서 계산된 선형 예측 계수들(LPC)의 세트의 스펙트럼 엔벨로프를 계산
● 저대역 필터로 기저 신호를 필터링
바람직하게는, 마지막 접근법이 선택된다. 낮은 계산 복잡도를 요구하는 적용들을 위하여, 변형 이산 코사인 변환 스펙트럼의 백색화에 일부 단순화가 수행될 수 있다. 우선 엔벨로프는 이동 평균에 의해 계산된다. 이는 변형 이산 코사인 변환 빈(bin) 당 두 개의 프로세서 사이클만을 필요로 한다. 그리고 나서 나눗셈과 제곱근의 계산을 방지하기 위하여, 스펙트럼 엔벨로프는 약 2n과 가깝게 되는데, 여기서 n은 엔벨로프의 정수 로그(integer logarithm)이다. 이러한 도메인에서 제곱근 연산은 간단하게 시프트 연산(shift operation)이 되며 게다가 엔벨로프의 세분은 또 다른 시프트 연산에 의해 실행된다.
각각의 소스 타일의 각각의 표적 타일과의 상관관계를 계산한 후에, 모든 nTar 표적 타일을 위하여 가장 높은 상관관계를 갖는 소스 타일이 이를 대체하기 위하여 선택된다. 원래 스텍트럼 구조를 최상으로 매칭하기 위하여, 상관관계의 래그는 변환 빈(bin)들의 정수에 의해 복제된 스펙트럼을 변조하도록 사용된다. 홀수 래그들의 경우에 있어서, 타일은 부가적으로 변형 이산 코사인 변환 내의 모든 다른 대역의 주파수-역전 표현을 보상하기 위하여 -1/1의 교번 시간적 시퀀스와의 곱셈을 통하여 변조된다.
도 12c는 소스 타일과 표적 타일 사이의 상관관계의 일례를 도시한다. 이러한 예에서 상관관계의 래그는 5이고, 따라서 소스 타일은 대역폭 확장 알고리즘의 카피-업 단계에서 높은 주파수 빈들을 향하여 5개의 빈에 의해 변조된다. 게다가, 타일의 부호는 최대 상관관계 값이 음이고 위에 설명된 것과 같이 부가적인 변조가 홀수 래그를 처리함에 따라 전위되어야만 한다.
따라서 인코더로부터 디코더로 전송하기 위한 부가 정보의 총 양은 다음의 데이터로 구성될 수 있다:
● tileNum[nTar]: 표적 타일 당 선택된 소스 타일의 지수
● tileSign[nTar]: 표적 타일의 부호
● tileMod[nTar]: 표적 타일 당 상관관계의 래그
전지작업 및 안정화는 지능형 갭 필링에서 중요하다. 그것의 필요성과 장점이 정상의 음조 오디오 신호 같은, 예를 들면 안정적인 피치 파이프 노트를 가정하는 일례로 설명된다. 논리는 만일 주어진 표적 영역을 위하여 소스 타일들이 항상 프레임들을 가로질러 동일한 소스 영역으로부터 선택되면, 적은 아티팩트들이 도입되는 것을 요구한다. 비록 신호가 정상으로 가정되더라도, 이러한 조건은 모든 프레임에서 잘 유지할 수 없는데 그 이유는 또 다른 동일하게 유사한 소스 영역의 유사성 측정(예를 들면, 상관관계)이 유사성 결과(예를 들면 상호 상관관계)를 지배할 수 있기 때문이다. 이는 두 가지 또는 그 이상의 매우 유사한 선택 사이를 망설이도록 하는 인접한 프레임들 사이에 tileNum[nTar]에 이르게 한다. 이는 짜증나는 음악 잡음 같은 아티팩트의 소스일 수 있다.
이러한 형태의 아티팩트들을 제거하기 위하여, 소스 타일들의 세트는 소스 세트의 나머지 구성원이 최대로 다른 것과 같이 전지작업되어야만 한다. 이는 다음과 같이 소스 타일들의 세트에 대하여 달성된다:
S = {s1, s3,...sn}
어떠한 소스 타일(s1)을 위하여, 본 발명의 발명자들은 다른 모든 소스 타일과 상관하였고, si와 sj 사이의 최상의 상관관계를 발견하였으며 이를 매트릭스(Sx) 내에 저장하였다. 행을 따른 매트릭스(Sx)의 추가는 본 발명의 발명자들에 소스 타일(si와)과 모든 다른 소스 타일들(T)과의 상호상관관계의 합계를 준다.
T[i] = Sx[i][1] + Sx[i][2]...+Sx[i][n]
여기서 T는 소스가 다른 소스 타일들과 얼마나 유사한지의 추정을 나타낸다. 만일 어떠한 소스 타일(i)을 위하여 아래와 같으면
T ＞ 한계
소스 타일(i)은 잠재적 소스들로부터 떨어질 수 있는데 그 이유는 다른 소스들과 고도로 상관되기 때문이다. 방정식 1에서의 조건을 만족시키는 타일들의 세트와 가장 낮은 상관관계를 갖는 타일은 이러한 서브셋을 위한 대표적 타일로서 선택된다. 이러한 방식으로, 본 발명의 발명자들은 소스 타일들이 서로 최대로 다르다는 것을 보장한다.
타일 전지작업 방법은 또한 선행 프레임에서 사용된 전지작업된 타일 세트의 메모리를 포함한다. 이전 프레임에서 활성이었던 타일들은 만일 전지작업을 위한 대안의 후보가 존재하면 또한 그 다음 프레임에서 유지된다.
프레임(k) 내의 타일{s1, s3,...sn}들 중에서 타일들(s3, s4 및 s5)을 활성화하도록 두고, 프레임(k+1) 내에서 s1, s3 및 s2가 다른 것과 최대로 상관되는 s3로 전지작업되려고 하더라도, s3는 유지되는데 그 이유는 이것이 이전 프레임에서 유용한 소스 타일이었으며, 따라서 소스 타일들의 세트 내의 그것의 유지는 타일 선택에서의 시간적 지속성을 시행하는데 유익하기 때문이다. 이러한 방법은 바람직하게는 만일 Tx[i][j]로서 표현되는 소스(i)와 표적(j) 사이의 상호 상관관계가 높으면 적용된다.
타일 안정화를 위한 부가적인 방법은 만일 현재 프레임(k) 내의 소스 타일 중 어느 것도 표적 타일들과 상관되지 않으면 이전 프레임(k-1)으로부터 타일 순서를 유지하는 것이다. 이는 만일 소스(i) 및 타일(j) 사이의 상호 상관관계가 모든 소스 및 타일에 대하여 매우 낮으면 발생할 수 있다.
예를 들면, 만일
Tx[i][j] ＜ 0.6이면
이제 사용되는 잠정적인 한계는 이러한 프레임의 모든 nTar을 위하여 다음과 같다:
tileNuim[nTar]k = tileNum[nTar]k -1
위의 두 기술은 프레임들을 가로질러 타일 수들의 급속한 변화로부터 발생하는 아티팩트들을 감소시킨다. 이러한 타일 전지작업과 안정화의 또 다른 장점은 디코더로 보내는데 어떠한 추가의 정보도 필요하지 않고 디코더 구조의 변화도 필요하지 않다는 것이다. 이러한 제안된 타일 전지작업은 타일 스펙트럼 영역들 내의 잠재적인 음악 잡음 같은 아티팩트들 또는 과도한 잡음을 감소시키는 우수한 방법이다.
도 11a는 인코딩된 오디오 신호를 디코딩하기 위한 오디오 디코더를 도시한다. 오디오 디코더는 제 1 스펙트럼 부분들의 제 1 세트의 제 1 디코딩된 표현을 발생시키기 위한 오디오 (코어) 디코더(1102)를 포함하며, 디코딩된 표현은 제 1 스펙트럼 해상도를 갖는다.
게다가, 오디오 디코더는 제 1 스펙트럼 해상도보다 낮은 제 2 스펙트럼 해성도를 갖는 제 2 스펙트럼 부분들의 제 2 세트의 제 2 디코딩된 표현을 발생시키기 위한 파라미터 디코더(1104)를 포함한다. 게다가, 제 1 입력(1101)으로서 디코딩된 제 1 스펙트럼 부분들을 수신하고 제 2 입력(1103)으로서 각각의 표적 주파수 타일 또는 표적 재구성 대역을 위하여 소스 범위 정보를 포함하는 파라미터 정보를 수신하는 주파수 재생기(1106)가 제공된다. 주파수 재생기(1106)는 그리고 나서 표적 범위를 위한 스펙트럼 데이터를 발생시키기 위하여 매칭 정보에 의해 식별되는 소스 범위로부터 스펙트럼 값들을 사용함으로써 주파수 재생을 적용한다. 그리고 나서, 제 1 스펙트럼 부분들(1101) 및 주파수 재생기(1107)의 출력은 최종적으로 디코딩된 오디오 신호를 발생시키기 위하여 모두 스펙트럼-시간 변환기(1108) 내로 입력된다.
바람직하게는, 비록 오디오 디코더가 또한 시간 도메인 또는 파라미터 오디오 디코더와 같은 어떠한 다른 오디오 디코더로서 구현될 수 있더라도, 오디오 디코더(1102)는 스펙트럼 도메인 오디오 디코더이다.
도 11b에 도시된 것과 같이, 주파수 재생기(1106)는 홀수 래그들을 위한 소스 범위 선택기-타일 변조기의 기능성들, 백색화 플래그(1123)가 제공될 때 백색화 필터(1122), 및 부가적으로 블록(1120) 또는 블록(1122) 또는 두 블록의 협력에 의해 발생되는 원시 스펙트럼 데이터를 사용하여 구현되는 블록(1128)에 도시된 조정 기능성들을 갖는 스펙트럼 엔벨로프를 포함한다. 어쨌든, 주파수 재생기(1106)는 수신된 백색화 플래그(1123)에 반응하는 스위치(1124)를 포함할 수 있다. 백색화 플래그가 설정될 때, 홀수 래그들을 위한 소스 범위 선택기/타일 변조기는 백색화 필터(1122) 내로 입력된다. 그러나, 그리고 나서 백색화 플래그(1123)는 특정 재구성 대역을 위하여 설정되지 않고, 그때 어떠한 백색화 없이 스펙트럼 엔벨로프 조정 블록(1128)에 블록(1120)의 출력이 제공되도록 우회 라인(1126)이 활성화된다.
비트스트림 내에 시그널링되는 하나 이상의 백색화(1123)의 레벨이 존재할 수 있으며 이러한 레벨들은 타일 당 시그널링될 수 있다. 타일 당 시그널링되는 3개의 레벨이 존재하는 경우에, 다음의 방법으로 코딩되어야만 한다:
Figure pct00052
Figure pct00053
MID_WHITENING 및 STRONG_WHITENING은 엔벨로프가 계산되는 방법이 다를 수 있는(이전에 설명된 것과 같이) 서로 다른 백색화 필터들(1122)을 언급한다.
디코더-면 주파수 재생기는 가친 스펙트럼 타일 선택 전략만이 적용될 때 소스 범위 식별(1121)에 의해 제어될 수 있다. 그러나, 미세 조정된 스펙트럼 타일 선택 전략이 적용될 때, 부가적으로 소스 범위 래그(1119)가 제공된다. 게다가, 상관관계 계산이 음이 값을 제공할 때, 음의 부호를 설명하기 위하여 페이지 데이터 스펙트럼 라인들이 각각 "-1"로 곱해지도록 부가적으로 상관관계의 부호가 또한 블록(1120)에 적용될 수 있다.
따라서, 도 11a, 11b에 설명된 것과 같이 본 발명은 특정 목적지 또는 표적 범위를 위한 최상의 매칭 소스 범위가 인코더-면에서 계산되고 디코더-면 상에 적용된다는 사실에 기인하여 최적 오디오 품질이 획득되는 것을 보장한다.
도 11c는 시간-스펙트럼 변환디(1130), 그 뒤에 연결되는 스펙트럼 분석기(1132) 및 부가적으로, 파라미터 계산기(1134)와 코어 코더(1136)를 포함하는 오디오 신호를 인코딩하기 위한 특정 오디오 인코더이다. 코어 코더(1136)는 인코딩된 소스 범위들을 출력하고 파라미터 계산기(1134)는 표적 범위들을 위한 매칭 정보를 출력한다.
인코딩된 소스 범위들은 도 11a에 도시된 디코더가 주파수 재생을 실행하기 위한 위치 내에 존재하도록 표적 범위들을 위한 매칭 정보와 함께 디코더에 전송된다.
파라미터 계산기(1134)는 제 1 스펙트럼 부분들과 제 2 스펙트럼 부분들 사이의 유사성들을 계산하고, 계산된 유사성들을 기초로 하여 제 2 스펙트럼 부분을 위하여 제 2 스펙트럼 부분과 매칭하는 제 1 스펙트럼 부분의 매칭을 결정하도록 구성된다. 바람직하게는, 매칭은 제 2 스펙트럼 부분을 포함하는 선택된 매칭 쌍을 결정하기 위하여 도 12a, 12b에 도시된 것과 같이 서로 다른 소스 범위들과 표적 범위들을 위하여 발생하고, 파라미터 계산기는 매칭 쌍을 식별하는 이러한 매칭 정보를 인코딩된 오디오 신호 내로 제공하도록 구성된다. 바람직하게는, 이러한 파라미터 계산기(1134)는 예를 들면 도 12b에 도시된 것과 같이 제 2 스펙트럼 부분들의 제 2 세트 내의 미리 정의된 표적 범위들 또는 제 1 스펙트럼 부분들의 제 1 세트 내의 미리 정의된 소스 영역들을 사용하도록 구성된다. 바람직하게는, 미리 정의된 표적 영역들은 비-오버래핑하거나 또는 미리 정의된 소스 범위들은 오버래핑한다. 미리 정의된 소스 범위들이 도 3a의 갭 필링 시작 주파수(309) 아래의 제 1 스펙트럼 부분들의 제 1 세트의 서브세트일 때, 그리고 바람직하게는, 낮은 스펙트럼 영역을 포함하는 미리 정의된 표적 영역이 낮은 주파수 경계로 갭 필링 시작 주파수와 일치할 때, 어떠한 표적 범위들은 갭 필링 시작 주파수 위에 위치되고 소스 범위들은 갭 필링 시작 주파수 아래에 위치된다.
설명된 것과 같이, 미세 입상도는 표적 영역을 소스 영역에 대한 어떠한 래그도 없는 소스 영역과 비교하고 표적 영역을 특정 래그를 갖는 동일한 소스 영역과 비교함으로써 획득된다. 이러한 래그들은 도 11d의 상호 상관관계 계산기(1140) 내에 적용되고 매칭 쌍 선택은 타일 선택기(1144)에 의해 최종적으로 실행된다.
게다가, 블록(1142)에 도시된 것과 같이 소스 및/또는 표적 범위들 백색화를 실행하는 것이 바람직하다. 이러한 블록(1142)은 그리고 나서 도 11b의 디코더-면 스위치(1123)를 제어하도록 사용되는 비트스트림에 백색화 플래그를 제공한다. 게다가, 만일 상호 상호관계 계산기(1140)가 음의 결과를 제공하면, 이러한 음의 결과는 또한 디코더에 시그널링된다. 따라서, 바람직한 실시 예에서, 타일 선택기는 표적 범위, 래그, 부호를 위한 소스 범위 식별을 출력하고 블록(1142)은 부가적으로 백색화 플래그를 제공한다.
게다가, 파라미터 계산기(1134)는 소스 패치가 유사성 한계를 기초로 하는 잠재적 소스 타일들이 세트로부터 드롭된다는(dropped) 점에서 잠재적 소스 범위들의 수를 감소시킴으로써 소스 타일 전지작업(1146)을 실행하도록 구성된다. 따라서, 두 개의 소스 타일이 유사성 한계와 유사하거나 동일할 때, 이러한 두 개의 소스 타일 중 하나는 잠재적 소스들의 세트로부터 제거되고 제거된 소스 타일은 뒤따르는 처리를 위하여 더 이상 사용되지 않으며 특히, 타일 선택기에 의해 선택될 수 없거나 또는 블록(1140)에서 실행되는 것과 같이 서로 다른 소스 범위들과 표적 범위들 사이의 상호 상관관계 계산을 위하여 사용되지 않는다.
서로 다른 도면들과 관련하여 서로 다른 구현들이 설명되었다. 도 1a-5c는 완전 비율 또는 완전 대역폭 인코더/디코더 전략에 관한 것이다. 도 6a-7e는 시간적 잡음 형상화 또는 시간적 타일 형상화 처리를 갖는 인코더/디코더 전략에 관한 것이다. 도 8a-8e는 특정 2-채널 처리를 갖는 인코더/디코더 전략에 관한 것이다. 도 9a-10d는 특정 에너지 정보 계산과 적용에 관한 것이며, 도 11a-12c는 특정한 타일 선택 방법에 관한 것이다.
이러한 모든 서로 다른 양상은 서로 독립적으로 본 발명에서 사용될 수 있으며, 부가적으로 또한 기본적으로 도 2a와 2b에 도시된 것과 같이 함께 적용될 수 있다. 그러나, 특정 2-채널 처리는 또한 도 13에 도시된 인코더/디코더 전략에 적용될 수 있으며, 시간적 잡음 형상화/시간적 타일 형상화 처리, 재구성 대역 내의 엔벨로프 에너지 계산과 적용 또는 적응적 소스 범위 식별 및 디코더 면 상에서의 상응한 적용에서도 그러하다. 다른 한편으로, 완전 비율 양상은 시간적 잡음 형상화/시간적 타일 형상화 처리로 또는 처리 없이, 2-채널 처리로 또는 처리 없이, 적응적 소스 범위 식별 없이 또는 식별로 혹은 스펙트럼 엔벨로프 표현을 위한 다른 종류의 계산으로 적용될 수 있다. 따라서, 이러한 개별 양상들 중 어느 하나의 특징은 또한 다른 양상들에서 적용될 수 있다.
인코딩 또는 디코딩을 위한 장치의 맥락에서 일부 양상들이 설명되었으나, 이러한 양상들은 또한 블록 또는 장치가 방법 단계 또는 방법 단계의 특징과 상응하는, 상응하는 방법의 설명을 나타낸다는 것은 자명하다. 유사하게, 방법 단계의 맥락에서 설명된 양상들은 또한 상응하는 블록 아이템 혹은 상응하는 장치의 특징을 나타낸다. 일부 또는 모든 방법 단계는 예를 들면 마이크로프로세서, 프로그램가능 컴퓨터 또는 전자 회로 같은 하드웨어 장치에 의해(또는 사용하여) 실행될 수 있다. 일부 실시 예들에서, 하나 또는 그 이상의 가중 중요한 방법 단계는 그러한 장치에 의해 실행될 수 있다.
본 발명에 따른 일부 실시 예들은 여기에 설명된 방법들 중 어느 하나가 실행되는 것과 같이, 프로그램가능 컴퓨터 시스템과 협력할 수 있는, 전자적으로 판독가능한 제어 신호들을 갖는 데이터 캐리어를 포함한다.
일반적으로, 본 발명의 실시 예들은 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있으며, 프로그램 코드는 컴퓨터 프로그램 제품이 컴퓨터 상에서 구동할 때 방법들 중 어느 하나를 실행하도록 운영될 수 있다. 프로그램 코드는 예를 들면, 기계 판독가능 캐리어 상에 저장될 수 있다.
다른 실시 예들은 기계 판독가능 캐리어 상에 저장되는, 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램을 포함한다.
바꾸어 말하면, 본 발명의 방법의 일 실시 예는 따라서 컴퓨터 프로그램이 컴퓨터 상에 구동할 때, 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
본 발명의 방법의 또 다른 실시 예는 따라서 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램을 포함하는, 그 안에 기록되는 데이터 캐리어(또는 데이터 저장 매체,또는 컴퓨터 판독가능 매체)이다. 데이터 캐리어, 디지털 저장 매체 또는 기록된 매체는 일반적으로 유형 및/또는 비-일시적이다.
본 발명의 방법의 또 다른 실시 예는 따라서 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램을 나타내는 데이터 스트림 또는 신호들의 시퀀스이다. 데이터 스트림 또는 신호들의 시퀀스는 예를 들면 데이터 통신 연결, 예를 들면 인터넷을 거쳐 전송되도록 구성될 수 있다.
또 다른 실시 예는 여기에 설명된 방법들 중 어느 하나를 실행하도록 구성되거나 혹은 적용되는, 처리 수단, 예를 들면 컴퓨터, 또는 프로그램가능 논리 장치를 포함한다.
또 다른 실시 예는 그 안에 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.
본 발명에 따른 또 다른 실시 예는 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터를 수신기로 전달하도록(예를 들면, 전자적으로 또는 광학적으로) 구성되는 장치 또는 시스템을 포함한다. 수신기는 예를 들면, 컴퓨터 모바일 장치, 메모리 장치 등일 수 있다. 장치 또는 시스템은 예를 들면 컴퓨터 프로그램을 수신기로 전달하기 위한 파일 서버를 포함할 수 있다.
일부 실시 예들에서, 여기에 설명된 방법들 중 일부 또는 모두를 실행하기 위하여 프로그램가능 논리 장치(예를 들면, 필드 프로그램가능 게이트 어레이)가 사용될 수 있다. 일부 실시 예들에서, 필드 프로그램가능 게이트 어레이는 여기에 설명된 방법들 중 어느 하나를 실행하기 위하여 마이크로프로세서와 협력할 수 있다. 일반적으로, 방법들은 바람직하게는 어떠한 하드웨어 장치에 의해 실행된다.
위에 설명된 실시 예들은 단지 본 발명의 원리들을 위한 설명이다. 여기에 설명된 배치들과 상세내용들의 변형과 변경은 통상의 지식을 가진 자들에 자명할 것이라는 것을 이해할 것이다. 따라서, 본 발명은 여기에 설명된 실시 예들의 설명에 의해 표현된 특정 상세내용이 아닌 특허 청구항의 범위에 의해서만 한정되는 것으로 의도된다.
인용문헌의 목록
[1] Dietz, L. Liljeryd, K. Kjrling and O. Kunz, Spectral Band Replication, a novel approach in audio coding, in 112th AES Convention, Munich, May 2002.
[2] Ferreira, D. Sinha, Accurate Spectral Replacement, Audio Engineering Society Convention, Barcelona, Spain 2005.
[3] D. Sinha, A. Ferreira1 and E. Harinarayanan, A Novel Integrated Audio Bandwidth Extension Toolkit (ABET), Audio Engineering Society Convention, Paris, France 2006.
[4] R. Annadana, E. Harinarayanan, A. Ferreira and D. Sinha, New Results in Low Bit Rate Speech Coding and Bandwidth Extension, Audio Engineering Society Convention, San Francisco, USA 2006.
[5] T. ernicki, M. Bartkowiak, Audio bandwidth extension by frequency scaling of sinusoidal partials, Audio Engineering Society Convention, San Francisco, USA 2008.
[6] J. Herre, D. Schulz, Extending the MPEG-4 AAC Codec by Perceptual Noise Substitution, 104th AES Convention, Amsterdam, 1998, Preprint 4720.
[7] M. Neuendorf, M. Multrus, N. Rettelbach, et al., MPEG Unified Speech and Audio Coding-The ISO/MPEG Standard for High-Efficiency Audio Coding of all Content Types, 132nd AES Convention, Budapest, Hungary, April, 2012.
[8] McAulay, Robert J., Quatieri, Thomas F. Speech Analysis/Synthesis Based on a Sinusoidal Representation. IEEE Transactions on Acoustics, Speech, And Signal Processing, Vol 34(4), August 1986.
[9] Smith, J.O., Serra, X. PARSHL: An analysis/synthesis program for non-harmonic sounds based on a sinusoidal representation, Proceedings of the International Computer Music Conference, 1987.
[10] Purnhagen, H.; Meine, Nikolaus, "HILN-the MPEG-4 parametric audio coding tools," Circuits and Systems, 2000. Proceedings. ISCAS 2000 Geneva. The 2000 IEEE International Symposium on , vol.3, no., pp.201,204 vol.3, 2000
[11] International Standard ISO/IEC 13818-3, Generic Coding of Moving Pictures and Associated Audio: Audio, Geneva, 1998.
[12] M. Bosi, K. Brandenburg, S. Quackenbush, L. Fielder, K. Akagiri, H. Fuchs, M. Dietz, J. Herre, G. Davidson, Oikawa: "MPEG-2 Advanced Audio Coding", 101st AES Convention, Los Angeles 1996
[13] J. Herre, Temporal Noise Shaping, Quantization and Coding methods in Perceptual Audio Coding: A Tutorial introduction, 17th AES International Conference on High Quality Audio Coding, August 1999
[14] J. Herre, Temporal Noise Shaping, Quantization and Coding methods in Perceptual Audio Coding: A Tutorial introduction, 17th AES International Conference on High Quality Audio Coding, August 1999
[15] International Standard ISO/IEC 23001-3:2010, Unified speech and audio coding Audio, Geneva, 2010.
[16] International Standard ISO/IEC 14496-3:2005, Information technology - Coding of audio-visual objects - Part 3: Audio, Geneva, 2005.
[17] P. Ekstrand, Bandwidth Extension of Audio Signals by Spectral Band Replication, in Proceedings of 1st IEEE Benelux Workshop on MPCA, Leuven, November 2002
[18] F. Nagel, S. Disch, S. Wilde, A continuous modulated single sideband bandwidth extension, ICASSP International Conference on Acoustics, Speech and Signal Processing, Dallas, Texas (USA), April 2010

Claims (21)

  1. 디코딩된 2-채널 신호를 발생시키는 장치에 있어서,
    제1스펙트럼 부분들의 제1세트를 얻기 위해 인코딩된 2-채널 신호를 디코딩하는 오디오 프로세서(802);
    제2스펙트럼 부분들에 대해 제1 또는 제2의 상이한 2-채널 표현을 각각 식별하는 2-채널 식별 및 제2스펙트럼 부분들의 제2세트에 대한 파라미터 데이터를 제공하는 파라미터 디코더(804);
    제2부분에 대한 2-채널 식별 및 제2부분에 대한 파라미터 데이터, 제1스펙트럼 부분들의 제1세트의 제1스펙트럼 부분에 의존하여 제2스펙트럼 부분을 재생하는 주파수 재생기(806);를 포함하는, 디코딩된 2-채널 신호를 발생시키는 장치.
  2. 제1항에 있어서,
    상기 2-채널 식별은 2-채널 신호의 2개 채널들을 개별 처리하거나 또는 2-채널 신호의 2개 채널들을 조인트 처리(공동 처리, joint processing)하며,
    상기 주파수 재생기(806)는 제2채널의 제1부분 및 제1채널의 제1부분을 이용하여 2개의 채널들의 제2채널에 대한 제2스펙트럼 부분 및 2개의 채널들의 제1채널에 대한 제2스펙트럼 부분을 재생시키도록 구성되며, 상기 제1채널의 제1부분 및 제2채널의 제1부분은 제2스펙트럼 부분에 대한 2-채널 식별에 의해 식별되는 2-채널 표현인 것을 특징으로 하는 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 2-채널 식별은 2-채널 신호의 2개 채널들의 개별 처리 또는 2-채널 신호의 2개 채널들의 조인트 처리 각각을 식별하며,
    상기 주파수 재생기(806)는 상기 2-채널 식별에 의해 식별될 때 상기 제2스펙트럼 부분의 2개 채널들의 조인트 표현(joint representation)을 재생하도록 구성되고,
    상기 주파수 재생기(806)는 상기 제2스펙트럼 부분의 조인트 표현을 상기 제2스펙트럼 부분에 대한 개별 표현으로 변환하기 위한 표현 변환기(842)를 더 포함하는 것을 특징으로 하는 장치.
  4. 제3항에 있어서,
    상기 표현 변환기는 표현 변환을 위한 추가 조인트 표현 파라미터들을 이용하는 것을 특징으로 하는 장치.
  5. 제3항에 있어서,
    상기 조인트 표현은 미드/사이드 표현이며, 상기 표현 변환기는 다음 방정식에 기반하여 작동하도록 구성되며:
    Figure pct00054

    Figure pct00055

    leftTile 및 rightTile은 제2스펙트럼 부분에 대한 개별 표현이며, midTile 및 sideTile은 제2스펙트럼 부분에 대한 조인트 표현인 것을 특징으로 하는 장치.
  6. 제3항에 있어서,
    상기 조인트 표현은 추가 예측 계수를 포함하며, 상기 표현 변환기는 다음 방정식에 기반하여 작동하도록 구성되며:
    예측 방향이 사이드로부터 중간(mid)을 향할 때,
    Figure pct00056

    또는 예측 방향이 사이드에서 중간으로 표시될 때,
    Figure pct00057

    leftTile 및 rightTile은 제2스펙트럼 부분에 대한 개별 표현이며, midTile 및 sideTile은 제2스펙트럼 부분에 대한 조인트 표현이며, predictionCoefficient는 추가 예측 계수인 것을 특징으로 하는 장치.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    제2스펙트럼 부분들의 제2세트에 대한 파라미터 데이터가 2-채널 표현의 각 채널에 대해 개별적으로 주어지고,
    상기 주파수 재생기(806)는, 상기 2-채널 식별이 상기 제2스펙트럼 부분에 대한 조인트 표현을 식별할 때, 제2스펙트럼 부분에 대한 파라미터 데이터를 제2스펙트럼 부분에 대한 조인트 표현으로 변환하도록 그리고 제1스펙트럼 부분의 조인트 표현에 파라미터 데이터를 적용하도록 구성되는 것을 특징으로 하는 장치.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 제2스펙트럼 부분들은 주파수 대역들에 대응하고, 상기 2-채널 식별은, 각 주파수 대역에 대해 하나의 플래그인, 플래그들의 어레이이며, 상기 파라미터 디코더(804)는 플래그가 설정되는지 아닌지 여부를 확인하고 2-채널 신호의 제1스펙트럼 부분의 제1의 2개 채널 표현 또는 제2의 2개 채널 표현 각각을 이용하기 위해 상기 플래그에 따른 주파수 재생을 제어하도록 구성되는 것을 특징으로 하는 장치.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    파라미터 디코더(804)는 상기 제1스펙트럼 부분에 대한 제1의 또는 제2의 상이한 2-채널 표현을 각각 표현하는 제1스펙트럼 부분들의 제1세트에 대한 추가 2-채널 식별을 제공하도록 구성되며,
    상기 장치는 제1스펙트럼 부분에 대한 상기 2-채널 식별에 의해 표현되는 것처럼 상기 제2의 2-채널 표현을 디코딩하도록 구성되며,
    상기 주파수 재생기(806)는 상기 코어 디코딩(830) 이후에 상기 제2의 2-채널 표현을 상기 제1의 2-채널 표현으로 변환하도록 구성되는 것을 특징으로 하는 장치.
  10. 상기 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 디코딩된 2-채널 신호를 얻기 위해 상기 주파수 재생기(806)에 의해 발생된 복원된 제2스펙트럼 부분 및 상기 오디오 프로세서(802)에 의해 발생된 제1스펙트럼 부분들의 제1세트를 결합하는 결합기(846)를 더 포함하는 것을 특징으로 하는 장치.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 파라미터 디코더는, 제2스펙트럼 부분에 대해, 상기 제2스펙트럼 부분을 재생하는데 이용될 특정 제1스펙트럼 부분을 표시하는 소스 대역 식별(1121)을 추가적으로 제공하도록 구성되며,
    상기 주파수 재생기(806)는 상기 소스 대역 식별(833)에 의해 식별되는 상기 제1스펙트럼 부분을 이용하여 상기 제2스펙트럼 부분을 재생하도록 구성되는 장치.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서,
    상기 오디오 프로세서는 상기 제1스펙트럼 부분들의 제1세트에 대해 추가 2-채널 식별에 따른 제1스펙트럼 부분들의 제1세트를 디코딩하고 제1스펙트럼 부분들의 제1세트를 변환(832)하여 제1스펙트럼 부분들의 제1세트의 제1의 2-채널 표현 및 제1스펙트럼 부분들의 제1세트의 제2의 2-채널 표현이 얻어지도록 구성되며,
    상기 주파수 재생기(806)는 상기 제2부분에 대한 상기 2-채널 식별에서 표시되는 것처럼 제1스펙트럼 부분들의 제1의 2-채널 표현 또는 제2의 2-채널 표현 각각을 이용하도록 구성되는 것을 특징으로 하는 장치.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서,
    상기 주파수 재생기(806)는 상기 오디오 프로세서(830)에 의해 발생되는 제1스펙트럼 부분들의 제1세트의 제1 및 제2의 2-채널 표현을 제공하기 위한 표현 변환기(832)를 포함하며,
    상기 주파수 재생기(806)는 원시 데이터(raw data)를 발생시키기 위해 이용될 제1스펙트럼 부분들을 표현하는 소스 범위 식별(833)을 이용하고 2-채널 식별에 의해 식별되는 채널 표현의 각 채널에 대한 원시 데이터를 발생시키는 주파수 타일 발생기(836)를 더 포함하며,
    각 채널에 대한 원시 데이터가 상기 주파수 타일 재생기(836)에 의해 표현되는 제2의 2-채널 표현으로 제공될 때, 상기 주파수 재생기(806)는 상기 파라미터들에 대한 제1의 2-채널 표현으로 제공된 파라미터들을 제2의 2-채널 표현으로 변환하기 위한 파라미터 변환기(840)을 더 포함하며,
    상기 주파수 재생기(806)는 상기 2-채널 표현의 각 채널의 엔벨로프를 조정하기 위한 엔벨로프 조정기(838)를 더 포함하고, 상기 2-채널 표현은 상기 제2의 2-채널 표현이며,
    상기 주파수 재생기(806)는 상기 제2의 스펙트럼 부분의 스펙트럼 값들의 2-채널 표현을 상기 제1의 2-채널 표현으로 변환하기 위한 표현 변환기(842)를 더 포함하며,
    상기 장치는 표현 변환기(842)에 의해 발생되는 표현을 스펙트럼 영역에서 시간 영역으로 변환하기 위한 주파수-시간 변환기(846)를 더 포함하는 것을 특징으로 하는 장치.
  14. 2-채널 오디오 신호를 인코딩하기 위한 오디오 인코더에 있어서,
    2-채널 오디오 신호를 스펙트럼 표현으로 변환하기 위한 시간-스펙트럼 변환기(860);
    제1의 2-채널 표현 또는 제2의 2-채널 표현을 각각 식별하는 복원 대역에 대한 2-채널 식별을 결정하기 위해 복원 대역 내의 2-채널 오디오 신호의 대역들을 분석하는 2-채널 분석기(864);
    제2스펙트럼 해상도가 제1스펙트럼 해상도보다 작으며, 제2스펙트럼 해상도에 의해 인코딩될 제2스펙트럼 부분들의 제2세트의 그리고 제1스펙트럼 해상도로 인코딩될 제1스펙트럼 부분들의 제1세트의 표현을 제공하는 스펙트럼 분석기(860);
    제1인코딩된 표현을 제공하기 위해 제1스펙트럼 부분들의 제1세트를 인코딩하기 위한 코어 디코더(870); 및
    제2스펙트럼 부분들의 제2세트에 대한 파라미터 데이터를 계산하기 위한 파라미터 계산기(868);을 포함하며,
    인코딩된 2-채널 오디오 신호는 제2스펙트럼 부분들의 제2세트에 대한 2-채널 식별 및 인코딩된 파라미터 표현, 제1인코딩된 표현을 포함하는 것을 특징으로 하는, 2-채널 오디오 신호를 인코딩하기 위한 오디오 인코더.
  15. 제14항에 있어서,
    상기 제1스펙트럼 부분들을 상기 2-채널 식별에 의해 표현되는 2-채널 표현으로 변환하기 위한 변환기(862)를 더 포함하며 상기 스펙트럼 분석기(860)는 대역 방식 변환기(862)에 의해 출력되는 2-채널 표현을 분석하도록 구성되는, 오디오 인코더.
  16. 제14항 또는 제15항 중 어느 한 항에 있어서,
    상기 2-채널 분석기(864)는 개별 2-채널 표현 또는 조인트 2-채널 표현 각각을 결정하기 위해 상기 2-채널 표현의 2-채널들의 제2스펙트럼 부분 및 2-채널 표현의 제1채널의 제2스펙트럼 부분 사이의 상관관계 계산을 수행하도록 구성되는 것을 특징으로 하는, 오디오 인코더.
  17. 제14항 내지 제16항 중 어느 한 항에 따라,
    상기 스펙트럼 분석기(860)는 적어도 하나의 채널의 제2스펙트럼 부분 및 적어도 하나의 채널의 제1스펙트럼 부분의 매칭 쌍을 결정하기 위해 그리고 최적 매칭 쌍에 대한 매칭 정보(833)를 제공하기 위해, 2-채널 표현의 적어도 하나의 채널의 상이한 스펙트럼 부분들에 대한 매칭 결과들을 2-채널 표현의 적어도 하나의 채널의 상이한 제1스펙트럼 부분에 대해 비교하도록 구성되며,
    상기 오디오 인코더는, 인코딩된 오디오 신호에 더하여, 상기 제2스펙트럼 부분에 대한 매칭 정보(833)를 출력하도록 구성되는 것을 특징으로 하는 오디오 인코더.
  18. 제14항 내지 제17항 중 어느 한 항에 있어서,
    시간-스펙트럼 변환기(860)의 출력에 연결되는 입력을 갖는 대역 방식 변환기(862)를 포함하며,
    상기 스펙트럼 분석기(860)는, 입력으로서, 상기 대역 방향 변환기(862)의 출력을 수신하도록 구성되며,
    상기 2-채널 분석기(864)는 상기 시간-스펙트럼 변환기(860)의 출력을 분석하도록 그리고 대역 방식 변환기(862)를 제어하기 위한 분석 결과를 제공하도록 구성되며,
    상기 오디오 인코더는 상기 스펙트럼 분석기(860)에 의해 제어될 때 대역 방식 변환기(862)의 출력을 인코딩하도록 구성되어, 제1스펙트럼 부분들의 제1세트만이 상기 코어 인코더(870)에 의해 인코딩되며,
    상기 파라미터 인코더(868)는 상기 대역 방식 변환기(862)의 출력으로 상기 스펙트럼 분석기(860)에 의해 표시되는 것처럼 제2스펙트럼 부분들의 제2세트를 파라미터적으로 인코딩하도록 구성되는 것을 특징으로 하는 오디오 인코더.
  19. 디코딩된 2-채널 신호를 발생시키는 방법에 있어서,
    제1스펙트럼 부분들의 제1세트를 얻기 위해 인코딩된 2-채널 신호를 디코딩(802)하는 단계;
    상기 제2스펙트럼 부분들에 대해 제1의 또는 제2의 상이한 2-채널 표현을 식별하는 2-채널 식별 및 제2스펙트럼 부분들의 제2세트에 대한 파라미터 데이터를 제공(804)하는 단계; 및
    상기 제2부분에 대한 2-채널 식별 및 제2부분에 대한 파라미터 데이터, 제1스펙트럼 부분들의 제1세트의 제1스펙트럼 부분에 의존하여 제2스펙트럼 부분을 재생(806)하는 단계;를 포함하는, 디코딩된 2-채널 신호를 발생시키는 방법.
  20. 2-채널 오디오 신호를 인코딩하는 방법에 있어서,
    2-채널 오디오 신호를 스펙트럼 표현으로 변환(860)하는 단계;
    제1의 2-채널 표현 또는 제2의 2-채널 표현을 각각 식별하는 복원 대역에 대한 2-채널 식별을 결정하기 위해 복원 범위 내의 2-채널 오디오 신호의 대역들을 분석(864)하는 단계;
    제2스펙트럼 해상도는 제1스펙트럼 해상도보다 작으며, 제2스펙트럼 해상도에 의해 인코딩될 스펙트럼 제2스펙트럼 부분들의 제2세트의 그리고 제1스펙트럼 해상도로 인코딩될 제1스펙트럼 부분들의 제1세트의 표현을 제공(860)하는 단계;
    제1인코딩된 표현을 제공하기 위해 제1스펙트럼 부분들의 제1세트를 인코딩(870)하는 단계; 및
    제2스펙트럼 부분들의 제2세트에 대한 파라미터 데이터를 계산(868)하는 단계;를 포함하며,
    인코딩된 2-채널 오디오 신호는 제1인코딩된 표현, 인코딩된 파라미터 표현 및 제2스펙트럼 부분들의 제2세트에 대한 2-채널 식별을 포함하는 것을 특징으로 하는, 2-채널 오디오 신호를 인코딩하는 방법.
  21. 컴퓨터 또는 프로세서 상에서 수행될 때, 제19항 또는 제20항 중 어느 한 항의 방법을 수행하기 위한 컴퓨터 프로그램.
KR1020167001755A 2013-07-22 2014-07-15 지능형 갭 필링 프레임워크 내의 2-채널 프로세싱을 이용한 오디오 인코더, 오디오 디코더 및 관련 방법들 Active KR101809592B1 (ko)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
EPEP13177353 2013-07-22
EPEP13177350 2013-07-22
EP13177350 2013-07-22
EPEP13177348 2013-07-22
EP13177348 2013-07-22
EPEP13177346 2013-07-22
EP13177353 2013-07-22
EP13177346 2013-07-22
EPEP13189366 2013-10-18
EP13189366.1A EP2830054A1 (en) 2013-07-22 2013-10-18 Audio encoder, audio decoder and related methods using two-channel processing within an intelligent gap filling framework
PCT/EP2014/065106 WO2015010947A1 (en) 2013-07-22 2014-07-15 Audio encoder, audio decoder and related methods using two-channel processing within an intelligent gap filling framework

Publications (2)

Publication Number Publication Date
KR20160030193A true KR20160030193A (ko) 2016-03-16
KR101809592B1 KR101809592B1 (ko) 2018-01-18

Family

ID=49385156

Family Applications (7)

Application Number Title Priority Date Filing Date
KR1020167004481A Active KR101807836B1 (ko) 2013-07-22 2014-07-15 적응적 스펙트럼 타일 선택을 사용하는 오디오 신호의 디코딩 및 인코딩을 위한 장치 및 방법
KR1020167001755A Active KR101809592B1 (ko) 2013-07-22 2014-07-15 지능형 갭 필링 프레임워크 내의 2-채널 프로세싱을 이용한 오디오 인코더, 오디오 디코더 및 관련 방법들
KR1020157008843A Active KR101681253B1 (ko) 2013-07-22 2014-07-15 시간적 잡음/패치 형상화를 사용하여 인코딩 및 인코딩된 오디오 신호를 디코딩하기 위한 장치와 방법
KR1020167004276A Active KR101826723B1 (ko) 2013-07-22 2014-07-15 스펙트럼 도메인에서 지능형 갭 필링과 함께 오디오 신호를 인코딩 또는 디코딩하는 장치 및 방법
KR1020167004258A Active KR101774795B1 (ko) 2013-07-22 2014-07-15 복원 대역에 대해 에너지 정보 값을 이용하여 오디오 신호를 디코딩 또는 인코딩하기 위한 장치 및 방법
KR1020167003487A Active KR101764723B1 (ko) 2013-07-22 2014-07-15 전이 주파수 주변의 크로스-오버 필터를 이용하여 인코딩된 오디오 신호를 디코딩하는 장치 및 방법
KR1020167001383A Expired - Fee Related KR101822032B1 (ko) 2013-07-22 2014-07-15 인코딩된 오디오 신호를 디코딩하기 위한 장치, 방법 및 컴퓨터 프로그램

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020167004481A Active KR101807836B1 (ko) 2013-07-22 2014-07-15 적응적 스펙트럼 타일 선택을 사용하는 오디오 신호의 디코딩 및 인코딩을 위한 장치 및 방법

Family Applications After (5)

Application Number Title Priority Date Filing Date
KR1020157008843A Active KR101681253B1 (ko) 2013-07-22 2014-07-15 시간적 잡음/패치 형상화를 사용하여 인코딩 및 인코딩된 오디오 신호를 디코딩하기 위한 장치와 방법
KR1020167004276A Active KR101826723B1 (ko) 2013-07-22 2014-07-15 스펙트럼 도메인에서 지능형 갭 필링과 함께 오디오 신호를 인코딩 또는 디코딩하는 장치 및 방법
KR1020167004258A Active KR101774795B1 (ko) 2013-07-22 2014-07-15 복원 대역에 대해 에너지 정보 값을 이용하여 오디오 신호를 디코딩 또는 인코딩하기 위한 장치 및 방법
KR1020167003487A Active KR101764723B1 (ko) 2013-07-22 2014-07-15 전이 주파수 주변의 크로스-오버 필터를 이용하여 인코딩된 오디오 신호를 디코딩하는 장치 및 방법
KR1020167001383A Expired - Fee Related KR101822032B1 (ko) 2013-07-22 2014-07-15 인코딩된 오디오 신호를 디코딩하기 위한 장치, 방법 및 컴퓨터 프로그램

Country Status (19)

Country Link
US (24) US10332539B2 (ko)
EP (20) EP2830054A1 (ko)
JP (12) JP6389254B2 (ko)
KR (7) KR101807836B1 (ko)
CN (12) CN105556603B (ko)
AU (7) AU2014295301B2 (ko)
BR (12) BR112016000947B1 (ko)
CA (8) CA2918810C (ko)
ES (10) ES2698023T3 (ko)
MX (7) MX356161B (ko)
MY (6) MY187943A (ko)
PL (9) PL3025343T3 (ko)
PT (7) PT3025328T (ko)
RU (7) RU2635890C2 (ko)
SG (7) SG11201502691QA (ko)
TR (1) TR201816157T4 (ko)
TW (7) TWI545561B (ko)
WO (7) WO2015010952A1 (ko)
ZA (5) ZA201502262B (ko)

Families Citing this family (116)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0726265Y2 (ja) 1986-06-20 1995-06-14 三菱自動車工業株式会社 スイングア−ム式パ−ツ搬送装置
ES2561603T3 (es) 2012-03-29 2016-02-29 Telefonaktiebolaget Lm Ericsson (Publ) Extensión del ancho de banda de una señal de audio armónica
TWI546799B (zh) 2013-04-05 2016-08-21 杜比國際公司 音頻編碼器及解碼器
EP2830051A3 (en) 2013-07-22 2015-03-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder, methods and computer program using jointly encoded residual signals
EP2830054A1 (en) 2013-07-22 2015-01-28 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder and related methods using two-channel processing within an intelligent gap filling framework
CN110890101B (zh) 2013-08-28 2024-01-12 杜比实验室特许公司 用于基于语音增强元数据进行解码的方法和设备
FR3011408A1 (fr) * 2013-09-30 2015-04-03 Orange Re-echantillonnage d'un signal audio pour un codage/decodage a bas retard
AR099761A1 (es) 2014-03-14 2016-08-17 ERICSSON TELEFON AB L M (publ) Método y aparato para codificación de audio
EP2980794A1 (en) * 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder and decoder using a frequency domain processor and a time domain processor
EP2980795A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoding and decoding using a frequency domain processor, a time domain processor and a cross processor for initialization of the time domain processor
WO2016091893A1 (en) 2014-12-09 2016-06-16 Dolby International Ab Mdct-domain error concealment
WO2016142002A1 (en) 2015-03-09 2016-09-15 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder, method for encoding an audio signal and method for decoding an encoded audio signal
TWI693594B (zh) 2015-03-13 2020-05-11 瑞典商杜比國際公司 解碼具有增強頻譜帶複製元資料在至少一填充元素中的音訊位元流
GB201504403D0 (en) 2015-03-16 2015-04-29 Microsoft Technology Licensing Llc Adapting encoded bandwidth
EP3107096A1 (en) * 2015-06-16 2016-12-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Downscaled decoding
US10847170B2 (en) 2015-06-18 2020-11-24 Qualcomm Incorporated Device and method for generating a high-band signal from non-linearly processed sub-ranges
EP3171362B1 (en) * 2015-11-19 2019-08-28 Harman Becker Automotive Systems GmbH Bass enhancement and separation of an audio signal into a harmonic and transient signal component
EP3182411A1 (en) * 2015-12-14 2017-06-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for processing an encoded audio signal
WO2017125544A1 (en) * 2016-01-22 2017-07-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for mdct m/s stereo with global ild with improved mid/side decision
MY196436A (en) * 2016-01-22 2023-04-11 Fraunhofer Ges Forschung Apparatus and Method for Encoding or Decoding a Multi-Channel Signal Using Frame Control Synchronization
EP3208800A1 (en) * 2016-02-17 2017-08-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for stereo filing in multichannel coding
DE102016104665A1 (de) * 2016-03-14 2017-09-14 Ask Industries Gmbh Verfahren und Vorrichtung zur Aufbereitung eines verlustbehaftet komprimierten Audiosignals
US10741196B2 (en) 2016-03-24 2020-08-11 Harman International Industries, Incorporated Signal quality-based enhancement and compensation of compressed audio signals
US9984701B2 (en) 2016-06-10 2018-05-29 Apple Inc. Noise detection and removal systems, and related methods
EP3475944B1 (en) 2016-06-22 2020-07-15 Dolby International AB Audio decoder and method for transforming a digital audio signal from a first to a second frequency domain
US10249307B2 (en) * 2016-06-27 2019-04-02 Qualcomm Incorporated Audio decoding using intermediate sampling rate
US10812550B1 (en) * 2016-08-03 2020-10-20 Amazon Technologies, Inc. Bitrate allocation for a multichannel media stream
EP3288031A1 (en) 2016-08-23 2018-02-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding an audio signal using a compensation value
US9679578B1 (en) 2016-08-31 2017-06-13 Sorenson Ip Holdings, Llc Signal clipping compensation
EP3306609A1 (en) 2016-10-04 2018-04-11 Fraunhofer Gesellschaft zur Förderung der Angewand Apparatus and method for determining a pitch information
US10362423B2 (en) * 2016-10-13 2019-07-23 Qualcomm Incorporated Parametric audio decoding
EP3324406A1 (en) * 2016-11-17 2018-05-23 Fraunhofer Gesellschaft zur Förderung der Angewand Apparatus and method for decomposing an audio signal using a variable threshold
JP6769299B2 (ja) * 2016-12-27 2020-10-14 富士通株式会社 オーディオ符号化装置およびオーディオ符号化方法
US10304468B2 (en) 2017-03-20 2019-05-28 Qualcomm Incorporated Target sample generation
US10090892B1 (en) * 2017-03-20 2018-10-02 Intel Corporation Apparatus and a method for data detecting using a low bit analog-to-digital converter
US10354668B2 (en) 2017-03-22 2019-07-16 Immersion Networks, Inc. System and method for processing audio data
EP3382702A1 (en) * 2017-03-31 2018-10-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for determining a predetermined characteristic related to an artificial bandwidth limitation processing of an audio signal
EP3382701A1 (en) * 2017-03-31 2018-10-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for post-processing an audio signal using prediction based shaping
EP3382700A1 (en) 2017-03-31 2018-10-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for post-processing an audio signal using a transient location detection
RU2727794C1 (ru) 2017-05-18 2020-07-24 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Управляющее сетевое устройство
US11550665B2 (en) * 2017-06-02 2023-01-10 Apple Inc. Techniques for preserving clone relationships between files
JP6906876B2 (ja) * 2017-06-19 2021-07-21 アールティーエックス アー／エス オーディオ信号の符号化および復号化
CN110998722B (zh) 2017-07-03 2023-11-10 杜比国际公司 低复杂性密集瞬态事件检测和译码
JP6904209B2 (ja) * 2017-07-28 2021-07-14 富士通株式会社 オーディオ符号化装置、オーディオ符号化方法およびオーディオ符号化プログラム
WO2019081070A1 (en) * 2017-10-27 2019-05-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. APPARATUS, METHOD, OR COMPUTER PROGRAM PRODUCT FOR GENERATING ENHANCED BANDWIDTH AUDIO SIGNAL USING NEURAL NETWORK PROCESSOR
WO2019091576A1 (en) 2017-11-10 2019-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoders, audio decoders, methods and computer programs adapting an encoding and decoding of least significant bits
EP3483884A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Signal filtering
WO2019091573A1 (en) * 2017-11-10 2019-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding and decoding an audio signal using downsampling or interpolation of scale parameters
EP3483880A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Temporal noise shaping
EP3483882A1 (en) * 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Controlling bandwidth in encoders and/or decoders
EP3483883A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio coding and decoding with selective postfiltering
EP3483886A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Selecting pitch lag
EP3483878A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder supporting a set of different loss concealment tools
EP3483879A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Analysis/synthesis windowing function for modulated lapped transformation
US11771779B2 (en) * 2018-01-26 2023-10-03 Hadasit Medical Research Services & Development Limited Non-metallic magnetic resonance contrast agent
TWI895201B (zh) 2018-01-26 2025-08-21 瑞典商都比國際公司 用於執行一音訊信號之高頻重建之方法、音訊處理單元及非暫時性電腦可讀媒體
DE112018006786B4 (de) * 2018-02-09 2021-12-23 Mitsubishi Electric Corporation Audiosignal-Verarbeitungsvorrichtung und Audiosignal-Verarbeitungsverfahren
US10950251B2 (en) * 2018-03-05 2021-03-16 Dts, Inc. Coding of harmonic signals in transform-based audio codecs
IL313348B2 (en) * 2018-04-25 2025-08-01 Dolby Int Ab Integration of high frequency reconstruction techniques with reduced post-processing delay
KR20250130700A (ko) 2018-04-25 2025-09-02 돌비 인터네셔널 에이비 고주파 오디오 재구성 기술의 통합
EP3576088A1 (en) 2018-05-30 2019-12-04 Fraunhofer Gesellschaft zur Förderung der Angewand Audio similarity evaluator, audio encoder, methods and computer program
BR112020026967A2 (pt) * 2018-07-04 2021-03-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Codificação de áudio de multissinal usando branqueamento de sinal como pré-processamento
CN109088617B (zh) * 2018-09-20 2021-06-04 电子科技大学 比率可变数字重采样滤波器
US10957331B2 (en) 2018-12-17 2021-03-23 Microsoft Technology Licensing, Llc Phase reconstruction in a speech decoder
US10847172B2 (en) * 2018-12-17 2020-11-24 Microsoft Technology Licensing, Llc Phase quantization in a speech encoder
EP3671741A1 (en) * 2018-12-21 2020-06-24 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Audio processor and method for generating a frequency-enhanced audio signal using pulse processing
BR112021013726A2 (pt) * 2019-01-13 2021-09-21 Huawei Technologies Co., Ltd. Método implementado por computador para realizar quantização residual, dispositivo eletrônico e meio legível por computador não transitório
CN113348507B (zh) * 2019-01-13 2025-02-21 华为技术有限公司 高分辨率音频编解码
CN113841197B (zh) * 2019-03-14 2022-12-27 博姆云360公司 具有优先级的空间感知多频带压缩系统
WO2020207593A1 (en) 2019-04-11 2020-10-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder, apparatus for determining a set of values defining characteristics of a filter, methods for providing a decoded audio representation, methods for determining a set of values defining characteristics of a filter and computer program
CN110265043B (zh) * 2019-06-03 2021-06-01 同响科技股份有限公司 自适应有损或无损的音频压缩和解压缩演算方法
WO2020253941A1 (en) 2019-06-17 2020-12-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder with a signal-dependent number and precision control, audio decoder, and related methods and computer programs
IL289450B2 (en) 2019-07-30 2026-01-01 Dolby Laboratories Licensing Corp Acoustic echo cancellation control for distributed audio devices
US11527252B2 (en) 2019-08-30 2022-12-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. MDCT M/S stereo
IL322658A (en) 2019-10-30 2025-10-01 Dolby Laboratories Licensing Corp Data rate decentralization in embedded voice and audio services
TWI702780B (zh) 2019-12-03 2020-08-21 財團法人工業技術研究院 提升共模瞬變抗擾度的隔離器及訊號產生方法
CN111862953B (zh) * 2019-12-05 2023-08-22 北京嘀嘀无限科技发展有限公司 语音识别模型的训练方法、语音识别方法及装置
US11158297B2 (en) * 2020-01-13 2021-10-26 International Business Machines Corporation Timbre creation system
CN113192517B (zh) * 2020-01-13 2024-04-26 华为技术有限公司 一种音频编解码方法和音频编解码设备
US20230085013A1 (en) * 2020-01-28 2023-03-16 Hewlett-Packard Development Company, L.P. Multi-channel decomposition and harmonic synthesis
CN111199743B (zh) * 2020-02-28 2023-08-18 Oppo广东移动通信有限公司 音频编码格式确定方法、装置、存储介质及电子设备
CN111429925B (zh) * 2020-04-10 2023-04-07 北京百瑞互联技术有限公司 一种降低音频编码速率的方法及系统
CN113593586B (zh) * 2020-04-15 2025-01-10 华为技术有限公司 音频信号编码方法、解码方法、编码设备以及解码设备
CN113539281B (zh) * 2020-04-21 2024-09-06 华为技术有限公司 音频信号编码方法和装置
CN111371459B (zh) * 2020-04-26 2023-04-18 宁夏隆基宁光仪表股份有限公司 一种适用于智能电表的多操作高频替换式数据压缩方法
CN113782040B (zh) * 2020-05-22 2024-07-30 华为技术有限公司 基于心理声学的音频编码方法及装置
CN113808596B (zh) * 2020-05-30 2025-01-03 华为技术有限公司 一种音频编码方法和音频编码装置
CN113808597B (zh) * 2020-05-30 2024-10-29 华为技术有限公司 一种音频编码方法和音频编码装置
MX2022015324A (es) * 2020-06-11 2023-02-27 Dolby Laboratories Licensing Corp Metodos y dispositivos para codificar y/o decodificar ruido de fondo espacial dentro de una se?al de entrada multicanal.
WO2021258350A1 (zh) * 2020-06-24 2021-12-30 华为技术有限公司 一种音频信号处理方法和装置
EP4193357A1 (en) * 2020-08-28 2023-06-14 Google LLC Maintaining invariance of sensory dissonance and sound localization cues in audio codecs
EP4203518A4 (en) * 2020-09-28 2024-03-13 Samsung Electronics Co., Ltd. VIDEO PROCESSING APPARATUS AND METHOD
CN116648931A (zh) * 2020-10-13 2023-08-25 弗劳恩霍夫应用研究促进协会 在下混期间使用方向信息对多个音频对象进行编码的装置和方法或使用优化的协方差合成进行解码的装置和方法
MX2023004247A (es) 2020-10-13 2023-06-07 Fraunhofer Ges Forschung Aparato y metodo para codificar una pluralidad de objetos de audio o aparato y metodo para decodificacion usando dos o mas objetos de audio relevantes.
JP2024503186A (ja) 2020-12-02 2024-01-25 ドルビー ラボラトリーズ ライセンシング コーポレイション マルチチャネル・コーデックにおける空間ノイズ充填
US12507011B2 (en) * 2020-12-16 2025-12-23 Lisn Technologies Inc. Stereo headphone psychoacoustic sound localization system and method for reconstructing stereo psychoacoustic sound signals using same
CN113113033B (zh) * 2021-04-29 2025-03-07 腾讯音乐娱乐科技（深圳）有限公司 一种音频处理方法、设备及可读存储介质
CN113365189B (zh) * 2021-06-04 2022-08-05 上海傅硅电子科技有限公司 多声道无缝切换方法
CN115472171B (zh) * 2021-06-11 2024-11-22 华为技术有限公司 编解码方法、装置、设备、存储介质及计算机程序
EP4360088A1 (en) * 2021-06-24 2024-05-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for removing undesired auditory roughness
EP4120253A1 (en) * 2021-07-14 2023-01-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Integral band-wise parametric coder
US11838732B2 (en) 2021-07-15 2023-12-05 Boomcloud 360 Inc. Adaptive filterbanks using scale-dependent nonlinearity for psychoacoustic frequency range extension
CN113593604B (zh) * 2021-07-22 2024-07-19 腾讯音乐娱乐科技（深圳）有限公司 检测音频质量方法、装置及存储介质
CN115691521B (zh) * 2021-07-29 2026-03-13 华为技术有限公司 一种音频信号的编解码方法和装置
CN115691514B (zh) * 2021-07-29 2026-01-02 华为技术有限公司 一种多声道信号的编解码方法和装置
TWI794002B (zh) * 2022-01-28 2023-02-21 緯創資通股份有限公司 多媒體系統以及多媒體操作方法
JPWO2023153228A1 (ko) * 2022-02-08 2023-08-17
FR3133265A1 (fr) * 2022-03-02 2023-09-08 Orange Codage et décodage optimisé d’un signal audio utilisant un auto-encodeur à base de réseau de neurones
CN114582361B (zh) * 2022-04-29 2022-07-08 北京百瑞互联技术有限公司 基于生成对抗网络的高解析度音频编解码方法及系统
US20250279107A1 (en) * 2022-05-17 2025-09-04 Google Llc Asymmetric and adaptive strength for windowing at encoding and decoding time for audio compression
EP4303872A1 (de) * 2022-07-07 2024-01-10 Technische Universität München Kodierungsvorrichtung und kodierungsverfahren zur mehrkanalkodierung von vibrotaktilen signalen sowie dekodierung und dekodierungsverfahren
WO2024085551A1 (ko) * 2022-10-16 2024-04-25 삼성전자주식회사 패킷 손실 은닉을 위한 전자 장치 및 방법
US20240380517A1 (en) * 2023-05-08 2024-11-14 APS Technology 1 LLC Parallel Data Encoding and Decoding
US20240379090A1 (en) * 2023-05-12 2024-11-14 Gaudio Lab, Inc. Audio signal processing method and apparatus
CN116612782B (zh) * 2023-05-26 2025-09-26 平安科技（深圳）有限公司 基于自注意力的音频美化方法、装置、设备及存储介质
CN121188579B (zh) * 2025-11-24 2026-04-03 内蒙古电力(集团)有限责任公司鄂尔多斯供电分公司 无源光纤多参量数字孪生驱动异常根因定位方法及系统

Family Cites Families (266)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62234435A (ja) * 1986-04-04 1987-10-14 Kokusai Denshin Denwa Co Ltd <Kdd> 符号化音声の復号化方式
US6289308B1 (en) 1990-06-01 2001-09-11 U.S. Philips Corporation Encoded wideband digital transmission signal and record carrier recorded with such a signal
US5717821A (en) 1993-05-31 1998-02-10 Sony Corporation Method, apparatus and recording medium for coding of separated tone and noise characteristic spectral components of an acoustic sibnal
JP3465697B2 (ja) * 1993-05-31 2003-11-10 ソニー株式会社 信号記録媒体
TW272341B (ko) * 1993-07-16 1996-03-11 Sony Co Ltd
GB2281680B (en) * 1993-08-27 1998-08-26 Motorola Inc A voice activity detector for an echo suppressor and an echo suppressor
BE1007617A3 (nl) * 1993-10-11 1995-08-22 Philips Electronics Nv Transmissiesysteem met gebruik van verschillende codeerprincipes.
US5502713A (en) * 1993-12-07 1996-03-26 Telefonaktiebolaget Lm Ericsson Soft error concealment in a TDMA radio system
JPH07336231A (ja) * 1994-06-13 1995-12-22 Sony Corp 信号符号化方法及び装置、信号復号化方法及び装置、並びに記録媒体
EP0732687B2 (en) * 1995-03-13 2005-10-12 Matsushita Electric Industrial Co., Ltd. Apparatus for expanding speech bandwidth
AU5663296A (en) 1995-04-10 1996-10-30 Corporate Computer Systems, Inc. System for compression and decompression of audio signals fo r digital transmission
JP3747492B2 (ja) 1995-06-20 2006-02-22 ソニー株式会社 音声信号の再生方法及び再生装置
JP3246715B2 (ja) * 1996-07-01 2002-01-15 松下電器産業株式会社 オーディオ信号圧縮方法，およびオーディオ信号圧縮装置
JPH10124088A (ja) * 1996-10-24 1998-05-15 Sony Corp 音声帯域幅拡張装置及び方法
SE512719C2 (sv) * 1997-06-10 2000-05-02 Lars Gustaf Liljeryd En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion
DE19730130C2 (de) * 1997-07-14 2002-02-28 Fraunhofer Ges Forschung Verfahren zum Codieren eines Audiosignals
US6253172B1 (en) * 1997-10-16 2001-06-26 Texas Instruments Incorporated Spectral transformation of acoustic signals
US5913191A (en) * 1997-10-17 1999-06-15 Dolby Laboratories Licensing Corporation Frame-based audio coding with additional filterbank to suppress aliasing artifacts at frame boundaries
DE19747132C2 (de) * 1997-10-24 2002-11-28 Fraunhofer Ges Forschung Verfahren und Vorrichtungen zum Codieren von Audiosignalen sowie Verfahren und Vorrichtungen zum Decodieren eines Bitstroms
US6029126A (en) * 1998-06-30 2000-02-22 Microsoft Corporation Scalable audio coder and decoder
US6253165B1 (en) * 1998-06-30 2001-06-26 Microsoft Corporation System and method for modeling probability distribution functions of transform coefficients of encoded signal
US6453289B1 (en) 1998-07-24 2002-09-17 Hughes Electronics Corporation Method of noise reduction for speech codecs
US6061555A (en) 1998-10-21 2000-05-09 Parkervision, Inc. Method and system for ensuring reception of a communications signal
US6400310B1 (en) * 1998-10-22 2002-06-04 Washington University Method and apparatus for a tunable high-resolution spectral estimator
SE9903553D0 (sv) 1999-01-27 1999-10-01 Lars Liljeryd Enhancing percepptual performance of SBR and related coding methods by adaptive noise addition (ANA) and noise substitution limiting (NSL)
JP3762579B2 (ja) 1999-08-05 2006-04-05 株式会社リコー デジタル音響信号符号化装置、デジタル音響信号符号化方法及びデジタル音響信号符号化プログラムを記録した媒体
US6978236B1 (en) 1999-10-01 2005-12-20 Coding Technologies Ab Efficient spectral envelope coding using variable time/frequency resolution and time/frequency switching
KR100675309B1 (ko) * 1999-11-16 2007-01-29 코닌클리케 필립스 일렉트로닉스 엔.브이. 광대역 오디오 송신 시스템, 송신기, 수신기, 코딩 디바이스, 디코딩 디바이스와, 송신 시스템에서 사용하기 위한 코딩 방법 및 디코딩 방법
US7742927B2 (en) 2000-04-18 2010-06-22 France Telecom Spectral enhancing method and device
SE0001926D0 (sv) 2000-05-23 2000-05-23 Lars Liljeryd Improved spectral translation/folding in the subband domain
KR100898879B1 (ko) * 2000-08-16 2009-05-25 돌비 레버러토리즈 라이쎈싱 코오포레이션 부수 정보에 응답하여 하나 또는 그 이상의 파라메터를변조하는 오디오 또는 비디오 지각 코딩 시스템
US7003467B1 (en) 2000-10-06 2006-02-21 Digital Theater Systems, Inc. Method of decoding two-channel matrix encoded audio to reconstruct multichannel audio
SE0004163D0 (sv) 2000-11-14 2000-11-14 Coding Technologies Sweden Ab Enhancing perceptual performance of high frequency reconstruction coding methods by adaptive filtering
US20020128839A1 (en) * 2001-01-12 2002-09-12 Ulf Lindgren Speech bandwidth extension
US20040054525A1 (en) 2001-01-22 2004-03-18 Hiroshi Sekiguchi Encoding method and decoding method for digital voice data
JP2002268693A (ja) 2001-03-12 2002-09-20 Mitsubishi Electric Corp オーディオ符号化装置
SE522553C2 (sv) 2001-04-23 2004-02-17 Ericsson Telefon Ab L M Bandbreddsutsträckning av akustiska signaler
US6934676B2 (en) 2001-05-11 2005-08-23 Nokia Mobile Phones Ltd. Method and system for inter-channel signal redundancy removal in perceptual audio coding
CA2992051C (en) 2004-03-01 2019-01-22 Dolby Laboratories Licensing Corporation Reconstructing audio signals with multiple decorrelation techniques and differentially coded parameters
SE0202159D0 (sv) 2001-07-10 2002-07-09 Coding Technologies Sweden Ab Efficientand scalable parametric stereo coding for low bitrate applications
JP2003108197A (ja) * 2001-07-13 2003-04-11 Matsushita Electric Ind Co Ltd オーディオ信号復号化装置およびオーディオ信号符号化装置
DE60230856D1 (de) * 2001-07-13 2009-03-05 Panasonic Corp Audiosignaldecodierungseinrichtung und audiosignalcodierungseinrichtung
KR20040048978A (ko) * 2001-10-25 2004-06-10 코닌클리케 필립스 일렉트로닉스 엔.브이. 감소된 대역폭을 가진 전송 채널 상에 광대역 오디오신호들을 전송하는 방법
JP3923783B2 (ja) * 2001-11-02 2007-06-06 松下電器産業株式会社 符号化装置及び復号化装置
JP4308229B2 (ja) 2001-11-14 2009-08-05 パナソニック株式会社 符号化装置および復号化装置
DE60202881T2 (de) * 2001-11-29 2006-01-19 Coding Technologies Ab Wiederherstellung von hochfrequenzkomponenten
US6934677B2 (en) 2001-12-14 2005-08-23 Microsoft Corporation Quantization matrices based on critical band pattern information for digital audio wherein quantization bands differ from critical bands
US7146313B2 (en) 2001-12-14 2006-12-05 Microsoft Corporation Techniques for measurement of perceptual audio quality
US7240001B2 (en) 2001-12-14 2007-07-03 Microsoft Corporation Quality improvement techniques in an audio encoder
US7206740B2 (en) * 2002-01-04 2007-04-17 Broadcom Corporation Efficient excitation quantization in noise feedback coding with general noise shaping
CN1288625C (zh) 2002-01-30 2006-12-06 松下电器产业株式会社 音频编码与解码设备及其方法
US20030187663A1 (en) * 2002-03-28 2003-10-02 Truman Michael Mead Broadband frequency translation for high frequency regeneration
RU2316154C2 (ru) 2002-04-10 2008-01-27 Конинклейке Филипс Электроникс Н.В. Кодирование стереофонических сигналов
US20030220800A1 (en) * 2002-05-21 2003-11-27 Budnikov Dmitry N. Coding multichannel audio signals
US7447631B2 (en) * 2002-06-17 2008-11-04 Dolby Laboratories Licensing Corporation Audio coding system using spectral hole filling
AU2003232175A1 (en) 2002-06-12 2003-12-31 Equtech Aps Method of digital equalisation of a sound from loudspeakers in rooms and use of the method
KR100462615B1 (ko) * 2002-07-11 2004-12-20 삼성전자주식회사 적은 계산량으로 고주파수 성분을 복원하는 오디오 디코딩방법 및 장치
US7502743B2 (en) * 2002-09-04 2009-03-10 Microsoft Corporation Multi-channel audio encoding and decoding with multi-channel transform selection
US7299190B2 (en) * 2002-09-04 2007-11-20 Microsoft Corporation Quantization and inverse quantization for audio
ATE543178T1 (de) * 2002-09-04 2012-02-15 Microsoft Corp Entropische kodierung mittels anpassung des kodierungsmodus zwischen niveau- und lauflängenniveau-modus
KR100501930B1 (ko) * 2002-11-29 2005-07-18 삼성전자주식회사 적은 계산량으로 고주파수 성분을 복원하는 오디오 디코딩방법 및 장치
US7318027B2 (en) 2003-02-06 2008-01-08 Dolby Laboratories Licensing Corporation Conversion of synthesized spectral components for encoding and low-complexity transcoding
FR2852172A1 (fr) * 2003-03-04 2004-09-10 France Telecom Procede et dispositif de reconstruction spectrale d'un signal audio
RU2244386C2 (ru) 2003-03-28 2005-01-10 Корпорация "Самсунг Электроникс" Способ восстановления высокочастотной составляющей аудиосигнала и устройство для его реализации
DE602004005020T2 (de) 2003-04-17 2007-10-31 Koninklijke Philips Electronics N.V. Audiosignalsynthese
US7318035B2 (en) * 2003-05-08 2008-01-08 Dolby Laboratories Licensing Corporation Audio coding systems and methods using spectral component coupling and spectral component regeneration
US20050004793A1 (en) 2003-07-03 2005-01-06 Pasi Ojala Signal adaptation for higher band coding in a codec utilizing band split coding
JP2007506986A (ja) * 2003-09-17 2007-03-22 北京阜国数字技術有限公司 マルチ解像度ベクトル量子化のオーディオｃｏｄｅｃ方法及びその装置
US7447317B2 (en) 2003-10-02 2008-11-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V Compatible multi-channel coding/decoding by weighting the downmix channel
DE10345996A1 (de) * 2003-10-02 2005-04-28 Fraunhofer Ges Forschung Vorrichtung und Verfahren zum Verarbeiten von wenigstens zwei Eingangswerten
DE10345995B4 (de) 2003-10-02 2005-07-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Verarbeiten eines Signals mit einer Sequenz von diskreten Werten
CN1875402B (zh) 2003-10-30 2012-03-21 皇家飞利浦电子股份有限公司 音频信号编码或解码
US7460990B2 (en) * 2004-01-23 2008-12-02 Microsoft Corporation Efficient coding of digital media spectral data using wide-sense perceptual similarity
DE102004007184B3 (de) 2004-02-13 2005-09-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zum Quantisieren eines Informationssignals
DE102004007191B3 (de) * 2004-02-13 2005-09-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audiocodierung
DE102004007200B3 (de) 2004-02-13 2005-08-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audiocodierung
CA2457988A1 (en) * 2004-02-18 2005-08-18 Voiceage Corporation Methods and devices for audio compression based on acelp/tcx coding and multi-rate lattice vector quantization
US7739119B2 (en) 2004-03-02 2010-06-15 Ittiam Systems (P) Ltd. Technique for implementing Huffman decoding
US7392195B2 (en) * 2004-03-25 2008-06-24 Dts, Inc. Lossless multi-channel audio codec
CN1677491A (zh) * 2004-04-01 2005-10-05 北京宫羽数字技术有限责任公司 一种增强音频编解码装置及方法
CN1677492A (zh) * 2004-04-01 2005-10-05 北京宫羽数字技术有限责任公司 一种增强音频编解码装置及方法
CN1677493A (zh) * 2004-04-01 2005-10-05 北京宫羽数字技术有限责任公司 一种增强音频编解码装置及方法
EP1852851A1 (en) * 2004-04-01 2007-11-07 Beijing Media Works Co., Ltd An enhanced audio encoding/decoding device and method
CN1938760B (zh) * 2004-04-05 2012-05-23 皇家飞利浦电子股份有限公司 多通道编码器
JP4741476B2 (ja) 2004-04-23 2011-08-03 パナソニック株式会社 符号化装置
KR20070009644A (ko) * 2004-04-27 2007-01-18 마츠시타 덴끼 산교 가부시키가이샤 스케일러블 부호화 장치, 스케일러블 복호화 장치 및 그방법
DE102004021403A1 (de) * 2004-04-30 2005-11-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Informationssignalverarbeitung durch Modifikation in der Spektral-/Modulationsspektralbereichsdarstellung
US8463602B2 (en) * 2004-05-19 2013-06-11 Panasonic Corporation Encoding device, decoding device, and method thereof
US7649988B2 (en) 2004-06-15 2010-01-19 Acoustic Technologies, Inc. Comfort noise generator using modified Doblinger noise estimate
JP2006003580A (ja) * 2004-06-17 2006-01-05 Matsushita Electric Ind Co Ltd オーディオ信号符号化装置及びオーディオ信号符号化方法
EP1768107B1 (en) * 2004-07-02 2016-03-09 Panasonic Intellectual Property Corporation of America Audio signal decoding device
US7465389B2 (en) 2004-07-09 2008-12-16 Exxonmobil Research And Engineering Company Production of extra-heavy lube oils from Fischer-Tropsch wax
US6963405B1 (en) 2004-07-19 2005-11-08 Itt Manufacturing Enterprises, Inc. Laser counter-measure using fourier transform imaging spectrometers
KR100608062B1 (ko) * 2004-08-04 2006-08-02 삼성전자주식회사 오디오 데이터의 고주파수 복원 방법 및 그 장치
TWI393120B (zh) 2004-08-25 2013-04-11 Dolby Lab Licensing Corp 用於音訊信號編碼及解碼之方法和系統、音訊信號編碼器、音訊信號解碼器、攜帶有位元流之電腦可讀取媒體、及儲存於電腦可讀取媒體上的電腦程式
RU2404506C2 (ru) 2004-11-05 2010-11-20 Панасоник Корпорэйшн Устройство масштабируемого декодирования и устройство масштабируемого кодирования
EP1798724B1 (en) * 2004-11-05 2014-06-18 Panasonic Corporation Encoder, decoder, encoding method, and decoding method
KR100721537B1 (ko) * 2004-12-08 2007-05-23 한국전자통신연구원 광대역 음성 부호화기의 고대역 음성 부호화 장치 및 그방법
CN101076853B (zh) * 2004-12-10 2010-10-13 松下电器产业株式会社 宽带编码装置、宽带线谱对预测装置、频带可扩展编码装置以及宽带编码方法
KR100707174B1 (ko) * 2004-12-31 2007-04-13 삼성전자주식회사 광대역 음성 부호화 및 복호화 시스템에서 고대역 음성부호화 및 복호화 장치와 그 방법
US20070147518A1 (en) * 2005-02-18 2007-06-28 Bruno Bessette Methods and devices for low-frequency emphasis during audio compression based on ACELP/TCX
UA94041C2 (ru) * 2005-04-01 2011-04-11 Квелкомм Инкорпорейтед Способ и устройство для фильтрации, устраняющей разреженность
BRPI0608270A2 (pt) 2005-04-01 2009-10-06 Qualcomm Inc sistemas, métodos e equipamento para filtragem anti-dispersão
US7983922B2 (en) 2005-04-15 2011-07-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating multi-channel synthesizer control signal and apparatus and method for multi-channel synthesizing
DE602006004959D1 (de) * 2005-04-15 2009-03-12 Dolby Sweden Ab Zeitliche hüllkurvenformgebung von entkorrelierten signalen
CN101199003B (zh) 2005-04-22 2012-01-11 高通股份有限公司 用于增益因数衰减的系统、方法和设备
US7698143B2 (en) 2005-05-17 2010-04-13 Mitsubishi Electric Research Laboratories, Inc. Constructing broad-band acoustic signals from lower-band acoustic signals
JP2006323037A (ja) * 2005-05-18 2006-11-30 Matsushita Electric Ind Co Ltd オーディオ信号復号化装置
US8090586B2 (en) 2005-05-26 2012-01-03 Lg Electronics Inc. Method and apparatus for embedding spatial information and reproducing embedded signal for an audio signal
US7548853B2 (en) * 2005-06-17 2009-06-16 Shmunk Dmitry V Scalable compressed audio bit stream and codec using a hierarchical filterbank and multichannel joint coding
US8315863B2 (en) * 2005-06-17 2012-11-20 Panasonic Corporation Post filter, decoder, and post filtering method
JP5227794B2 (ja) 2005-06-30 2013-07-03 エルジー エレクトロニクス インコーポレイティド オーディオ信号をエンコーディング及びデコーディングするための装置とその方法
US8032240B2 (en) * 2005-07-11 2011-10-04 Lg Electronics Inc. Apparatus and method of processing an audio signal
KR100803205B1 (ko) 2005-07-15 2008-02-14 삼성전자주식회사 저비트율 오디오 신호 부호화/복호화 방법 및 장치
US7539612B2 (en) * 2005-07-15 2009-05-26 Microsoft Corporation Coding and decoding scale factor information
JP4640020B2 (ja) 2005-07-29 2011-03-02 ソニー株式会社 音声符号化装置及び方法、並びに音声復号装置及び方法
CN100539437C (zh) * 2005-07-29 2009-09-09 上海杰得微电子有限公司 一种音频编解码器的实现方法
US7761303B2 (en) 2005-08-30 2010-07-20 Lg Electronics Inc. Slot position coding of TTT syntax of spatial audio coding application
US7974713B2 (en) 2005-10-12 2011-07-05 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Temporal and spatial shaping of multi-channel audio signals
KR20070043651A (ko) * 2005-10-20 2007-04-25 엘지전자 주식회사 멀티채널 오디오 신호의 부호화 및 복호화 방법과 그 장치
US8620644B2 (en) 2005-10-26 2013-12-31 Qualcomm Incorporated Encoder-assisted frame loss concealment techniques for audio coding
KR20070046752A (ko) 2005-10-31 2007-05-03 엘지전자 주식회사 신호 처리 방법 및 장치
US7720677B2 (en) * 2005-11-03 2010-05-18 Coding Technologies Ab Time warped modified transform coding of audio signals
KR100717058B1 (ko) * 2005-11-28 2007-05-14 삼성전자주식회사 고주파 성분 복원 방법 및 그 장치
US8255207B2 (en) 2005-12-28 2012-08-28 Voiceage Corporation Method and device for efficient frame erasure concealment in speech codecs
US7831434B2 (en) 2006-01-20 2010-11-09 Microsoft Corporation Complex-transform channel coding with extended-band frequency coding
ATE503300T1 (de) * 2006-01-27 2011-04-15 Dolby Int Ab Effiziente filterung mit einer komplex modulierten filterbank
EP1852848A1 (en) 2006-05-05 2007-11-07 Deutsche Thomson-Brandt GmbH Method and apparatus for lossless encoding of a source signal using a lossy encoded data stream and a lossless extension data stream
KR20070115637A (ko) * 2006-06-03 2007-12-06 삼성전자주식회사 대역폭 확장 부호화 및 복호화 방법 및 장치
US8682652B2 (en) * 2006-06-30 2014-03-25 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder and audio processor having a dynamically variable warping characteristic
US7873511B2 (en) * 2006-06-30 2011-01-18 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder and audio processor having a dynamically variable warping characteristic
PL4481731T3 (pl) * 2006-07-04 2025-12-01 Dolby International Ab Układ filtra zawierający konwerter filtra i kompresor filtra i sposób działania układu filtra
US8135047B2 (en) 2006-07-31 2012-03-13 Qualcomm Incorporated Systems and methods for including an identifier with a packet associated with a speech signal
US8260609B2 (en) * 2006-07-31 2012-09-04 Qualcomm Incorporated Systems, methods, and apparatus for wideband encoding and decoding of inactive frames
US9454974B2 (en) * 2006-07-31 2016-09-27 Qualcomm Incorporated Systems, methods, and apparatus for gain factor limiting
CN101512639B (zh) 2006-09-13 2012-03-14 艾利森电话股份有限公司 用于语音/音频发送器和接收器的方法和设备
AU2007312598B2 (en) 2006-10-16 2011-01-20 Dolby International Ab Enhanced coding and parameter representation of multichannel downmixed object coding
ES2992734T3 (en) 2006-10-25 2024-12-17 Fraunhofer Ges Forschung Method for audio signal processing
US20080243518A1 (en) * 2006-11-16 2008-10-02 Alexey Oraevsky System And Method For Compressing And Reconstructing Audio Files
EP2088784B1 (en) * 2006-11-28 2016-07-06 Panasonic Corporation Encoding device and encoding method
US8160890B2 (en) 2006-12-13 2012-04-17 Panasonic Corporation Audio signal coding method and decoding method
US8200351B2 (en) 2007-01-05 2012-06-12 STMicroelectronics Asia PTE., Ltd. Low power downmix energy equalization in parametric stereo encoders
MX2009007412A (es) * 2007-01-10 2009-07-17 Koninkl Philips Electronics Nv Decodificador de audio.
CN101622669B (zh) * 2007-02-26 2013-03-13 高通股份有限公司 用于信号分离的系统、方法及设备
US20080208575A1 (en) * 2007-02-27 2008-08-28 Nokia Corporation Split-band encoding and decoding of an audio signal
JP5294713B2 (ja) 2007-03-02 2013-09-18 パナソニック株式会社 符号化装置、復号装置およびそれらの方法
KR101355376B1 (ko) 2007-04-30 2014-01-23 삼성전자주식회사 고주파수 영역 부호화 및 복호화 방법 및 장치
KR101411900B1 (ko) 2007-05-08 2014-06-26 삼성전자주식회사 오디오 신호의 부호화 및 복호화 방법 및 장치
CN101067931B (zh) * 2007-05-10 2011-04-20 芯晟(北京)科技有限公司 一种高效可配置的频域参数立体声及多声道编解码方法与系统
ES2358786T3 (es) 2007-06-08 2011-05-13 Dolby Laboratories Licensing Corporation Derivación híbrida de canales de audio de sonido envolvente combinando de manera controlable componentes de señal de sonido ambiente y con decodificación matricial.
US7774205B2 (en) 2007-06-15 2010-08-10 Microsoft Corporation Coding of sparse digital media spectral data
CN101325059B (zh) * 2007-06-15 2011-12-21 华为技术有限公司 语音编解码收发方法及装置
US7885819B2 (en) 2007-06-29 2011-02-08 Microsoft Corporation Bitstream syntax for multi-process audio decoding
US8428957B2 (en) * 2007-08-24 2013-04-23 Qualcomm Incorporated Spectral noise shaping in audio coding based on spectral dynamics in frequency sub-bands
ES2774956T3 (es) * 2007-08-27 2020-07-23 Ericsson Telefon Ab L M Método y dispositivo para la descodificación espectral perceptual de una señal de audio, que incluyen el llenado de huecos espectrales
PT2571024E (pt) * 2007-08-27 2014-12-23 Ericsson Telefon Ab L M Frequência de transição adaptativa entre preenchimento de ruído e extensão da largura de banda
DE102007048973B4 (de) * 2007-10-12 2010-11-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines Multikanalsignals mit einer Sprachsignalverarbeitung
US8527265B2 (en) 2007-10-22 2013-09-03 Qualcomm Incorporated Low-complexity encoding/decoding of quantized MDCT spectrum in scalable speech and audio codecs
KR101373004B1 (ko) * 2007-10-30 2014-03-26 삼성전자주식회사 고주파수 신호 부호화 및 복호화 장치 및 방법
US9177569B2 (en) * 2007-10-30 2015-11-03 Samsung Electronics Co., Ltd. Apparatus, medium and method to encode and decode high frequency signal
RU2449386C2 (ru) * 2007-11-02 2012-04-27 Хуавэй Текнолоджиз Ко., Лтд. Способ и устройство для аудиодекодирования
MX2010002629A (es) 2007-11-21 2010-06-02 Lg Electronics Inc Metodo y aparato para procesar una señal.
US8688441B2 (en) * 2007-11-29 2014-04-01 Motorola Mobility Llc Method and apparatus to facilitate provision and use of an energy value to determine a spectral envelope shape for out-of-signal bandwidth content
KR101162275B1 (ko) 2007-12-31 2012-07-04 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
DE602008005250D1 (de) 2008-01-04 2011-04-14 Dolby Sweden Ab Audiokodierer und -dekodierer
US20090180531A1 (en) 2008-01-07 2009-07-16 Radlive Ltd. codec with plc capabilities
KR101413967B1 (ko) 2008-01-29 2014-07-01 삼성전자주식회사 오디오 신호의 부호화 방법 및 복호화 방법, 및 그에 대한 기록 매체, 오디오 신호의 부호화 장치 및 복호화 장치
EP2248263B1 (en) * 2008-01-31 2012-12-26 Agency for Science, Technology And Research Method and device of bitrate distribution/truncation for scalable audio coding
CN101946526B (zh) * 2008-02-14 2013-01-02 杜比实验室特许公司 声音再现方法和系统以及立体声扩展方法
JP5302980B2 (ja) 2008-03-04 2013-10-02 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 複数の入力データストリームのミキシングのための装置
RU2470385C2 (ru) * 2008-03-05 2012-12-20 Войсэйдж Корпорейшн Система и способ улучшения декодированного тонального звукового сигнала
ES2895268T3 (es) 2008-03-20 2022-02-18 Fraunhofer Ges Forschung Aparato y método para modificar una representación parametrizada
KR20090110244A (ko) * 2008-04-17 2009-10-21 삼성전자주식회사 오디오 시맨틱 정보를 이용한 오디오 신호의 부호화/복호화 방법 및 그 장치
PL2301017T3 (pl) * 2008-05-09 2017-05-31 Nokia Technologies Oy Urządzenie akustyczne
US20090319263A1 (en) 2008-06-20 2009-12-24 Qualcomm Incorporated Coding of transitional speech frames for low-bit-rate applications
JP5244971B2 (ja) * 2008-07-11 2013-07-24 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン オーディオ信号合成器及びオーディオ信号符号器
CA2699316C (en) 2008-07-11 2014-03-18 Max Neuendorf Apparatus and method for calculating bandwidth extension data using a spectral tilt controlled framing
CA2730200C (en) 2008-07-11 2016-09-27 Max Neuendorf An apparatus and a method for generating bandwidth extension output data
EP3937167B1 (en) * 2008-07-11 2023-05-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder and audio decoder
ES2988414T3 (es) 2008-07-11 2024-11-20 Fraunhofer Ges Zur Foerderungder Angewandten Forschung E V Decodificador de audio
RU2536679C2 (ru) 2008-07-11 2014-12-27 Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Передатчик сигнала активации с деформацией по времени, кодер звукового сигнала, способ преобразования сигнала активации с деформацией по времени, способ кодирования звукового сигнала и компьютерные программы
EP2346029B1 (en) 2008-07-11 2013-06-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, method for encoding an audio signal and corresponding computer program
EP2144230A1 (en) * 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme having cascaded switches
EP2144171B1 (en) * 2008-07-11 2018-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder and decoder for encoding and decoding frames of a sampled audio signal
EP2154911A1 (en) 2008-08-13 2010-02-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. An apparatus for determining a spatial output multi-channel audio signal
US8463603B2 (en) 2008-09-06 2013-06-11 Huawei Technologies Co., Ltd. Spectral envelope coding of energy attack signal
US8532983B2 (en) 2008-09-06 2013-09-10 Huawei Technologies Co., Ltd. Adaptive frequency prediction for encoding or decoding an audio signal
US8577673B2 (en) 2008-09-15 2013-11-05 Huawei Technologies Co., Ltd. CELP post-processing for music signals
JP5295372B2 (ja) * 2008-09-17 2013-09-18 フランス・テレコム デジタルオーディオ信号におけるプリエコーの減衰
EP2224433B1 (en) * 2008-09-25 2020-05-27 Lg Electronics Inc. An apparatus for processing an audio signal and method thereof
US9947340B2 (en) * 2008-12-10 2018-04-17 Skype Regeneration of wideband speech
ES2976382T3 (es) 2008-12-15 2024-07-31 Fraunhofer Ges Zur Foerderungder Angewandten Forschung E V Decodificador de extensión de ancho de banda
EP2360687A4 (en) * 2008-12-19 2012-07-11 Fujitsu Ltd LANGUAGE EXPANSION DEVICE AND LANGUAGE TREATMENT PROCESS
PL3992966T3 (pl) 2009-01-16 2023-03-20 Dolby International Ab Transpozycja harmonicznych rozszerzona o iloczyn wektorowy
JP4977157B2 (ja) 2009-03-06 2012-07-18 株式会社エヌ・ティ・ティ・ドコモ 音信号符号化方法、音信号復号方法、符号化装置、復号装置、音信号処理システム、音信号符号化プログラム、及び、音信号復号プログラム
BR122019023947B1 (pt) * 2009-03-17 2021-04-06 Dolby International Ab Sistema codificador, sistema decodificador, método para codificar um sinal estéreo para um sinal de fluxo de bits e método para decodificar um sinal de fluxo de bits para um sinal estéreo
EP2239732A1 (en) 2009-04-09 2010-10-13 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Apparatus and method for generating a synthesis audio signal and for encoding an audio signal
JP4932917B2 (ja) * 2009-04-03 2012-05-16 株式会社エヌ・ティ・ティ・ドコモ 音声復号装置、音声復号方法、及び音声復号プログラム
CN101521014B (zh) * 2009-04-08 2011-09-14 武汉大学 音频带宽扩展编解码装置
US8391212B2 (en) * 2009-05-05 2013-03-05 Huawei Technologies Co., Ltd. System and method for frequency domain audio post-processing based on perceptual masking
EP2249333B1 (en) * 2009-05-06 2014-08-27 Nuance Communications, Inc. Method and apparatus for estimating a fundamental frequency of a speech signal
CN101556799B (zh) 2009-05-14 2013-08-28 华为技术有限公司 一种音频解码方法和音频解码器
TWI675367B (zh) * 2009-05-27 2019-10-21 瑞典商杜比國際公司 從訊號的低頻成份產生該訊號之高頻成份的系統與方法，及其機上盒、電腦程式產品、軟體程式及儲存媒體
CN101609680B (zh) * 2009-06-01 2012-01-04 华为技术有限公司 压缩编码和解码的方法、编码器和解码器以及编码装置
ES2400661T3 (es) 2009-06-29 2013-04-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Codificación y decodificación de extensión de ancho de banda
US9111427B2 (en) 2009-07-07 2015-08-18 Xtralis Technologies Ltd Chamber condition
US8793617B2 (en) * 2009-07-30 2014-07-29 Microsoft Corporation Integrating transport modes into a communication stream
US9031834B2 (en) * 2009-09-04 2015-05-12 Nuance Communications, Inc. Speech enhancement techniques on the power spectrum
GB2473267A (en) 2009-09-07 2011-03-09 Nokia Corp Processing audio signals to reduce noise
MY163358A (en) * 2009-10-08 2017-09-15 Fraunhofer-Gesellschaft Zur Förderung Der Angenwandten Forschung E V Multi-mode audio signal decoder,multi-mode audio signal encoder,methods and computer program using a linear-prediction-coding based noise shaping
KR101137652B1 (ko) 2009-10-14 2012-04-23 광운대학교 산학협력단 천이 구간에 기초하여 윈도우의 오버랩 영역을 조절하는 통합 음성/오디오 부호화/복호화 장치 및 방법
WO2011048094A1 (en) 2009-10-20 2011-04-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-mode audio codec and celp coding adapted therefore
KR101411759B1 (ko) 2009-10-20 2014-06-25 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 오디오 신호 인코더, 오디오 신호 디코더, 앨리어싱-소거를 이용하여 오디오 신호를 인코딩 또는 디코딩하는 방법
HUE071544T2 (hu) * 2009-10-21 2025-09-28 Dolby Int Ab Túlmintavételezés kombinált transzponáló szûrõbankban
US8484020B2 (en) * 2009-10-23 2013-07-09 Qualcomm Incorporated Determining an upperband signal from a narrowband signal
WO2011062536A1 (en) 2009-11-19 2011-05-26 Telefonaktiebolaget Lm Ericsson (Publ) Improved excitation signal bandwidth extension
CN102081927B (zh) 2009-11-27 2012-07-18 中兴通讯股份有限公司 一种可分层音频编码、解码方法及系统
MX2012005723A (es) 2009-12-07 2012-06-13 Dolby Lab Licensing Corp Metodo y aparato para decodificar un cuadrado de una señal de audio digital codificada y medio de almacenamiento que graba un programa de instrucciones.
KR101764926B1 (ko) 2009-12-10 2017-08-03 삼성전자주식회사 음향 통신을 위한 장치 및 방법
JP5298245B2 (ja) * 2009-12-16 2013-09-25 ドルビー インターナショナル アーベー Ｓｂｒビットストリームパラメータダウンミックス
KR101423737B1 (ko) 2010-01-21 2014-07-24 한국전자통신연구원 오디오 신호의 디코딩 방법 및 장치
CN102194457B (zh) * 2010-03-02 2013-02-27 中兴通讯股份有限公司 音频编解码方法、系统及噪声水平估计方法
EP2545548A1 (en) * 2010-03-09 2013-01-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for processing an input audio signal using cascaded filterbanks
EP2369861B1 (en) 2010-03-25 2016-07-27 Nxp B.V. Multi-channel audio signal processing
CA2992917C (en) * 2010-04-09 2020-05-26 Dolby International Ab Mdct-based complex prediction stereo coding
EP2375409A1 (en) 2010-04-09 2011-10-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder and related methods for processing multi-channel audio signals using complex prediction
JP5820464B2 (ja) 2010-04-13 2015-11-24 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン オーディオまたはビデオエンコーダ、オーディオまたはビデオデコーダ、及び予測方向可変の予測を使用したマルチチャンネルオーディオまたはビデオ信号処理方法
US8886523B2 (en) 2010-04-14 2014-11-11 Huawei Technologies Co., Ltd. Audio decoding based on audio class with control code for post-processing modes
AU2011239995B2 (en) 2010-04-16 2014-01-16 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E. V. Apparatus, method and computer program for generating a wideband signal using guided bandwidth extension and blind bandwidth extension
US8600737B2 (en) 2010-06-01 2013-12-03 Qualcomm Incorporated Systems, methods, apparatus, and computer program products for wideband speech coding
BR112012002839B1 (pt) 2010-06-09 2020-10-13 Panasonic Intellectual Property Corporation Of America método de extensão de largura de banda, aparelho de extensão de largura de banda, circuito integrado e aparelho de decodificação de áudio
US9047875B2 (en) 2010-07-19 2015-06-02 Futurewei Technologies, Inc. Spectrum flatness control for bandwidth extension
US8831933B2 (en) * 2010-07-30 2014-09-09 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for multi-stage shape vector quantization
JP6075743B2 (ja) 2010-08-03 2017-02-08 ソニー株式会社 信号処理装置および方法、並びにプログラム
US8489403B1 (en) 2010-08-25 2013-07-16 Foundation For Research and Technology—Institute of Computer Science ‘FORTH-ICS’ Apparatuses, methods and systems for sparse sinusoidal audio processing and transmission
KR101826331B1 (ko) 2010-09-15 2018-03-22 삼성전자주식회사 고주파수 대역폭 확장을 위한 부호화/복호화 장치 및 방법
AU2012217162B2 (en) 2011-02-14 2015-11-26 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Noise generation in audio codecs
JP6185457B2 (ja) 2011-04-28 2017-08-23 ドルビー・インターナショナル・アーベー 効率的なコンテンツ分類及びラウドネス推定
WO2012158705A1 (en) 2011-05-19 2012-11-22 Dolby Laboratories Licensing Corporation Adaptive audio processing based on forensic detection of media processing history
US9117440B2 (en) 2011-05-19 2015-08-25 Dolby International Ab Method, apparatus, and medium for detecting frequency extension coding in the coding history of an audio signal
MX340386B (es) 2011-06-30 2016-07-07 Samsung Electronics Co Ltd Aparato y metodo para generar señal extendida de ancho de banda.
US20130006644A1 (en) 2011-06-30 2013-01-03 Zte Corporation Method and device for spectral band replication, and method and system for audio decoding
DE102011106033A1 (de) * 2011-06-30 2013-01-03 Zte Corporation Verfahren und System zur Audiocodierung und -decodierung und Verfahren zur Schätzung des Rauschpegels
JP6037156B2 (ja) * 2011-08-24 2016-11-30 ソニー株式会社 符号化装置および方法、並びにプログラム
JP5942358B2 (ja) 2011-08-24 2016-06-29 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
KR20130022549A (ko) 2011-08-25 2013-03-07 삼성전자주식회사 마이크 노이즈 제거 방법 및 이를 지원하는 휴대 단말기
WO2013035257A1 (ja) 2011-09-09 2013-03-14 パナソニック株式会社 符号化装置、復号装置、符号化方法および復号方法
EP2761618B1 (en) 2011-09-29 2016-11-30 Dolby International AB High quality detection in fm stereo radio signals
EP2772913B1 (en) * 2011-10-28 2018-02-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoding apparatus and encoding method
WO2013066236A2 (en) * 2011-11-02 2013-05-10 Telefonaktiebolaget L M Ericsson (Publ) Audio encoding/decoding based on an efficient representation of auto-regressive coefficients
WO2013079524A2 (en) * 2011-11-30 2013-06-06 Dolby International Ab Enhanced chroma extraction from an audio codec
CN103165136A (zh) 2011-12-15 2013-06-19 杜比实验室特许公司 音频处理方法及音频处理设备
JP5817499B2 (ja) * 2011-12-15 2015-11-18 富士通株式会社 復号装置、符号化装置、符号化復号システム、復号方法、符号化方法、復号プログラム、及び符号化プログラム
US9390721B2 (en) 2012-01-20 2016-07-12 Panasonic Intellectual Property Corporation Of America Speech decoding device and speech decoding method
KR101398189B1 (ko) 2012-03-27 2014-05-22 광주과학기술원 음성수신장치 및 음성수신방법
ES2561603T3 (es) 2012-03-29 2016-02-29 Telefonaktiebolaget Lm Ericsson (Publ) Extensión del ancho de banda de una señal de audio armónica
EP2831874B1 (en) 2012-03-29 2017-05-03 Telefonaktiebolaget LM Ericsson (publ) Transform encoding/decoding of harmonic audio signals
CN102750955B (zh) * 2012-07-20 2014-06-18 中国科学院自动化研究所 基于残差信号频谱重构的声码器
US9589570B2 (en) 2012-09-18 2017-03-07 Huawei Technologies Co., Ltd. Audio classification based on perceptual quality for low or medium bit rates
TWI553628B (zh) 2012-09-24 2016-10-11 三星電子股份有限公司 訊框錯誤隱藏方法
US9129600B2 (en) 2012-09-26 2015-09-08 Google Technology Holdings LLC Method and apparatus for encoding an audio signal
US9135920B2 (en) 2012-11-26 2015-09-15 Harman International Industries, Incorporated System for perceived enhancement and restoration of compressed audio signals
ES2659177T3 (es) 2013-01-29 2018-03-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Codificador de audio, descodificador de audio, método para proveer una información de audio codificada, método para proveer una información de audio descodificada, programa informático y representación codificada utilizando una ampliación de ancho de banda adaptable a la señal
EP2830055A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Context-based entropy coding of sample values of a spectral envelope
EP2830054A1 (en) 2013-07-22 2015-01-28 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder and related methods using two-channel processing within an intelligent gap filling framework
EP2980795A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoding and decoding using a frequency domain processor, a time domain processor and a cross processor for initialization of the time domain processor

Also Published As

Publication number Publication date
MY182831A (en) 2021-02-05
RU2016105610A (ru) 2017-08-25
US20180144760A1 (en) 2018-05-24
RU2607263C2 (ru) 2017-01-10
EP2830056A1 (en) 2015-01-28
US11222643B2 (en) 2022-01-11
EP2830063A1 (en) 2015-01-28
CN105518777A (zh) 2016-04-20
ES2638498T3 (es) 2017-10-23
US20220157325A1 (en) 2022-05-19
JP6144773B2 (ja) 2017-06-07
JP2018077487A (ja) 2018-05-17
EP2830059A1 (en) 2015-01-28
AU2014295295B2 (en) 2017-10-19
MX354657B (es) 2018-03-14
WO2015010947A1 (en) 2015-01-29
TWI545558B (zh) 2016-08-11
US20190074019A1 (en) 2019-03-07
KR20160024924A (ko) 2016-03-07
CA2918810C (en) 2020-04-28
PL3407350T3 (pl) 2020-12-28
JP2016527557A (ja) 2016-09-08
US10593345B2 (en) 2020-03-17
MX2016000943A (es) 2016-07-05
US11289104B2 (en) 2022-03-29
MY180759A (en) 2020-12-08
JP2016527556A (ja) 2016-09-08
CA2886505C (en) 2017-10-31
US20160140980A1 (en) 2016-05-19
US10573334B2 (en) 2020-02-25
AU2014295297A1 (en) 2016-03-10
WO2015010954A1 (en) 2015-01-29
JP2018041100A (ja) 2018-03-15
JP6568566B2 (ja) 2019-08-28
CA2918807C (en) 2019-05-07
US10332539B2 (en) 2019-06-25
MY175978A (en) 2020-07-19
EP3025340A1 (en) 2016-06-01
US10984805B2 (en) 2021-04-20
JP2020060792A (ja) 2020-04-16
BR122022011231B1 (pt) 2024-01-30
EP2830064A1 (en) 2015-01-28
CA2918701A1 (en) 2015-01-29
CN105580075B (zh) 2020-02-07
US20180268842A1 (en) 2018-09-20
KR20160046804A (ko) 2016-04-29
TWI541797B (zh) 2016-07-11
MX2016000854A (es) 2016-06-23
JP2018013796A (ja) 2018-01-25
US20160210974A1 (en) 2016-07-21
WO2015010953A1 (en) 2015-01-29
CN105580075A (zh) 2016-05-11
US20160140981A1 (en) 2016-05-19
MX354002B (es) 2018-02-07
SG11201600506VA (en) 2016-02-26
EP4246512A3 (en) 2023-12-13
PT2883227T (pt) 2016-11-18
CN105453175B (zh) 2020-11-03
RU2640634C2 (ru) 2018-01-10
CN105556603A (zh) 2016-05-04
US20210065723A1 (en) 2021-03-04
RU2635890C2 (ru) 2017-11-16
RU2651229C2 (ru) 2018-04-18
EP3025328A1 (en) 2016-06-01
EP4246512A2 (en) 2023-09-20
CN105518776A (zh) 2016-04-20
BR112015007533B1 (pt) 2022-09-27
BR122022010958B1 (pt) 2024-01-30
JP6321797B2 (ja) 2018-05-09
JP6186082B2 (ja) 2017-08-23
JP6400702B2 (ja) 2018-10-03
ES2908624T3 (es) 2022-05-03
BR112015007533A2 (ko) 2017-08-22
US10134404B2 (en) 2018-11-20
CA2973841C (en) 2019-08-20
PT3025343T (pt) 2018-05-18
MX362036B (es) 2019-01-04
CN111179963A (zh) 2020-05-19
EP3025337A1 (en) 2016-06-01
BR112016000740A2 (pt) 2017-08-22
JP6389254B2 (ja) 2018-09-12
PT3025337T (pt) 2022-02-23
JP6705787B2 (ja) 2020-06-03
CN105518776B (zh) 2019-06-14
CA2918524C (en) 2018-05-22
EP3017448A1 (en) 2016-05-11
KR101826723B1 (ko) 2018-03-22
RU2016105618A (ru) 2017-08-28
BR112016000947B1 (pt) 2022-06-21
ZA201601111B (en) 2017-08-30
MX340575B (es) 2016-07-13
ZA201601010B (en) 2017-11-29
US10847167B2 (en) 2020-11-24
BR112016001125A2 (ko) 2017-08-22
US10515652B2 (en) 2019-12-24
MX2016000924A (es) 2016-05-05
TW201517023A (zh) 2015-05-01
US11769513B2 (en) 2023-09-26
US20180102134A1 (en) 2018-04-12
RU2016105473A (ru) 2017-08-23
TW201514974A (zh) 2015-04-16
AU2014295295A1 (en) 2016-03-10
CA2918835A1 (en) 2015-01-29
EP3407350B1 (en) 2020-07-29
EP3723091A1 (en) 2020-10-14
WO2015010948A1 (en) 2015-01-29
MX2015004022A (es) 2015-07-06
CN110660410B (zh) 2023-10-24
JP7483792B2 (ja) 2024-05-15
ES2959641T3 (es) 2024-02-27
MX2016000857A (es) 2016-05-05
PL3025328T3 (pl) 2019-02-28
PL3506260T3 (pl) 2024-02-19
SG11201502691QA (en) 2015-05-28
CA2918804C (en) 2018-06-12
CN111554310A (zh) 2020-08-18
US11735192B2 (en) 2023-08-22
BR112016000852A2 (pt) 2017-08-22
CN105556603B (zh) 2019-08-27
KR101681253B1 (ko) 2016-12-01
EP3025344A1 (en) 2016-06-01
AU2014295298B2 (en) 2017-05-25
JP2016530556A (ja) 2016-09-29
US11922956B2 (en) 2024-03-05
US11769512B2 (en) 2023-09-26
AU2014295301A1 (en) 2016-03-10
CA2918804A1 (en) 2015-01-29
EP2883227A1 (en) 2015-06-17
EP2830054A1 (en) 2015-01-28
CA2918810A1 (en) 2015-01-29
KR101774795B1 (ko) 2017-09-05
PT3407350T (pt) 2020-10-27
TR201816157T4 (tr) 2018-11-21
US11049506B2 (en) 2021-06-29
JP2016525713A (ja) 2016-08-25
HK1211378A1 (en) 2016-05-20
US20160133265A1 (en) 2016-05-12
RU2649940C2 (ru) 2018-04-05
BR112016000947A2 (ko) 2017-08-22
ES2813940T3 (es) 2021-03-25
CN104769671B (zh) 2017-09-26
JP6691093B2 (ja) 2020-04-28
AU2014295302A1 (en) 2015-04-02
US10311892B2 (en) 2019-06-04
MX2016000940A (es) 2016-04-25
TW201523589A (zh) 2015-06-16
PT3025328T (pt) 2018-11-27
CA2886505A1 (en) 2015-01-29
BR112016001072B1 (pt) 2022-07-12
CA2973841A1 (en) 2015-01-29
BR122022010960B1 (pt) 2023-04-04
US12142284B2 (en) 2024-11-12
EP3723091B1 (en) 2024-09-11
CA2918807A1 (en) 2015-01-29
TWI545560B (zh) 2016-08-11
TWI549121B (zh) 2016-09-11
WO2015010950A1 (en) 2015-01-29
EP3506260C0 (en) 2023-08-16
US20210295853A1 (en) 2021-09-23
EP3025337B1 (en) 2021-12-08
US20190043522A1 (en) 2019-02-07
KR101807836B1 (ko) 2018-01-18
CA2918835C (en) 2018-06-26
AU2014295297B2 (en) 2017-05-25
CN111554310B (zh) 2023-10-20
ES2728329T3 (es) 2019-10-23
US20190198029A1 (en) 2019-06-27
PL2883227T3 (pl) 2017-03-31
CN105453176A (zh) 2016-03-30
TWI555008B (zh) 2016-10-21
WO2015010952A1 (en) 2015-01-29
ZA201601046B (en) 2017-05-31
CN112466312B (zh) 2025-02-21
US20160140973A1 (en) 2016-05-19
US20230352032A1 (en) 2023-11-02
CN110310659A (zh) 2019-10-08
BR112016001398B1 (pt) 2021-12-28
TW201517019A (zh) 2015-05-01
US10002621B2 (en) 2018-06-19
RU2015112591A (ru) 2016-10-27
US20150287417A1 (en) 2015-10-08
ES2667221T3 (es) 2018-05-10
PL3025340T3 (pl) 2019-09-30
US10147430B2 (en) 2018-12-04
PL3025337T3 (pl) 2022-04-11
EP3025344B1 (en) 2017-06-21
RU2016105613A (ru) 2017-08-28
AU2014295302B2 (en) 2016-06-30
MY187943A (en) 2021-10-30
CN105453176B (zh) 2019-08-23
RU2016105619A (ru) 2017-08-23
US20220139407A1 (en) 2022-05-05
EP2830061A1 (en) 2015-01-28
SG11201600422SA (en) 2016-02-26
US11257505B2 (en) 2022-02-22
WO2015010949A1 (en) 2015-01-29
TW201523590A (zh) 2015-06-16
AU2014295296B2 (en) 2017-10-19
EP3975180B1 (en) 2025-10-15
RU2646316C2 (ru) 2018-03-02
CA2918701C (en) 2020-04-14
EP3723091C0 (en) 2024-09-11
KR101764723B1 (ko) 2017-08-14
JP7092809B2 (ja) 2022-06-28
KR20160041940A (ko) 2016-04-18
CN105453175A (zh) 2016-03-30
ZA201502262B (en) 2016-09-28
CA2918524A1 (en) 2015-01-29
US11996106B2 (en) 2024-05-28
EP3506260A1 (en) 2019-07-03
MY184847A (en) 2021-04-27
SG11201600464WA (en) 2016-02-26
ES3053797T3 (en) 2026-01-26
EP3017448B1 (en) 2020-07-08
MY177860A (en) 2020-09-23
EP2830065A1 (en) 2015-01-28
ES2827774T3 (es) 2021-05-24
TWI555009B (zh) 2016-10-21
EP3025328B1 (en) 2018-08-01
AU2014295301B2 (en) 2017-05-25
AU2014295300B2 (en) 2017-05-25
EP3975180A1 (en) 2022-03-30
MX356161B (es) 2018-05-16
EP3742444A1 (en) 2020-11-25
TWI545561B (zh) 2016-08-11
TW201513098A (zh) 2015-04-01
ZA201601011B (en) 2017-05-31
CN110660410A (zh) 2020-01-07
MX353999B (es) 2018-02-07
JP2016529545A (ja) 2016-09-23
ES2698023T3 (es) 2019-01-30
JP6306702B2 (ja) 2018-04-04
BR112016000852B1 (pt) 2021-12-28
AU2014295300A1 (en) 2016-03-10
RU2643641C2 (ru) 2018-02-02
US20190251986A1 (en) 2019-08-15
PT3025340T (pt) 2019-06-27
US20200082841A1 (en) 2020-03-12
CN110310659B (zh) 2023-10-24
WO2015010952A9 (en) 2017-10-26
BR112016001072A2 (ko) 2017-08-22
US20220270619A1 (en) 2022-08-25
KR101822032B1 (ko) 2018-03-08
CN104769671A (zh) 2015-07-08
EP3975180C0 (en) 2025-10-15
JP2022123060A (ja) 2022-08-23
RU2016105759A (ru) 2017-08-25
SG11201600496XA (en) 2016-02-26
TW201517024A (zh) 2015-05-01
AU2014295296A1 (en) 2016-03-10
KR20150060752A (ko) 2015-06-03
BR122022011238B1 (pt) 2023-12-19
JP6310074B2 (ja) 2018-04-11
KR20160034975A (ko) 2016-03-30
PL3975180T3 (pl) 2026-03-09
BR112016001398A2 (pt) 2017-08-22
PL3017448T3 (pl) 2020-12-28
CN105518777B (zh) 2020-01-31
US10276183B2 (en) 2019-04-30
EP3407350A1 (en) 2018-11-28
SG11201600401RA (en) 2016-02-26
CN111179963B (zh) 2024-11-22
CN112466312A (zh) 2021-03-09
US11250862B2 (en) 2022-02-15
ES2599007T3 (es) 2017-01-31
KR20160042890A (ko) 2016-04-20
SG11201600494UA (en) 2016-02-26
MX2016000935A (es) 2016-07-05
US20160140979A1 (en) 2016-05-19
US20170154631A1 (en) 2017-06-01
PL3025343T3 (pl) 2018-10-31
JP2015535620A (ja) 2015-12-14
US10332531B2 (en) 2019-06-25
MX355448B (es) 2018-04-18
EP3025343B1 (en) 2018-02-14
EP3025340B1 (en) 2019-03-27
US20190371355A1 (en) 2019-12-05
PT3017448T (pt) 2020-10-08
BR112016001125B1 (pt) 2022-01-04
EP2883227B1 (en) 2016-08-17
EP3025343A1 (en) 2016-06-01
US20210217426A1 (en) 2021-07-15
US10347274B2 (en) 2019-07-09
BR122022010965B1 (pt) 2023-04-04
JP2016529546A (ja) 2016-09-23
BR112016000740B1 (pt) 2022-12-27
EP3506260B1 (en) 2023-08-16
AU2014295298A1 (en) 2016-03-10
KR101809592B1 (ko) 2018-01-18

Similar Documents

Publication Publication Date Title
US11769513B2 (en) Apparatus and method for decoding or encoding an audio signal using energy information values for a reconstruction band
HK40069303B (en) Apparatus and method for encoding or decoding an audio signal with intelligent gap filling in the spectral domain
HK40069303A (en) Apparatus and method for encoding or decoding an audio signal with intelligent gap filling in the spectral domain
HK40010190A (en) Apparatus and method for decoding or encoding an audio signal using energy information values for a reconstruction band
HK40010190B (en) Apparatus and method for decoding or encoding an audio signal using energy information values for a reconstruction band
HK1262857B (en) Audio encoder and related method using two-channel processing within an intelligent gap filling framework
HK1262857A1 (en) Audio encoder and related method using two-channel processing within an intelligent gap filling framework
HK1225155B (en) Apparatus and method for decoding or encoding an audio signal using energy information values for a reconstruction band
HK1225155A1 (en) Apparatus and method for decoding or encoding an audio signal using energy information values for a reconstruction band
HK1211378B (en) Apparatus and method for encoding and decoding an encoded audio signal using temporal noise/patch shaping
HK1225500A1 (en) Apparatus and method for encoding or decoding an audio signal with intelligent gap filling in the spectral domain
HK1225500B (en) Apparatus and method for encoding or decoding an audio signal with intelligent gap filling in the spectral domain

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PA0105 International application

St.27 status event code: A-0-1-A10-A15-nap-PA0105

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

AMND Amendment
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E601 Decision to refuse application
PE0601 Decision on rejection of patent

St.27 status event code: N-2-6-B10-B15-exm-PE0601

X091 Application refused [patent]
T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

T13-X000 Administrative time limit extension granted

St.27 status event code: U-3-3-T10-T13-oth-X000

AMND Amendment
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PX0901 Re-examination

St.27 status event code: A-2-3-E10-E12-rex-PX0901

PX0701 Decision of registration after re-examination

St.27 status event code: A-3-4-F10-F13-rex-PX0701

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

FPAY Annual fee payment

Payment date: 20201127

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

FPAY Annual fee payment

Payment date: 20211202

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

FPAY Annual fee payment

Payment date: 20221129

Year of fee payment: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 9