CN121079976A - 在视频编解码中将边信息用于跨分量自适应环路滤波器 - Google Patents

在视频编解码中将边信息用于跨分量自适应环路滤波器

Info

Publication number
CN121079976A
CN121079976A CN202480024214.4A CN202480024214A CN121079976A CN 121079976 A CN121079976 A CN 121079976A CN 202480024214 A CN202480024214 A CN 202480024214A CN 121079976 A CN121079976 A CN 121079976A
Authority
CN
China
Prior art keywords
ccalf
filter
information
video
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202480024214.4A
Other languages
English (en)
Inventor
尹文斌
张凯
张莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Douyin Vision Co Ltd
ByteDance Inc
Original Assignee
Douyin Vision Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Douyin Vision Co Ltd, ByteDance Inc filed Critical Douyin Vision Co Ltd
Publication of CN121079976A publication Critical patent/CN121079976A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了一种处理视频数据的机制。该机制包括确定使用边信息作为跨分量自适应环路滤波器(CCALF)的输入。然后基于CCALF在可视媒体数据和比特流之间执行转换。可以使用各种类型的边信息。

Description

在视频编解码中将边信息用于跨分量自适应环路滤波器
相关申请的交叉引用
本专利申请要求于2023年4月11日提交的国际专利申请No.PCT/CN2023/087610的权益，该申请通过引用并入本文。
技术领域
本公开涉及文件格式的数字音频视频媒体信息的生成、存储和使用。
背景技术
数字视频占互联网和其他数字通信网络上使用的最大带宽。随着能够接收和显示视频的连接用户设备数量的增加，对数字视频使用的带宽需求可能继续增长。
发明内容
第一方面涉及一种处理视频数据的方法，包括：确定使用边信息作为跨分量自适应环路滤波器(CCALF)的输入；以及基于所述CCALF执行可视媒体数据与比特流之间的转换。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了边信息包括在应用去方块滤波器(DBF)、样点自适应补偿(SAO)、跨分量SAO(CCSAO)、双边滤波器(BF)或其组合之前的重建。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了重建包括同位重建。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了重建包括邻近重建。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了重建包括用于CCALF的至少一个扩展抽头的亮度重建。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了重建包括用于CCALF的至少一个空域抽头的亮度重建。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了重建包括用于CCALF的至少一个扩展抽头的色度重建。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了重建包括用于CCALF的至少一个空域抽头的色度重建。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了重建用于对色度样点进行分类。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了边信息包括预测样点。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了预测样点包括同位预测样点。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了预测样点包括邻近预测样点。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了预测样点包括用于CCALF的至少一个扩展抽头的亮度预测样点。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了预测样点包括用于CCALF的至少一个空域抽头的亮度预测样点。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了预测样点包括用于CCALF的至少一个扩展抽头的色度预测样点。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了预测样点包括用于CCALF的至少一个空域抽头的色度预测样点。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了预测样点在被用作输入之前被修改。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了预测样点通过滤波被修改。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了预测样点通过上采样或下采样被修改。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了预测样点通过限幅或移位被修改。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了预测样点用于对色度样点进行分类。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了边信息包括残差值。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了残差值包括同位残差值。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了残差值包括邻近残差值。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了残差值包括用于CCALF的至少一个扩展抽头的亮度残差值。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了预测样点包括用于CCALF的至少一个空域抽头的亮度残差值。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了残差值包括用于CCALF的至少一个扩展抽头的色度残差值。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了残差值包括用于CCALF的至少一个空域抽头的色度残差值。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了残差值用于对色度样点进行分类。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了残差值在被用作输入之前被修改。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了残差值通过滤波被修改。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了残差值通过上采样或下采样被修改。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了残差值通过限幅或移位被修改。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了边信息包括分割信息。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了分割信息包括块尺寸、块形状、块位置、块平均值、块最大值、块最小值或块方差值中的一个或多个。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了分割信息包括用于训练CCALF的在线训练滤波器的亮度分割信息。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了分割信息包括用于训练CCALF的在线训练滤波器的色度分割信息。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了分割信息包括CCALF的滤波过程中涉及的亮度分割信息和色度分割信息。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了分割信息用于对色度样点进行分类。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了边信息包括量化参数(QP)信息。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了QP信息包括图片级别QP信息、条带级别QP信息或块级别QP信息中的一个或多个。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了QP信息包括用于训练CCALF的在线训练滤波器的亮度QP信息。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了QP信息包括用于训练CCALF的在线训练滤波器的色度QP信息。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了QP信息包括CCALF的滤波过程中涉及的亮度QP信息和色度QP信息。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了QP信息用于对色度样点进行分类。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了边信息包括边界强度信息。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了边界强度信息由去方块滤波器生成。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了边界强度信息包括同位去方块滤波器边界强度信息。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了边界强度信息包括邻近去方块滤波器边界强度信息。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了边界强度信息包括用于训练CCALF的在线训练滤波器的亮度边界强度信息。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了边界强度信息包括用于训练CCALF的在线训练滤波器的色度边界强度信息。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了边界强度信息包括CCALF的滤波过程中涉及的亮度边界强度信息和色度边界强度信息。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了边界强度信息用于对色度样点进行分类。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了该方法用于后处理、预处理，或后处理与预处理两者。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了方法中的一个或多个被联合使用。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了方法中的一个或多个被单独使用。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了该方法被应用于视频编解码中的环路滤波工具、预处理滤波器、后处理滤波器、自适应环路滤波器(ALF)或CCALF中的一个或多个。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了该方法被应用于环路滤波方法。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了该方法被应用于ALF。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了该方法被应用于CCALF。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了该方法被应用于样点自适应补偿(SAO)滤波器。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了该方法被应用于跨分量样点自适应补偿(CCSAO)滤波器。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了该方法被应用于双边滤波器(BF)。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了该方法被应用于哈达玛变换域滤波器(HTDF)。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了该方法被应用于预处理滤波方法。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了该方法被应用于后处理滤波方法。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了CCALF被应用于视频单元，并且其中，视频单元包括序列、图片、子图片、条带、片、编解码树单元(CTU)、CTU行、CTU组、编解码单元(CU)、预测单元(PU)、变换单元(TU)、编解码树块(CTB)、编解码块(CB)、预测块(PB)、变换块(TB)或包含多于一个亮度或色度样点或像素的区域。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了在比特流中指示是否或如何应用该方法。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了在序列级别、图片组级别、图片级别、条带级别或片组级别处的比特流中指示是否和/或如何应用该方法，或在比特流的序列头、图片头、序列参数集(SPS)、视频参数集(VPS)、依赖性参数集(DPS)、解码能力信息(DCI)、图片参数集(PPS)、自适应参数集(APS)、条带头或片组头中指示是否和/或如何应用该方法。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了在预测块(PB)、变换块(TB)、编解码块(CB)、预测单元(PU)、变换单元(TU)、编解码单元(CU)、虚拟流水线数据单元(VPDU)、编解码树单元(CTU)、CTU行、条带、片、子图片或包含多于一个亮度或色度样点或像素的区域中的比特流中指示是否和/或如何应用该方法。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了是否和/或如何应用该方法取决于经编解码的信息，并且其中，经编解码的信息包括块尺寸、色彩格式、单分割、双树分割、色彩分量、条带类型或图片类型中的一个或多个。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了转换包括将媒体数据编码为比特流。
可选地，在上述方面中的任一个方面中，该方面的另一实施方式提供了转换包括从比特流解码媒体数据。
第二方面涉及一种处理媒体数据的装置，包括：处理器；和其上具有指令的非暂时性存储器，其中，所述指令在由处理器执行时使处理器执行所公开的实施例中的任一个实施例中的方法。
第三方面涉及一种非暂时性计算机可读介质，包括供视频编解码设备使用的计算机程序产品，所述计算机程序产品包括存储在非暂时性计算机可读介质上的计算机可执行指令，使得当计算机可执行指令由处理器执行时使视频编解码设备执行所公开的实施例中任一个实施例的方法。
第四方面涉及一种存储视频的比特流的非暂时性计算机可读记录介质，所述比特流由视频处理装置执行的方法生成，其中，所述方法包括：确定使用边信息作为跨分量自适应环路滤波器(CCALF)的输入；以及基于所述确定生成所述比特流。
第五方面涉及一种存储视频的比特流的方法，包括：确定使用边信息作为跨分量自适应环路滤波器(CCALF)的输入；基于所述确定生成所述比特流；以及将所述比特流存储在非暂时性计算机可读记录介质中。
第六方面涉及本公开中描述的方法、装置或系统。
为了清楚的目的，前述实施例中的任一个实施例可以与其他前述实施例中的任一个或多个实施例组合，以在本公开的范围内创建新的实施例。
这些以及其他特征将从以下结合附图和权利要求的具体实施方式中被更清楚地理解。
附图说明
为了更完整地理解本公开，现在参考以下简要描述，其结合了附图和具体实施方式，其中相同的附图标记表示相同的部分。
图1示出了图片中4:2:2亮度和色度样点的标称垂直和水平位置的示例。
图2示出了示例编码器框图。
图3示出了分割为光栅扫描条带的示例图片。
图4示出了分割为矩形扫描条带的示例图片。
图5示出了分割为砖块的示例图片。
图6A-6C示出了跨图片边界的编解码树块(CTB)的示例。
图7示出了帧内预测模式的示例。
图8示出了图片中的块边界的示例。
图9示出了涉及滤波器使用的像素的示例。
图10示出了自适应环路滤波器(ALF)的滤波器形状的示例。
图11示出了5×5菱形滤波器支持的变换系数的示例。
图12示出了5×5菱形滤波器支持的相对坐标的示例。
图13是示出示例视频处理系统的框图。
图14是示例视频处理装置的框图。
图15是视频处理的示例方法的流程图。
图16是示出示例视频编解码系统的框图。
图17是示出示例编码器的框图。
图18是示出示例解码器的框图。
图19是示例编码器的示意图。
具体实施方式
首先应当理解，尽管下面提供了一个或多个实施例的说明性实现方式，但是所公开的系统和/或方法可以使用任何数量的技术来实现，无论是当前已知的还是有待开发的。本公开内容绝不应限于以下示出的说明性实现方式、附图和技术，包括本文示出和描述的示例性设计和实现方式，而是可以在所附权利要求的范围内连同其全部等同范围一起被修改。
在本公开中使用章节标题是为了易于理解，而不是将每个章节中公开的技术和实施例的适用性仅限制于该章节。此外，本文描述的技术适用于其他视频编解码器协议和设计。
1.初步讨论
本公开涉及视频编解码技术。具体地，它涉及图像/视频编解码中的环路滤波器和其他编解码工具。这些想法可以单独或以各种组合被应用于视频编解码器，诸如高效视频编解码(HEVC)、多功能视频编解码(VVC)或其他视频编解码技术。
2.缩写
本公开包括以下缩写。高级视频编解码(建议书ITU-T H.264|ISO/IEC 14496-10)(AVC)、经编解码的图片缓存(CPB)、纯随机接入(CRA)、编解码树单元(CTU)、编解码视频序列(CVS)、解码图片缓存(DPB)、解码参数集(DPS)、一般约束信息(GCI)、高效视频编解码，也称为建议书ITU-T H.265|ISO/IEC 23008-2，(HEVC)、联合探索模型(JEM)、运动约束片集(MCTS)、网络抽象层(NAL)、输出层集(OLS)、图片头(PH)、图片参数集(PPS)、档次、层和级别(PTL)、图片单元(PU)、参考图片重采样(RPR)、原始字节序列载荷(RBSP)、补充增强信息(SEI)、条带头(SH)、序列参数集(SPS)、视频编解码层(VCL)、视频参数集(VPS)、多功能视频编解码，也称为建议书ITU-T H.266|ISO/IEC 23090-3，(VVC)、VVC测试模型(VTM)、视频可用性信息(VUI)、变换单元(TU)、编解码单元(CU)、去方块滤波器(DF)、样点自适应补偿(SAO)、自适应环路滤波器(ALF)、编解码块标志(CBF)、量化参数(QP)、率失真优化(RDO)和双边滤波器(BF)。
3.视频编解码标准
视频编解码标准主要是通过国际电信联盟(ITU)电信标准化部门(ITU-T)和国际标准化组织(ISO)/国际电工委员会(IEC)标准的发展而得以演进。ITU-T制定了H.261和H.263标准，ISO/IEC制定了运动图像专家组(MPEG)-1和MPEG-4视觉，并且这两个组织共同制定了H.262/MPEG-2视频标准和H.264/MPEG-4高级视频编解码(AVC)标准和H.265/HEVC[1]标准。从H.262开始，视频编解码标准基于混合视频编解码结构，其中利用时域预测加变换编解码。为了探索HEVC之外的未来视频编解码技术，由视频编解码专家组(VCEG)和MPEG共同成立联合视频探索团队(JVET)。JVET采用了许多方法并将其纳入名为联合探索模型(JEM)的参考软件。当多功能视频编解码(VVC)项目正式启动时，JVET更名为联合视频专家组(JVET)。VVC是编解码标准，目标是与HEVC相比降低50％比特率。VVC的工作草案和VVC测试模型(VTM)不断更新。
VVC草案的示例版本，即多功能视频编解码(草案10)可以在以下位置找到：https://jvet-experts.org/doc_end_user/documents/19_Teleconference/wg11/JVET-S2001-v17.zip。名为VTM的VVC参考软件的示例版本可以在以下位置找到：https://vcgit.hhi.fraunhofer.de/jvet-u-ee2/VVCSoftware_VTM/-/tree/VTM-11.2。
国际电信联盟电信标准化部门(ITU-T)视频编解码专家组(VCEG)和国际标准化组织和国际电工委员会(ISO/IEC)运动图像专家组(MPEG)联合技术委员会(JTC)1/分委员会(SC)29/工作组(WG)11正在研究对压缩能力显著超过当前VVC标准的未来视频编解码技术的标准化的潜在需求。这样的未来标准化行动可以采取VVC的(多个)扩展扩展或全新标准的形式。这些团体正在通过称为联合视频探索团队(JVET)的联合协作努力共同开展这项探索活动，以评估由该领域的专家提出的压缩技术设计。JVET建立了第一个探索实验(EE)，并且使用名为增强压缩模型(ECM)的参考软件。测试模型ECM不断更新。
3.1色彩空间和色度下采样
色彩空间，也称为色彩模型(或色彩系统)，是一种数学模型，它将色彩范围描述为数字的元组，例如3或4个值或色彩分量(例如RGB)。一般来说，色彩空间是坐标系和子空间的细化。对于视频压缩，最常用的色彩空间是亮度、蓝色差色度和红色差色度(YCbCr)以及红色、绿色、蓝色(RGB)。
YCbCr、Y’CbCr或Y Pb/Cb Pr/Cr，也写为YCBCR或Y'CBCR，是用作视频和数字摄影系统中的色彩图像流水线的一部分的色彩空间家族。Y’是亮度分量，并且CB和CR是蓝色差和红色差色度分量。Y’(带撇号)区别于Y，Y是亮度，这意味着光强度是基于经伽马校正的RGB基色被非线性地编码的。
色度下采样是通过对色度信息实施比对亮度信息更低的分辨率来对图像进行编码的实践，利用了人类视觉系统对色彩差异的敏锐度低于对亮度的敏锐度的特点。
3.1.1 4:4:4
在4:4:4中，Y'CbCr三个分量中的每一个具有相同的采样率。因此没有色度下采样。该方案有时用于高端胶片扫描仪和电影后期制作。
3.1.2 4:2:2
在4:2:2中，两个色度分量以亮度的采样率的一半被采样。水平色度分辨率减半，而垂直色度分辨率保持不变。这将未压缩视频信号的带宽降低了三分之一，而几乎没有视觉差异。图1示出了4:2:2色彩格式的标称垂直和水平位置的示例。
3.1.3 4:2:0
在4:2:0中，与4:1:1相比，水平采样增加了一倍，但是由于在该方案中Cb和Cr通道仅在每个交替行上采样，因此垂直分辨率减半。因此数据率是相同的。Cb和Cr在水平和垂直方向上均以2的因子被下采样。4:2:0方案有三种变体，具有不同的水平和垂直位置。
在MPEG-2中，Cb和Cr在水平方向上共位置。Cb和Cr在垂直方向上位于像素之间(位于间隙位置)。在联合图像专家组(JPEG)/JPEG文件交换格式(JFIF)、H.261和MPEG-1中，Cb和Cr位于间隙位置，在交替的亮度样点的中间。在4:2:0DV中，Cb和Cr在水平方向上共位置。在垂直方向上，它们在交替行上共位置。
chroma_format_idc separate_colour_plane_flag 色度格式 SubWidthC SubHeightC
0 0 单色 1 1
1 0 4:2:0 2 2
2 0 4:2:2 2 1
3 0 4:4:4 1 1
3 1 4:4:4 1 1
表1从chroma_format_idc和separate_colour_plane_flag推导的SubWidthC和SubHeightC值
3.2视频编解码器的示例编解码流程
图2示出了VVC的编码器框图的示例，其包含三个环路滤波块：去方块滤波器(DF)、样点自适应补偿(SAO)和ALF。与使用预定义滤波器的DF不同，SAO和ALF利用当前图片的原始样点，分别通过添加补偿和通过应用有限脉冲响应(FIR)滤波器，并利用经编解码的边信息通过信号传输补偿和滤波器系数来减少原始样点与重建样点之间的均方误差。ALF位于每个图片的最后一个处理阶段，并且可以被视为试图捕获和修复由先前阶段造成的伪影的工具。
3.3视频/编解码单元的定义
图片被划分为一个或多个片行和一个或多个片列。片是覆盖图片的矩形区域的CTU序列。片可以被划分为一个或多个砖块，每个砖块包括片内的一定数目的CTU行。未被分割为多个砖块的片也可以称为砖块。然而，作为片的真子集的砖块不能称为片。条带包含图片的若干片，或者包含片的若干砖块。
支持条带的两种模式，即光栅扫描条带模式和矩形条带模式。在光栅扫描条带模式中，条带包含图片的片光栅扫描中的片的序列。在矩形条带模式中，条带包含图片的一定数目的砖块，这些砖块共同形成图片的矩形区域。矩形条带内的砖块按照条带的砖块光栅扫描的顺序排列。图3示出了图片的光栅扫描条带分割的示例，其中图片被划分为12个片和3个光栅扫描条带。
图4示出了图片的矩形条带分割的示例，其中图片被划分为24个片(6个片列和4个片行)和9个矩形条带。
图5示出了被分割为片、砖块和矩形条带的图片的示例，其中图片被划分为4个片(2个片列和2个片行)、11个砖块(左上方的片包含1个砖块，右上方的片包含5个砖块，左下方的片包含2个砖块，并且右下方的片包含3个砖块)和4个矩形条带。
3.3.1CTU/CTB尺寸
在VVC中，通过语法元素log2_ctu_size_minus2在序列参数集(SPS)中通过信号传输的CTU尺寸可以小到4x4。
7.3.2.3序列参数集RBSP语法
log2_ctu_size_minus2加2规定每个CTU的亮度编解码树块尺寸。log2_min_luma_coding_block_size_minus2加2规定最小亮度编解码块尺寸。变量CtbLog2SizeY、CtbSizeY、MinCbLog2SizeY、MinCbSizeY、MinTbLog2SizeY、MaxTbLog2SizeY、MinTbSizeY、MaxTbSizeY、PicWidthInCtbsY、PicHeightInCtbsY、PicSizeInCtbsY、PicWidthInMinCbsY、PicHeightInMinCbsY、PicSizeInMinCbsY、PicSizeInSamplesY、PicWidthInSamplesC和PicHeightInSamplesC被推导如下：
CtbLog2SizeY ＝ log2_ctu_size_minus2 + 2 (7-9)CtbSizeY ＝ 1 <<CtbLog2SizeY (7-10)
MinCbLog2SizeY ＝ log2_min_luma_coding_block_size_minus2 + 2 (7-11)
MinCbSizeY ＝ 1 << MinCbLog2SizeY (7-12)
MinTbLog2SizeY＝2 (7-13)
MaxTbLog2SizeY ＝ 6 (7-14)
MinTbSizeY ＝ 1 << MinTbLog2SizeY (7-15)
MaxTbSizeY ＝ 1 << MaxTbLog2SizeY (7-16)
PicWidthInCtbsY ＝ Ceil( pic_width_in_luma_samples ÷ CtbSizeY ) (7-17)
PicHeightInCtbsY ＝ Ceil( pic_height_in_luma_samples ÷ CtbSizeY )(7-18)
PicSizeInCtbsY ＝ PicWidthInCtbsY * PicHeightInCtbsY (7-19)
PicWidthInMinCbsY ＝ pic_width_in_luma_samples / MinCbSizeY (7-20)
PicHeightInMinCbsY ＝ pic_height_in_luma_samples / MinCbSizeY (7-21)
PicSizeInMinCbsY ＝ PicWidthInMinCbsY * PicHeightInMinCbsY (7-22)
PicSizeInSamplesY ＝ pic_width_in_luma_samples * pic_height_in_luma_samples (7-23)
PicWidthInSamplesC ＝ pic_width_in_luma_samples / SubWidthC (7-24)
PicHeightInSamplesC ＝ pic_height_in_luma_samples / SubHeightC (7-25)
3.3.2一个图片中的CTU
假设CTB/最大编解码单元(LCU)尺寸由M×N(通常M等于N)指示，并且对于位于图片边界(或片或条带或其他类型的边界，以图片边界作为示例)边界处的CTB，K×L样点在图片边界内，其中K<M或L<N。对于如图6A-6C中所示出的那些CTB，CTB尺寸仍然等于M×N，然而，CTB的下边界/右边界在图片之外。
3.4帧内预测
为了捕获自然视频中呈现的任意边缘方向，方向帧内模式的数目从如在HEVC中所使用的33个扩展到65个。扩展的方向模式如图7所示，并且平面和直流(DC)模式保持相同。这些更密集的方向帧内预测模式适用于所有块尺寸以及亮度和色度帧内预测。
如图7所示，角度帧内预测方向可以被定义为在顺时针方向上从45度到-135度。在VTM中，针对非正方形块，若干角度帧内预测模式自适应地替换为广角帧内预测模式。被替换的模式被通过信号传输并在解析后被重映射到广角模式的索引。帧内预测模式的总数保持不变，例如67，并且帧内模式编解码保持不变。
在HEVC中，每个经帧内编解码的块具有正方形形状，并且块的每一侧的长度是2的幂。因此，不需要除法运算来使用DC模式生成帧内预测值。在VVC中，块可以具有矩形形状，在一般情况下，需要对每个块使用除法运算。为了避免DC预测的除法运算，仅较长的一侧用于计算非正方形块的平均值。
3.5帧间预测
对于每个帧间预测编解码单元(CU)，运动参数包括运动矢量、参考图片索引、参考图片列表使用索引、以及用于将被用于帧间预测样点生成的VVC的新编解码特征的扩展信息。运动参数可以以显式或隐式的方式被通过信号传输。当CU用跳过模式被编解码时，CU与一个预测单元(PU)相关联，并且不具有显著的残差系数、经编解码的运动矢量增量和/或参考图片索引。Merge模式被规定为当前CU的运动参数是从邻近CU获得的，包括空域和时域候选，以及VVC中引入的扩展调度。Merge模式可以被应用于任何帧间预测CU，而不仅仅是用于跳过模式。Merge模式的替代方案是运动参数的显式传输，其中运动矢量、针对每个参考图片列表的对应参考图片索引、参考图片列表使用标志和其他有用信息针对每个CU被显式地通过信号传输。
3.6去方块滤波器
去方块滤波是视频编解码器中的示例环路滤波器。在VVC中，去方块滤波过程被应用于CU边界、变换子块边界和预测子块边界。预测子块边界包括由基于子块的时域运动矢量预测(SbTMVP)和仿射模式引入的预测单元边界。变换子块边界包括由子块变换(SBT)和帧内子分割(ISP)模式引入的变换单元边界和由于大CU的隐式划分的变换。去方块滤波器的处理顺序被定义为首先对整个图片的垂直边缘进行水平滤波，然后对水平边缘进行垂直滤波。这个特定顺序使得多个水平滤波或垂直滤波过程能够在并行线程中被应用。滤波过程也可以逐CTB地实现，仅具有很小的处理延迟。
图片中的垂直边缘首先被滤波。然后，图片中的水平边缘以经垂直边缘滤波过程修改的样点作为输入被滤波。每个CTU的CTB中的垂直边缘和水平边缘在编解码单元的基础上被单独处理。编解码单元中的编解码块的垂直边缘被滤波，从编解码块的左手侧上的边缘开始，按照其几何顺序通过边缘朝向编解码块的右手侧进行。编解码单元中的编解码块的水平边缘被滤波，从编解码块的顶部上的边缘开始，按照其几何顺序通过边缘朝向编解码块的底部进行。
3.6.1边界决策
滤波被应用于8x8块边界。另外，这样的边界必须是变换块边界或编解码子块边界，例如由于使用仿射运动预测(ATMVP)得到的边界。对于其他边界，去方块滤波被禁用。
3.6.2边界强度计算
对于变换块边界/编解码子块边界，如果边界位于8x8网格中，则边界可以被滤波，并且该边缘的bS[xDi][yDj](其中[xDi][yDj]表示坐标)的设置分别如表2和表3所定义。
表2边界强度(当SPS帧内块复制(IBC)被禁用时)
表3边界强度(当SPS IBC被启用时)
3.6.3亮度分量的去方块决策
仅当条件1、条件2和条件3都为真时，才使用更宽更强的亮度滤波器。条件1是“大块条件”。该条件检测P侧和Q侧的样点是否属于大块，其分别由变量bSidePisLargeBlk和bSideQisLargeBlk表示。bSidePisLargeBlk和bSideQisLargeBlk被定义如下。
最后，如果条件1和条件2都有效，则去方块方法将检查条件3(大块强滤波器条件)，其定义如下。在条件3StrongFilterCondition中，推导以下变量：
按照HEVC，StrongFilterCondition＝(dpq小于(β>>2),sp3+sq3小于(3*β>>5),且Abs(p0-q0)小于(5*tC+1)>>1)？真:假。
3.6.4用于亮度的更强的去方块滤波器
当边界的任一侧上的样点属于大块时，使用双线性滤波器。当垂直边缘宽度>＝32时，以及当水平边缘高度>＝32时，将样点定义为属于大块。双线性滤波器被列出如下。然后，在上述HEVC去方块中的块边界样点pi(i＝0至Sp-1)和qi(j＝0至Sq-1)(pi和qi是用于滤波垂直边缘的行内的第i个样点，或者是用于滤波水平边缘的列内的第i个样点)被如下的线性插值替换：
pi′＝(fii*Middles,t+(64-fii)*Ps+32)＞＞6),限幅至pi±tcPDi
qj′＝(gj*Middles,t+(64-gj)-Qs+32)>>6),限幅至qj±tcPDj
其中tcPDi和tcPDj项是上述的位置相关限幅(clipping)，并且gj、fii、Middles,t、Ps和Qs被给出如下。
3.6.5色度的去方块决策
色度强滤波器被用于块边界的两侧。这里，当色度边缘的两侧大于或等于8(色度位置)时，选择色度滤波器，并且满足具有三个条件的以下决策：第一个决策是用于边界强度以及大块的决策。当正交地穿过块边缘的块宽度或高度在色度样点域中等于或大于8时，可以应用滤波器。第二个决策和第三个决策基本上与用于HEVC亮度去方块决策相同，其分别是开/关决策和强滤波器决策。
在第一个决策中，针对色度滤波修改边界强度(bS)，并且按顺序地检查条件。如果满足条件，则跳过具有更低优先级的剩余条件。当bS等于2时，或者在当检测到大块边界时bS等于1的情况下，执行色度去方块。第二个条件和第三个条件基本上与如下的HEVC亮度强滤波器决策相同。
在第二个条件中，按照HEVC亮度去方块的方式推导d。当d小于β时，第二个条件将为真。在第三个条件中，StrongFilterCondition被推导如下：
按照HEVC的方式推导dpq。
按照HEVC的方式推导sp3＝Abs(p3-p0)
按照HEVC的方式推导sq3＝Abs(q0-q3)
按照HEVC设计，StrongFilterCondition＝(dpq小于(β>>2),sp3+sq3小于(β>>3),且Abs(p0-q0)小于(5*tC+1)>>1)
3.6.6用于色度的强去方块滤波器
用于色度的强去方块滤波器定义如下：
p2′＝(3*p3+2*p2+p1+p0+q0+4)>>3
p1′＝(2*p3+p2+2*p1+p0+q0+q1+4)>>3
p0′＝(p3+p2+p1+2*p0+q0+q1+q2+4)>>3
示例色度滤波器在4x4色度样点网格上执行去方块。
3.6.7位置相关限幅
位置相关限幅tcPD被应用于亮度滤波过程的输出样点，该亮度滤波过程涉及在边界处修改7个、5个和3个样点的强滤波器和长滤波器。假设量化误差分布，对于预期具有更高量化噪声的样点，可以增加限幅值，从而预期重建样点值与真实样点值具有更高偏差。
对于用非对称滤波器滤波的每个P或Q边界，根据决策制定过程的结果，从作为边信息被提供给解码器的两个表(例如，如下列出的Tc7和Tc3)中选择位置相关阈值表：
Tc7＝{6,5,4,3,2,1,1}；Tc3＝{6,4,2}；
tcPD＝(Sp＝＝3)？Tc3:Tc7；
tcQD＝(Sq＝＝3)？Tc3:Tc7；
对于正在用短对称滤波器滤波的P或Q边界，较低幅度的位置相关阈值被应用：
Tc3＝{3,2,1}；
在定义阈值之后，经滤波的p’i和q’i样点值根据tcP和tcQ限幅值被限幅：
p”i＝Clip3(p’i+tcPi,p’i–tcPi,p’i)；
q”j＝Clip3(q’j+tcQj,q’j–tcQ j,q’j)；
其中p’i和q’i是经滤波的样点值，p”i和q”j是限幅后的输出样点值，并且tcPitcPi是从VVC tc参数以及tcPD和tcQD推导的限幅阈值。函数Clip3是如在VVC中所指定的限幅函数。
3.6.8子块去方块调整
为了启用使用长滤波器和子块去方块两者的并行友好去方块，长滤波器被限制为在使用子块去方块(仿射或ATMVP或解码器侧运动矢量细化(DMVR))的一侧上最多修改5个样点，如在针对长滤波器的亮度控制中所示。扩展地，子块去方块被调整，使得8x8网格上的接近CU或隐式变换单元(TU)边界的子块边界被限制为在每一侧上最多修改两个样点。
以下适用于不与CU边界对齐的子块边界。
其中edge等于0对应于CU边界，edge等于2或等于orthogonalLength-2对应于距CU边界8个样点的子块边界等。如果使用TU的隐式划分，则隐式TU为真。
3.7样点自适应补偿
样点自适应补偿(SAO)在去方块滤波器之后，通过使用由编码器为每个CTB规定的补偿被应用于重建信号。视频编码器首先决定是否将SAO过程应用于当前条带。如果SAO被应用于条带，则每个CTB被分类为如表4所示的五种SAO类型之一。SAO的概念是将像素分类为多个类别，并通过向每个类别的像素添加补偿来减少失真。SAO操作包括边缘补偿(EO)和带补偿(BO)，其中EO在SAO类型1至4中使用边缘属性进行像素分类，并且BO在SAO类型5中使用像素强度进行像素分类。每个适用的CTB具有包括sao_merge_left_flag、sao_merge_up_flag、SAO类型和四个补偿的SAO参数。如果sao_merge_left_flag等于1，则当前CTB将重用左侧CTB的SAO类型和补偿。如果sao_merge_up_flag等于1，则当前CTB将重用上方CTB的SAO类型和补偿。
SAO类型 要被使用的样点自适应补偿类型 类别的数量
0 无 0
1 1-D 0度图案边缘补偿 4
2 1-D 90度图案边缘补偿 4
3 1-D 135度图案边缘补偿 4
4 1-D 45度图案边缘补偿 4
5 带补偿 4
表4SAO类型的规范
3.8自适应环路滤波器
用于视频编解码的自适应环路滤波是通过使用基于维纳的自适应滤波器来最小化原始样点与解码样点之间的均方误差。ALF位于每个图片的最后一个处理阶段，并且可以被视为捕获和修复来自先前阶段的伪影的工具。合适的滤波器系数由编码器确定并被显式地通过信号传输给解码器。为了实现更好的编解码效率，特别是对于高分辨率视频，通过将不同的滤波器应用于图片中的不同区域或块，局部自适应被用于亮度信号。除了滤波器自适应之外，编解码树单元(CTU)级别的滤波器开/关控制也有助于提高编解码效率。在语法方面，滤波器系数在称为自适应参数集的图片级别头中被发送，并且CTU的滤波器开/关标志在条带数据中在CTU级别被交织。这种语法设计不仅支持图片级别优化，而且还实现了低编码延迟。
3.8.1参数的信令
根据VTM中的ALF设计，滤波器系数和限幅索引被携带在ALF自适应参数集(APS)中。ALF APS可以包括最多8个色度滤波器和具有最多25个滤波器的一个亮度滤波器集。还为25个亮度类别中的每一个包括索引。具有相同索引的类别共享相同的滤波器。通过合并不同的类别，减少了表示滤波器系数所需的比特的数量。滤波器系数的绝对值使用0阶指数哥伦布码和随后的针对非零系数的符号比特来表示。当启用限幅时，还使用两位固定长度码针对每个滤波器系数通过信号传输限幅索引。解码器最多可以同时使用8个ALF APS。
VTM中的ALF的滤波器控制语法元素包括两种类型的信息。第一，ALF开/关标志在序列、图片、条带和CTB级别被通过信号传输。仅当在对应级别启用亮度ALF时，才可以在图片和条带级别启用色度ALF。第二，如果在图片、条带和CTB级别启用ALF，则在该级别通过信号传输滤波器使用信息。如果图片内的所有条带使用相同的APS，则参考的ALF APS标识符(ID)在条带级别或图片级别被编解码。亮度分量可以参考最多7个ALF APS，并且色度分量可以参考1个ALF APS。对于亮度CTB，通过信号传输索引，该索引指示使用哪个ALF APS或经离线训练的亮度滤波器集。对于色度CTB，索引指示使用所参考的APS中的哪个滤波器。
VTM中与亮度分量相关联的ALF的数据语法元素被列出如下：
alf_luma_filter_signal_flag等于1规定通过信号传输亮度滤波器集。alf_luma_filter_signal_flag等于0规定不通过信号传输亮度滤波器集。alf_luma_clip_flag等于0规定对亮度分量应用线性自适应环路滤波。alf_luma_clip_flag等于1规定可以对亮度分量应用非线性自适应环路滤波。alf_luma_num_filters_signalled_minus1加1规定亮度系数可以被通过信号传输的自适应环路滤波器类别的数量。alf_luma_num_filters_signalled_minus1的值须在0到NumAlfFilters-1的范围(包括0和NumAlfFilters-1)内。alf_luma_coeff_delta_idx[filtIdx]规定由范围为0到NumAlfFilters-1的filtIdx指示的滤波器类别的通过信号传输的自适应环路滤波器亮度系数增量的索引。当alf_luma_coeff_delta_idx[filtIdx]不存在时，其被推定为等于0。alf_luma_coeff_delta_idx[filtIdx]的长度为Ceil(Log2(alf_luma_num_filters_signalled_minus1+1))比特。alf_luma_coeff_delta_idx[filtIdx]的值须在0到alf_luma_num_filters_signalled_minus1的范围(包括0和alf_luma_num_filters_signalled_minus1)内。
alf_luma_coeff_abs[sfIdx][j]规定由sfIdx指示的通过信号传输的亮度滤波器的第j个系数的绝对值。当alf_luma_coeff_abs[sfIdx][j]不存在时，其被推定为等于0。alf_luma_coeff_abs[sfIdx][j]的值须在0到128的范围(包括0和128)内。alf_luma_coeff_sign[sfIdx][j]规定由sfIdx指示的滤波器的第j个亮度系数的符号，如下所示：
如果alf_luma_coeff_sign[sfIdx][j]等于0，则对应亮度滤波器系数具有正值。
否则(alf_luma_coeff_sign[sfIdx][j]等于1)，对应亮度滤波器系数具有负值。
当alf_luma_coeff_sign[sfIdx][j]不存在时，其被推定为等于0。
alf_luma_clip_idx[sfIdx][j]规定在乘以由sfIdx指示的通过信号传输的亮度滤波器的第j个系数之前要使用的限幅值的限幅索引。当alf_luma_clip_idx[sfIdx][j]不存在时，其被推定为等于0。VTM中与亮度分量相关联的ALF的编解码树单元语法元素被列出如下：
alf_ctb_flag[cIdx][xCtb>>CtbLog2SizeY][yCtb>>CtbLog2SizeY]等于1规定自适应环路滤波器被应用于亮度位置(xCtb，yCtb)处的编解码树单元的由cIdx指示的色彩分量的编解码树块。alf_ctb_flag[cIdx][xCtb>>CtbLog2SizeY][yCtb>>CtbLog2SizeY]等于0规定自适应环路滤波器不应用于亮度位置(xCtb，yCtb)处的编解码树单元的由cIdx指示的色彩分量的编解码树块。
当alf_ctb_flag[cIdx][xCtb>>CtbLog2SizeY][yCtb>>CtbLog2SizeY]不存在时，其被推定为等于0。alf_use_aps_flag等于0规定固定滤波器集之一被应用于亮度CTB。alf_use_aps_flag等于1规定来自APS的滤波器集被应用于亮度CTB。当alf_use_aps_flag不存在时，其被推定为等于0。alf_luma_prev_filter_idx规定被应用于亮度CTB的先前滤波器。alf_luma_prev_filter_idx的值须在0到sh_num_alf_aps_ids_luma-1的范围(包括0和sh_num_alf_aps_ids_luma-1)内。当alf_luma_prev_filter_idx不存在时，其被推定为等于0。
规定位置(xCtb，yCtb)处的亮度CTB的滤波器集索引的变量AlfCtbFiltSetIdxY[xCtb>>CtbLog2SizeY][yCtb>>CtbLog2SizeY]被推导如下：
如果alf_use_aps_flag等于0，则AlfCtbFiltSetIdxY[xCtb>>CtbLog2SizeY][yCtb>>CtbLog2SizeY]被设置为等于alf_luma_fixed_filter_idx。
否则，AlfCtbFiltSetIdxY[xCtb>>CtbLog2SizeY][yCtb>>CtbLog2SizeY]被设置为等于16+alf_luma_prev_filter_idx。
alf_luma_fixed_filter_idx规定被应用于亮度CTB的固定滤波器。alf_luma_fixed_filter_idx的值须在0到15的范围(包括0和15)内。
基于VTM的ALF设计，ECM的ALF设计进一步将替代滤波器集的概念引入亮度滤波器。亮度滤波器基于每个替代/轮次的更新的亮度CTU ALF开/关决策来进行多个替代/轮次的训练。这样，将有与每个训练替代相关联的多个滤波器集，并且每个滤波器集的类别合并结果可以不同。每个CTU可以通过RDO选择最佳滤波器集，并且相关替代信息将被通过信号传输。ECM中与亮度分量相关联的ALF的数据语法元素被列出如下：
alf_luma_num_alts_minus1加1规定亮度分量的替代滤波器集的数量。alf_luma_num_alts_minus1的值须在0到3的范围(包括0和3)内。alf_luma_clip_flag[altIdx]等于0规定对具有索引altIdx的替代亮度滤波器集的亮度分量应用线性自适应环路滤波。alf_luma_clip_flag[altIdx]等于1规定可以对具有索引altIdx的替代亮度滤波器集的亮度分量应用非线性自适应环路滤波。alf_luma_num_filters_signalled_minus1[altIdx]加1规定在具有索引altIdx的替代亮度滤波器集中，亮度系数可以被通过信号传输的自适应环路滤波器类别的数量。alf_luma_num_filters_signalled_minus1[altIdx]的值须在0到NumAlfFilters-1的范围(包括0和NumAlfFilters-1)内。
alf_luma_coeff_delta_idx[altIdx][filtIdx]规定由范围为0到NumAlfFilters–1的filtIdx指示的滤波器类别的通过信号传输的自适应环路滤波器亮度系数增量的索引，用于具有索引altIdx的替代亮度滤波器集。当alf_luma_coeff_delta_idx[filtIdx][altIdx]不存在时，其被推定为等于0。alf_luma_coeff_delta_idx[altIdx][filtIdx]的长度为Ceil(Log2(alf_luma_num_filters_signalled_minus1[altIdx]+1))比特。alf_luma_coeff_delta_idx[altIdx][filtIdx]的值须在0到alf_luma_num_filters_signalled_minus1[altIdx]的范围(包括0和alf_luma_num_filters_signalled_minus1[altIdx])内。alf_luma_coeff_abs[altIdx][sfIdx][j]规定由具有索引altIdx的替代亮度滤波器集的sfIdx指示的通过信号传输的亮度滤波器的第j个系数的绝对值。当alf_luma_coeff_abs[altIdx][sfIdx][j]不存在时，其被推定为等于0。alf_luma_coeff_abs[altIdx][sfIdx][j]的值须在0到128的范围(包括0和128)内。
alf_luma_coeff_sign[altIdx][sfIdx][j]规定由具有索引altIdx的替代亮度滤波器集的sfIdx指示的滤波器的第j个亮度系数的符号，如下所示：
如果alf_luma_coeff_sign[altIdx][sfIdx][j]等于0，则对应亮度滤波器系数具有正值。
否则(alf_luma_coeff_sign[altIdx][sfIdx][j]等于1)，对应亮度滤波器系数具有负值。
当alf_luma_coeff_sign[altIdx][sfIdx][j]不存在时，其被推定为等于0。
alf_luma_clip_idx[altIdx][sfIdx][j]规定在乘以由具有索引altIdx的替代亮度滤波器集的sfIdx指示的通过信号传输的亮度滤波器的第j个系数之前要使用的限幅值的限幅索引。当alf_luma_clip_idx[altIdx][sfIdx][j]不存在时，其被推定为等于0。ECM中与亮度分量相关联的ALF的编解码树单元语法元素被列出如下：
alf_ctb_luma_filter_alt_idx[xCtb>>CtbLog2SizeY][yCtb>>CtbLog2SizeY]规定被应用于亮度位置(xCtb，yCtb)处的编解码树单元的亮度分量的编解码树块的替代亮度滤波器的索引。当alf_ctb_luma_filter_alt_idx[xCtb>>CtbLog2SizeY][yCtb>>CtbLog2SizeY]不存在时，其被推定为等于0。
3.8.2滤波器形状
在JEM中，最多三个菱形滤波器形状(如图10所示)可以被选择用于亮度分量。在图片级别通过信号传输索引以指示被用于亮度分量的滤波器形状。每个正方形表示样点，并且Ci(i为0～6(左)、0～12(中)、0～20(右))表示要被应用于样点的系数。对于图片中的色度分量，总是使用5×5菱形形状。在VVC中，7×7菱形形状总是被用于亮度，而5×5菱形形状总是被用于色度。
3.8.3ALF的分类
每个2×2(或4×4)块被分类为25个类别中的一个。分类索引C基于其方向性D和活动性的量化值被推导，如下所示：
为了计算D和首先使用一维(1-D)拉普拉斯计算水平、垂直和两个对角线方向的梯度：
索引i和j参考2×2块中左上方样点的坐标，并且R(i,j)指示坐标(i,j)处的重建样点。然后水平方向和垂直方向的梯度的D最大值和最小值被设置为：
并且两个对角线方向的梯度的最大值和最小值被设置为：
为了推导方向性D的值，这些值被相互比较并且与两个阈值t1和t2比较：
步骤1.如果和都为真，则D被设置为0。
步骤2.如果则从步骤3继续；否则从步骤4继续。
步骤3.如果则D被设置为2；否则D被设置为1。
步骤4.如果则D被设置为4；否则D被设置为3。
活动性值A被计算为：
A进一步被量化到0到4的范围(包括0和4)，并且量化值被表示为对于图片中的两个色度分量，不应用分类方法，即针对每个色度分量应用单组ALF系数。
3.8.4滤波器系数的几何变换
在对每个2×2块进行滤波之前，根据为该块计算的梯度值，几何变换(诸如旋转或对角线和垂直翻转)被应用于与坐标(k，l)相关联的滤波器系数f(k,l)。这等效于将这些变换应用于滤波器支持区域中的样点。该思想是通过对齐不同块的方向性来使应用ALF的不同块更加相似。
引入了三种几何变换，包括对角线、垂直翻转和旋转：
对角线：fD(k,l)＝f(l,k),
垂直翻转：fV(k,l)＝f(k,K-l-1),
旋转：fR(k,l)＝f(K-l-1,k).
其中K是滤波器的尺寸，并且0≤k,l≤K-1是系数坐标，使得位置(0,0)在左上角，并且位置(K-1,K-1)在右下角。变换根据为该块计算的梯度值被应用于滤波器系数f(k，l)。变换与四个方向的四个梯度之间的关系在表5中被总结。图11示出了基于5x5菱形的每个位置的变换系数。
梯度值 变换
gd2<gd1且gh<gv 无变换
gd2<gd1且gv<gh 对角线
gd1<gd2且gh<gv 垂直翻转
gd1<gd2且gv<gh 旋转
表5为一个块计算的梯度与变换的映射
3.8.5滤波过程
在解码器侧，当为块启用ALF时，块内的每个样点R(i,j)被滤波，产生如下所示的样点值R′(i,j)，其中L表示滤波器长度，fm,n表示滤波器系数，并且f(k,l)表示解码的滤波器系数。
图12示出了假设当前样点的坐标(i，j)为(0，0)时被用于5x5菱形滤波器支持的相对坐标的示例。填充有相同色彩的不同坐标中的样点与相同的滤波器系数相乘。
3.8.6非线性滤波重构(reformulation)
线性滤波可以在不影响编解码效率的情况下被重构为以下表达式：
其中w(i,j)是相同的滤波器系数。
VVC通过使用简单的限幅函数来引入非线性，以在邻近样点值(I(x+i,y+j)))与被滤波的当前样点值(I(x,y))相差太大时，降低邻近样点值的影响，从而使ALF更高效。更具体地，ALF滤波器被修改如下：
其中K(d,b)＝min(b,max(-b,d))是限幅函数，并且k(i,j)是限幅参数，其取决于(i,j)滤波器系数。编码器执行优化以找到最佳的k(i,j)。
限幅参数k(i,j)针对每个ALF滤波器被规定，每个滤波器系数通过信号传输一个限幅值。这意味着每个亮度滤波器最多12个限幅值和色度滤波器最多6个限幅值可以在比特流中被通过信号传输。为了限制信令成本和编码器复杂度，仅使用对于帧间和帧内条带相同的4个固定值。
因为亮度的局部差的方差通常比色度的高，所以应用针对亮度和色度滤波器的两个不同的集合。还引入了每个集合中的最大样点值(这里对于10比特比特深度是1024)，使得如果不必要则可以禁用限幅。4个值是通过在对数域中大致相等地划分亮度的样点值的完整范围(在10比特上被编解码)和色度的从4到1024的范围而选择的。更精确地，亮度限幅值表已经通过以下公式得到：
其中M＝210且N＝4
类似地，色度限幅值表根据以下公式得到：
其中M＝210，N＝4，且A＝4
3.9双边环路滤波器
3.9.1双边图像滤波器
双边图像滤波器是非线性滤波器，其在保留边缘结构的同时平滑噪声。双边滤波是使滤波器权重不仅随着样点之间的距离减小，而且随着强度差的增加而减小的技术。以此方式，可以改善边缘的过度平滑。权重被定义为
其中Δx和Δy是在垂直方向和水平方向上的距离，并且ΔI是样点之间的强度差。
保留边缘的去噪双边滤波器对域滤波器和范围滤波器都采用低通高斯滤波器。域低通高斯滤波器将较高的权重给予在空域上接近中心像素的像素。范围低通高斯滤波器将较高的权重给予与中心像素相似的像素。组合范围滤波器和域滤波器，边缘像素处的双边滤波器变成细长的高斯滤波器，其沿着边缘被定向，并且在梯度方向上被大大减小。这就是双边滤波器可以在保留边缘结构的同时平滑噪声的原因。
3.9.2视频编解码中的双边滤波器
视频编解码中的双边滤波器是用于VVC的编解码工具[2]。该滤波器作为与样点自适应补偿(SAO)滤波器并行的环路滤波器。双边滤波器和SAO都作用于相同的输入样点，每个滤波器产生补偿，并且这些补偿然后被添加到输入样点以产生输出样点，该输出样点在限幅之后进入下一阶段。空域滤波强度σd由块尺寸确定，其中较小的块被更强地滤波，并且强度滤波强度σr由量化参数确定，其中QP越高，滤波强度越高。仅使用四个最近的样点，因此经滤波的样点强度IF可以被计算为
其中IC表示中心样点的强度，ΔIA＝IA-IC表示中心样点与上方样点之间的强度差。ΔIB，ΔIL和ΔIR分别表示中心样点与下方、左侧和右侧样点的强度差。
4.由所公开的技术方案解决的技术问题
视频编解码中的自适应环路滤波器(ALF)的示例设计存在以下问题。
在示例跨分量ALF(CC-ALF)设计中，仅当前阶段之前的重建被使用。然而，还存在其他有价值的边信息可以被潜在地利用，诸如去方块滤波器(DBF)、样点自适应补偿(SAO)、双边滤波器(BF)之前的样点、预测样点、残差信息、分割信息、量化参数(QP)信息、DBF中使用的边界强度(DBF-BS)等。
5.解决方案和实施例的列表
为了解决上述问题，公开了如下概述的方法。实施例应当被认为是解释一般概念的示例，而不应以狭义的方式被解释。此外，这些实施例可以被单独应用或者以任何方式组合。
应当注意的是，所公开的方法可以被用作环路滤波器或后处理。
在本公开中，视频单元可以指序列、图片、子图片、条带、CTU、块和/或区域。视频单元可以包括一个色彩分量或多个色彩分量。
在本公开中，处理单元可以指序列、图片、子图片、条带、CTU、块、区域或样点。处理单元可以包括一个色彩分量或多个色彩分量。
1)提出了将边信息用于跨分量自适应环路滤波器(CCALF)。
a.提出了使用DBF/SAO/双边滤波器(BF)/跨分量SAO(CCSAO)之前的重建作为CCALF的边信息。
a)在一个示例中，可以使用DBF/SAO/BF/CCSAO之前的同位重建。
b)在一个示例中，可以使用DBF/SAO/BF/CCSAO之前的邻近重建。
c)在一个示例中，DBF/SAO/BF之前的亮度重建可以用作CCALF的至少一个扩展抽头的输入源。
d)在一个示例中，DBF/SAO/BF之前的亮度重建可以用作CCALF的至少一个空域抽头的输入源。
e)在一个示例中，DBF/SAO/BF之前的色度重建可以用作CCALF的至少一个扩展抽头的输入源。
f)在一个示例中，DBF/SAO/BF之前的色度重建可以用作CCALF的至少一个空域抽头的输入源。
g)DBF/SAO/BF/CCSAO之前的重建可以用于对色度样点进行分类。
b.提出了使用预测样点作为CCALF的边信息。
a)在一个示例中，可以使用同位预测样点。
b)在一个示例中，可以使用邻近预测样点。
c)在一个示例中，亮度预测样点可以用作CCALF的至少一个扩展抽头的输入源。
d)在一个示例中，亮度预测样点可以用作CCALF的至少一个空域抽头的输入源。
e)在一个示例中，色度预测样点可以用作CCALF的至少一个扩展抽头的输入源。
f)在一个示例中，色度预测样点可以用作CCALF的至少一个空域抽头的输入源。
g)预测样点可以在被输入CCALF中之前被修改。
1.修改可以是滤波。
2.修改可以是下采样/上采样。
3.修改可以是限幅/移位。
h)预测样点可以用于对色度样点进行分类。
c.提出了使用残差值作为CCALF的边信息。
a)在一个示例中，可以使用同位残差值。
b)在一个示例中，可以使用邻近残差值。
c)在一个示例中，亮度残差值可以用作CCALF的至少一个扩展抽头的输入源。
d)在一个示例中，亮度残差值可以用作CCALF的至少一个空域抽头的输入源。
e)在一个示例中，色度残差值可以用作CCALF的至少一个扩展抽头的输入源。
f)在一个示例中，色度残差值可以用作CCALF的至少一个空域抽头的输入源。
g)残差值可以用于对色度样点进行分类。
h)残差值可以在被输入CCALF中之前被修改。
1.修改可以是滤波。
2.修改可以是下采样/上采样。
3.修改可以是限幅/移位。
d.提出了使用分割信息作为CCALF的边信息。
a)在一个示例中，分割信息可以代表块尺寸/形状/位置、块平均值/最大值/最小值/方差值或其他信息。
b)在一个示例中，亮度分割信息可以用于训练CCALF的在线训练滤波器。
c)在一个示例中，色度分割信息可以用于训练CCALF的在线训练滤波器。
d)在一个示例中，亮度/色度分割信息可以涉及CCALF的滤波过程。
e)分割信息可以用于对色度样点进行分类。
e.提出了使用QP信息作为CCALF的边信息。
a)在一个示例中，QP信息可以代表图片/条带/块级别QP信息。
b)在一个示例中，亮度QP信息可以用于训练CCALF的在线训练滤波器。
c)在一个示例中，色度QP信息可以用于训练CCALF的在线训练滤波器。
d)在一个示例中，亮度/色度QP信息可以涉及CCALF的滤波过程。
e)QP信息可以用于对色度样点进行分类。
f.提出了使用边界强度信息作为CCALF的边信息。
a)在一个示例中，边界强度信息可以由DBF或其他方法生成。
b)在一个示例中，可以使用同位DBF-BS。
c)在一个示例中，可以使用邻近DBF-BS。
d)在一个示例中，亮度边界强度信息可以用于训练CCALF的在线训练滤波器。
e)在一个示例中，色度边界强度信息可以用于训练CCALF的在线训练滤波器。
f)在一个示例中，亮度/色度边界强度信息可以涉及CCALF的滤波过程。
g)边界强度信息可以用于对色度样点进行分类。
2)在一个示例中，所公开的方法可以用于后处理和/或预处理。
3)在一个示例中，上述方法可以被联合使用。
4)可选地，上述方法可以被单独使用。
5)在一个示例中，所提出/描述的边信息利用方法可以被应用于视频编解码中的任何环路滤波工具、预处理或后处理滤波方法(包括但不限于ALF/CCALF或任何其他滤波方法)。
a.在一个示例中，所提出的边信息利用方法可以被应用于环路滤波方法。
a)在一个示例中，所提出的边信息利用方法可以被应用于ALF。
b)在一个示例中，所提出的边信息利用方法可以被应用于CCALF。
c)在一个示例中，所提出的边信息利用方法可以被应用于SAO。
d)在一个示例中，所提出的边信息利用方法可以被应用于CCSAO。
e)在一个示例中，所提出的边信息利用方法可以被应用于双边滤波器(BF)。
f)在一个示例中，所提出的边信息利用方法可以被应用于哈达玛变换域滤波器(HTDF)。
g)可替代地，所提出的边信息利用方法可以被应用于其他环路滤波方法。
b.在一个示例中，所提出的边信息利用方法可以被应用于预处理滤波方法。
c.在一个示例中，所提出的边信息利用方法可以被应用于后处理滤波方法。
6)在以上示例中，视频单元可以指序列/图片/子图片/条带/片/编解码树单元(CTU)/CTU行/CTU组/编解码单元(CU)/预测单元(PU)/变换单元(TU)/编解码树块(CTB)/编解码块(CB)/预测块(PB)/变换块(TB)/包含多于一个亮度或色度样点/像素的任何其他区域。
7)是否和/或如何应用上面公开的方法可以在比特流中被通过信号传输。
a.在一个示例中，是否和/或如何应用上面公开的方法可以在序列级别/图片组级别/图片级别/条带级别/片组级别通过信号传输，诸如在序列头/图片头/序列参数集(SPS)/视频参数集(VPS)/依赖性参数集(DPS)/解码能力信息(DCI)/图片参数集(PPS)/自适应参数集(APS)/条带头/片组头中。
b.在一个示例中，是否和/或如何应用上面公开的方法可以在预测块(PB)/变换块(TB)/编解码块(CB)/PU/TU/CU、虚拟流水线数据单元(VPDU)、CTU/CTU行/条带/片/子图片/包含多于一个样点或像素的其他种类的区域处通过信号传输。
8)是否和/或如何应用上面公开的方法可以取决于经编解码的信息，例如块尺寸、色彩格式、单/双树分割、色彩分量、条带/图片类型。
6.参考文献
[1]J.Strom,P.Wennersten,J.Enhorn,D.Liu,K.Andersson and R.Sjoberg,“Bilateral Loop Filter in Combination with SAO,”in proceeding of IEEE PictureCoding Symposium(PCS),Nov.2019.
图13是示出可以在其中实现本文公开的各种技术的示例视频处理系统4000的框图。各种实现方式可以包括系统4000的一些或所有组件。系统4000可以包括用于接收视频内容的输入4002。视频内容可以以例如8或10比特多分量像素值的原始或未压缩格式而接收，或者可以是以压缩或编码格式而接收。输入4002可以代表网络接口、外围总线接口或存储接口。网络接口的示例包括有线接口(诸如以太网、无源光网络(PON)等)和无线接口(诸如无线保真(Wi-Fi)或蜂窝接口)。
系统4000可以包括可以实现本公开中描述的各种编解码或编码方法的编解码组件4004。编解码组件4004可以减小从输入4002的视频到编解码组件4004的输出的平均比特率，以产生该视频的编解码表示。编解码技术因此有时被称为视频压缩或视频转码技术。编解码组件4004的输出可以被存储，或者经由如由组件4006表示的通信连接而传送。在输入4002处接收的视频的存储或通信传送的比特流(或编解码)表示可以由组件4008使用，以生成被发送到显示接口4010的像素值或可显示视频。从比特流表示生成用户可见的视频的过程有时被称为视频解压缩。此外，虽然某些视频处理操作被称为“编解码”操作或工具，但是可以理解，编解码工具或操作被编码器使用，并且对应的反转编解码结果的解码工具或操作将由解码器执行。
外围总线接口或显示接口的示例可以包括通用串行总线(USB)或高清多媒体接口(HDMI)或显示接口等。存储接口的示例包括串行高级技术附件(SATA)、外围组件互连(PCI)、集成驱动电子器件(IDE)接口等。本公开中描述的技术可以被体现在各种电子设备中，诸如移动电话、笔记本电脑、智能手机、或能够执行数字数据处理和/或视频显示的其他设备。
图14是示例视频处理装置4100的框图。装置4100可以被用于实现本文描述的一种或多种方法。装置4100可以被体现在智能手机、平板电脑、计算机、物联网(IoT)接收器等中。装置4100可以包括一个或多个处理器4102、一个或多个存储器4104和视频处理电路4106。(多个)处理器4102可以被配置为实现本公开中描述的一种或多种方法。(多个)存储器4104可以被用于存储被用于实现本文描述的方法和技术的数据和代码。视频处理电路4106可以被用于在硬件电路中实现本公开中描述的一些技术。在一些实施例中，视频处理电路4106可以至少部分地被包括在处理器4102中，例如图形协处理器。
图15是视频处理的示例方法4200的流程图。方法4200包括：在步骤4202，确定使用边信息作为跨分量自适应环路滤波器(CCALF)的输入。在步骤4204，基于CCALF在可视媒体数据和比特流之间执行转换。根据示例，步骤4204的转换可以包括在编码器处的编码或在解码器处的解码。
应当注意的是，方法4200可以在包括处理器和其上具有指令的非暂时性存储器的用于处理视频数据的装置中实现，诸如视频编码器4400、视频解码器4500和/或编码器4600。在这种情况下，指令在由处理器执行时使处理器执行方法4200。此外，方法4200可以由包括供视频编解码设备使用的计算机程序产品的非暂时性计算机可读介质执行。计算机程序产品包括存储在非暂时性计算机可读介质上的计算机可执行指令，使得当由处理器执行时使视频编解码设备执行方法4200。
图16是示出可以利用本公开的技术的示例视频编解码系统4300的框图。视频编解码系统4300可以包括源设备4310和目标设备4320。源设备4310生成经编码的视频数据，其中该源设备4310可以被称为视频编码设备。目标设备4320可以解码由源设备4310生成的经编码的视频数据，其中该目标设备4320可以被称为视频解码设备。
源设备4310可以包括视频源4312、视频编码器4314和输入/输出(I/O)接口4316。视频源4312可以包括诸如视频捕获设备、从视频内容提供商接收视频数据的接口、和/或用于生成视频数据的计算机图形系统之类的源或这些源的组合。视频数据可以包括一个或多个图片。视频编码器4314对来自视频源4312的视频数据进行编码，以生成比特流。比特流可以包括形成视频数据的编解码表示的比特序列。比特流可以包括经编解码的图片和相关联的数据。经编解码的图片是图片的编解码表示。相关联的数据可以包括序列参数集、图片参数集和其他语法结构。I/O接口4316可以包括调制器/解调器(调制解调器)和/或发送器。经编码的视频数据可以通过网络4330经由I/O接口4316直接传输至目标设备4320。经编码的视频数据也可以存储在存储介质/服务器4340上，以供目标设备4320访问。
目标设备4320可以包括I/O接口4326、视频解码器4324和显示设备4322。I/O接口4326可以包括接收器和/或调制解调器。I/O接口4326可以从源设备4310或存储介质/服务器4340获取经编码的视频数据。视频解码器4324可以对经编码的视频数据进行解码。显示设备4322可以向用户显示经解码的视频数据。显示设备4322可以与目标设备4320集成，或者可以在目标设备4320的外部，其中该目标设备4320可以被配置为与外部显示设备接口连接。
视频编码器4314和视频解码器4324可以根据视频压缩标准操作，诸如高效视频编解码(HEVC)标准、多功能视频编解码(VVC)标准和其他现有和/或进一步的标准。
图17是示出视频编码器4400的示例的框图，该视频编码器4400可以是图16所示的系统4300中的视频编码器4314。视频编码器4400可以被配置为执行本公开的任何或所有技术。视频编码器4400包括多个功能组件。本公开中描述的技术可以在视频编码器4400的各个组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。
视频编码器4400的功能组件可以包括分割单元4401、预测单元4402(其可以包括模式选择单元4403、运动估计单元4404、运动补偿单元4405、帧内预测单元4406)、残差生成单元4407、变换处理单元4408、量化单元4409、反量化单元4410、反变换单元4411、重建单元4412、缓存4413和熵编码单元4414。
在其他示例中，视频编码器4400可以包括更多、更少或不同的功能组件。在一个示例中，预测单元4402可以包括帧内块复制(IBC)单元。IBC单元可以按照IBC模式执行预测，其中至少一个参考图片是当前视频块所在的图片。
此外，诸如运动估计单元4404和运动补偿单元4405的一些组件可以高度集成，但是为了解释的目的，在视频编码器4400的示例中分开表示。
分割单元4401可以将图片分割为一个或多个视频块。视频编码器4400和视频解码器4500可以支持各种视频块尺寸。
模式选择单元4403可以例如基于误差结果来选择多种编解码模式(帧内编解码或帧间编解码)中的一种编解码模式，并且将所产生的帧内编解码块或帧间编解码块提供给残差生成单元4407以生成残差块数据，并且提供给重建单元4412以重建编码块以用作参考图片。在一些示例中，模式选择单元4403可以选择帧内帧间联合预测(CIIP)模式，其中预测基于帧间预测信号和帧内预测信号。在帧间预测的情况下，模式选择单元4403还可以为块选择运动矢量的分辨率(例如，亚像素精度或整数像素精度)。
为了对当前视频块执行帧间预测，运动估计单元4404可以通过将来自缓存4413的一个或多个参考帧与当前视频块进行比较来生成当前视频块的运动信息。运动补偿单元4405可以基于运动信息和来自缓存4413的除了与当前视频块相关联的图片之外的图片的解码样点，来确定当前视频块的预测视频块。
运动估计单元4404和运动补偿单元4405可以对当前视频块执行不同的操作，例如，取决于当前视频块是在经帧内编解码的(I)条带、经单向帧间编解码的(P)条带还是经双向帧间编解码的(B)条带中。
在一些示例中，运动估计单元4404可以对当前视频块执行单向预测，并且运动估计单元4404可以搜索列表0或列表1的参考图片，以寻找当前视频块的参考视频块。运动估计单元4404然后可以生成指示列表0或列表1中的包含参考视频块的参考图片的参考索引以及指示当前视频块和参考视频块之间的空域位移的运动矢量。运动估计单元4404可以输出参考索引、预测方向指示符和运动矢量作为当前视频块的运动信息。运动补偿单元4405可以基于由当前视频块的运动信息指示的参考视频块来生成当前块的预测视频块。
在其他示例中，运动估计单元4404可以对当前视频块执行双向预测，运动估计单元4404可以搜索列表0中的参考图片以寻找当前视频块的参考视频块，并且还可以搜索列表1中的参考图片以寻找当前视频块的另一参考视频块。运动估计单元4404然后可以生成指示列表0和列表1中的包含参考视频块的参考图片的参考索引以及指示在参考视频块和当前视频块之间的空域位移的运动矢量。运动估计单元4404可以输出当前视频块的参考索引和运动矢量以作为当前视频块的运动信息。运动补偿单元4405可以基于由当前视频块的运动信息指示的参考视频块来生成当前视频块的预测视频块。
在一些示例中，运动估计单元4404可以输出完整的运动信息集，以用于解码器的解码处理。在一些示例中，运动估计单元4404可以不输出当前视频的完整的运动信息集。相反，运动估计单元4404可以参考另一视频块的运动信息来通过信号传输当前视频块的运动信息。例如，运动估计单元4404可以确定当前视频块的运动信息与邻近视频块的运动信息足够相似。
在一个示例中，运动估计单元4404可以在与当前视频块相关联的语法结构中向视频解码器4500指示一值，该值指示当前视频块具有与另一视频块相同的运动信息。
在另一示例中，运动估计单元4404可以在与当前视频块相关联的语法结构中标识另一视频块和运动矢量差(MVD)。运动矢量差指示在当前视频块的运动矢量和所指示的视频块的运动矢量之间的差。视频解码器4500可以使用所指示的视频块的运动矢量以及运动矢量差来确定当前视频块的运动矢量。
如上所讨论的，视频编码器4400可以以预测性的方式通过信号传输运动矢量。可以由视频编码器4400实现的预测信令技术的两个示例包括高级运动矢量预测(AMVP)和Merge模式信令。
帧内预测单元4406可以对当前视频块执行帧内预测。当帧内预测单元4406对当前视频块执行帧内预测时，帧内预测单元4406可以基于同一图片中其他视频块的解码样点来生成针对当前视频块的预测数据。针对当前视频块的预测数据可以包括预测视频块和各个语法元素。
残差生成单元4407可以通过从当前视频块中减去当前视频块的(多个)预测视频块来生成针对当前视频块的残差数据。当前视频块的残差数据可以包括对应于当前视频块中样点的不同样点分量的残差视频块。
在其他示例中，例如在跳过模式下，当前视频块可以没有残差数据，并且残差生成单元4407可以不执行减法运算。
变换处理单元4408可以通过将一个或多个变换应用于与当前视频块相关联的残差视频块来为当前视频块生成一个或多个变换系数视频块。
在变换处理单元4408生成与当前视频块相关联的变换系数视频块之后，量化单元4409可以基于与当前视频块相关联的一个或多个量化参数(QP)值来量化与当前视频块相关联的变换系数视频块。
反量化单元4410和反变换单元4411可以将反量化和反变换分别应用于变换系数视频块，来从变换系数视频块重建残差视频块。重建单元4412可以将重建的残差视频块添加到来自由预测单元4402生成的一个或多个预测视频块的对应样点，以产生与当前块相关联的重建视频块用于存储在缓存4413中。
在重建单元4412重建视频块之后，可以执行环路滤波操作以降低视频块中的视频块伪影。
熵编码单元4414可以从视频编码器4400的其他功能组件接收数据。当熵编码单元4414接收数据时，熵编码单元4414可以执行一个或多个熵编码操作，以生成经熵编码的数据并且输出包括该经熵编码的数据的比特流。
图18是示出视频解码器4500的示例的框图，该视频解码器4500可以是图16所示的系统4300中的视频解码器4324。视频解码器4500可以被配置为执行本公开的任何或所有技术。在所示的示例中，视频解码器4500包括多个功能组件。本公开中描述的技术可以在视频解码器4500的各个组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。
在所示的示例中，视频解码器4500包括熵解码单元4501、运动补偿单元4502、帧内预测单元4503、反量化单元4504、反变换单元4505、重建单元4506和缓存4507。在一些示例中，视频解码器4500可以执行通常与关于视频编码器4400所描述的编码过程相对的解码过程。
熵解码单元4501可以取回经编码的比特流。经编码的比特流可以包括经熵编解码的视频数据(例如，经编码的视频数据块)。熵解码单元4501可以对经熵编解码的视频数据进行解码，并且根据经熵解码的视频数据，运动补偿单元4502可以确定包括运动矢量、运动矢量精度、参考图片列表索引和其他运动信息的运动信息。运动补偿单元4502例如可以通过执行AMVP和Merge模式来确定该信息。
运动补偿单元4502可以产生运动补偿块，可以基于插值滤波器执行插值。具有亚像素精度的待使用的插值滤波器的标识符可以包括在语法元素中。
运动补偿单元4502可以使用如视频编码器4400在视频块的编码期间所使用的插值滤波器来计算针对参考块的亚整数像素的插值。运动补偿单元4502可以根据所接收的语法信息确定由视频编码器4400使用的插值滤波器，并且运动补偿单元4502可以使用插值滤波器来产生预测块。
运动补偿单元4502可以使用一些语法信息来确定用于编码经编码的视频序列的(多个)帧和/或(多个)条带的块的尺寸、描述经编码的视频序列的图片的每个宏块如何被分割的分割信息、指示每个分割如何被编码的模式、针对每个帧间编解码块的一个或多个参考帧(和参考帧列表)、以及用于对经编码的视频序列进行解码的其他信息。
帧内预测单元4503可以使用例如在比特流中接收的帧内预测模式来从空域相邻块形成预测块。反量化单元4504反量化(即，反量化)在比特流中提供的、并且由熵解码单元4501解码的量化后的视频块系数。反变换单元4505应用反变换。
重建单元4506可以将残差块与由运动补偿单元4502或帧内预测单元4503生成的对应预测块相加，以形成解码块。如果需要，去方块滤波器还可以用于对解码块进行滤波，以便去除块效应伪影。经解码的视频块随后被存储在缓存4507中，缓存4507为后续的运动补偿/帧内预测提供参考块，并且缓存4507还产生经解码的视频以供在显示设备上呈现。
图19是示例编码器4600的示意图。编码器4600适用于实现VVC的技术。编码器4600包括三个环路滤波器，即去方块滤波器(DF)4602、样点自适应补偿(SAO)4604和自适应环路滤波器(ALF)4606。与使用预定义滤波器的DF 4602不同，SAO 4604和ALF 4606利用当前图片的原始样点，分别通过添加补偿和通过应用有限脉冲响应(FIR)滤波器，并利用经编解码的边信息通过信号传输补偿和滤波器系数来减少原始样点与重建样点之间的均方误差。ALF 4606位于每个图片的最后一个处理阶段，并且可以被视为试图捕获和修复由先前阶段造成的伪影的工具。
编码器4600还包括被配置为接收输入视频的帧内预测组件4608和运动估计/补偿(ME/MC)组件4610。帧内预测组件4608被配置为执行帧内预测，而ME/MC组件4610被配置为利用从参考图片缓存4612获得的参考图片来执行帧间预测。来自帧间预测或帧内预测的残差块被馈送到变换(T)组件4614和量化(Q)组件4616中，以生成量化的残差变换系数，量化的残差变换系数被馈送到熵编解码组件4618中。熵编解码组件4618对预测结果和量化的变换系数进行熵编解码，并将其向视频解码器(未示出)传送。从量化组件4616输出的量化组件可以被馈送到反量化(IQ)组件4620、反变换组件4622和重建(REC)组件4624中。REC组件4624能够在这些图像被存储在参考图片缓存4612中之前，将图像输出到DF 4602、SAO 4604和ALF 4606进行滤波。
接下来提供一些示例优选的解决方案列表。
以下解决方案示出了本文讨论的技术的示例。
1.一种处理视频数据的方法，包括：确定使用边信息作为跨分量自适应环路滤波器(CCALF)的输入；以及基于所述CCALF执行可视媒体数据与比特流之间的转换。
2.根据解决方案1所述的方法，其中所述边信息包括在应用去方块滤波器(DBF)、样点自适应偏移(SAO)、跨分量SAO(CCSAO)、双边滤波器(BF)或其组合之前的重建。
3.根据解决方案1-2中任一项所述的方法，其中，所述重建包括同位色度重建或邻近色度重建。
4.根据解决方案1-3中任一项所述的方法，其中，亮度重建或色度重建被用作所述CCALF的至少一个扩展抽头、所述CCALF的至少一个空域抽头或其组合的输入源。
5.根据解决方案1-4中任一项所述的方法，其中，所述重建用于对色度样点进行分类。
6.根据解决方案1-5中任一项所述的方法，其中，所述边信息包括预测样点。
7.根据解决方案1-6中任一项所述的方法，其中，所述预测样点包括同位预测样点、邻近预测样点或其组合。
8.根据解决方案1-7中任一项所述的方法，其中，亮度预测样点或色度预测样点被用作所述CCALF的至少一个扩展抽头、所述CCALF的至少一个空域抽头或其组合的输入源。
9.根据解决方案1-8中任一项所述的方法，其中，所述预测样点在输入到所述CCALF中之前，通过滤波、下采样、上采样、限幅、移位或其组合被修改。
10.根据解决方案1-9中任一项所述的方法，其中，所述预测样点用于对色度样点进行分类。
11.根据解决方案1-10中任一项所述的方法，其中，所述边信息包括残差值。
12.根据解决方案1-11中任一项所述的方法，其中，所述残差值包括同位残差值、邻近残差值或其组合。
13.根据解决方案1-12中任一项所述的方法，其中，亮度残差值或色度残差值被用作所述CCALF的至少一个扩展抽头、所述CCALF的至少一个空域抽头或其组合的输入源。
14.根据解决方案1-13中任一项所述的方法，其中，所述残差值用于对色度样点进行分类。
15.根据解决方案1-14中任一项所述的方法，其中，所述残差值在输入到所述CCALF中之前，通过滤波、下采样、上采样、限幅、移位或其组合被修改。
16.根据解决方案1-15中任一项所述的方法，其中，所述边信息包括分割信息。
17.根据解决方案1-16中任一项所述的方法，其中，分割信息包括块尺寸、块形状、块位置、块平均值、块最大值、块最小值、块方差值、块值或其组合。
18.根据解决方案1-17中任一项所述的方法，其中，亮度分割信息或色度分割信息用于训练在线训练的CCALF、涉及CCALF的滤波过程或其组合。
19.根据解决方案1-18中任一项所述的方法，其中，所述边信息包括量化参数(QP)信息。
20.根据解决方案1-19中任一项所述的方法，其中，所述QP信息是从图片、条带、片、块或其组合获得的。
21.根据解决方案1-20中任一项所述的方法，其中，亮度QP信息或色度QP信息用于训练CCALF的在线训练滤波器、涉及CCALF的滤波过程或其组合。
22.根据解决方案1-21中任一项所述的方法，其中，所述QP信息用于对色度样点进行分类。
23.根据解决方案1-22中任一项所述的方法，其中，所述边信息包括去方块滤波器边界强度(DBF-BS)信息。
24.根据解决方案1-23中任一项所述的方法，其中，所述DBF-BS信息包括同位DBF-BS、邻近DBF-BS或其组合。
25.根据解决方案1-24中任一项所述的方法，其中，亮度DBF-BS信息或色度DBF-BS信息用于训练CCALF的在线训练滤波器、涉及CCALF的滤波过程或其组合。
26.根据解决方案1-25中任一项所述的方法，其中所述DBF-BS信息用于对色度样点进行分类。
27.一种处理视频数据的装置，包括：处理器；和其上具有指令的非暂时性存储器，其中所述指令在由所述处理器执行时使所述处理器执行根据解决方案1-26中任一项所述的方法。
28.一种非暂时性计算机可读介质，包括供视频编解码设备使用的计算机程序产品，所述计算机程序产品包括存储在所述非暂时性计算机可读介质上的计算机可执行指令，使得当计算机可执行指令由处理器执行时使所述视频编解码设备执行根据解决方案1-26中任一项所述的方法。
29.一种非暂时性计算机可读记录介质，存储有由视频处理装置执行的方法所生成的视频的比特流，其中所述方法包括：确定使用边信息作为跨分量自适应环路滤波器(CCALF)的输入；以及基于所述确定生成所述比特流。
30.一种存储视频的比特流的方法，包括：确定使用边信息作为跨分量自适应环路滤波器(CCALF)的输入；基于所述确定生成所述比特流；以及将所述比特流存储在非暂时性计算机可读记录介质中。
31.一种本公开中描述的方法、装置或系统。
在所描述的解决方案中，编码器可以通过根据格式规则产生编解码表示来符合格式规则。在所描述的解决方案中，解码器可以根据格式规则利用语法元素的存在和不存在的已知信息来解析编解码表示中的语法元素，以产生经解码的视频。
在本公开中，术语“视频处理”可以指视频编码、视频解码、视频压缩或视频解压缩。例如，可以在从视频的像素表示到对应的比特流表示的转换期间应用视频压缩算法，反之亦然。例如，当前视频块的比特流表示可以对应于由语法定义的比特流中的同位位置或在不同位置传播的比特。例如，可以根据经过变换和编解码的误差残差值、并且也可以使用比特流中的头和其他字段中的比特对宏块进行编码。此外，在转换期间，解码器可以基于该确定，在已知一些字段可以存在或不存在的情况下解析比特流，如以上解决方案所描述的。类似地，编码器可以确定包括或不包括特定语法字段，并且通过包括语法字段或从编解码表示中排除语法字段来相应地生成编解码表示。
本公开中描述的所公开的和其他解决方案、示例、实施例、模块和功能操作可以在数字电子电路中实现，或者在计算机软件、固件或硬件中实现，包括本公开中公开的结构及其结构等同物，或者在它们中的一个或多个的组合中实现。所公开的实施例和其他实施例可以实现为一个或多个计算机程序产品，即，在计算机可读介质上编码的用于由数据处理装置执行或控制数据处理装置的操作的一个或多个计算机程序指令模块。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储设备、影响机器可读传播信号的物质组合物或它们中的一个或多个的组合。术语“数据处理装置”包括用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机或多个处理器或计算机。除了硬件之外，装置还可以包括创建用于相关计算机程序的执行环境的代码，例如构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。传播信号是人为生成的信号，例如机器生成的电信号、光信号或电磁信号，其被生成用于编码信息以传输到合适的接收器装置。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言编写，包括编译或解释语言，并且可以以任何形式来部署计算机程序，包括独立程序或适合在计算环境中使用的模块、组件、子例程或其它单元。计算机程序不必须对应于文件系统中的文件。程序可以存储在保存其他程序或数据的文件的部分中(例如，在标记语言文档中存储的一个或多个脚本)、在专用于相关程序的单个文件中、或在多个协同文件中(例如存储一个或多个模块、子程序或代码部分的文件)。计算机程序可以部署为在一个计算机上或者在多个计算机上执行，该多个计算机位于一个站点处或者分布跨多个站点并由通信网络互连。
本公开中描述的处理和逻辑流可以通过一个或多个可编程处理器执行，该处理器执行一个或多个计算机程序，通过在输入数据上操作并生成输出来执行功能。处理和逻辑流也可以通过专用逻辑电路来执行，并且装置也可以实现为专用逻辑电路，例如现场可编程门阵列(FPGA)或专用集成电路(ASIC)。
适于执行计算机程序的处理器包括，例如通用和专用微处理器，以及任何类型数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是执行指令的处理器和存储指令和数据的一个或多个存储设备。通常，计算机还将包括一个或多个用于存储数据的大容量存储设备，例如磁盘、磁光盘或光盘。然而，计算机不一定具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储设备，包括例如半导体存储设备，例如EPROM、EEPROM和闪存设备；磁盘，例如内部硬盘或可移动硬盘；磁光盘；以及CD ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路来补充，或并入专用逻辑电路中。
虽然本公开包含许多细节，但这些细节不应被解释为对任何主题或可要求保护的范围的限制，而是作为特定技术的特定实施例所特有的特征的描述。在本公开中，在单独的实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反地，在单个实施例的上下文中所描述的各种特征还可以分别在多个实施例中实现，或者以任何合适的子组合来实现。此外，尽管特征可以如上文所述以某些组合方式起作用，甚至最初也是以此方式要求保护的，但是在某些情况下，所要求保护的组合中的一个或多个特征可以从该组合中剔除，并且所要求保护的组合可以针对子组合或子组合的变体。
类似地，尽管在附图中以特定顺序描绘了操作，但这不应当理解为要求按所示的特定次序或顺序依次执行此类操作，或者要求执行所有示出的操作才能实现期望的结果。此外，在本公开中描述的实施例中对各种系统组件的分割，不应被理解为在所有实施例中都要求进行这样的分割。
仅描述了几个实现方式和示例，并且可以基于本公开中描述和示出的内容进行其他实现方式、改进和变型。
当没有中间组件(第一组件和第二组件之间的线路、迹线或其他介质除外)时，第一组件直接耦合到第二组件。当第一组件和第二组件之间存在除了线路、迹线或其他介质之外的中间组件时，第一组件间接耦合到第二组件。术语“耦合”及其变体包括直接耦合和间接耦合。术语“大约”的使用意味着包括后续数字的±10％的范围，除非另有说明。
虽然在本公开中提供了多个实施例，但是应当理解，所公开的系统和方法可以以许多其他特定形式体现，而不脱离本公开的精神或范围。当前的示例应被认为是说明性的而非限制性的，并且不旨在限于本文给出的细节。例如，各种元素或组件可以组合或集成在另一个系统中，或者某些特征可以被省略或不实现。
此外，在各种实施例中描述和示出为离散或单独的技术、系统、子系统和方法可以与其他系统、模块、技术或方法组合或集成，而不脱离本公开的范围。作为耦合示出或讨论的其他项目可以直接连接，或者可以通过一些接口、设备或中间组件(无论是电气的、机械的还是其他的)间接耦合或通信。可以由本领域技术人员确定的其他改变、替换和变更的示例可以在不脱离本文公开的精神和范围的情况下进行。

Claims (78)

1.一种处理视频数据的方法，包括：
确定使用边信息作为跨分量自适应环路滤波器CCALF的输入；以及
基于所述CCALF执行可视媒体数据与比特流之间的转换。
2.根据权利要求1所述的方法，其中，所述边信息包括在应用去方块滤波器DBF、样点自适应偏移SAO、跨分量SAO CCSAO、双边滤波器BF或其组合之前的重建。
3.根据权利要求1或2所述的方法，其中，所述重建包括同位重建。
4.根据权利要求1或2所述的方法，其中，所述重建包括邻近重建。
5.根据权利要求1或2所述的方法，其中，所述重建包括用于所述CCALF的至少一个扩展抽头的亮度重建。
6.根据权利要求1或2所述的方法，其中，所述重建包括用于所述CCALF的至少一个空域抽头的亮度重建。
7.根据权利要求1或2所述的方法，其中，所述重建包括用于所述CCALF的至少一个扩展抽头的色度重建。
8.根据权利要求1或2所述的方法，其中，所述重建包括用于所述CCALF的至少一个空域抽头的色度重建。
9.根据权利要求1或2所述的方法，其中，所述重建用于对色度样点进行分类。
10.根据权利要求1所述的方法，其中，所述边信息包括预测样点。
11.根据权利要求10所述的方法，其中，所述预测样点包括同位预测样点。
12.根据权利要求10所述的方法，其中，所述预测样点包括邻近预测样点。
13.根据权利要求10所述的方法，其中，所述预测样点包括用于所述CCALF的至少一个扩展抽头的亮度预测样点。
14.根据权利要求10所述的方法，其中，所述预测样点包括用于所述CCALF的至少一个空域抽头的亮度预测样点。
15.根据权利要求10所述的方法，其中，所述预测样点包括用于所述CCALF的至少一个扩展抽头的色度预测样点。
16.根据权利要求10所述的方法，其中，所述预测样点包括用于所述CCALF的至少一个空域抽头的色度预测样点。
17.根据权利要求10所述的方法，其中，所述预测样点在被用作所述输入之前被修改。
18.根据权利要求17所述的方法，其中，所述预测样点通过滤波被修改。
19.根据权利要求17所述的方法，其中，所述预测样点通过上采样或下采样被修改。
20.根据权利要求17所述的方法，其中，所述预测样点通过限幅或移位被修改。
21.根据权利要求10所述的方法，其中，所述预测样点用于对色度样点进行分类。
22.根据权利要求1所述的方法，其中，所述边信息包括残差值。
23.根据权利要求22所述的方法，其中，所述残差值包括同位残差值。
24.根据权利要求22所述的方法，其中，所述残差值包括邻近残差值。
25.根据权利要求22所述的方法，其中，所述残差值包括用于所述CCALF的至少一个扩展抽头的亮度残差值。
26.根据权利要求22所述的方法，其中，所述预测样点包括用于所述CCALF的至少一个空域抽头的亮度残差值。
27.根据权利要求22所述的方法，其中，所述残差值包括用于所述CCALF的至少一个扩展抽头的色度残差值。
28.根据权利要求22所述的方法，其中，所述残差值包括用于所述CCALF的至少一个空域抽头的色度残差值。
29.根据权利要求22所述的方法，其中，所述残差值用于对色度样点进行分类。
30.根据权利要求22所述的方法，其中，所述残差值在被用作所述输入之前被修改。
31.根据权利要求30所述的方法，其中，所述残差值通过滤波被修改。
32.根据权利要求30所述的方法，其中，所述残差值通过上采样或下采样被修改。
33.根据权利要求30所述的方法，其中，所述残差值通过限幅或移位被修改。
34.根据权利要求1所述的方法，其中，所述边信息包括分割信息。
35.根据权利要求34所述的方法，其中，所述分割信息包括块尺寸、块形状、块位置、块平均值、块最大值、块最小值或块方差值中的一个或多个。
36.根据权利要求34所述的方法，其中，所述分割信息包括用于训练所述CCALF的在线训练滤波器的亮度分割信息。
37.根据权利要求34所述的方法，其中，所述分割信息包括用于训练所述CCALF的在线训练滤波器的色度分割信息。
38.根据权利要求34所述的方法，其中，所述分割信息包括所述CCALF的滤波过程中涉及的亮度分割信息和色度分割信息。
39.根据权利要求34所述的方法，其中，所述分割信息用于对色度样点进行分类。
40.根据权利要求1所述的方法，其中，所述边信息包括量化参数QP信息。
41.根据权利要求40所述的方法，其中，所述QP信息包括图片级别QP信息、条带级别QP信息或块级别QP信息中的一个或多个。
42.根据权利要求40所述的方法，其中，所述QP信息包括用于训练所述CCALF的在线训练滤波器的亮度QP信息。
43.根据权利要求40所述的方法，其中，所述QP信息包括用于训练所述CCALF的在线训练滤波器的色度QP信息。
44.根据权利要求40所述的方法，其中，所述QP信息包括所述CCALF的滤波过程中涉及的亮度QP信息和色度QP信息。
45.根据权利要求40所述的方法，其中，所述QP信息用于对色度样点进行分类。
46.根据权利要求1所述的方法，其中，所述边信息包括边界强度信息。
47.根据权利要求46所述的方法，其中，所述边界强度信息由去方块滤波器生成。
48.根据权利要求46所述的方法，其中，所述边界强度信息包括同位去方块滤波器边界强度信息。
49.根据权利要求46所述的方法，其中，所述边界强度信息包括邻近去方块滤波器边界强度信息。
50.根据权利要求46所述的方法，其中，所述边界强度信息包括用于训练所述CCALF的在线训练滤波器的亮度边界强度信息。
51.根据权利要求46所述的方法，其中，所述边界强度信息包括用于训练所述CCALF的在线训练滤波器的色度边界强度信息。
52.根据权利要求46所述的方法，其中，所述边界强度信息包括所述CCALF的滤波过程中涉及的亮度边界强度信息和色度边界强度信息。
53.根据权利要求46所述的方法，其中，所述边界强度信息用于对色度样点进行分类。
54.根据权利要求1-53中任一项所述的方法，其中，所述方法用于后处理、预处理，或后处理与预处理两者。
55.根据权利要求1-53中任一项所述的方法，其中，所述方法中的一个或多个被联合使用。
56.根据权利要求1-53中任一项所述的方法，其中，所述方法中的一个或多个被单独使用。
57.根据权利要求1-53中任一项所述的方法，其中，所述方法被应用于视频编解码中的环路滤波工具、预处理滤波器、后处理滤波器、自适应环路滤波器ALF或所述CCALF中的一个或多个。
58.根据权利要求57所述的方法，其中，所述方法被应用于环路滤波方法。
59.根据权利要求58所述的方法，其中，所述方法被应用于所述ALF。
60.根据权利要求58所述的方法，其中，所述方法被应用于所述CCALF。
61.根据权利要求58所述的方法，其中，所述方法被应用于样点自适应补偿SAO滤波器。
62.根据权利要求58所述的方法，其中，所述方法被应用于跨分量样点自适应补偿CCSAO滤波器。
63.根据权利要求58所述的方法，其中，所述方法被应用于双边滤波器BF。
64.根据权利要求58所述的方法，其中，所述方法被应用于哈达玛变换域滤波器HTDF。
65.根据权利要求57所述的方法，其中所述方法被应用于预处理滤波方法。
66.根据权利要求57所述的方法，其中所述方法被应用于后处理滤波方法。
67.根据权利要求1-66中任一项所述的方法，其中所述CCALF被应用于视频单元，并且其中，所述视频单元包括序列、图片、子图片、条带、片、编解码树单元CTU、CTU行、CTU组、编解码单元CU、预测单元PU、变换单元TU、编解码树块CTB、编解码块CB、预测块PB、变换块TB或包含多于一个亮度或色度样点或像素的区域。
68.根据权利要求1-67中任一项所述的方法，其中，在所述比特流中指示是否或如何应用所述方法。
69.根据权利要求68所述的方法，其中，在序列级别、图片组级别、图片级别、条带级别或片组级别处的比特流中指示是否和/或如何应用所述方法，或在所述比特流的序列头、图片头、序列参数集SPS、视频参数集VPS、依赖性参数集DPS、解码能力信息DCI、图片参数集PPS、自适应参数集APS、条带头或片组头中指示是否和/或如何应用所述方法。
70.根据权利要求68所述的方法，其中，在预测块PB、变换块TB、编解码块CB、预测单元PU、变换单元TU、编解码单元CU、虚拟流水线数据单元VPDU、编解码树单元CTU、CTU行、条带、片、子图片或包含多于一个亮度或色度样点或像素的区域中的比特流中指示是否和/或如何应用所述方法。
71.根据权利要求1-70中任一项所述的方法，其中，是否和/或如何应用所述方法取决于经编解码的信息，并且其中，所述经编解码的信息包括块尺寸、色彩格式、单分割、双树分割、色彩分量、条带类型或图片类型中的一个或多个。
72.根据权利要求1-71中任一项所述的方法，其中，所述转换包括将所述媒体数据编码为所述比特流。
73.根据权利要求1-71中任一项所述的方法，其中，所述转换包括从所述比特流解码所述媒体数据。
74.一种处理媒体数据的装置，包括：处理器；和其上具有指令的非暂时性存储器，其中所述指令在由所述处理器执行时使所述处理器执行根据权利要求1-73中任一项所述的方法。
75.一种非暂时性计算机可读介质，包括供视频编解码设备使用的计算机程序产品，所述计算机程序产品包括存储在所述非暂时性计算机可读介质上的计算机可执行指令，使得当所述计算机可执行指令由处理器执行时使所述视频编解码设备执行根据权利要求1-73中任一项所述的方法。
76.一种非暂时性计算机可读记录介质，存储有由视频处理装置执行的方法所生成视频的比特流，其中，所述方法包括：
确定使用边信息作为跨分量自适应环路滤波器CCALF的输入；以及
基于所述确定生成所述比特流。
77.一种存储视频的比特流的方法，包括：
确定使用边信息作为跨分量自适应环路滤波器CCALF的输入；
基于所述确定生成所述比特流；以及
将所述比特流存储在非暂时性计算机可读记录介质中。
78.一种本公开中描述的方法、装置或系统。
CN202480024214.4A 2023-04-11 2024-04-10 在视频编解码中将边信息用于跨分量自适应环路滤波器 Pending CN121079976A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN2023087610 2023-04-11
CNPCT/CN2023/087610 2023-04-11
PCT/CN2024/087010 WO2024213000A1 (en) 2023-04-11 2024-04-10 Using side information for cross-component adaptive loop filter in video coding

Publications (1)

Publication Number Publication Date
CN121079976A true CN121079976A (zh) 2025-12-05

Family

ID=93058754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202480024214.4A Pending CN121079976A (zh) 2023-04-11 2024-04-10 在视频编解码中将边信息用于跨分量自适应环路滤波器

Country Status (3)

Country Link
US (1) US20260039880A1 (zh)
CN (1) CN121079976A (zh)
WO (1) WO2024213000A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101841722B (zh) * 2010-06-08 2011-08-31 上海交通大学 滤波边界强度的检测装置的检测方法
US11297316B2 (en) * 2019-12-24 2022-04-05 Tencent America LLC Method and system for adaptive cross-component filtering
CN113132739B (zh) * 2019-12-31 2022-11-01 杭州海康威视数字技术股份有限公司 边界强度确定、编解码方法、装置及其设备
US11595676B2 (en) * 2020-09-16 2023-02-28 Tencent America LLC Method and apparatus for video coding
US20220383554A1 (en) * 2021-05-18 2022-12-01 Tencent America LLC Substitutional quality factor learning for quality-adaptive neural network-based loop filter

Also Published As

Publication number Publication date
US20260039880A1 (en) 2026-02-05
WO2024213000A1 (en) 2024-10-17

Similar Documents

Publication Publication Date Title
WO2023213265A1 (en) Extended taps using different sources for adaptive loop filter in video coding
WO2024094059A1 (en) Adaptive filter reusing methods on adaptive loop filter in video coding
CN119631410A (zh) 视频编解码中用于自适应环路滤波器的使用不同源的扩展抽头
CN120035993A (zh) 视频编解码中用于自适应环路滤波器的基于可切换输入源的扩展抽头
WO2024094071A1 (en) Using side information for adaptive loop filter in video coding
WO2024002168A1 (en) Padding methods for adaptive loop filter in video coding
WO2024008105A1 (en) Multi-source based extended taps for adaptive loop filter in video coding
WO2024217499A1 (en) Conditional filter shape switch for adaptive loop filter in video coding
WO2024094042A1 (en) Using side information for bilateral filter in video coding
WO2024078566A1 (en) Multiple input sources based extended taps for adaptive loop filter in video coding
CN120226346A (zh) 视频编解码中将边信息用于自适应环路滤波器
WO2024208275A1 (en) Using chroma related side information for adaptive loop filter in video coding
WO2024222847A1 (en) Limitation for temporal reference in gdr based video coding
WO2025011564A1 (en) Adaptive filtering unit for adaptive loop filter in video coding
WO2026012362A1 (en) Filter shape setting for adaptive loop filter in video coding
WO2024213000A1 (en) Using side information for cross-component adaptive loop filter in video coding
WO2025067443A1 (en) Adaptive coefficient precision for adaptive loop filter in video coding
WO2023213298A1 (en) Filter shape switch for adaptive loop filter in video coding
WO2026012344A1 (en) Side information for chroma-related adaptive loop filter in video coding
WO2024037652A1 (en) Using different sources for hadamard domain filter in video coding
WO2024037653A1 (en) Using different sources for bilateral filter in video coding
WO2025218810A1 (en) Using pre-defined filter for classification of adaptive loop filter in video coding
WO2024094066A1 (en) Using side information for sample adaptive offset in video coding
CN120731601A (zh) 视频编解码中经多个自适应环路滤波器处理的重建
CN120958797A (zh) 视频编解码中经多个自适应环路滤波器处理的重建

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination