与H.264/AVC相同，HEVC / H.265 也分为视频编码层（Video Coding Layer, VCL）和网络虚拟层（Network Abstraction Layer, NAL）。原始视频经过VCL层，被编码成视频数据，然后经过NAL层，封装成一个个NAL包。HEVC / H.265 码流在应用过程中与H.264/AVC码流的区别就在于NAL层，为关注HEVC应用并对HEVC编码详细技术没有兴趣的开发人员提供帮助。
作为新一代视频编码标准，HEVC / H.265 仍使用与H.264/AVC类似的混合编码框架。在编码端，原始视频都是被分成块，再经过预测、变换、量化、熵编码后生成码流进行传输；在解码端都对码流进行熵解码、反量化、反变换、预测，再对得到的图像进行环路滤波。HEVC / H.265 与H.264/AVC在编码框架上最大的区别在于H.264/AVC的环路滤波只有Deblocking，而HEVC / H.265 包含Deblocking和SAO。
HEVC / H.265 中，较大的图像块可以是1个CU(Coding Unit)，也可以被划分成4个小的CU，小的CU对应的块可以被继续划分成4个更小的CU，直到码流里说明的最小CU为止，因此CU的结构可以抽象为一个四叉树结构。HEVC / H.265 标准规定CU不能小于8x8，码流中可以说明最小CU的尺寸是大于8x8的。编码后平坦的区域用大尺寸块块表示，复杂的区域用小尺寸块表示，从而提高了编码效率。
在混合编码框架中，视频中冗余的消除很大程度是通过预测模块的。HEVC / H.265 在预测模块比H.264/AVC采用更为精细复杂的预测算法，为压缩率的提高提供了很大贡献。
与H.264/AVC相比，HEVC / H.265 在变换上使用了更大的变换，并且每个尺寸的块除了DCT变换，在4x4的intra亮度块的时候还会使用DST变换。在量化上，HEVC / H.265 引入sign data hiding新技术，增加了编码的复杂性，但对解码的复杂性并没有影响。
