Android Authority上的链接可能会为我们赚取佣金;了解更多信息。
自本世纪初以来,数字视频已经走过了漫长的道路。随着OLED等新显示技术的引入,我们看到了图像质量的飞跃性提高。作为消费者,无论是在家里还是在智能手机和平板电脑等便携式设备上,我们的期望都比以往任何时候都高。编解码器实现了所有这一切,将大量原始信息压缩成一个更易于管理的视频文件,用于存储、广播和分发。
多年来,谷歌、英特尔和苹果等主要行业参与者一直对压缩和打包视频的新方法感兴趣。例如,你可能听说过YouTube采用了新的AV1标准,以及针对专业摄像师的新的iPhone机型采用了苹果的ProRes编解码器。事实上,目前至少有少数几种不同的标准在使用,每种标准都有各自的优缺点。
当时提供了这么多视频编解码器,值得讨论它们做什么,为什么数字视频行业仍然支离破碎,以及一些最受欢迎的标准之间的差异。以下是您需要知道的一切。
编解码器这个术语本身提供了一个非常重要的提示,可以帮助您理解它是如何工作的——它只是编码和解码的简写。你会问,为什么视频会被编码和解码?简单地说,这是因为它们通常携带大量原始数据。
你可能听说过视频本质上是一系列静止图像。老式电影放映机是这一原则的最佳体现。它们被物理地喂入一卷胶卷,每秒向你显示24帧,诱使你的大脑认为这是一幅电影。
虽然你完全可以用数字图像来做同样的事情,但如此多的数据所需的存储空间是难以理解的。根据Mozilla的计算,一个30分钟的视频——以原始图像的形式存储——将超过1TB。就上下文而言,这是典型128GB智能手机总存储容量的十倍。
为此,如果不使用编解码器形式的复杂压缩算法,视频存储和播放是不可行的。同样值得注意的是,出于许多相同的原因,音频也存在编解码器。原始和未压缩的视频和音频都可以快速膨胀,使其无法编辑、存储和分发。
虽然编解码器采用了几种复杂的压缩算法,但一些基本方法很容易可视化。例如,如果只存储与一帧和下一帧之间的更改相关的信息,而不是存储全尺寸的图像,该怎么办?这样,几分钟长、大部分是静态的场景就可以被显著压缩。例如,在固定背景下说话的人不会有太多的运动,这在大多数视频和电影中都是相当常见的情况。
你也可以通过运动矢量和补偿算法更进一步。通过预测特定像素在未来帧中的最终位置,可以实现更高的压缩级别。例如,如果相机只是水平平移,编解码器可以判断特定像素在几帧后将向左或向右移动。
另一种压缩方法涉及使用类似颜色对附近像素进行分组。然而,如果走到极端,这就是低质量视频中臭名昭著的“块状”外观的原因。在这种情况下,压缩文件根本无法保存足够的信息,解码器无法重建原始图像。
适度地,这些压缩技术与其他压缩技术一起,可以以原始大小的一小部分输出可接受的准确图像。虽然在压缩过程中不可避免地会丢失一些信息,但至少可以说,这是一个值得权衡的问题。
每个视频编解码器都使用略微不同的方法来实现压缩。正如您所料,新的编解码器设计用于保留或改善图片质量,同时减少文件大小。
从WhatsApp等聊天应用程序到Netflix和Disney+等流媒体服务,编解码器为许多我们认为理所当然的智能手机使用案例打开了大门。
在Facebook或Twitter等服务上共享媒体文件,例如,通常涉及将视频重新编码为较小的大小。照片和音频文件也是如此。类似地,像YouTube这样的流媒体公司以多种质量和编解码器对每一块媒体进行编码和存储。然后,他们将根据您设备的功能和连接速度提供正确的版本。
尽管多年来互联网速度有了很大的提高,但我们大多数人仍然需要处理数据上限和偶尔的速度缓慢问题。不要忘记移植高分辨率视频会很快占用我们有限的移动存储空间。较新的编解码器在设计时明确考虑了这些限制。
因此,视频编解码器在录制视频时也很方便。许多现代安卓设备都提供了使用更高效的编解码器进行录制的选项,这样可以节省宝贵的磁盘空间。
为了分析这一点,我在智能手机上录制了两个20秒的4K视频片段——一个是默认的H.264编解码器,另一个是更高效的H.265编解码器(更多是以比特为单位)。第一个剪辑的文件大小总计为125MB,而第二个剪辑的文件大小为90MB。
这些数字相当于文件大小的30%差异,只需更改一个设置即可!此外,使用比智能手机SoC更强大的硬件,应该可以进一步压缩文件。对于像Netflix或YouTube这样的流媒体公司来说,转向更高效的编解码器可以将存储和带宽需求减少近一半,从而在这个过程中节省惊人的资金。
视频编码和解码的性能可以在专用硬件的存在下得到极大的帮助。为此,我们的电视机、手机、电脑甚至游戏机中的芯片都在硬件层面支持一套固定的编解码器。换句话说,它们能够使用硬件加速极其高效地压缩和解压缩视频文件。这在智能手机中尤为重要,因为较低的处理压力意味着更长的电池寿命。
但是,您可能仍然会遇到任何应用程序都无法播放或打开的视频文件,很可能是它使用了您的设备无法处理或无法识别的编解码器。要确认这一点,您可以使用MediaInfo等应用程序来识别视频的格式和编码细节。在Android上,您可以使用Codec Info或AIDA64等免费应用来检查设备对音频和视频编解码器的支持。如果某个特定的编解码器不在列表中,很可能是因为您的设备的SoC不支持它。Android开发者网站提供了一个强制性编解码器列表,以防你好奇。
也就是说,现代智能手机有足够的强力CPU能力来解码不受支持的编解码器。为此,第三方视频播放器应用程序(如VLC)将提供通过软件解码播放此类文件,而无需任何硬件加速。但是,这可能会在较长时间内加热设备并耗尽电池电量,因此最好不要依赖它。
竞争的编解码器和标准曾经是视频行业的主要问题。许多流行的编解码器只能与特定制造商的硬件配合使用。不过值得庆幸的是,在过去几年中,设备制造商们已经在少数编解码器上达成了共识。虽然碎片不再是一个问题,但仍然有必要知道您在现实世界中可能会遇到哪些编解码器,以及我们是如何做到这一点的。
MPEG-2可能是目前仍在流通的最古老的视频编解码器。它在21世纪初变得非常流行,当时它几乎完全用于压缩电视广播和DVD电影发行。一些早期的蓝光版本也将MPEG-2用于高清内容。
如今,几乎没有新内容用MPEG-2编码。然而,对它的解码支持非常普遍,特别是因为许多较新的设备都向后兼容它。从基本的DVD播放机到十年前的计算机,现在很容易找到一种可以播放MPEG-2文件的设备。
高级视频编码(AVC),或者更常见的H.264,在兼容性和采用方面是新的视频编解码器之王。随着高清视频的兴起,它越来越受欢迎,因为与以前的编解码器相比,它提高了效率。H.264能够以大约MPEG-2视频大小的50%提供类似的图像质量。
H.264在效率上比以前的编解码器有了巨大的飞跃,因此它很快成为HD视频事实上的标准。这对于带宽受限的应用程序尤其如此,比如互联网上的流视频。事实上,正是H.264编解码器使YouTube在2008年和2009年首次引入了对720p和1080p分辨率的支持。即使十年后,您也会发现H.264广泛用于流式视频、高清蓝光光盘和电视广播。
由于这种广泛采用,几乎所有主流硬件和软件都支持编解码器。毫不奇怪,许多智能手机和数码相机也使用H.264进行录制,以确保与其他设备的最大兼容性。
高效视频编码(HEVC)是非常流行的H.264编解码器的后续产品。正如标题所示,与以前的编解码器相比,它的效率有了相当大的提升,使其成为带宽敏感应用程序和超高分辨率内容的不二之选。
HEVC的崛起与4K显示器和版本的推出不谋而合。为此,最新的蓝光标准-超高清蓝光-依赖于H.265编解码器。在尝试在智能手机上录制4K和8K视频时,您也可能会遇到H.265,尤其是在以杜比视像(Dolby Vision)等HDR格式拍摄视频时。然而,尽管HEVC具有优势,但它在其他领域的吸引力不如H.264。多年来,H.265的采用一直受到编解码器许可费和版税不确定性的阻碍。与H.264的单一许可组相比,有三个不同的利益相关者,内容、硬件和软件行业的玩家花了数年的时间才热身于HEVC。即使是现在,像谷歌Chrome和Mozilla Firefox这样的主要网络浏览器也根本不支持它。
对HEVC的专利和版税细节犹豫不决,促使谷歌自行解决问题,开发一种开源的替代方案,称为VP9。与H.264相比,它的效率提高了30%,是高分辨率视频文件的理想选择。更重要的是,VP9完全免版税,这意味着公司不必向谷歌支付任何费用来增加对它的支持。
谷歌决定将VP9用于YouTube上的4K视频时,支持了VP9的采用。从2016年开始,它还要求Android电视设备制造商支持编解码器。这两项都足以推动VP9取得成功,至少在更大程度上超过HEVC。毫不奇怪,自2017年以来发布的几乎所有智能手机、浏览器和电视都可以处理VP9编码的内容。
然而,没有多少内容提供商采用VP9。除了谷歌自己的YouTube和Stadia平台外,只有Netflix在短时间内采用了它。
AV1是该列表中最新的视频编解码器,并且正逐渐成为流行的H.264的真正继承者。与VP9一样,它也是开源的,并且不需要版税。但更重要的是,支持它的公司比以前的任何编解码器都多。AV1的开发由开放媒体联盟(Alliance of Open Media)领导,该联盟是由英特尔、苹果、谷歌、Adobe、Facebook和Arm等巨头组成的跨行业联盟。有了这样的支持,很难想象AV1会像HEVC和其他为流媒体时代设计的编解码器一样步履蹒跚。
Facebook在2018年的测试发现,AV1的压缩性能比H.264好50%。另一项测试得出结论,与HEVC和VP9相比,AV1的文件大小分别减少了10%和15%。这些数字意味着用H.264编码的25GB 1080p蓝光电影可以用AV1压缩到12-13GB——所有这些都不会降低图像质量。
虽然AV1的规格在2019年左右最终确定,但采用的速度比你预期的要慢。这是因为直到最近,市场上几乎没有硬件为编解码器提供硬件加速编码。没有这一点,莫斯科州立大学估计AV1编码速度比竞争对手慢2500到3000倍。
同样,AV1解码能力也没有普及。在Android生态系统中,MydiaTek的DimeStices 1200是第一个芯片组,包括2021年初AV1的硬件加速。然而,其直接竞争对手高通Snapdragon 888和870 SOC根本不支持该编解码器。高通公司不是开放媒体联盟的一部分,其最新Snapdragon 8 Gen 1芯片组也不支持AV1。
一旦对AV1的硬件级支持变得越来越普遍,我们可能会看到越来越多的服务采用它。YouTube和Netflix已经在Android上使用了AV1,Google Duo也是如此。此外,除了Safari之外,所有主要的web浏览器都支持编解码器。
与此列表中的其他编解码器不同,ProRes是一种相对利基的视频编解码器,几乎专门为视频编辑和专业人士设计。简言之,存储在ProRes中的视频以较低的压缩级别保留更多信息。这使得后期制作工作(如颜色分级)更加容易,因为文件仍然保留了来自相机的大量原始信息。
当然,更多的信息和较低的压缩比意味着ProRes文件往往要大一些。根据苹果公司详细介绍编解码器的白皮书,用ProRes编码的4k30fps视频每小时将产生280GB的文件大小!这就是为什么ProRes几乎从不用于内容交付,而且只在中间生产阶段使用。事实上,苹果甚至不会让你在iPhone 13的128GB型号上录制4K Pror视频。
< P> 2021,苹果宣布iPhone 13将是第一个可以直接在PrRes中拍摄视频的智能手机。今年晚些时候,无人机制造商DJI发布了Mavic 3电影,这是其旗舰消费无人机,能够在ProRes中录制。在编码方面,苹果在其M1 Pro和M1 Max SoCs的媒体引擎中包括了专用的ProRes加速器。这样,您现在就可以了解目前使用的所有流行视频编解码器。要进一步阅读,请查看我们关于蓝牙音频编解码器的全面指南