使用交通场景分析智能图像压缩，潜在的带宽节省将是增量的
摘要
在云端生成的图像数量逐年增长，这给现有的电信基础设施带来了越来越大的压力。在云中传输带宽和存储视频图像的成本也随之增加。
在现代社会中倾向于积累数据，并且不愿意扔掉它，而不问“这些数据的价值是什么？”和“我们需要它吗？”。视频流的主要来源之一是越来越多的交通摄像头，用于保持我们道路上车辆的高效流动。
研究人员的技术以 JSON-LD 的形式生成相关的元数据，该元数据注释原始图像并在压缩后保持其语义保真度和出处。他们的技术与传统的压缩技术兼容，因此潜在的带宽节省将是增量的。
介绍
思科在一份白皮书中预测，从2015年到2020年，云流量将从3.9字节增加到14.1字节；福布斯在2018年声称“全球90%的数据是在过去2年中创建的……随着物联网的发展而加速”。
非结构化数据的主要来源之一是摄像机。最初，摄像机是作为闭路电视系统实现的，数据传输受到限制。随着物联网的出现和摄像机成本的降低，摄像机的数量和分布在交通管理等领域如雨后春笋般涌现。
通常，摄像机馈送作为离散JPEG图像序列传输回控制室，在那里它们显示在监视器的大型视频墙上。随着交通摄像头数量的增加，这种策略已被证明是不切实际的。在过去的二十年中，视频图像处理一直是一个活跃的研究领域，试图自动化目前由人类执行的许多日常活动。
要理解一个场景，必须首先提取其中感兴趣的对象。人类在几乎没有先验知识的情况下轻松执行这项任务——对于计算机来说，这项任务更具挑战性。他们需要将前景对象标识为感兴趣区域（RoI），并将分类与对象相关联：汽车、公共汽车、摩托车等。
还可以检测其他属性和子对象并将其关联到父对象，例如汽车模型或其车牌。Xu等人提出了一种使用RDF图注释图像中对象的技术，该技术以语义元数据的形式描述道路交通场景。但是，在工作中，研究员专注于使用 JSON-LD 对元数据进行编码以进行传输。
本文介绍了实现图像智能压缩的方法，并在许多著名的基准数据集上实证地证明了这种方法的好处。利用动态降低流量图像分辨率的概念，基于对流量图像的内容和对下游系统的相对价值的分析。该概念是降低图像中不相关部分的分辨率，同时将车辆保持在更高的分辨率，从而减少总传输带宽。
此外，根据图像的内容考虑图像的价值，以及它们是否可以全部或部分被语义元数据取代。研究员展示了该技术如何减少道路交通领域视频图像的传输和存储要求。他们的技术可以整合到传统的压缩技术中，以进一步降低带宽要求，同时保持对原始图像的语义保真度。
背景
通过在收集点添加元数据（例如交通计数和状况），可以大大提高道路交通视频图像的价值，从而为图像内容添加上下文。虽然交通管理系统提供了此功能，并且该领域正在进行研究，但它们严重依赖集中处理和手动操作员。
随着视频收集和处理规模的增加，它给集中式系统带来了越来越大的负担。通过将初始分析转移到摄像机并在边缘对视频图像进行分类，可以大大减轻中央交通管理系统的负担，并降低视频传输和存储成本。
为了实现某种程度的理解，机器视觉必须跨越“语义鸿沟”，进入某种形式的知识表示，场景中的对象以语义方式进行分类并相互关联，在例子中是通过知识图谱。将元数据表示为知识图谱是一种强大的技术，因为计算机可以导航图并从中得出推论。因此，交通拥堵可以从概念上推断出许多缓慢行驶的汽车的存在。
一些互联网搜索公司提出了采用一种扩展形式的JSON来注释网页，称为JSON Linked Data（JSON-LD），可以直接转换为RDF语义图，反之亦然。JSON-LD开始在IT社区中获得兴趣，因为与JSON类似，它既是人类可读的，也是机器可读的，并且通过HTTP协议受支持。
Maarala等人考虑了几种RDF格式来传输物联网数据。虽然他们更喜欢实体表示法，但JSON-LD具有相当的性能，并且互联网公司的采用使其成为我们认为在这种情况下更好的选择。
Gonzalez和Woods概述了可以节省有损JPEG压缩的几个领域，其中之一是删除不相关的信息。不相关的信息是图像中人眼看不到或头脑忽略的信息，这是他们在方法中利用的后一个原则。
如果图像要用于道路交通场景分析，则图像的其他无关部分是次要的，并且可能仅提供一般上下文信息来解释场景。智能图像压缩过程将用户集中在图像中的相关信息上，在本例中为车辆，同时删掉掉不相关的信息。
Wu等人提出了类似的工作方法。他们的技术在一系列帧中识别车辆，降低背景的分辨率，然后将更高分辨率的车辆图像添加回视频流中。标准视频编码（如 MPEG-4）然后压缩流。
在工作中扩展了一些概念，使用 JPEG 压缩分别压缩车辆和背景图像，然后使用随附的 JSON-LD 元数据中的语义关系在远程服务器上重建图像。
问题定义
在这项工作中，研究员研究了压缩来自道路交通摄像机的图像的方法，这些图像在道路交通领域保持了高水平的图像保真度，同时降低了原始图像中不需要或不相关元素的质量。
西尔弗斯坦和法雷尔证明“保真度和质量之间最多存在弱关系”。他们将图像保真度定义为“通过区分两个图像的能力推断，将图像质量定义为“通过对一个图像的偏好而不是另一个图像推断”。根据这个定义，保真度是人类区分图像的能力，即识别一个图像中的信息而不在另一个图像中的能力。
大多数当代图像压缩研究侧重于保持图像质量，同时使用更少的每像素位数，因此，他们在评估结果时依赖于某种形式的图像质量评估（IQA），但这取决于图像质量的比较测量。
然而，Wang等人表明，具有不同类型但失真程度相似的图像可以具有非常不同的“感知质量”。从图。在他们的论文“图像质量评估：从误差可见性到结构相似性”中，五个失真的图像具有相同的均方误差（MSE），但信息水平不同。
有工作表明，通过提取图像中对感兴趣领域（道路交通管理）有价值的对象，并高度压缩背景图像，可以有选择地降低图像的平均质量，同时保持其特定领域的保真度。因此，由于这些方法依赖于以牺牲质量为代价来维护信息，因此许多传统的图像质量指标并不适用。
相反，研究员提出了一种大小均衡方法，其中对同一图像进行积极压缩，然后进行并排比较以评估每个图像中的域级信息，使用机器学习（ML）对象检测器执行，以计算服务器上每个图像中可区分的域对象的数量。
结果
为了比较压缩方法与原始图像的保真度，研究员评估了YOLO对象检测器正确识别图像的三种变体（标准压缩，智能压缩和原始）中每种变体中的对象的能力。
由此可以编译数据集中每个图像的真阳性（TP）、假阴性（FN）和假阳性（FP）分数：TP 是在地面事实中找到的载体，也在压缩图像中找到，FN 是在地面真相中找到的车辆，在压缩图像中找不到，FP是在压缩图像中找到的车辆，在地面真相中找不到。
然后，使用这些来生成F1分数作为我们的指标，用于将标准和智能压缩的图像与每帧的基本事实进行比较。分数在0.0–1.0范围内，其中1.0表示没有信息丢失，即所有车辆都从原始图像中正确识别。
这通过对所有帧的 F1 分数求平均值来提供对原始图像的保真度度量。对于MVI_39031数据集，研究员获得了0.697的标准压缩分数和0.865的智能压缩分数。这表明，在非常高的压缩比下，智能图像压缩技术比标准压缩保留的信息多约24%。
总体而言，智能压缩技术在10个实验中的12个实验中优于标准压缩，其他2个实验的标准压缩仅略好。
结论
实验表明，在大多数测试数据集中，智能压缩的性能优于标准JPEG压缩，在四分之一的情况下，智能压缩的性能超过24%。当图像数量或图像大小较小时，该技术表现良好，但随着数量或大小的增加，传输多个图像的额外开销成为一个重要因素，并且合成图像与原始图像的保真度下降。
这表明存在一个拐点，即子图像的总大小变得太大，并且发生过多的像素化，从而导致合成图像保真度的损失。智能图像压缩在拐点以下的性能优于标准压缩，但高于标准压缩的性能更好。由于可以在传输前计算拐点，因此可以采取双重方法，在其上方使用标准压缩，在下方使用智能压缩。
与图像相比，JSON-LD 元数据大小相对较小，并且可以在空间上标识场景中的车辆。因此，它为智能压缩和标准压缩图像提供了内在价值。图像是摄像机看到的内容，元数据是场景的模型。如果场景没有车辆，则仅语义元数据就足以描述它。
另一种技术可能是在帧之间缓存车辆子图像。由于有25fps，汽车在帧之间只移动一小段距离，并且可能看起来非常相似。子图像缓存可以使用OpenCV的模板匹配功能，以及边界框质心之间的反欧氏距离，来计算从一帧到下一帧是同一载体的概率。
那么如果下一帧中的子图像与上一帧中的图像相比，高于一定的概率，则后续帧中的子图像可以重复使用第一帧中的图像。如果子图像可以重复使用，则无需发送连续的子图像，而是后续帧的元数据替换序列中第一个图像的 ID。当帧的元数据传输到服务器时，服务器从其先前图像的缓存中获取子图像。
通过这种方式，可以减少传输到服务器的子图像的数量，对于任何一个给定帧，因此释放的带宽可用于提高其他子图像的JPEG质量。很难预测精确的带宽节省，但据估计车辆子图像可以节省大约80%的带宽。
实施这种技术还有其他一些次要好处，例如车辆轨迹，这对于计算车辆速度和可能的未来轨迹很有用。这也是计算车辆数量和提高元数据整体价值的准确方法。
●—<参考文献>—●
【1】Sarkar，S.：使用深度卷积神经网络从相机图像进行交通拥堵检测
【2】B.M.：MUC-5评估指标
【3】D.， Campi， A.： 迈向流推理的第一步
【4】伍兹，R.E.：数字图像处理，第 3 版
【5】C.W.： 基于信息最大化的对比度失真图像的无参考质量指标
【6】C.：关于使用JSON-LD创建可进化的RESTful服务。在：第三届RESTful Design国际研讨会论文集