《国外高校优秀教材系列 交通类 智能交通系统数据分析》（美）马什鲁·乔杜里，（美）艾米·阿彭，（美）卡坎·戴伊作；马晓磊，于海洋译|(epub+azw3+mobi+pdf)电子书下载

图书名称：《国外高校优秀教材系列 交通类 智能交通系统数据分析》

【作　者】（美）马什鲁·乔杜里，（美）艾米·阿彭，（美）卡坎·戴伊作；马晓磊，于海洋译

【丛书名】国外高校优秀教材系列

【页 数】 250

【出版社】 北京：机械工业出版社 , 2021.05

【ISBN号】978-7-111-67592-1

【分 类】交通运输管理-智能系统-高等学校-教材

【参考文献】 （美）马什鲁·乔杜里，（美）艾米·阿彭，（美）卡坎·戴伊作；马晓磊，于海洋译. 国外高校优秀教材系列 交通类 智能交通系统数据分析. 北京：机械工业出版社, 2021.05.

图书封面：

图书目录：

《国外高校优秀教材系列 交通类 智能交通系统数据分析》内容提要：

《智能交通系统数据分析》提供了用于分析智能交通系统的各类数据驱动方法，其中包括了实现这些算法的各种大数据分析与计算工具；回顾了智能交通系统的主要特点，以及如何分析其产生数据的基本概念。《智能交通系统数据分析》涉及数据采集、存储、处理和发布，数据架构设计、数据管理与展示系统，以及需要的软硬件技术。读者将会学习到如何设计有效的数据可视化界面、如何根据不同的交通场景评价不同的数据分析方法、在客车及货车领域面向安全与环境的案例应用、数据隐私和安全，以及社交媒体数据在交通规划中的应用。《智能交通系统数据分析》可作为本科生和研究生学习智能交通系统数据分析的教材，也适用于从事智能交通行业的研发人员阅读使用。

《国外高校优秀教材系列 交通类 智能交通系统数据分析》内容试读

第1章

Chapter

智能交通系统的特征及其与数据分析的关系

1

1.1智能交通系统作为数据密集型应用

智能交通系统(ITS)的应用是复杂的、数据密集型的应用，其特点可以用“大数

据的5V”来描述：①大量(volume),②多样(variety),③高速(velocity),④真实(veracity),⑤低价值密度(value)(对于最初的3V,见参考文献[1])。请注意，这些特性中的任何一个都可能对传统的数据库管理系统产生挑战，而具有其中多个特性的数据对于传统的数据处理系统来说是根本无法处理的。因此，需要能够处理大量历史和实时

数据的数据基础设施和系统将TS从传统的技术驱动系统转变为复杂的数据驱动系统。

第一个“V”是TS的数据量，对于运输系统来说，它是呈指数增长的。随着越来越

多的复杂数据采集技术，每一秒钟都在生成数量空前的交通相关数据。例如，2013年每

个汽车制造企业采集了大约480TB的数据，到2020年增加到11.1PB/年2。同样，伦

敦市的闭路电视(CCTV)系统的500个摄像头产生1.2Gbps的数据)。

ITS数据的第二个“V”是数据多样性，它可以是以多种格式和多种方式采集的数

据，包括从车辆和基础设施传感器上捕获的数字数据、来自社交媒体的文本数据以及从

地图加载的图像和地理信息系统(GIS)数据。这些数据的组织程度从半结构化数据（例

如，维修日志、图像、视频和音频文件)到结构化数据（例如，来自传感器系统的数据和来自交通事故数据存储库内的数据)之间各不相同。社交媒体数据被认为是半结构化数据，包含标签或具有不同语义元素的通用结构。不同的数据集具有不同的格式，这些格式在文件大小、记录长度和编码方案方面有所不同，其内容可以是同构的，也可以是异构的（即，具有许多数据类型，如文本、离散数字数据和可能标记或不标记的连续数字数据)。这些由不同来源以不同格式生成的异构数据集对数据分析系统的接收和集成提出了重大挑战。然而，它们的融合使得复杂分析变成可能，包括用于模式检测的自学习算法到用于复杂预测的降维方法。

ITS数据的第三个“V”是速度，变化很大。从批处理到在线数据源的实时事件处

理，数据摄取率和处理需求差异很大，从而引起了对数据基础架构的高要求。有些数据是连续、实时采集的，而有些数据是定期采集的。例如，美国大多数州的交通部门(DOTs)使用自动数据采集器，向媒体提供数据。加利福尼亚州运输局(Caltrans)设计

智能交通系统数据分斯

的商业/媒体大规模网络门户(CWWP)就是一个这样的例子，该网站旨在满足商业和

媒体信息服务提供商的数据需求。CWWP请求并接收由Caltrans维护的数据采集设备生成的旅行者信息)。尽管该系统是从交通中连续采集速度数据，但是可以以较低的频率间隔更新道路地图等数据。

ITS数据的第四个“V”是真实，用于描述ITS数据的确定性或可靠性。例如，从数

据流做出的任何决定都取决于源和数据流的完整性，即传感器的正确校准和对任何丢失

数据的正确解释。因此，采集可靠和及时的交通相关数据的目标是ITS面临的重大挑战。

ITS数据最后的“V”是低价值密度，取决于数据的已获取时间、采样率和预期的应

用。例如，几分钟前的数据对于避免碰撞应用可能没有任何价值，但在路线规划应用中可能有用。价值是从数据中提取有意义的、可操作业务见解的能力度量。

以下内容将从不同的数据系统角度描述TS,并解释TS不同的数据源和数据采集技术。

1.1.1TS数据系统

使用TS的一维视图可能会简化系统的某些方面。然而，它的复杂性要求使用多个

视角。一种看待TS的方法是把它看作一个数据密集型的应用，在这个应用程序中，数

据由计算机、通信基础设施和交通基础设施组成的互联网络承载并在其中流通。该系统的特点是：①数据生产者和消费者；②数据存储系统；③智能决策支持组件。通过有线和无线技术支持通信。智能决策支持应用程序通过互联网络，从道路传感器及其设备中提取数十亿个数据源产生的相关数据。然后，这些数据被用于向道路使用者、交通规划人员和决策者提供特定的服务。

理解TS的第二种方法是考虑系统构架的各个层，类似于开放系统互联网络模型。

对于该系统，基础层包含物理传输组件、计算机网络、计算机和存储设备。这些计算组件可能是现成的商品，也可能是小型社区或单个公司使用的专门设计的专用设备。该系统还具有一系列已经定义的标准，允许网络连接到计算机和存储设备。在基本物理层之上是数据链路层，它的特征是一系列日益复杂的标准，这些标准定义了特定网络技术

(如无线或有线网络)的通信协议。互联网协议(P)是用于将不同网络连接在一起的标

准协议，它高于单个网络协议，以允许经由移动电话到数据中心的车辆通信，数据中心

与10G以太网等有线网络技术互连。IP之上的传输层协议，例如传输控制协议(TCP)

和其他协议，确保了端到端通信的可靠性，即使不同的源在移动和变化。传输层上方的会话、显示和应用程序层协议描述了应用程序期望的数据格式，并管理用户和系统之间以及不同自治系统之间传递的不同类型的消息。

看待TS的另一种观点是“三个I”一仪表化、互联化和智能化[。这是一个仪表

概念，包括高级设备和传感器，这些设备和传感器的采集数据的数量和类型日益多样化。例如，传感器可以测量位置信息、监测和测量振动，或使用不同类型的摄像头捕获视频。高速公路上的探测车可用于连续采集交通数据。虽然传感器需要电源，如电池或电力连接，但技术进步使得在交通基础设施上广泛部署廉价传感器成为可能，可以在没有电池或外部电源的情况下运行。在这里，复杂的有线和无线通信系统将数据从传感器传输到智能决策支持应用程序。

智能交通系统的特征及其与数据分析的关系

第1章

1.1.2TS数据源与数据采集技术

通信和计算技术的重大进步反过来又使ITS数据采集技术取得了进展。相关数据来

源很多。ITS数据源可分为四大类：①道路数据；②基于车辆的数据；③基于出行者的数据

④广域数据。同样，数据采集技术分为四类：①道路数据采集技术；②基于车辆的数据采集技术；③基于出行者的数据采集技术；④广域数据采集技术。

数十年来，道路数据采集技术一直被用于从高速公路沿线的固定地点采集数据。道路上使用的传感器在本质上可以是无源的，采集数据而不中断正常的交通行为。环形检测器是应用最广泛的道路数据采集技术之一。许多基于环路检测的应用目前正在使用中，如交叉口交通监控、事件检测、车辆分类和车辆再识别应用0.山。某些类型的环形探测器可以提供数据，包括某个位置车辆的计数或检测。另一种类型的道路数据采集器是微波雷达，它可以检测车流量、速度和车辆是否存在。红外传感器可以用来测量车辆的反射能量，能用于推断车辆的类型或行为特征。超声波传感器可以识别车辆数、车辆是否存在和车道被占用情况。另一种广泛使用的道路数据采集技术是闭路电视摄像头。机器学习方法可以应用到视频中来检测交通特征。一旦这些图像被数字化，它们就会被处理并转换成相关的交通数据。采用不同的机器视觉算法对记录的交通图像进行分析，实现实时交通监控、事件检测和验证，以及车辆分类。

基于车辆的数据采集技术，例如带有电子收费标签的车辆和全球定位系统（GPS),

与基于手机的蓝牙和WFi无线电相结合，是ITS应用中的第二个数据源。当道路数据采集技术用于特定位置的数据采集时，从移动车辆源采集数据的机会推动了诸如路线选择、起点和终点调查、行程时间估计等新应用的发展。网联车辆(connected vehicle,CV)技术通过动态无线通信网络连接道路上的车辆，使车辆能够与其他车辆和交通基础设施，特别是路侧单元(road side units,RSU)实时共享数据。在网联车辆环境中，车辆和基

础设施之间的这种无缝实时连接有可能为现有的基于基础设施的TS应用带来新的好处，

包括安全性、移动性和环境方面的好处。到目前为止，美国运输部(USDOT)已经确定

了97个网联车辆申请，而且这个名单还在增加2

使用手机应用的驾驶人为TS提供了第三个数据采集源。这些广泛使用的通信和手

机应用程序以及在线社交媒体已经被出行者用来自愿提供最新的交通信息。例如，现在由谷歌运营的Waze手机应用程序使用出行者的位置信息来推断交通减速和交通事故的潜在位置。然而，这些通过在线社交媒体平台获得的驾驶人数据是半结构化和不可靠的，驾驶人没有提供任何交通事件的具体位置信息。例如，只有1.6%的Twitter用户激活了地理定位功能)

广域数据采集技术是第四种数据采集源，它通过多传感器网络监测交通流。由无人机和天基雷达获取的摄影测量和视频记录也可作为该技术的数据采集源。从这些技术中采集的数据包括车辆间距、速度和密度，这些数据反过来又用于不同的目的，如交通监控和事件管理。表1-1总结了不同的交通数据采集技术。除了四种经典的数据采集源采集的数据外，与交通相关的数据也来源于新闻媒体、气象站等。公共和私营机构在不同

的交通决策活动中使用不同的技术采集的实时和存档数据，对迅速实施不同的ITS应用

发挥了显著作用。

3

智能交通系统数据分析

表1-1TS数据来源和数据采集技术

数据来源数据采集技术

数据类型

用户

优点

缺点

流量、速度、类

·不受天气影响

公共机

·有限的范围

环形检测器型、占有率，是否

·使用广泛，熟练劳动力

·延长生命周期成本

构

存在

即可操作

·易受货车重量影响而损坏

道路数据

基于视觉的

流量、速度、类

,比环形检测器覆盖范围大

技术(CCTV

公共机

·延长生命周期成本

型、占有率，是否

·不受交通负荷影响

摄像头)

·受天气影响较大

存在

构

·持续采集数据

·覆盖范围比环形探测器和摄像头大

车辆位置、行驶

浮动车辆数

·提取数据需要复杂的算

时间、速度、横向

公共和

·车内无需特殊硬件设备

据（有GPS和

·道路沿线无需修建特殊法

私人机构

蜂窝网络)

和纵向速/诚速、

基础设施

·GPS定位精度低

基于车辆

障碍物探测

·持续采集数据

的数据

·不受天气影响

车辆位置、行驶

覆盖范围比环形探测器

·提取数据需要复杂的算法

时间、速度、横向

网联车辆

公共和和摄像头大

需要专用的短程通信

和纵向速/减速私人机构

·持续采集数据

(DSRC)或其他通信设备

障碍物探测

·不受天气影响

基于出行

推特、Waze

实时警报、意外

公共和

·由于旅客的存在，覆盖

·位置精度低

者的数据

检测

私人机构范围更广

·半结构化数据

交通监控、事故

·受天气、植被和阴影的

公共机

广域数据

摄影测量

交通规划与

·可以从地面难以靠近的影响

管理、

设计

构

位置收集数据

·精度受照相机质量和飞行高度的影响

来源：

[14]S.Bregman,Uses of social media in public transportation,Trans.Res.Board 99(2012)18-28.

[15]CDOT,Survey Manual,Chapter 4,Aerial Surveys,Colorado Department of Transportation.

[16]S.M.Khan,Real-Time Traffic Condition Assessment with Connected Vehicles,M.S.Thesis,Clemson University,

Clemson,SC,2015.

1.2

智能交通系统的大数据分析方法与基础设施建设

数据分析的目的是从收集的数据中获取见解和知识。无论是评估现有的运输网络还

是比较拟议的备选方案，分析数据和提供按需决策支持的能力对于ITS都是至关重要的。

因此，为ITS开发的大数据分析方法是基于能够合并来自各种数据源的不同类型的非结

构化、实时或档案数据集的能力的。本节描述了ITS数据分析关键方面的一个示例，特

别是数据分析的基本类型、数据时间维度的作用、大数据分析的基础结构以及TS数据

的安全性。更多详细的解释将在本书的其余章节中概述。

如第2章“数据分析基础”所述，数据分析可以是描述性的、判断性的、预测性的

和说明性的，每一种都用于ITS数据分析。描述性分析使用统计方法来描述数据中的特

征和模式。给定道路上车辆的观测数据，可以计算出：①一天中特定时间沿道路延伸的平均车辆数；②车辆的平均、最小和最大速度：③车辆的平均重量和尺寸。第7章“可

···试读结束···