露天煤矿GPS轨迹大数据智能分析充分利用宝贵的大数据资源,深度运用数据智能挖掘分析技术,紧密贴合露天煤矿实际业务应用。 露天矿车辆运行过程中形成的GPS轨迹大数据,不仅记录了车辆的实时位置和运行规律,还蕴含了大量的业务知识。露天矿GPS大数据平台很好的解决了传统方法处理不及时、无法复杂计算的问题。提供了常用数据挖掘算法的分布式实现功能。力求解决传统管理模式下无法解决的业务难题,以提高煤矿车辆运行效率,提高煤矿管理和决策的智能化水平,从而提高煤矿经济效益。
数据源层 GPS大数据平台用到的数据主要是GPS数据和OBD数据。GPS数据主要包含经纬度、高度、方向、时间信息等。车载OBD数据主要显示车量信息,如实时油耗、发动机转速、水温、车速等。 数据传输缓存层 GPS大数据平台主要用到Netty来实现车载终端和服务端的通信。GPS大数据平台用到的缓存主要有Redis和Kafka。在本平台中Redis存储车辆配置信息、矿区配置信息、Netty通道信息和车辆最新GPS点。 数据处理层 数据处理层分为业务处理和大数据预处理两大模块。业务处理主要通过GPS平台实现对矿区车辆的生产监控和优化调度。大数据处理主要负责矿区海量数据预处理。 数据分析层 大数据分析层可分为轨迹点空间分布分析、轨迹点时间分布分析、轨迹点时空分布分析、停留点检测、轨迹段划分、轨迹段语义标注、行程时间预估几个模块。分析层可分层离线和在线处理两个方向。
数据源
GPS数据和OBD数据;GPS数据包含经纬度、高度、方向、时间信息等;OBD数据主要显示车量信息,如实时油耗、发动机转速、水温、车速等。
数据传输
主要用Netty来实现车载终端和服务端的通信。Netty能够实现很好的高并发,而且传输速率快,能够实时传输车载终端和服务器端的通信信息的基础上连接更多终端设备。
数据缓存
用到的缓存主要有Redis和Kafka。在本平台中Redis存储车辆配置信息、矿区配置信息、Netty通道信息和车辆最新GPS点等。Kafka是一种高吞吐量的分布式发布订阅消息系统,用来缓存终端产生的数据,防止因服务器消费不及时导致数据丢失。
数据预处理
原始的GPS数据和OBD数据因为含有很多噪声和偏差等,所以不能直接应用到数据分析中去,所以需要进行数据预处理。预处理的方法主要有噪声去除、轨迹分段、停留点检测等。
业务处理
针对GPS平台具体业务进行处理,如在线车辆统计、在线车辆位置显示、预警功能和派单处理等业务。
大数据处理
分为离线和在线两个方向,离线处理是将收到的数据先存到数据库里,再将数据取出来进行处理,而在线处理是数据不经过数据库,直接在线处理。可以基于GPS和OBD数据做的分析有轨迹点空间分布分析、轨迹点时间分布分析、轨迹点时空分布分析、轨迹段语义标注、行程时间预估等。
数据存储
数据存储分为数据持久化存储和用来数据展示的时序数据库存储。数据处理层产生的数据要进行持久化处理,以便后来使用。一些原始数据和数据处理之后的数据需要分析时间序列特征,可以存到时序数据库中,可以非常方面且快速的进行展示。
挖机运行详情
分析每辆挖机各个班次的运行里程、运行时间、运行速度以及采样点数量信息。