前言:想要写出一篇令人眼前一亮的文章吗?我们特意为您整理了5篇工业互联网安全分析范文,相信会为您的写作带来帮助,发现更多的写作思路和灵感。
大数据作为一种通用技术应用在各个行业,为数据的管理和应用提供重要的技术支撑,近年来,随着工业互联网的快速发展,相较于传统的应用型数据,数据源范围扩大,数据边界不在清晰,包括设备、系统、网络、平台等数据,数据种类存在复杂的多样性,且数据流动方向和路径复杂,数据采集和数据集成难度也很大,本文从工业互联网大数据通用架构进行概要解析。
1大数据平台概述
工业互联网大数据应用的整体架构一般分为四个部分:采集后台、数据、应用前台以及运维管理。
1.1采集后台
通常利用主动探测扫描、通信流量监测、被动蜜罐诱捕以及信息系统数据对接等技术手段,实现数据采集的功能,采集数据源一般包括互联网数据,工业互联网相关联网资产、资产漏洞、安全事件、威胁情报、关键信息基础设施数据等。
1.2数据
智能大数据分析与建模平台,定位于降低数据洞察阻力、大数据使用门槛、数据交换成本、数据监控难度以及提升数据洞察广度、探索深度、交换速度和监控精度,满足各类数据的集成、计算、存储、挖掘、管理等需求。
1.3应用前台
基于数据提供的底层数据,进行数据分析,支撑基础资源管理、网络安全态势感知、APP情报动态线索挖掘、工业互联网安全等多个顶层应用,一般可服务于多部门、多业务、多场景。
1.4运维管理
实现系统自身的运维管理,一般包括系统管理、安全管理、智能监控、告警处理等功能。2大数据平台功能
2.1采集后台
2.1.1接入数据源分析2.1.1.1互联网流量通过部署流量探针的方式,接入基础电信企业流量,主要是互联网专线流量、特定对象的牵引流量等,生成包括通联日志、报文样本、域名日志、HTTP日志、恶意代码日志等各类日志。2.1.1.2主动探测数据通过公网部署扫描设备,实施安全扫描,主要针对重保用户的网页、应用商店APP的爬取,以及基于IP段的关键信息基础设施的扫描发现。2.1.1.3相关部门和企业已建系统数据相关已建系统的数据主要包括:网安技术管理平台、基础监测系统、信安系统、企业侧安全监测系统等。2.1.2数据采集数据采集系统包括采集基础电信企业流量,爬取互联网网页/APP内容,被动诱捕网络攻击行为,主动扫描获取关基数据、重保网站的数据、以及现有系统的数据资源共享,对“主动+被动”方式获取的数据进行解析,提取各类用以支撑网络安全监测分析业务的数据。2.1.2.1互联网流量采集在关键网络节点部署流量采集探针,负责网络原始流量的采集,提取各类用以支撑网络与信息安全监测分析业务的数据。输出的日志一般包括通联日志、报文样本、域名日志、HTTP日志和恶意代码日志。通过相应汇聚分流设备进行流量的同源同宿、负载均衡处理,输出至网络流量探针专用设备。通过流量探针专用设备实现互联网流量采集、协议解析和访问日志提取,将输出的日志存入数据支撑上层业务应用分析。2.1.2.2互联网内容爬取网络爬虫主要实现对网页内容以及APP内容的爬取下载,供上层应用进行分析。(1)网页爬虫:互联网用户访问的网页浩如烟海、数量庞大,传统的互联网爬虫技术已经不能满足当前网页信息获取的准确性、全面性、及时性的要求,因此,可以采用并行爬虫技术和IP池技术,让爬虫的质量、覆盖率、爬取效率等性能得到全面的提升。(2)APP爬虫:通过积累大量的互联网诈骗网站,使用蜘蛛爬虫技术和ip池技术,24小时不间断的对网络中的互联网诈骗网站进行爬取。2.1.2.3关键信息基础设施数据采集一般采用网络资产探测识别设备进行主动扫描采集数据,同时结合网络流量被动分析,形成一套完整的网络资产及其指纹库信息,指纹信息包含系统指纹、应用指纹、网站指纹等,从而可以对网站、域名、IP等基础资源数据形成本地的互联网信息库,为网络安全漏洞分析、安全漏洞预警等提供有效数据支撑。
2.2数据
2.2.1数据集成数据集成支持数据采集、过滤、缓存、中转分发调度等,是内外数据交换的通道,完成数据在组件间及层次间中转、缓冲及调度。一般会采用数据集成ETL模块,包括数据采集模块、数据清洗和转换模块,其中数据采集模块一般包括批量结构化数据采集、半结构化数据采集、非结构化数据采集;数据清洗与转换模块一般也包括结构化数据清洗与转换、半结构化数据清洗与转换、非结构化数据清洗与转换三个模板。2.2.2数据计算2.2.2.1流式计算一般具备流计算能力,可基于flink集群,支持读取kafka、socket、hdfs的数据源里的数据,通过配置stdp、字段定义解析器,将数据通过输出统计组件、统计监控组件、窗口、水印设置,最终输出规则配置,统计结果输出。2.2.2.2实时计算实时计算模块一般可提供了高吞吐、低延迟、高性能的流处理能力。2.2.2.3离线计算大数据离线计算,就是利用大数据的技术栈(主要是Hadoop),在计算开始前准备好所有输入数据,该输入数据不会产生变化,且在解决一个问题后就要立即得到计算结果的计算模式。离线计算特点如下:(1)数据量巨大,保存时间长。(2)在大量数据上进行复杂的批量运算。(3)数据在计算之前已经完全到位,不会发生变化。2.2.3数据存储大数据平台的数据存储,一般包括结构化数据存储模块、NOSQL数据存储模块、非结构化数据存储模块以及图数据存储模块。数据存储是大规模通用集群存储系统,对外支持标准文件访问接口。数据存储层采用MPP分布式列式数据库系统、分布式集群存储系统、Hadoop系统、分布式数据仓库和分布式图关系数据库系统。用于存储结构化数据、NOSQL数据、非结构化数据以及图数据的存储与访问。2.2.4数据挖掘2.2.4.1IDE引擎通过可视化界面,进行创建、管理、编辑脚本,使用人员可在界面上对数据进行操作,系统通过调用不同的IDE引擎下发相应的指令,操作对应的数据服务组件,返回相应的数据结果。2.2.4.2数据探索数据探索是在具有较为良好的样本后,对样本数据进行解释性的分析工作,它是数据挖掘较为前期的部分。数据探索并不需要应用过多的模型算法,相反,它更偏重于定义数据的本质、描述数据的形态特征并解释数据的相关性。通过数据探索的结果,可以更好的开展后续的数据挖掘与数据建模工作。2.2.5数据管理2.2.5.1数据共享通过固定接口(如webservice接口、FTP传输、数据库以及组件,封装后的API接口等),将数据共享到各应用平台进行应用。提供统一应用接口进行数据共享,相关接口主要包括数据接入适配、流处理接口适配、数据查询接口适配、数据分析接口适配、用户管理接口适配、系统对外开发接口等。2.2.5.2数据资产数据资产主要涉及到各类数据源采集的数据,包括:威胁情报库、漏洞库、病毒库、nv-彄、僵木蠕特征库;基础信息库、企业库、IP库、域名库2.2.5.3数据安全通过数据访问策略制定,数据加密脱敏,日志审计等方式,保障数据数据安全,确保经过传输和交换的数据不会发生增加、修改、丢失和泄露。
2.3应用前台
2.3.1数据分析在企业的数据分析项目中,数据驾驶舱是系统搭建的一个重要过程。通过数据驾驶舱,可以将采集的数据形象化、直观化、具体化,为企业业务的相关决策提供支撑。数据驾驶舱提供的是一个管理过程,让数据能够以更加有组织的方式来进行体现。2.3.2业务应用基于数据以及应用前台的数据分析能力,可支撑包括基础资源管理、网络安全态势感知、APP情报动态线索挖掘、工业互联网安、物联网安全等常见应用场景在内的各种业务、应用场景。
2.4运维管理
2.4.1系统管理针对系统进行统一的用户管理、角色管理、权限管理、日志管理和资源管理等功能,能够统一管理分布在不同网络和地域的多个数据中心集群,封装各类数据存储和处理引擎的功能,为不同地域和网络的数据中心系统提供统一的逻辑视图,为系统的管理员和用户提供一站式服务。2.4.2安全管理借助于防火墙、防病毒等安全产品,平台实现安全机制:认证机制、授权机制、访问控制、机密性和完整性。2.4.3智能监控通过通用的数据采集模板和和终端采集程序汇集数据,通过强大的ETL能力将数据迁移到监控,实现监控数据的集中分析和展示。2.4.4告警处理一般大数据平台具备告警处理功能,对平台的运行状态进行全面监测,提供运行异常及时发现和告警,系统部分故障的准确定位;同时,实现基础资源的统一化管理,为管理人员的维护决策提供重要支撑。
3结束语
目前各类大数据平台均是基于大数据分析核心扩展出各类组件,国内外的应用技术已经成熟。大数据脱离了对数据的治理和应用就失去了数据的灵魂,根据行业领域不同,大数据平台所做的数据治理、标准化、数据管理和其他所需功能和展现的形式,将会存在较大不同。
参考文献
[1]李杰.从大数据到智能制造[M].上海交通大学出版社,2016.
[2]孙念,傅为政.基于大数据的工业互联网安全分析[J].数字通信世界,2020(05).