作者：李晨光
出版社：人民邮电出版社有限公司
格式: AZW3, DOCX, EPUB, MOBI, PDF, TXT
开源安全运维平台OSSIM疑难解析：入门篇试读：
前言
写作本书的目的目前，OSSIM在中国移动、中国电信、中国石油、华为等大型企业内得到应用推广，这些企业在安全运营中心（SOC）基础上组建了OSSIM运维和二次开发团队，但图书市场缺乏专门讲解OSSIM运维和开发的书籍。为了解答OSSIM运维工程师在工作中遇到的疑难问题，本书应运而生。
本书借助作者在OSSIM领域长达10年的开发应用实践经验，以大量实际问题为线索，阐述了基于插件收集的日志并实现标准化、安全事件规范化分类、网络威胁情报、事件关联分析等前沿技术问题。
本书涵盖的知识面广，讲解由浅入深。本书可以帮助初学者熟悉OSSIM基础架构，能完成系统安装、部署任务，能处理安装故障，并对Web UI进行简单的汉化。对于中、高级用户而言，通过学习本书可以将OSSIM框架和底层源码融汇贯通，通过开发脚本来深挖OSSIM的潜力。
本书编写形式新颖，表达方式独特，图文并茂，通俗易懂，有着很强的实用性。读者在学习和阅读的过程中可以针对自己感兴趣的问题得到及时、明确的解答。在满足碎片化阅读的同时，本书还通过近百道课后习题加深读者对OSSIM系统的理解。本书主要内容
本书介绍了开源OSSIM系统安装部署以及运维管理的若干疑难问题，共分为10章。● 第1章，SIEM与网络安全态势感知，讲解SIEM系统与网络安全
态势感知技术在OSSIM系统中的应用。● 第2章，OSSIM部署基础，讲解OSSIM部署过程中的常见故障及
其解决方法。● 第3章，安装OSSIM服务器，讲解服务器安装过程中的疑难问题。● 第4章，OSSIM系统维护与管理，讲解系统维护与管理中遇到的
配置难点、疑点。● 第5章，OSSIM组成结构，讲解OSSIM开源框架以及各个模块的
用途，并对通信端口进行了详细分析。● 第6章，传感器，讲解传感器部署和管理的技术问题。● 第7章，插件处理，讲解在OSSIM插件处理过程中遇到的重点技
术问题。● 第8章，SIEM控制台操作，讲解SIEM控制台操作过程中遇到的
问题。● 第9章，可视化报警，讲解可视化报警在OSSIM应用中遇到的问
题。● 第10章，OSSIM数据库，讲解OSSIM的MySQL数据库存储机制
以及备份恢复等技术问题。本书读者对象
本书精选了在OSSIM日常运维操作中总结的近300个疑难问题，是OSSIM运维工程师故障速查手册，专门针对OSSIM常见故障而编写。本书适合具有一定SIEM系统实施经验的技术经理或中高级运维工程师阅读，可作为信息安全专家和相关领域的研究人员的参考书，也可作为高等学校网络工程和信息安全专业的教材。本书约定关于版本
本书软件的安装环境为Debian Linux 8.0。在安装其他软件时，必须符合该版本要求。关于菜单的描述
OSSIM的前台界面复杂，书中经常会用一串带箭头的单词表示菜单的路径，例如Web UI的Dashboards→Overview→Executive，表示Web界面下鼠标依次单击Dashboards、Overview，最后到达Executive仪表盘。路径问题
除非特别说明，本书所涉及的路径均指在OSSIM系统下的路径，而不是其他Linux发行版。终端控制台是指通过root登录系统，然后输入ossim-setup后启动OSSIM终端控制台的界面。
在终端控制台下，选择Jailbreak System菜单就能进入root shell，登录日志会保存在/var/log/ossim/root_access.log文件中。SIEM事件分析控制台
SIEM控制台是指通过Web UI进入系统，在菜单Analysis→SIEM下的界面。关于OSSIM服务器端与传感器端的约定
本书讲述的OSSIM服务器端是指通过Alienvault USM安装的系统，包括OSSIM四大组件；传感器端是通过AlienVault Sensor安装的系统。关于地图显示问题
本书所有地图信息均引自谷歌地图，大家在做实验前确保连上谷歌地图，而且在使用系统中的OTX时也需要能连接到谷歌地图。浏览器约定
OSSIM Web UI适合采用Safari 7.0、Google Chrome 44.0、IE 10.0以上的浏览器访问。实验环境下载
本书涉及的软件较多，其中一些重要的软件可到异步社区的本书页面中统一获取。学习之路中如何面对失败
与其他Linux系统一样，在学习OSSIM的过程中也会出现各种问题和故障。由于网上能直接找到的资料有限，所以很多新手都担心出现问题，在面对问题时都很局促，特别是当一个个问题接踵而来时会显得无可奈何。
学习OSSIM可以充分暴露你的“知识短板”，这体现在编程语言、数据库、操作系统、TCP/IP、网络安全的各个方面。不过通过解决OSSIM中遇到的问题，就会逐步弥补这些短板。学习就是一个发现问题与解决问题的过程，只要掌握了OSSIM的体系结构和运行原理，很多问题都可以迎刃而解。当然，前提是我们已经具备了下面所列的这些扎实的基本功：● 有一定的英文水平；● 了解网络原理尤其是TCP/IP的内容；● Debian Linux系统和网络管理知识；● MySQL数据库的基本操作；● 服务器、网络设备运维基础；● 系统攻击与应急响应相关的技能；● IDS部署和SIEM/SOC应用基础。
要想成为OSSIM系统运维人员，面对问题时头脑中必须有一个清晰、明确的故障解决思路，一般有以下5个步骤。● 从报错提示挖掘幕后问题：OSSIM在Web UI中报错，主要内容
都显示在屏幕上，只要能看懂错误提示（前提是能读懂英文），
就能基本猜出发生问题的几种可能性。● 查看日志文件：Web前台报错，在后台日志会有详细的错误日志。
系统日志在文件/var/log中，OSSIM日志在/var/log/ossim或/var/
log/alienvault/中，结合两个目录下的日志内容就有可能发现问题。● 定位问题：这个过程相对复杂，查看Web里的提示和挖掘日志就
能基本推测出现问题的几种途径。● 解决问题：抓住最有可能的途径进行排查，最后就能解决真正的
问题。● 不要恋战：一些人特别执着，有着不解决问题誓不罢休的架势。
当遇到一些OSSIM故障问题时，若在尝试各种思路后依然无法
得到自己想要的结果，这时就不要再恋战了，而是跳过这个问题，
继续前进。通过休息等方式来疏解一下心中的情绪，没准在过几
天的实验结果中会联想到实验失败的教训，激发出新的灵感来解
决以前的问题。
以上只是解决问题的基本步骤，实验失败是一段充满教育性的成长经历，没有失败积累经验，何谈成功呢？失败次数越多，你对它的理解就越深，离突破性成功就越近。但很多人却不这么看，他们在安装配置OSSIM的过程中，接连遇到一两个失败的经历就对这款工具没什么兴趣以至于最后放弃。
在安装阶段遇到的典型问题有下面这些。● 无法找到硬盘或者网卡驱动。这主要是硬件驱动问题，初学者只
要选择VMware虚拟机进行安装就能解决。● 安装过程停滞。在OpenVAS解包安装时，界面上出现卡死现象（其实是后台更新脚本时间比较长，在安装界面表现为停滞状
态）。很多人在这个环节直接将机器重启，认为自己的操作或者
安装文件出了问题，其实只要耐心等待20分钟就能过去。● 系统引导应是短暂的，但有时候却长期停留在引导界面。其实这
是假象，只要在控制台按下Ctrl+Alt+F3组合键就会出现命令行登
录界面。● 安装完成，经过长时间的系统引导后，发现无法登录Web UI。● 登录Web UI后设置的admin密码不符合系统的复杂度要求，其实
采用8位字母数字的组合就能快速解决这个问题。
除此之外，还有路由不通、图形无法显示、抓不到包、采集不到日志等许多故障。无论你是新手还是专家，只要坚持学习OSSIM，就会不断遇到各种问题。老问题解决了，换个环境，新问题还会不断发生。如果都能逐一化解，那么你的业务能力和分析问题、解决问题的能力会逐步增强。学习过程中的提问技巧
在系统出现问题时，大家通常会上网寻找答案，比如通过QQ群、百度、谷歌或者AlienVault社区、Blog等方式。在这些地方，他们往往将自己的报错信息粘到网上，便坐等答案出现（其实“坐等”“跪求”都无济于事）。
在专家眼里，是否对你提出的技术问题进行解答，很大程度上取决于提问的方式与此问题的难度。一些读者在提问前不深入思考，也不做功课，而是随便提出问题，想利用守株待兔的方式轻易获取问题的答案，这样能取得真经吗？不经历风雨又怎能见到彩虹！
从另一个方面看，专家会觉得你不愿意自己付出，在浪费他们的时间，因此你自然也不会得到想要的结果。专家最喜欢那些真正对问题有兴趣并愿意主动参与解决问题的人，而且只有提出有技术含量的问题，他才会花时间为你回答问题。提问前的准备工作
作为提问者，必须表现出解决此问题的积极态度，应该提前做些功课，举例如下。● 善于利用搜索引擎在网络中搜索。在相关技术论坛发帖时要注意，
不要在面向高级技术的论坛上发布初级的技术问题，反之亦然。
发帖时不要在同一论坛反复发布同一问题，以免被管理员认定为“灌水”。● OSSIM帮助系统比较完善，如果善用帮助系统，那么可以解决
大部分参数的使用问题。● 自己检查，反复做实验。● 尝试阅读OSSIM源代码。问题描述技巧
在描述问题时，请遵循以下技巧。● 描述症状时不做猜测：明确表达问题的原始状态。● 按时间顺序描述问题症状：解决问题最有效的线索就是故障出现
之前发生的情况。所以，应准确地记录计算机和软件在崩溃前的
情况。在使用命令行处理的情况下，对话日志的记录会非常有帮
助。如果崩溃的程序有诊断选项，就试着选择能生成排错日志的
选项。● 大段问题的处理：如果你的问题记录很长（如超过3段），那么
在开头简述问题，然后按时间先后详细描述过程也许更有用。附件格式及注意事项
有些读者在提问时，喜欢贴一堆日志或者几张图然后发问，什么前因后果都不讲清楚，就想着获得答案。提问都懒得说清楚，专家也懒得回复。所以，请稍微花一些时间组织语言，把问题说清楚。注意体现文字的准确性和你思考问题的积极性。
最好把问题连同故障截图（提供完整截图）作为附件发给专家，建议使用标准的文件格式发送，以下是参考格式。● 使用纯文本或者PDF格式，也可以使用DOC、RTF格式。● 发送邮件时如有多个附件，压缩打包后检查附件内容是否能正常
打开。● 发送原始数据，并保持内容一致，例如截屏或者屏幕录像。● 如果使用Windows操作系统发送电子邮件，关闭“引用”功能，
以免在邮件中出现乱码。致谢
首先感谢我的父母多年来的养育之恩；其次感谢在我各个求学阶段给予帮助和支持的老师；最后感谢我的妻子，正因为有了她的精心照顾，我才能全身心地投入到图书创作中。勘误和支持
由于作者水平有限，书中难免会出现错误和不准确的地方，恳请读者批评指正。如果您有更多宝贵意见，欢迎给我发邮件或者通过我的微信公众号进行反馈。本书的勘误也会通过公众号进行发布。请读者扫描下面的二维码进行关注。2019年7月 资源与支持
本书由异步社区出品，社区（https://www.epubit.com/）为您提供相关资源和后续服务。配套资源
本书提供如下资源：● 本书涉及的部分重要软件。
要获得以上配套资源，请在异步社区本书页面中点击，跳转到下载界面，按提示进行操作即可。注意：为保证购书读者的权益，该操作会给出相关提示，要求输入提取码进行验证。
如果您是教师，希望获得教学配套资源，请在社区本书页面中直接联系本书的责任编辑。提交勘误
作者和编辑尽最大努力来确保书中内容的准确性，但难免会存在疏漏。欢迎您将发现的问题反馈给我们，帮助我们提升图书的质量。
当您发现错误时，请登录异步社区，按书名搜索，进入本书页面，单击“提交勘误”，输入勘误信息，单击“提交”按钮即可。本书的作者和编辑会对您提交的勘误进行审核，确认并接受后，您将获赠异步社区的100积分。积分可用于在异步社区兑换优惠券、样书或奖品。与我们联系
我们的联系邮箱是contact@epubit.com.cn。
如果您对本书有任何疑问或建议，请您发邮件给我们，并请在邮件标题中注明本书书名，以便我们更高效地做出反馈。
如果您有兴趣出版图书、录制教学视频，或者参与图书翻译、技术审校等工作，可以发邮件给我们；有意出版图书的作者也可以到异步社区在线提交投稿（直接访问www.epubit.com/selfpublish/submission即可）。
如果您是学校、培训机构或企业，想批量购买本书或异步社区出版的其他图书，也可以发邮件给我们。
如果您在网上发现有针对异步社区出品图书的各种形式的盗版行为，包括对图书全部或部分内容的非授权传播，请您将怀疑有侵权行为的链接发邮件给我们。您的这一举动是对作者权益的保护，也是我们持续为您提供有价值的内容的动力之源。关于异步社区和异步图书“异步社区”是人民邮电出版社旗下IT专业图书社区，致力于出版精品IT技术图书和相关学习产品，为作译者提供优质出版服务。异步社区创办于2015年8月，提供大量精品IT技术图书和电子书，以及高品质技术文章和视频课程。更多详情请访问异步社区官网https://www.epubit.com。“异步图书”是由异步社区编辑团队策划出版的精品IT专业图书的品牌，依托于人民邮电出版社近30年的计算机图书出版积累和专业编辑团队，相关图书在封面上印有异步图书的LOGO。异步图书的出版领域包括软件开发、大数据、AI、测试、前端、网络技术等。异步社区微信服务号第1章 SIEM与网络安全态势感知
关键术语● SIEM● SOC● OSSIM● OTX● 安全态势感知● 安全运维● IP信誉● OpenSOC● Apache Metron● Server（服务器）● Sersor（传感器）Q001 什么是SIEM？
安全信息与事件管理（Security Information and Event Management，SIEM）是指为企业中所有资源（包括网络、系统和应用）产生的安全信息（包括日志、报警等）进行统一、实时的监控、历史分析，对外部的入侵和内部的违规、误操作行为进行监控、审计分析、调查取证、出具各种报表报告，以实现资源合规性管理的目标，同时提升企业的安全运营、威胁管理和应急响应的能力。
安全信息与事件管理技术能够对系统中的安全设备实现统一管理，同时能从其产生的大量安全信息与事件中找出安全威胁，使安全管理人员能够快速地对安全状况进行全方面的把握。Q002 SIEM处理流程是什么？
对于SIEM来说，可以大致将其分为3个阶段：信息采集、事件处理、安全评估，如图1-1所示。图1-1 SIEM处理流程
信息采集是对分布式的异构事件进行统一采集，将采集的信息初步合并，集中存储。信息采集是整个安全信息与事件管理的第一阶段，整个处理过程都是以各个安全设备和主机上采集到的安全信息为基础进行的。
在安全信息与事件管理中收集的数据主要包括安全信息和安全事件，具体包括当前目标网络中受控主机信息和网络信息，以及部署在目标网络上的安全设备的日志和报警信息。● 主机信息。
主机信息包括操作系统日志、文件访问记录、用户登录信息、各个主机或服务器上的系统漏洞信息、数据库访问记录等。● 网络信息。
网络信息包括网络流量信息、网络拓扑信息、网络协议使用情况等。● 安全设备信息。
安全设备信息主要包括安全设备日志和安全设备报警信息。安全设备报警信息主要包括由入侵检测系统产生的攻击事件、端口扫描事件，由防火墙产生的拒绝访问事件、防火墙策略修改事件等，由漏洞扫描产生的漏洞扫描结果、漏洞扫描策略变更，由防病毒软件产生的病毒事件。Q003 SIEM基本特征分为几个部分，技术门槛是什么，有哪些商业产品？
SIEM（安全信息与事件管理）并非最新的概念，早在2006年国内就有大量的专业安全公司投身于SIEM技术的研发，并一度引爆了企业安全管理、内部威胁管控与安全运营中心SOC的话题。企业用户不太了解Zabbix、Splunk、OSSIM、ELK这些技术之间到底有什么区别。要知道，SIEM作为以安全信息和安全事件为基础的管理平台，一直以来都是企业安全策略的重要组成部分。应该说SIEM的关键信息点在于平台集成化、日志标准化、事件关联化、界面可视化。它的核心思想是通过信息源的收集，实现关联分析，提供风险评估和威胁报告，最终帮助安全团队快速做出响应。
事实上，在激烈的市场竞争中，有McAfee、IBM QRadar、HP ArcSight、ManageEngine等基于SIEM理念的商业产品脱颖而出，但这些产品有以下3点不足。● 内需不明确。并不是所有的企业都适合类似SIEM的产品，上市
企业的信息安全管理和流程管理一般在达到较高的层次后，为了
进行网络审计和合规需求会提出的更高要求。● 资金不足。开发厂家必须有足够的资金和业界号召力来开发
SIEM各项标准，这样才能确保实现基础信息的收集分析。● 缺少SIEM技术专家。中小企业通常无力购买适合自身的SIEM解
决方案，因为其年度开销可达几十万甚至上百万元；小公司也没
能力雇佣持续维护开发SIEM系统所需的人才（开发人员、架构
师、分析人员、管理人员）。对中小企业而言，云安全服务是它
们的选择。
中小企业的业务系统通常会选择主机托管或者虚拟主机。对于将数据存储在云端的企业，通过安装监控代理来推送流量和日志到公共的云服务器，利用软件即服务（SaaS）应用程序接口从公有云端采集日志信息，就能实现跨多个平台的流量事件分析。这种云平台的应用程序同样可以提供统一的仪表盘视图和审计报告，然而它的最大问题在于所有企业数据和分析报表的数据库都存储在云端，数据的安全性让人担忧。Q004 SIEM中的安全运维模块包含哪些主要内容？
SIEM安全运维模块包含以下内容。
① 安全设备管理：包括安全设备的配置、监控、分析、备份、巡检等工作。
② 资产管理：不少企业上线的IP资产比较混乱，资产管理往往没有头绪。由于人员的更替，业务负责人对某些设备可能也不是十分清楚。安全资产管理属于安全运维中的重要部分。安全资产发现是安全资产管理的核心，包括资产漏洞管理、补丁管理、杀毒软件管理、主机入侵检测管理。最后是业务分级、资产分级，不同级别的资产采用不同级别的防护。
③ 资产发现：具有自研能力的企业首选使用嵌入主动扫描程序和Nmap功能的资产管理程序，通过主动扫描和流量分析两种方式识别IP资产。如果部署了OSSIM运维管理系统，那么也可以通过运维管理系统来识别IP资产。
④ 漏洞管理：漏洞管理包括OpenVAS、绿盟极光、Nessus等工具。
⑤ 主机入侵检测：常见的OSSEC包含主机入侵检测、文件完整性分析、rootkit分析等功能。最新版本的OSSEC输出日志可以直接设置成JSON格式，以输出到ELK（开源日志、分析平台Elasticsearch+Logstash+Kibana的简称），这很方便。
⑥ 网络入侵检测系统：开源软件，如Snort和Suricata。
⑦ 网络流量分析：如NetFlow Ntop。
⑧ 日志管理：首先分析需要收集哪些日志，可以关联哪些日志，通过这些日志能分析出哪些安全事件，怎么处理其他安全事件。收集的日志包括以下内容。● 安全设备（如堡垒机）的日志。● Web日志。● 主机入侵检测日志。● 主机操作历史日志。● 主机应用日志。● 业务日志（如登录事件、关键业务操作事件）。
⑨ 知识库系统：包括安全部门的各种制度、漏洞的修复方法、内部培训资料等。所有安全文档可以集成到一个合适的知识库平台，以方便所有人员使用，也能减少由于人员离职导致的各种问题。Q005 为什么要选择OSSIM作为运维监控平台？
谈到监控工具，首先要知道哪些指标需要监控？能监控到什么？应监控到何种程度？下面先谈谈运维的现状。1．运维现状
传统企业的网络运维是用户在使用计算机时发现故障之后通知运维人员，再由运维人员采取相应的补救措施。运维人员大部分时间和精力都花在处理简单且重复的问题上，而且由于故障预警机制不完善，往往是故障发生后才进行处理。因此运维人员的工作经常处于被动“救火”状态，这种模式让IT部门疲惫不堪。此处，不少企业存在盲目建设、重复建设运维系统的现象。目前在运维管理过程中缺少明确的角色定义和责任划分，以及自动化的集成运维管理平台，以至于问题出现后很难快速、准确地找到原因，而且在处理故障之后也缺乏必要的跟踪与记录。这种状况下，运维质量怎么能提高？生产部门怎么能对运维部门有满意的评价？2．发觉隐藏在流量背后的秘密
监测网络接口的通断流量已满足不了目前运维的需要，我们需要将流量分析得更深入。传统流量监控工具多数只能查看流量变化趋势，而很多漏洞、ShellCode攻击往往混杂在正常流量中进入企业网。要想知道每个数据包中携带了什么内容，普通的“摄像头”无法满足需求，需要更强大的“X透视相机”进行协议分析。只有准确理解事物的本质，才能对症下药。图1-2所示为利用Snort发现ShellCode攻击的实例。图1-2 ShellCode的有效载荷实例3．安全运维的挑战
在大数据时代下，运维工程师面对大量网络安全事件，往往遇到如下挑战。● 每天出现的巨大数量的安全报警。管理员很难对这些报警做出响
应。● 误报严重。管理员无法准确判断故障。● 大量重复报警。黑客的一次攻击行动会在不同阶段触发不同安全
设备的报警，这样导致在时间和空间上存在大量重复报警数据。
如果不实现安全事件的关联处理，就无法提高报警质量。
出现这些问题的原因是企业缺乏事件监控和诊断的运维工具，如果没有高效的管理工具来支持，那么就很难让故障事件得到快速处理。市面上有很多运维监控工具，例如商业版的Cisco Works 2000、SolarWinds、ManageEngine以及专注于故障监控的WhatsUp Gold，在开源领域有MRTG、Nagios、Cacti、Zabbix、Zenoss、OpenNMS、Ganglia、ELK等。
由于它们之间的数据没有关联，所以即便部署了这些工具，很多运维人员也没有从重复性的工作中解脱出来。成千上万条报警信息堆积在一起，运维人员根本没办法判断问题的根源在哪里，更别提信息筛选和数据挖掘了。
另外，在需要多次登录才能查看各种监控系统时，没有统一的门户站点，这就需要查看繁多的界面。而且更新管理的大多数工作都是手工操作，即使一个简单的系统变更或更新，往往也需要运维人员逐一登录系统，当需要维护成百上千台设备时，其工作量之大可想而知。而这样的变更和检查操作在IT运维中往往每天都在进行，这无疑会占用大量的运维资源。因此，运维工作人员需要统一的集成安全管理平台。4．人工整合开源工具
人工整合开源监控系统的难点如下。● 软件和各种依赖问题难以解决。● 各子系统的界面存在重复验证和界面风格问题。● 各子系统中的数据无法共享。● 无法实现数据间关联分析。● 无法生成统一格式的报表。● 缺乏统一的仪表盘来实时展示重要的监控报警。● 无法对网络风险进行评估。● 各子系统的维护难度增大。
在实践中可以发现，使用手动集成安全监控工具的方案遇到了性能问题，一些脚本会周期性地消耗较多的CPU和I/O资源，很难做到实时分析。5．集成安全运维平台的选择
优秀的安全运维平台需要将事件与IT流程关联起来，一旦监控系统发现性能超标或出现宕机现象，就会触发相关事件以及事先定义好的流程，自动启动故障响应和恢复机制。还需要能够筛选出运维人员以完成日常的重复性工作，提高运维效率。这些功能都是常规监控软件（如Cacti、Zabbix）所无法实现的。
与此同时，还要需能预测网络威胁，能够在故障发生前报警，让运维人员把故障消除在萌芽状态，将损失降到最低。
总体来说，运维工程师需要在一个平台中实现资产管理、分布式部署、漏洞扫描、风险评估、策略管理、实时流量监控、异常流量分析、攻击检测报警、关联分析、风险计算、安全事件报警、事件聚合、日志收集与分析、知识库、时间线分析、统一报表输出、多用户权限管理等功能。是否有这种平台呢？
目前市面上有多种产品可满足这样的要求，SIEM产品主要有HP ArcSight、IBM Security QRadar SIEM和AlienVault的OSSIM。现在的问题是并不缺少商业SIEM解决方案，在开源软件中，OSSIM是最佳选择。OSSIM可以将原来一个机架上复杂的应用服务器（OSSEC、OpenVAS、Ntop、Snort等）整合进OSSIM系统中，如图1-3所示。这样不但整合了系统，而且提高了机房利用率。图1-3 将诸多应用整合到OSSIM系统
之所以能够整合，原因在于OSSIM可将很多优秀的开源软件集成在一起，用户无须安装软件，无须编程就能将一个复杂的SIEM平台一步到位地部署在企业网中。
在使用OSSIM系统时，也不用考虑如何建模和考虑收集什么数据。它有设计好的几百个现成的插件，能帮你归纳并整理日志信息，保证所有数据都具有规范化的事件格式。
用户也不用考虑日志收集过多而导致的存储压力，因为OSSIM提供了关联分析技术和优化的存储设计，这可以从成千上万条日志中通过归纳、关联分析筛选出安全分析人员感兴趣的安全事件，并存储到数据库，同时向管理员发出报警。引入日志在线鲜活窗口可分析最新鲜的日志，而超过时间窗口的老数据会被归档到磁盘，这使得枯燥的日志收集分析变得更加智能化。OSSIM企业版为了将自己打造成一款智能化的运维分析平台，内置了2 000多条网络攻击关联分析规则和上百个不同指标的报表模板。
以前，网络运维人员为了掌握网络内部数据的情况，需要花费大量精力和时间去尝试各种管理软件，配置各种安全管理工具，但真正用于数据分析的时间却不多。OSSIM提供的平台可将企业网中所有的数据汇总组成一个大数据分析平台，让安全分析人员能够用更多的时间去分析数据，并能够利用这个集成化的统一运维平台更加客观、理性地分析现有网络的安全情况，而不是像过去一样花费大量时间搭建平台。
为了满足不同用户的需要，OSSIM既有可以部署在本地的版本，也提供了云平台（Hyper-V、Azure、AWS、VMware）的商业版本AlienVault USM Anywhere，主界面如图1-4所示。图1-4 AlienVault USM Anywhere主界面
根据用途不同，AlienVault又可细分为开源OSSIM和商业版USM及云平台这3种。这些集成监控工具可约束用户操作规范，并对计算机资源进行准实时监控，包括服务器、数据库、中间件、存储备份、网络、安全、机房、业务应用等内容，并通过自动监控管理平台来对故障或问题进行综合处理和集中管理。如果不想购买昂贵的商业软件，不愿意投入大量精力进行开发，那么可使用OSSIM平台。Q006 在OSSIM架构中为何要引入威胁情报系统？
传统的SIEM系统不适合用来处理非结构化数据。如果输入大量未经验证的数据（没有经过归一化处理的数据），那么这些数据将会以垃圾信息的形式来呈现，从而妨碍管理人员分析数据，并快速导致SIEM“消化不良”，拖垮整个系统。
而威胁情报能为安全团队提供“及时识别和应对攻陷指标的能力”。虽然有关攻击的信息比比皆是，但威胁情报在过程中能识别攻击行为，其原因是将这些信息与攻击方法和攻击进程的上下文知识进行了紧密结合。OSSIM将SIEM模块与威胁情报相结合。企业将以敏捷和快速反应的方式应对不断发展的、大批量、高优先级的威胁。如果不进行匹配，则企业就是在盲目地努力并且要面对混乱报警的局面。
在SIEM中观察网络威胁时，会令运维人员会过度关注内部细节。在所有威胁数据中，不论是结构化的还是非结构化的，都需要从更“全球化”的角度进行综合分析和研究。只有使用筛选后的高质量的威胁情报来预警，才能形成对威胁态势的感知能力。Q007 在OSSIM中OTX代表什么含义？
OTX（Open Threat Exchange）是AlienVault公开威胁交换项目建立在USM（统一安全管理平台）之上的系统，其作用是共享OSSIM用户收到的威胁，包括各种攻击报警发现的恶意代码信息。OTX是互联网中所有用户汇集力量共建的一个共享情报系统。
根据威胁来源的不同，还可以将威胁分为内部威胁和外部威胁两种。内部威胁是指系统的合法用户以非法方式进行操作所产生的威胁。外部威胁来自互联网，外部威胁情报通过从整个网络搜集来的本地威胁情报进行增强，并与环境数据关联。
这些实时威胁数据来自安全情报交流社区。在这个社区中有170多个国家和地区，30 000多个用户成功部署的OSSIM。各安全社区会上报威胁数据，其目的是更全面、多样化地防范各种攻击模式。
OTX的显示特性与Norse（可以反映全球黑客网络攻击的实时监控数据）显示的数据有些类似，不同的是OTX主要展示的是一种威胁交换分享。可以进入OSSIM Web界面查看OTX带来的动态特性，从一级菜单Dashboards中进入Risk Maps子菜单之后，系统可以利用数字技术在世界地图上动态展现网络威胁出自哪些国家或地区，它的IP信誉数据主要记录位于/etc/ossim/server/reputation.data文件中，其中包含了已知恶意IP地址数据库检查的IP信誉度评价。Q008 为什么要对IP进行信誉评级？
传统安全解决方案一般是先判断行为的好坏，再执行“允许”或“拦截”之类的策略。不过随着高级攻击的日益增多，这种方法已不足以应对各种威胁。许多攻击在开始时伪装成合法的流量进入网络，然后再实施破坏。因为攻击者的目标是渗透系统，所以需要对其行为进行跟踪，并对其IP地址进行信誉评级。
OSSIM中反映出的IP特征包括IP地址的域名、地理位置、操作系统和提供的服务功能等。这些信息用来构建出全球IP信誉系统。Q009 如何激活OTX功能？
刚装好OSSIM系统并初次进入Web UI配置向导时，系统会提示设置OTX，这时候首先注册账户并登录AlienVault官网，注册成功后用户会收到64位令牌。将这串数字复制下来，在OSSIM Web UI的Configuration→Administration→Main→Open Threat Exchange下输入令牌并激活，如图1-5所示。注意，此账户一定要激活才能生效。图1-5 输入OTX注册码
当启用OTX功能后，再次查看SIEM事件，会发现在IP地址后面多出了一个黄色的图标，如图1-6所示（见箭头所指的位置）。如果希望在地图上查看这些IP地址，那么需要开启OTX功能，其位置在菜单DashBoards→OTX中。图1-6 成功注册OTX的效果
注意，假如没有VPN环境，则OTX账号可能无法成功注册。Q010 如何手动更新IP信誉数据并查看这些数据？
AlienVault通过计划任务每小时更新一次IP信誉数据集，并同步产生一个修订版（文件名称为reputation.rev）。如果希望实现手动更新，那么需要知道信誉数据集的下载位置。
步骤1 使用wget命令下载数据文件。
步骤2 验证该文件的行数。
从结果中可以看出，共有28万条数据。AlienVault的IP信誉数据库容量大约为18MB。
下面是一个IP信誉数据文件的实例，并查看该文件的前10行内容。Q011 如何读懂IP信誉数据库的记录格式？
从下载的IP信誉数据文件可以看出，IP信誉数据库具有一个比较简单的记录格式，该格式包含了若干个#，它作为分隔符来分隔8个字段。61.67.129.14X#6#5#C&C#TB#Taip#25.0391998291,121.525001526#2IP,Reliability,Risk,Type,Country,Locale,Coords,x
每条记录对应一个IP地址的属性，每个IP地址通过Coords字段设定地理定位信息：经度/纬度。一个IP信誉数据库有28万条IP位置坐标，要从中提取坐标字段，解析这些数据需要花费一些时间。详细分析请参考/usr/share/ossim/www/otx/js/otx_dashboard.js.php。
程序提取经度/纬度信息后就能调用谷歌地图API展现位置了。
注意，若要完成本实验，需要能够顺利访问谷歌地图。Q012 为什么在浏览器中无法显示由谷歌地图绘制的AlienVault
IP信誉数据？ Google Maps API（谷歌地图API）是谷歌为开发者提供的地图编程接口，可以在OSSIM系统不自己建立地图服务器的情况下，将数据通过接口程序嵌入到OSSIM Web UI中来显示，从而借助于谷歌地图来显示恶意IP的地理位置。在OSSIM中，该服务以XML的形式在HTTP请求中回传数据。
由谷歌地图API提供的服务是免费的，对于通过API正常使用谷歌地图的网站基本没有限制。若无法显示地图，那么可能是无法访问谷歌服务器，建议先确保VPN网络环境畅通。Q013 OSSIM使用的Google Maps API在什么位置？
Google Maps API是谷歌为开发者提供的地图编程API。它可使开发者省无须建立自己的地图服务器，将Google Maps地图数据嵌入OSSIM的IP信誉数据库，从而实现嵌入Google Maps的地图服务应用，并借助Google Maps的地图数据为安全分析人员提供定位服务。要寻找 Google Map key，可查看/usr/share/ossim/www/session/login.php源码文件，其中key的值为$map_key= 'ABQIAAAAbnvDoAoYOSW2iqoXiGTpYBTIx7cuHpcaq3fYV4NM0BaZl8Ox DxS9p QpgJkMv0RxjVl6cDGhDNERjaQ'。Q014 在OSSIM系统中成功添加OTX key之后，为何仪表盘上没有显示？
初次进入Web UI后会发现仪表盘右侧没有任何OTX数据，如图1-7（a）所示，系统提示申请OTX账号后才能连接服务器。通常OTX成功连接之后，同步数据需要半小时，所以刚导入OTX key时，在仪表盘上不会立即显示出可视化数据，如图1-7（b）所示。当数据同步完成，即可查看OTX数据（以柱图形式显示），如图1-7（c）所示。（a）未设置OTX（b）OTX的载入状态（c）正常状态OTX图1-7 OTX数据的3种状态Q015 将已申请的OTX key导入OSSIM系统时，为何提示连接失败？
此类问题和无法显示地图的原因一样，是由访问AlienVault OTX服务器失败造成的，建议搭建畅通的VPN网络环境，重做此实验。Q016 外部威胁情报和内部威胁情报分别来自何处？
威胁情报系统的技术框架如图1-8所示。从中可看出，它包含了内部威胁和外部威胁两个方面的共享和利用。图1-8 威胁情报系统总体框架
外部威胁情报主要来自互联网已公开的情报源及各种订阅的安全信息、漏洞信息、合作交换情报和购买的商业公司的情报信息。公开的信息包含安全态势信息、安全事件信息、各种网络安全预警信息、网络监控数据分析结果、IP地址信誉等。威胁情报系统能够提供潜在的恶意IP地址，包括恶意主机、垃圾邮件发送源头与其他威胁，还可以将事件和网络数据与系统漏洞相关联。
在OSSIM仪表盘中，风险地图显示的交换信息主要来自安全厂商的客户，比如AlienVault公司的OSSIM可将客户上报的威胁汇聚为一个威胁数据库并在云端共享，其他客户可以共享这些情报。只要有一个客户在内网中发现了某种威胁并上报给AlienVault服务器，其他用户便可通过网络分享信息。只要在系统中发现可疑IP，就可以立即通过威胁系统里的IP信誉数据库发现该恶意IP的档案信息，详情如图1-9所示。图1-9 通过IP信誉查询的恶意IP的情报信息
内部威胁情报相对容易获取，因为大量的攻击来自网络内部。内部威胁情报源主要是指网络基础设施自身的安全检测防护系统所形成的威胁数据信息，其中既有来自基础安全检测系统的数据，也有来自SIEM系统的数据。企业内部运维人员主要通过收集资产信息、流量和异常流量信息、漏洞扫描信息、HIDS/NIDS信息、日志分析信息以及各种合规报表来统计信息。Q017 如何利用OSSIM系统内置的威胁情报识别网络APT攻击事件？
通常APT攻击事件的持续时间很长，它在OSSIM系统中反映出来的是一组可观测到的事件序列，这些攻击事件显示出多台攻击主机在某一段时间内的协同活动，如图1-10所示。图1-10 一组网络攻击报警图
网络安全分析人员需要综合不同的证据，以查清互联网全球性攻击现象的原因。可将攻击图和关联工具结合在一起进行评估，报警关联工具可以把特殊、多步攻击的零散报警合理地组合在一起，以便把攻击者的策略和意图清晰地告诉安全分析人员。除了以上实例之外，它还包括安全分析和事件响应。Q018 OpenSOC的组成结构和主要功能是什么，它和OSSIM之间的区别是什么？
OpenSOC是思科公司于2014年夏天推出的开源安全大数据分析框架，专注于网络数据包和事件的大数据分析，可实时检测网络中的异常。从时间节点上比较，当时的OSSIM已10岁，当OSSIM发展到5.5版本并推出企业版OSSIM时，它已身居魔力象限的第三象限。而思科的OpenSOC刚刚起步，目前尚无成功落地的项目。
同样都是依靠开源软件组成SOC平台，OpenSOC在存储上采用Hadoop，实时索引采用ElasticSearch组件，在线实时分析使用了Storm技术。图1-11所示为OpenSOC的组成结构。图1-11 OpenSOC的组成结构
在图1-11中，从左至右分别代表平台由下到上的层次，它们分别是数据源层、数据收集层、消息系统层、实时处理层、存储层、分析处理层，各层功能如下所示。● 数据源层：该层主要设定大数据分析平台中的数据来源。它由两
个部分组成，一是通过网络路由、网关等设备获取的数据包，将
这些数据流量以副本形式传递给上层的PCAP模块；另一个是通
过部署传感器，从系统日志、HTTP流量、文件系统和其他用户/
系统行为中获取到的日志信息，这些信息传递给上层的Flume模
块。● 数据收集层：该层主要收集初步获取的大量数据。一方面利用
PCAP机制收集数据包，另一方面利用Flume框架收集大量的日
志信息。Flume可将数据从一个地方实时传输到另一个地方，可
以对数据进行二次加工（例如筛选、标准化处理等），目的是将
这些零散的数据发送到统一的数据中心。● 消息系统层：数据收集层将捕获的数据包和海量日志提交给消息
系统层，该层主要将这些数据包和日志封装为消息队列，以便于
上层Storm的实时处理。这里主要使用的软件是开源的Kafka，主
要用于进行日志处理的分布式消息队列。● 实时处理层：下层处理形成的消息队列交由该层实时处理，
OpenSOC使用了Storm框架。Storm是一个开源的在线流分析系
统，可以方便地在一个集群中编写、扩展复杂的实时计算，其用
于实时处理，就好比Hadoop用于批处理。● 存储层：该层的主要任务是有效、合理地将前面获得的数据存储
到文件系统中。对于结构化数据，OpenSOC使用Hive来实现；
对于非结构化数据，则使用ElasticSearch来实现。Hive是基于
Hadoop的数据仓库，其特点是可以将SQL语句与Hadoop架构无
缝对接，将SQL语句转换成MapReduce（分布式计算模型）任
务，从而在Hadoop集群上进行大数据的存储、查询与分析。● 分析处理层：完成数据的收集、存储、查询之后，接下来就是数
据的分析工作。这里的分析工具可以由Python来编写，这里使用
的是PowerPivot（PP）和Tableau（TB）两类分析工具。其中
PowerPivot工具是一组应用程序和服务，能以极高的性能处理大
型数据集；而Tableau则是一款企业智能化软件，主要用于分析
数据。
OpenSOC和OSSIM之间的区别如下所示。● 架构分析：OSSIM的架构更简洁，适合处理中小规模的数据
量，而OpenSOC借助于Flume+Strom+ElasticSearch的结构更适
合大规模数据的采集分析。● OpenSOC采用Kafka作为缓冲区，为数据的生产方和消费方提供
了一个缓冲区域，而OSSIM采用了Redis+RabbitMQ的方式。两
者的目的都是实现多队列并行处理，有着异曲同工之处。● 在存储数据方面，OpenSOC采用Hive技术，而OSSIM并不是存
储所有采集的数据，而是只存储经过分析和加工后的事件和报警
日志。● 在数据可视化方面，OpenSOC采用了ElasticSearch方式对数据
进行索引，再利用Kibana通过API读取数据，最后以Web方式来
呈现。OSSIM使用Python+Perl对数据进行深度分析，消耗的资
源比较大。Q019 Apache Metron是新生代的OpenSOC吗？部署难度大吗？
2016年伊始，被思科“遗弃”的OpenSOC项目加入Apache项目，并改名为Apache Metron。从此开源SIEM领域又多了一员猛将，可直到2018年年底，Apache Metron各项功能依然比较简单，其部署难度比OSSIM要大。
Apache Metron致力于提供可扩展的开源安全分析工具，集成了各种开源的大数据技术，以提供安全监控和分析所需的集中工具。它还提供了日志聚合、全面的数据包捕获索引、存储、行为分析和数据丰富功能。Metron的运行机制如图1-12所示。
Metron框架集成了许多Hadoop的元素，为安全分析提供了一个可扩展的平台，该平台包含全面的数据包捕获、流处理、批量处理、实时搜索。它能实现快速有效的检测，并能快速响应先进的安全威胁。Apache Metron的框架如图1-13所示。图1-12 Metron的运行机制图1-13 Apache Metron的框架
就Metron与OSSIM的部署对比来说，虽然Apache Metron是从思科OpenSOC项目中发展出来的，但安装部署依然比较费时，而且对安装人员的要求也比较高，但Metron能处理的数据量比OSSIM大。如果你在研究机构工作，并且有足够的人力资源、时间资源，那么Metron是一个非常值得研究的系统。
安装Metron需要用到的知识有Apache Flume、Apache Hadoop、Apache HBase、Apache Hive、Apache Kafka、Apache Spark、Apache Storm、ElasticSearch、MySQL等。而且在安装Metron时，从安装基础的Linux平台开始，到软件下载编译安装、解决各种依赖关系、配置连接文件、调试故障等过程都极其复杂。本章测试
下面列出部分测试题，以帮助读者强化对本章知识的理解。
1．AlienVault OTX表示开放式威胁交换，OSSIM中将IP信誉评价数据记录在哪个文件中？（A）
A．/etc/ossim/server/reputation.data
B．/etc/ossim/agent/config.cfg
2．SIEM的全称是什么？（A）
A．安全信息与事件管理
B．安全信息管理系统
3．下列选项中不属于开源SIEM系统的是哪一项？（D）
A．OSSIM
B．OpenSOC
C．Apache Metron
D．HP ArcSight
4．下列产品中不属于威胁情报系统的是哪一个？（I）
A．AlienVault USM Enterprise
B．InsightIDR
C．Securitycenter CV
D．FireEye
E．Cyveilance
F．IBM X-force Exchange
G．LogRhythm
H．Verisign
I．ElasticSearch
5．IP信誉评价在SIEM系统中起什么作用？
传统安全解决方案一般是先判断行为的好坏，再执行“允许”或“拦截”之类的策略。不过随着高级攻击日益增多，这种方法已不足以应对各种威胁。许多攻击在开始时伪装成合法的流量进入网络，然后再实施破坏。因为攻击者的目标是渗透系统，所以需要对其行为进行跟踪，并对其IP地址进行信誉评级。
OSSIM中反映出的IP特征包括IP地址的域名、地理位置、操作系统和提供的服务功能等。攻击行为一旦被NIDS检测出来，可立即通过威胁系统里的IP信誉数据库发现该恶意IP的档案信息，分析人员就可依据这些信息快速识别攻击源。第2章 OSSIM部署基础
关键术语● 大数据平台● 堡垒机● OSSIM后台● SPAN● 分布式部署Q020 OSSIM主要版本的演化过程是怎样的？
表2-1总结了OSSIM 2.3～5.5几个主要版本使用的开发环境、网络服务、数据库/中间件等工具软件的演变情况。从中可以看出，越新的软件，其版本越高，但核心的安全软件版本并没有使用最新版本，而是使用稳定的版本。表2-1中的“×”表示无此软件包。表2-1 OSSIM软件版本演进OSSIM框架版本2.33.14.34.155.45.5Debian版本5.0.5.0.6.0.6.0.108.8.5（Lenn9（Lenn9（Sque（Squeeze7（Jes9（Jesy）y）eze））sie）sie）开发环境文件ext3系统内核2.6.312.6.323.16.03.16.0PHP5.2.65.3.35.6.295.6.30Zend 2.2.02.3.02.6.0EnginePerl5.1.05.10.05.10.15.20.25.20.2Pytho2.52.5.22.6.62.7.9nErlan×5.86.2gGCC4.24.3.24.44.9.2网络服务Apac2.2.92.2.162.4.10heOpen0.9.8g0.9.8o1.0.1tSSL网络服务Open5.1p15.5p16.7p1SSHOpen3.03.23.33.4.25.0.4VASMonit4.105.1.15.9.0OSS2.3.12.5.12.7.02.8.12.8.32.9.1ECNagio3.0.63.2.33.4.13.5.1sRsysl4.4.24.6.48.4.2ogSamb3.2.53.5.64.2.14aSquid×3.1.63.4.8Snort2.8.52.9.02.9.3××Suric×1.42.03.23.2ataNtop3.3.104.0.3××数据库/中MyS5.1.455.1.615.5.295.5.335.6.325.6.36间件QLRedis××2.4.153.2.3Memc××1.4.51.4.51.4.21achedRabbi×××3.2.13.3.5tMQ邮件Postfi2.5.52.7.12.11.3x其他Nmap4.625.516.407.30Snmp5.4.15.4.35.7.2
OSSIM版本的变迁如表2-2所示。表2-2 OSSIM版本的演变过程OSSIM诞生2003年8月OSSIM 0.1～0.49月OSSIM 0.510月OSSIM 0.611月OSSIM 0.7OSSIM成长期2004年1月OSSIM 0.82005年2月OSSIM 0.9.82006年6月OSSIM 0.9.9 rc22007年6月OSSIM 0.9.9 rc32008年2月OSSIM 0.9.92009年1月OSSIM 2.07月OSSIM 2.1OSSIM成长期2010年2月OSSIM 2.22011年7月OSSIM 2.3.19月OSSIM 3.0OSSIM发展期2012年1月OSSIM 3.1
试读结束[说明：试读内容隐藏了图片]