大数据驱动的社会安全态势感知方法及应用 pdf下载

　　全球每天都会发生不同的社会安全事件，给人们的生活秩序、政府的公共管理，甚至社会的和谐与稳定带来不同等级的非正面影响。在这些社会性事件中，示威、集会、罢课、停工、罢市乃至“占领”之类的群体抗议事件，常常由于涉及大多数人群的日常生活、秩序、环境甚至政治权利等切身利益问题，会或轻或重地影响社会稳定，有些甚至引发大规模骚乱或暴乱，造成民众与警察冲突、社会经济发展迟滞、内部损耗和政权失控等严重后果。
　　国内在数据驱动的社会安全事件研究方面的大事记当属社会安全风险感知与防控大数据应用国家工程实验室的成立。该实验室是国家发改委2017年首批批准建设的国家工程实验室，由中国电子科技集团公司电子科学研究院作为建设主体。作为国家科技创新体系的重要组成部分，其成立对于提升对潜在社会安全事件的主动发现、提前预警、及时防范能力，推动在社会风险感知与防控大数据应用领域的未来布局和产业的快速发展，具有重要意义。不过鉴于起步较晚，国内目前尚无大规模公开的数据，研究多处于零散状态，未成体系。
　　综上，《大数据驱动的社会安全态势感知方法及应用》旨在探索利用海量的GDELT数据，以数据挖掘和机器学习方法为主要手段，揭示蕴含在开源大数据中的群体抗议事件的关联信号和发生机理，为群体抗议事件的实时检测、监控与预测预警提供数据、理论和模型基础，并对当前学界领域前沿进行了综述分析，为国内大数据驱动的社会安全态势感知领域贡献分析方法与系统应用案例。

第1章 大数据：社会安全研究的新范式
1．1 引言
1．1．1 社会安全事件
1．1．2 大数据时代的社会安全研究
1．2 社会安全态势感知
1．2．1 社会安全态势感知的必要性
1．2．2 态势感知的定义
1．2．3 社会安全态势感知概念模型
1．3 社会安全态势感知研究进展
1．3．1 社会安全事件的检测方法
1．3．2 社会安全事件的预测方法

第2章 数据源：无处不在的社会传感网络
2．1 社会安全领域常用数据源
2．1．1 宏观数据
2．1．2 原子事件数据
2．1．3 复合事件数据
2．1．4 社交媒体及其他非结构化数据
2．2 GDELT数据项目
2．2．1 GDELT数据库概况
2．2．2 GDELT数据表
2．3 GDELT数据实时采集
2．3．1 使用大数据架构的缘由
2．3．2 基于元数据队列的多线程数据获取方法
2．3．3 基于Hive的海量数据ETL方法
2．3．4 基于HDFS、Hive与SparkSQL的数据仓库构建技术

第3章 态势理解：群体抗议事件检测
3．1 目标和任务
3．2 频繁子图挖掘
3．2．1 问题描述
3．2．2 子图增长策略
3．3 基于频繁子图挖掘的群体抗议事件特征抽取方法
3．3．1 基本概念
3．3．2 GDELT数据预处理方法
3．3．3 基于图描述语言的事件交互图表示方法
3．3．4 事件交互图集构建方法
3．3．5 频繁子图挖掘
3．3．6 基于频繁子图的群体抗议事件特征构建方法
3．3．7 实验与分析
3．4 基于多分类器调优的群体抗议事件检测模型
3．4．1 检测模型框架
3．4．2 群体抗议事件检测评价指标
3．4．3 实验与分析
……

第4章 态势预测：未来社会安全事件
第5章 实践应用：全球安全威胁分析预警平台

总结
参考文献

　　全球每天都会发生不同的社会安全事件，给人们的生活秩序、政府的公共管理，甚至社会的和谐与稳定带来不同等级的非正面影响。在这些社会性事件中，示威、集会、罢课、停工、罢市乃至“占领”之类的群体抗议事件，常常由于涉及大多数人群的日常生活、秩序、环境甚至政治权利等切身利益问题，会或轻或重地影响社会稳定，有些甚至引发大规模骚乱或暴乱，造成民众与警察冲突、社会经济发展迟滞、内部损耗和政权失控等严重后果。
　　近年来，国内外发生的大范围群体抗议事件屡见不鲜。这些群体抗议事件虽然最终得到了妥善控制或解决，但给社会稳定和经济发展造成了重大损失。例如，2010年末至2011年初在北非突尼斯发生的大规模群体性反政府示威抗议事件直接导致政权倒台，这个被称为“茉莉花革命”的事件迅速蔓延至其他阿拉伯国家，激发了阿尔及利亚、埃及、利比亚、叙利亚、也门、巴林等国的群体性抗议运动，西方媒体称之为阿拉伯世界的一次革命浪潮，即“阿拉伯之春”运动。这场运动直接导致埃及、也门等政权更替，利比亚内战，以及叙利亚危机等。
　　鉴于群体抗议事件的频繁出现以及高昂的社会成本，全球各个国家政府机构都十分重视对这类公共安全事件管控与决策能力的提升，并且投入了大量人力物力研究和把握这类事件的内在演变机理和早期检测、监控与预警机制。尤其是从20世纪80年代开始，许多国家从事社会科学与管理科学的大批科学家开始与计算机科学家合作开展国际政治与外交关系事件案例数据的人工收集、编码入库与定量化分析研究工作，其中以美国的研究工作最具代表性。
　　从20世纪80年代开始，美国国防高级研究计划局（Defense Advanced Research Projects Agency，DARPA）先后资助了多项国际政治与外交关系事件案例库的建立与定量分析计划。美国国家科学基金会（National Science Foundation，NSF）从20世纪90年代开始进一步加大和持续资助事件案例库的编码标准、自动编码技术与定量分析模型的研究工作，其研究成果后来直接用于DARPA投入3700万美元建设的综合危机早期预警系统（Integrated Conflict Early Warning System，ICEWS）。该系统于2008年正式投入美国军方使用。据该项目负责人O'Brien于2010年称：ICEWS可以从各种来源自动收集全球冲突危机事件的数据，并能够自动编码入库和建立类似抗议性质事件的检测甚至提供模型预测。系统从近100个新闻媒体自动收集和编码了1998-2006年美国太平洋作战司令部管辖的亚洲国家的6500万条冲突危机新闻报道的事件数据，处理了超过2.5亿行文本数据，其数据规模比美国军方从其他渠道获得的数据高出2个数量级，开发了近100个统计与仿真预测模型。美国军方利用该系统预测亚洲国家发生冲突危机事件的概率准确性可达到近80%。正因为该系统强大的预测能力，原本计划公开的ICEWS数据库被美国军方列为机密数据，不允许除美国政府和美国军方以外的国家或机构使用。进入21世纪以来，随着宽带互联网、社交网络以及移动互联网技术的飞速发展，全球新闻资讯网站、论坛、博客、推特（Twitter）和脸书（Facebook）等社交网络得到广泛应用，这使得海量互联网开源数据的获取变得真正可行。
　　2013年，美国乔治城大学教授Kalev Leetaru与宾夕法尼亚大学教授Philip A.Schrodt共同主持创建的全球整合新闻数据库（Global Database of Events，Language，and Tone，GDELT）宣布正式对全球开放。GDELT基于冲突与调解事件观察（Conflict and Mediation Event Observations，CAMEO）编码体系，对抽取到的事件要素信息进行编码存储。该数据库自动编码入库了自1979年以来全球新闻资讯、电视广播、报纸甚至学术论文中提到的所有冲突危机事件数据，监测几乎全球每个国家，涵盖100多种语言，并且可以实时地将60多种主要语言翻译成英文进行处理，从中提取人物、地点、组织、来源、事件和共现关系等信息，帮助人们掌握和理解每时每刻发生在全球每个角落的新闻。此外，该数据库每天都在自动更新，从2015年2月19日开始，更是以15分钟一次的频率进行不断更新。该数据库的公开为世界各国科学家研究国际冲突危机事件，尤其是群体抗议事件提供了丰富的数据来源。
　　国内在数据驱动的社会安全事件研究方面的大事记当属社会安全风险感知与防控大数据应用国家工程实验室的成立。该实验室是国家发改委2017年首批批准建设的国家工程实验室，由中国电子科技集团公司电子科学研究院作为建设主体。作为国家科技创新体系的重要组成部分，其成立对于提升对潜在社会安全事件的主动发现、提前预警、及时防范能力，推动在社会风险感知与防控大数据应用领域的未来布局和产业的快速发展，具有重要意义。不过鉴于起步较晚，国内目前尚无大规模公开的数据，研究多处于零散状态，未成体系。
　　综上，本书旨在探索利用海量的GDELT数据，以数据挖掘和机器学习方法为主要手段，揭示蕴含在开源大数据中的群体抗议事件的关联信号和发生机理，为群体抗议事件的实时检测、监控与预测预警提供数据、理论和模型基础，并对当前学界领域前沿进行了综述分析，为国内大数据驱动的社会安全态势感知领域贡献分析方法与系统应用案例。
　　本书初稿完成后，喻廷昌、沈大勇、郭立翔、李硕等参与审阅了其中部分章节，提出了许多修改意见，在此表示感谢。
　　由于作者水平有限，书中难免有错误和不当之处，欢迎专家和读者给予批评指正。