神策系统技术简介课件.ppt

《神策系统技术简介课件.ppt》由会员分享，可在线阅读，更多相关《神策系统技术简介课件.ppt（28页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、神策系统技术简介2016-12-61大家好 系统简介1 Web研发的新玩法2 大数据研发的新玩法32大家好神策（数据分析管理平台）总体介绍n作业管理：统一平台化管理离线数据分析脚本，支持任务调度，频繁变更小需求运营自助完成，提高工作效率；n入侵检测：作为帐号异地登录提醒和设备锁等被动安全手段外的有效补充，主动防御撞库、弱密扫描和暴力破解；n实时监控：对任一个nginx集群服务的无侵入式监控，零接入成本，实时全服务、单接口及单机关键服务指标。认证数据入侵检测实时监控作业管理数据分析管理平台（神策）数据采集数据分析任务调度可视化管理数据分析平台化、自动化和智慧化通用日志分散脚本p平台优势（部分功能

2、对标腾讯蓝鲸）：通用化平台，几乎零成本应用于其它部门；flume无侵入式采集日志通过spark实时分析；支持服务质量三级下钻（集群、接口、单机）；作业管理支撑分布式任务调度，运行可视化；p平台现状：作业管理已上线，管理100多个分析推送任务；实时业务监控已经在云机测试环境运行；帐号入侵检测完成功能测试，准备生产计算集群。3大家好2个Web子系统（现场演示）4大家好2个Spark实时分析子系统-云机环境AccountAnalyzerWebAnalyzer5大家好作业管理（数据分析、消息推送的平台化、可视化）6大家好实时入侵检测（异常登录IP、帐号识别和拦截，可视化管理）7大家好实时入侵检测（异常

3、登录IP、帐号识别和拦截，可视化管理）8大家好实时业务监控（并发量、成功率、服务质量P99P999P9999）9大家好丰富的系统监控功能10大家好主要需求1l通过GUI管理、简化、自动化脚本的执行l提高业务支撑效果，业务人员能简单执行数据分析实时分析l找出异常IP，实时推送l监控系统-子系统-机器性能l每日数据量：帐号ng日志+acc登录日志+mailLogin日志，平均超过3.8亿条/天条件组合后，有几十种情况要计算有攻击的情况下，数据量增长会超过10倍整个系统有数据分析管理+实时服务质量监控两个系统构成11大家好主要需求2l通过GUI实现分散的脚本平台化管理、简化、自动化脚本的执行l提高业

4、务支撑效果，业务人员能简单执行l实现远程拉取，分发管理分析脚本作业文件脚本可视化分析帐号安全需求l帐号面临机器撞库、弱密扫描的安全威胁l攻击者的IP资源较多，可变换l实时分析多个异常攻击特征组合，准确找出异常IP，异常帐号，进行实时拦截通用业务实时监控l现有监控实时性不高，数据维度不支持，不支持多级下钻l监控系统-子系统-机器性能l每日数据量：帐号ng日志+acc登录日志+mailLogin日志，平均超过3.8亿条/天12大家好主要功能l脚本管理l集群环境下自动调度执行l脚本执行过程监控l脚本执行结果监控l生成脚本l执行脚本l脚本执行情况、历史管理数据分析（作业管理）对标腾讯蓝鲸作业平台l业务

5、实时监控l用户登录行为分析l业务配置管理l异常登录IPl异常帐号实时数据分析l系统配置l用户管理l丰富的系统监控功能l实时性可以5秒内l稳定可靠、轻量级大数据服务系统配置管理13大家好 系统简介1 Web研发的新玩法2 大数据研发的新玩法314大家好整体技术架构15大家好项目经验总结l分2个工作阶段：8-9月：数据分析10-11月：实时分析l人员变动频繁，换3拨人l大幅节约正式人力（仅2人全职，其中1人10月底开始全职）、机器l为团队（研发、运维）的工作做减法l为产品质量、安全性做加法l持续创新，注重业务支撑l注重技术创新l首次实现脱离hadoop生态圈的大数据系统l首次支持把云机作为大数据生

6、产环境16大家好主要技术亮点l采用spring boot+Cassandra设计、开发；l提供bash脚本操作Cassandra，实现java与脚本之间的互操作；l通过nginx+多个Web应用实现动静分离；l轻量级大数据方案l基于集群，可靠地动态调度运行任务，支持大量任务的运行，消除了任务调度的单点，保障了任务调度的可靠性、唯一性；lSpring boot与shiro、天翼帐号开放平台成功集成，实现基于天翼账号的对用户认证、授权的支持行业公司17大家好重要技术细节l没有JSP，前端全部是静态文件；l全面支持HTTPS；l全部异步操作；l支持移动端；l不需要开发，系统质量反而更好：读配置、JS

7、ON双向处理、HTTP处理、访问持久层库等；l针对生产需要设计，标准监控接口，丰富、深入的监控功能数据分析实时分析（大数据）l有状态操作；l实时、主动通知；l整合spark、Cassandra、Kairos、zk；l基于rdd的算法优化。l消除单点，真正的、简单而强大的集群。公司内首创18大家好其它工具调研应用大幅减少代码量，系统性能反而更高！19大家好 系统简介1 Web研发的新玩法2 大数据研发的新玩法320大家好大数据计算集群架构、部署架构Spark 1.6.0 On Yarn（CDH5.7.2）21大家好主要技术亮点范围：22大家好主要难点l数据量变化大，有攻击时可飙升超过10倍l计算

8、量大，调优措施依赖环境l需求复杂、不断变化l模板定制，业界独一无二lScala、rdd与Java做法差异较大lSpark编程模型与Java等传统做法差异较大l技术范围很广，需改造、定制部分开源项目23大家好成本控制、主要困难l全职员工仅2人，1人10月底投入；l计算集群支持云机环境，不一定需要物理集群；l减少了研发、运维工作量；l没有产品、UED、测试人员，没有大数据运维；成本控制主要困难l资源匮乏：直到11月底，计算集群资源才满足要求；9月低前，拿2核云机做大数据计算资源l有人提出：换编程语言（scala-java）；l有人提出：应该采用基于Window的计算；l有人提出：应该采用Hadoo

9、p MapReduce，而不是spark；l其它没信心24大家好成本、风险控制良好，4个月完成2个项目l全职仅2人，7实习生；l计算集群支持云机环境，不一定需要物理集群；l减少了研发、运维工作量；l没有产品、UED、测试人员，没有大数据运维。l提出换编程语言（scala-java）；l应该基于Window计算；l应该采用Hadoop MapReduce，而不是spark；l其它没信心l需求不断增加、变、随意（例如，删除异常帐号-增强）；l4个月换3拨人，其它项目优先；l无线办公网络慢、不稳定；l为节约成本，直到11月底才有足够的机器25大家好总结l人员应基本稳定、满足l不能不断新增需求，今天（2016-12-06）又加有1个l资源控制应先满足基本需求l机器资源、环境到今天，物理集群资源都不充裕别人很简单就有100多g用，这里申请很久2个应用才100gSpark 1.3、1.5、1.6l大坑，牺牲健康为工作，别人还以为很简单教训致谢l感谢帐号研发部提供业务需求l感谢大数据运维的友情支撑l数据分析感谢黄煌、杨方维、姜健、蔡俊华、唐莉萍的大力支持（5人，兼职）感谢实习生高新、江露（2人）l实时服务质量监控感谢（3人）何成（唯一全职，10月下旬开始）、唐宇、张宏山感谢5名实习生，特别是张涛26大家好问题讨论感谢何成友情提供电脑!27大家好Bye Bye28大家好