如何利用Flink实现超大规模用户行为分析

  各位晚上好,首先感谢大家参与我的这次主题分享,同时也感谢InfoQAI前线组织这次瀚思科技主题月!瀚思科技成立于2014年,按行业划分我们是一家安全公司。但和大家熟知的卖杀毒软件或者防火墙的传统安全公司不同。瀚思科技帮助各种中大型企业搭建安全大数据的分析平台,平台上应用的安全分析策略深度结合了多种机器学习算法,最终帮助企业定位与揭示各种安全问题。所以我们自己定位是一家安全+大数据+AI的公司。言归正传,今天的分享主题是:基于Flink流处理的动态实时大规模用户行为分析今天的分享主要包括四大部分:1)网络安全中的用户行为分析(简称UBA);2)实时超大规模用户行为分析的技术挑战;3)Drools规则引擎在CEP中的应用;4)Flink原生CEP组件。首先,我们先明确一个概念,什么是网络安全中的用户行为分析?简而言之,用户行为分析是通过分析用户数据(例如交易数据,用户登录数据),找出异常行为以检测外部及内部人士的攻击活动。举例来说,外部攻击通常是由外部黑客通过破解VPN密码并夺取员工帐户的方式实现。而内部攻击则往往表现为心存不满的或者即将离职的员工对敏感信息的窃取。...

获取客户端网卡MAC地址和IP地址实现JS代码

 作者:字体:[增加 减小]类型:转载 获取客户端的一些信息,如IP和MAC,以结合身份验证,相信很多人都会这样做吧,我们这里用Javascript,这样做的好处是不需要服务器端进行处理,有客户端自行获取,感兴趣的你可以参考下哈  在做B/S结构的系统时,我们常常需要获取客户端的一些信息,如IP和MAC,以结合身份验证。要获取服务器端的MAC很容易,但是要获取客户端的MAC的地址确要花费一翻心思,通常的做法是调用Win32API或直接调用nbtstat命令,这样做有很多问题,而另一种方法就是直接用客户端脚本,我们这里用Javascript,这样做的好处是不需要服务器端进行处理,有客户端自行获取,传递到服务器端,且速度和可靠性都比在服务器端获取好。 具体实现的html和javascript如下: 复制代码 代码如下:<HTML> <HEAD> <TITLE>WMIScriptingHTML</TITLE> <METAhttp-...

PHP检测及判断手机登录用户是安卓或爱疯(iPhone)客户端

   <?php/*PHP自动判断客户端平台(PC、安卓、iPhone、平板)*strtolower()函数把字符串转换为小写;*strpos()函数返回字符串在另一个字符串中第一次出现的位置。(如果没有找到该字符串,则返回false);*三目:(条件)?(为真时输出的值):(为假时输出的值),如:2>1?'真的':'假的',此三目会输出‘真的’字符串。*/$agent=strtolower($_SERVER['HTTP_USER_AGENT']);$is_pc=(strpos($agent,'windowsnt'))?true:false;$is_iphone=(strpos($agent,'iphone'))?true:false;$is_ipad=(strpos($agent,'ipad'))?true:false;$is_android=(strpos($agent,'android'))?true:false;if($is_pc){echo"这是PC(电脑)";}if($is_iphone){echo"这是iP...

基于JS的WEB会议室预订拖拽式图形界面的实现

 06年的一篇blog,转到这个博客上:        很早之前写的,后来由于这个功能模块取消,最终没有上线,所以与Server交互的那部分还没有写,不过那部分方案我也已经出来了,而且现在客户端这一部分已经通过了比较完备的测试。大家看看这一部分的代码,应该一看就懂。 那时候也不知道那么多js的UI库,所以全部都是自己绘制的,界面有点简陋,希望凑或者看吧,再就是我们这个项目是局域网项目,所以大家用的都是IE,没有考虑跨浏览器的因素。发出来希望对做同样应用的同志少走点弯路,我写的时候,网上没有这方面的代码,现在有没有就不知道了。 网页代码:<%@pagecontentType="text/html;charset=gb2312"pageEncoding="GB2312"%><%@pagelanguage="java"%><%@pageimport="java.util.List"%><style>th.timem{font-size:...

Mac 下实现 pyenv/virtualenv 与 Anaconda 的兼容

http://blog.csdn.net/vencent7/article/details/76849849自己一直用的pyenv和pyenv-virtualenv管理不同的python环境。昨天朋友推荐我安装一个Anaconda(通过官网下载安装带有图形界面AnacondaNavigator的版本,并非通过pyenv安装),结果安装之后似乎与原来的pyenv不太兼容,在网上搜了一下,有遇到类似情况的:https://stackoverflow.com/questions/40944277/pyenv-and-anaconda-issue-with-export-path经过尝试,我找到的解决方案如下:解决PATH环境变量的问题anaconda安装的时候会在 .bash_profile 的最后一行把自己的PATH加到最前,正是因为这个原因导致pyenv失效了(pyenv也是通过把自己的PATH加到最前来“劫持”python等命令实现多版本的管理),因为按照官方的安装说明,pyenv的几行命令应该放置在.bash_profile的最后。因此,编...

Facebook提出DensePose数据集和网络架构:可实现实时的人体姿态估计

https://baijiahao.baidu.com/s?id=1591987712899539583选自arXiv作者:RzaAlpGüler,NataliaNeverova,IasonasKokkinos机器之心编译参与:Panda 实现从2D图像到3D表面的对应在很多方面都有极具价值的应用前景。近日,FAIR发布了一篇研究论文,介绍了他们通过人工方式标注的图像到表面密集对应数据集DensePose-COCO以及基于此训练的DensePose-RCNN架构,得到了一个能实时地得到高准确度结果的系统。该研究发布后得到了广泛的关注,机器之心在此对该论文进行了摘要介绍,更多详情请参阅原论文和项目网站。 论文地址:https://arxiv.org/abs/1802.00434项目网站:http://densepose.org 03:49 本研究的目标是通过建立从人体的2D图像到基于表面的3D表征的密集对应(densecorrespondence)来进一步推进人类对图像的理解。我们可以认为这个任务涉及到一些其它问题,比如物体检测、姿态估计...

深入云存储系统Swift核心组件:Ring实现原理剖析

http://www.cnblogs.com/yuxc/archive/2012/06/22/2558312.html简介OpenStack是一个美国国家航空航天局和Rackspace合作研发的开源云计算项目,并成为Apache下的一个重要开源项目,目前已经发展到了180家公司参与其中。OpenStackObjectStorage(Swift)是OpenStack开源云计算项目的子项目之一。Swift的目的是使用普通硬件来构建冗余的、可扩展的分布式对象存储集群,存储容量可达PB级。OpenStackObjectStorage 最初由 Rackspace 采用Python语言开发,并于 2010 年 7 月贡献给 OpenStack,作为该开源项目的一部分。它的目的是用于托管 Rackspace的 CloudFilesservice ,原始项目代号是 swift,所以沿用至今。在分布式对象存储中的一个关键问题是数据该如何存放。Ring是Swift中最重要的组件,用于记录...

实现容器的底层技术

https://www.cnblogs.com/CloudMan6/p/7045784.html为了更好地理解容器的特性,本节我们将讨论容器的底层实现技术。cgroup和namespace是最重要的两种技术。cgroup实现资源限额,namespace实现资源隔离。cgroupcgroup全称ControlGroup。Linux操作系统通过cgroup可以设置进程使用CPU、内存和IO资源的限额。相信你已经猜到了:前面我们看到的--cpu-shares、-m、--device-write-bps 实际上就是在配置cgroup。cgroup到底长什么样子呢?我们可以在/sys/fs/cgroup中找到它。还是用例子来说明,启动一个容器,设置 --cpu-shares=512:查看容器的ID:在/sys/fs/cgroup/cpu/docker目录中,Linux会为每个容器创建一个cgroup目录,以容器长ID命名:目录中包含所有与cpu相关的cgroup配置,文件cpu.shares保存的就是 --cpu-shares 的配置,值为512。同样的,...

把虚拟教练带回家,「EuMotus」想用AI实现高精度运动反馈系统

https://36kr.com/p/5089139.html无需穿戴设备,只需一个红外摄像头和+已安装好EuMotus专利软件的手提电脑由政府主导的高达2200亿美金的健身与运动支出,15%的健身俱乐部年增长率,46%的中国年轻人正在使用健身器材与健身软件。这是美国IBIS此前发布的关于中国体育与健身产业行业报告的部分数据,36氪此前曾报道过Keep、Fittime、乐动力、超级猩猩、小熊快跑等健身产业的明星项目,他们都利用了互联网的红利改变了人们的生活。近期36氪接触了来自哈佛大学的初创团队团队「EuMotus」,与上述团队不一样的是,「EuMotus」希望借助于AI的力量提升整体健身市场的训练标准。这里有一组数据,中国有36%的成年人患有慢性疼痛;2016年清远马拉松参赛人数2万,受伤人数却达1万2;包括姚明、刘翔在内的中国体育明星因为运动伤害最终导致职业生涯的提早结束。事实上,每一个从事体育和健身产业的人都知道,不标准的运动与健身姿势会对身体带来极大的损伤,但并不是每一个用户都有专业教练或反馈系统帮助他们对动作进行监测、分析与矫正。「EuMotus」创始人Henry告诉36氪,...

SaaS加速器 III 技术中心:提供SaaS Launchkit,快速定制,一云多端等能力,一云多端将通过小程序云实现

https://yq.aliyun.com/articles/695746演讲主题:SaaS加速器III技术中心:聚合开放高效强大技术中心定义:阿里云以聚合开放的姿势,提供一个高效强大的技术开发平台技术中心中提到的企业应用典型开发场景,最主要的受众是开发者。今天我们将会重磅发布两款产品系列:SaaSlaunchKit和APaaS。第一,企业应用需要快速接入阿里云基础设施和售卖服务体系不论是合作伙伴还是企业客户的应用,都会面临一个怎样快速上云的问题;上云后的不同应用,如何带给企业客户统一的登陆和使用体验,这些就是SaaSlaunchKit想要解决的问题。此外,SaaSlaunchKit也希望让所有应用能快速接入售卖服务体系,开拓商机和变现。第二,从0到1,快速业务创新试错,需要大幅提升应用研发效率过去很多开发团队普遍会遇到三种状况,我们需要高效快速的定制,快速满足企业客户多变的应用需求。0代码:当公司没有储备软件工程师,且业务开发人员需要定制业务流程时,可以做到不写代码,通过宜搭上的简单操作,即拖即用,就能快速构建新流程新表单;低代码:当大客户定制需求多、时间紧时,即使服务商具备开发能力...

杂谈篇之我是怎么读源码的,授之以渔

  开心一刻    今天上课不小心睡着了,结果被老师叫起来回答问题,这是背景。无奈之下看向同桌寻求帮助,同桌小声说到选C,结果周围的人都说选C,向同桌投去一个感激的眼神后大声说道选C。刚说完教室就笑开了,老师一脸恨铁不成钢的表情说选你个头,我叫你翻译文言文你选C!你出去,你给我出去。看着同桌挤眉弄眼的表情,劳资真想说,这帮畜生互相抱怨道:你是不是又长胖了?  路漫漫其修远兮,吾将上下而求索!  github:https://github.com/youzhibing  码云(gitee):https://gitee.com/youzhibing  刚参加工作那会,没想过去读源码,更没想过去改框架的源码;总想着别人的框架应该是完美的、万能的,应该不需要改;另外即使我改了源码,怎么样让我的改动生效了?项目中引用的不还是没改的jar包吗。回想起来觉得那时候的想法确实挺......  工作了一年多之后准备跳槽了,开始了一轮的面试,其中有几个面试官就问到了相关的源码问题:ArrayList、HashMap的底层实现,spring、mybatis的相关源码。问源码的面试一般就是回去等消息,然后就没...

HashMap 中的容量与扩容实现,细致入微,值的一品!

  开心一刻      巴闭,你的脚怎么会有味道,我要闻闻看是不是好吃的,嗯~~爸比你的脚臭死啦!!……  JDK1.8中HashMap的底层实现,我相信大家都能说上来个一二,底层数据结构 数组+链表(或红黑树) ,源码如下/***数组*/transientNode<K,V>[]table;/***链表结构*/staticclassNode<K,V>implementsMap.Entry<K,V>{finalinthash;finalKkey;Vvalue;Node<K,V>next;Node(inthash,Kkey,Vvalue,Node<K,V>next){this.hash=hash;this.key=key;this.value=value;this.next=next;}publicfinalKgetKey(){returnkey;}publicfinalVgetValue(){returnvalue;}publicfinalStringtoString(){retu...

Spring拓展接口之BeanPostProcessor,我们来看看它的底层实现

  开心一刻    小明:“妈,我被公司开除了”,妈:“啊,为什么呀?”,小明:“我骂董事长是笨蛋,公司召开高层会议还要起诉我”,妈:“告你诽谤是吧?”,小明:“不是,他们说要告我泄露公司机密”  不管三七二十一,我们先来看看它的定义,看看spring是如何描述BeanPostProcessor的/**Copyright2002-2016theoriginalauthororauthors.**LicensedundertheApacheLicense,Version2.0(the"License");*youmaynotusethisfileexceptincompliancewiththeLicense.*YoumayobtainacopyoftheLicenseat**http://www.apache.org/licenses/LICENSE-2.0**Unlessrequiredbyapplicablelaworagreedtoinwriting,softw...

Spring MVC的工作原理,我们来看看其源码实现

  开心一刻    晚上陪老丈人吃饭,突然手机响了,我手贱按了免提……哥们:快出来喝酒!哥几个都在呢!我:今天不行,我现在陪老丈人吃饭呢。哥们:那你抓紧喝,我三杯白酒,把我岳父放倒了才出来的,你也快点。看着我老丈人的脸,我不知道该怎么回了……猪一样的队友  在关于利用maven搭建ssm的博客,我们一起来探讨下问的最多的问题中,我遗留了一个问题:Springmvc是何时、何地、如何将Model中的属性绑定到哪个作用域,这里的作用域指的是Servlet的四大作用域;不了解问题背景的可以回过头去看看我的上篇博文。  明确的解答我会放到最后,在解答问题之前,我先和大家一起来捋一捋Springmvc的工作原理。废话不多说,开始我们神秘的探险之旅!  在讲工作原理之前,我们先看一个简单的springmvc(ssm)示例,以及实现的效果  工程代码地址:ssm-web   工程结构与效果如上所示,我们不做过多的探究,我们打起精神往下看本篇的重点  准备-资源的加载与初始化    1、DispatcherServlet静态初始化      Di...

Spring拓展接口之FactoryBean,我们来看看其源码实现

  开心一刻   那年去相亲,地点在饭店里,威特先上了两杯水,男方绅士的喝了一口,咧嘴咋舌轻放桌面,手抚额头闭眼一脸陶醉,白水硬是喝出了82年拉菲的感觉。如此有生活情调的幽默男人,果断拿下,相处后却发现他比较木讷,问他为什么那天喝水那么有趣,他仰头道:鬼知道那杯水怎么那么烫啊!  FactoryBean的源码比较简单,大家可以细读下其注释,我做了简单的如下翻译/***实现此接口的bean不能用作普通bean。此bean暴露的对象是通过getObject()创建的对象,而不是它自身*/publicinterfaceFactoryBean<T>{/***返回此工厂管理的对象的实例(可能是共享的或独立的,取决于isSingleton()的返回值)*/@NullableTgetObject()throwsException;/***返回此FactoryBean创建的对象类型,*/@NullableClass<?>getObjectType();/***该工厂管理的对象是否为单例?*如果是(returntrue),getObject()总是返回同一个共享的实例,该对象会被...
首页上一页...619620621622623...下一页尾页