大数据时代之hadoop(一)：hadoop安装大数据时代之hadoop(二)：hadoop脚本解析大数据时代之hadoop(三)：hadoop数据流（生命周期）大数据时代之hadoop(四)：hadoop分布式文件系统（HDFS)        hadoop的核心分为两块，一是分布式存储系统-hdfs，这个我已经在上一章节大致讲了一下，还有一个就是hadoop的计算框架-mapreduce。            mapreduce事实上就是一个移动式的基于key-value形式的分布式计算框架。        其计算分为两个阶段，map阶段和reduce阶段，都是对数据的处理，由于其入门很easy，可是若想理解当中各个环节及实现细节还是有一定程度的困难，因此我计划在本文中仅仅是挑几个mapred...

这一篇我会介绍一些dreamvc的核心类Dispatcher都做了些什么，首先我们先来看一看init方法，这是在DispatcherServlet和DispatcherFilter里面都会调用到的一个方法voidinit(FixableConfigconfig)throwsServletException{this.servletContext=config.getServletContext();try{initProxy(config);log.info("initcontrollersandcontrol");}catch(ServletExceptione){throwe;}catch(Exceptione){thrownewServletException("Dispatcherinitfailed.",e);}}/***controller/Interceptor/*@paramconfigcontext*@throwsException*/privatevoidinitProxy(FixableConfigconfig)throws...

MINAMINA(MINAISNOTAPP)是在微信中开发小程序的框架。MINA的目标是通过尽可能简单、高效的方式让开发者可以在微信中开发具有原生APP体验的服务。MINA提供了自己的视图层描述语言WXML和WXSS，以及基于JavaScript的逻辑层框架，并在视图层与逻辑层间提供了数据传输和事件系统，可以让开发者可以方便的聚焦于数据与逻辑上。文件结构框架程序包含一个描述整体程序的app和多个描述各自页面的page。一个框架程序主体部分由三个文件组成，必须放在项目的根目录，如下：文件必填作用app.js是小程序逻辑app.json是小程序公共设置app.wxss否小程序公共样式表一个框架页面由四个文件组成，分别是：文件类型必填作用js是页面逻辑wxml是页面结构wxss否页面样式表json否页面配置配置我们使用app.json文件来对微信小程序进行全局配置，决定页面文件的路径、窗口表现、设置网络超时时间、设置多tab等。以下是一个包含了所有配置选项的简单配置app.json ：{"pages":["pages/wechat/wechat","pages/note/note"...

最近看Tornado源码给了我不少启发，心血来潮决定自己试着只用python标准库来实现一个异步非阻塞web框架。花了点时间感觉还可以，一百多行的代码已经可以撑起一个极简框架了。需要的相关知识点：HTTP协议的请求和响应IO多路复用asyncio掌握上面三个点的知识就完全没有问题，不是很清楚的同学我也推荐几篇参考文章　　HTTP协议详细介绍（https://www.cnblogs.com/haiyan123/p/7777924.html）　　Python篇-IO多路复用详解（https://www.jianshu.com/p/818f27379a5e）　　Python异步IO之协程(一):从yieldfrom到async的使用（https://blog.csdn.net/SL_World/article/details/86597738）实验环境：python3.7.3 由于在框架中会使用到async/await关键字，所以只要确保python版本在3.5以上即可。我们的框架要实现最基本的几个功能：封装HTTP请求响应路由映射类视图和函数视图协程支持 当然一个完善的...

本文通过文章同步功能推送至博客园，显示排版可能会有所错误，请见谅!描述：Django框架内置了分页功能，但其只能满足简单需求，难以实现复杂功能。实现代码：#!/usr/bin/envpython3#-*-coding:utf-8-*-__auth__='SongWei'fromdjango.utils.safestringimportmark_safefrommathimportceilclassPaginator:'''自定制分页功能，支持设置标签属性，支持展示页码，支持保留其他GET参数，支持页面跳转后元素定位。相关可用属性如下：start获取数据起始位置end获取数据结束位置prvePage上一页页码nextPage下一页页码maxPage总页码pvreCode上一页显示文字nextCode下一页显示文字attr获取普通标签属性current_attr获取当前页标签属性html生成html标签直接用于模板语言bootstrap直接使用bootstrap分页样式需要导入bootstrapbootstrap_size仅使用boostrap时模板生效可选设置lg（大）,sm（小）pos...

一、功能描叙1、完成了登录和注册功能2、完成了群聊和单聊功能，文件上传没弄3、demo演示效果 http://120.24.240.78/chat/backend/web/chat/chat.html二、预览效果展示 三、部分代码展示1、socket代码写在yii的console下面单独用了一个controller来整理swoole扩展的功能 <?php/***CreatedbyPhpStorm.*User:wudg*Date:16/10/5*Time:下午1:31*/namespaceconsolecontrollers;useyiiaseController;useyiihelpersJson;useYii;usecommonmodelsUser;classSwooleControllerextendsController{public$fdArr=[];publicfunctionactionWebsocket(){$server=newswoole_websocket_server("0.0.0.0",9501);$server->s...

scrapy的文档请移驾到 http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/install.html1、准备工作 安装python、Spyder、scrapy如果想要数据直接入mysql还需要安装python的 MySQLdb依赖包本人mac操作系统安装MySQLdb的时候出现了些小问题 最后是重装了openssl才通过的Spyder是编写python的ide 2、新建项目 cd/usr/local/var/www/python执行scrapystartprojectmyblog则新建了一个名称为myblog的项目，执行完成后你的python文件夹就出现了myblog文件夹了cnblog_spider.py是后来我新建的后缀.pyc是执行python后的编译的文件其他的都是执行创建项目后就自动生成的文件了 3、编写爬虫脚本cnblog_spider.py分析cnblog的网站使用scrapyshell http://www.cnblogs.com/thre...

 IT刊百家号17-05-2220:16引言随着大数据时代的来临，大数据产品层出不穷。我们最近也对一款业内非常火的大数据产品-ApacheFlink做了调研，今天与大家分享一下。ApacheFlink(以下简称flink)是一个旨在提供‘一站式’的分布式开源数据处理框架。是不是听起来很像spark？没错，两者都希望提供一个统一功能的计算平台给用户。虽然目标非常类似，但是flink在实现上和spark存在着很大的区别，flink是一个面向流的处理框架，输入在flink中是无界的，流数据是flink中的头等公民。说到这里，大家一定觉得flink和storm有几分相似，确实是这样。那么有spark和storm这样成熟的计算框架存在，为什么flink还能占有一席之地呢？今天我们就从流处理的角度将flink和这两个框架进行一些分析和比较。1本文的流框架基于的实现方式本文涉及的流框架基于的实现方式分为两大类。第一类是NativeStreaming，这类引擎中所有的data在到来的时候就会被立即处理，一条接着一条（HINT：狭隘的来说是一条接着一条，但流引擎有时会为...

http://www.oschina.NET/translate/a-guide-to-Python-frameworks-for-Hadoop 最近，我加入了Cloudera，在这之前，我在计算生物学/基因组学上已经工作了差不多10年。我的分析工作主要是利用python语言和它很棒的科学计算栈来进行的。但Apache hadoop的生态系统大部分都是用Java来实现的，也是为Java准备的，这让我很恼火。所以，我的头等大事变成了寻找一些Python可以用的Hadoop框架。在这篇文章里，我会把我个人对这些框架的一些无关科学的看法写下来，这些框架包括:Hadoop流mrjobdumbohadoopypydoop其它最终，在我的看来，Hadoop的数据流(streaming)是最快也是最透明的选项，而且最适合于文本处理。mrjob最适合于在AmazonEMR上快速工作，但是会有显著的性能损失。dumbo对于大多数复杂的工作都很方便(对象作为键名(key))，但是仍然比数据流(streaming)要慢。请继续往下阅读，以了解实现细节，性能以及功能的比较。一个有趣的问题为...

近期，COSO发布了新版（2017版）的企业风险管理框架：《企业风险管理—与战略和业绩的整合》。相较于2004年发布的上一版框架《企业风险管理—整合框架》，新框架强调了制定战略和提升绩效过程中的风险。该版本框架主要分为两个部分：第一部分提供了对当前和不断发展的企业风险管理概念和应用的看法。第二部分为框架内容，由五种易于理解的部分构成，这五部分容纳了不同的观点和执行结构，并加强了战略和决策的制定。2017版的框架在哪些方面做了更新呢？我们为大家做了简单的翻译整理COSO的新框架基于以下这样一个基本假设：即每个企业存在的目的均旨在为利益相关方提供价值，但在价值追求过程中会面临不确定性。“不确定性”一词被定义为未知的事项，而“风险”则定义为，该等不确定性对制定和执行业务战略以及实现业务目标造成的影响。因此，新的框架认为：管理层面临的一大挑战是确定企业准备接受和能够接受多少不确定性，亦即多少风险。有效的“企业风险管理”能够使管理层在权衡风险和机遇的同时，提升企业创造、保护和最终实现价值的能力。对风险...

   其实上一篇里面提到的集成datatables.net就是admin-lte里面的一个子插件，不过这个子插件，他是自带types定义文件的，admin-lte这个东西在DefinitelyTyped里面目前没有人给它写过types定义,不过倒也不难，他也是基于jQuery的扩展，同类典型是Bootstrap，自己仿照Bootstrap的types定义，给出一个片段，其他的后续自己补上：///<referencetypes="jquery"/>interfaceJQuery{layout(fixDes:string):JQuery;}interfaceJQuerySupport{transition:boolean|TransitionEventNames;}declaremodule'admin-lte'{}   这个搞定以后，在tsconfig.app.json配置文件里面把admin-lte模块加进'types'配置项目列表，根据上篇集成datatables.net的说明，之后就可以直接调用接口定义好的方法...

对比深度学习十大框架：TensorFlow并非最好？TensorFlow与主流深度学习框架对比五大主流深度学习框架对比：MXNET是最好选择主流开源深度学习框架对比分析主流深度学习框架对比深度学习框架的评估与比较几种机器学习框架的对比和选择机器学习框架比较DL4J与Torch、Theano、TensorFlow、Caffe、Paddle、MxNet、Keras和CNTK的比较主流深度学习框架对比：看你最适合哪一款？从PyTorch到Mxnet，对比7大Python深度学习框架...

http://www.sohu.com/a/124375769_4899792016年6月，美国反欺诈财务报告委员会（TheCommitteeofSponsoringOrganizationsoftheTreadwayCommission,COSO）发布了新版企业风险管理框架“企业风险管理-服务于企业战略和绩效的实现”（EnterpriseRiskManagement-Aligningriskwithstrategyandperformance）征求意见稿，这是继2004年COSO正式公布企业风险管理框架（EnterpriseRiskManagementFramework,ERM）以来第一次对ERM框架进行修订和完善，更确切的说是对ERM框架大刀阔斧的进行了重新构思和设计。新版ERM框架已经于2016年9月30日截止全球范围内收集反馈意见，并计划于2017年第一季度正式公布。1.新版ERM框架出台的背景众所周知，在企业风险管理和内部控制理论研究领域，COSO组织有着举足轻重的位置，从1992年出版企业内部控制整合框架（InternalControl-Integr...

Umeditor提供了一个上传文件通用的类Uploader.class.php,首先将Uploader.class.php类放入CI框架的libraries目录下更名为Myuploader.php然后将该类提供的构造方法替换掉本来的构造方法：[php] viewplain copy /**     * 构造函数     * @param string $fileField 表单名称     * @param array $config 配置项     * @param bool $base64 是否解析base64编码，可省略。若开启，则$fileField代表的是base64编码的字符串表单名   &...

Hello,各位亲，新的一周来临啦，很高兴这么快又跟大家伙见面！话说上一回，军哥带大家用JQuery写了一个城市级联菜单的例子 ，不知道亲们学会了多少，是否自己可以独立写出来了呢。军哥很是期待大家学有所获的，有不明白的地方随时留言吧。好了，接下来，今天军哥要带大家来一起来完成如何在CI框架中集成百度的UEditor编辑器。我们先简单来了解一下为什么选择百度UEditor编辑器？UEditor是由百度web前端研发部开发所见即所得富文本web编辑器，具有轻量，可定制，注重用户体验等特点，开源基于BSD协议，允许自由使用和修改代码，在众多的编辑器中还是很出类拔萃的，目前百度编辑器也作为worderPress的插件替换了之前默认的编辑器，也足以看出UEditor的强大。再来看一下效果图：不赖吧，相信有淫已经等不急了吧！别急，我们一步步来~~一、官网上http://ueditor.baidu.com/website/ipanel/panel.html#下载最新UEditor的PHP+UTF-8版完整源码包，解压到任意目录，解压后的源码目录结构如下所示：  &nbs...