在爬虫的开发过程中，有些业务场景须要同一时候抓取几百个甚至上千个站点，此时就须要一个支持多爬虫的框架。在设计时应该要注意下面几点：代码复用。功能模块化。假设针对每一个站点都写一个完整的爬虫。那当中必然包括了很多反复的工作。不仅开发效率不高。并且到后期整个爬虫项目会变得臃肿、难以管理。易扩展。多爬虫框架，这最直观的需求就...

今天看见有个csdn的征文大赛。谈谈怎样高效编程。正好之前有些感触。先沉淀下来。修身修身是一个非常大的话题，要讲个几天几夜了，所以我们就先略过。当然修身之后，能够从思维的高度上确定大的方向，可是大家的看了题目也不太会关心怎样修身，sopass！后面省略十万字，我可真够高产的（稿费不要省略啊，我不怕麻烦）。实战产品获得了...

新的神经网络架构随时随地都在出现，DCIGN，IiLSTM，DCGAN~神经网络通常都有很多层，包括输入层、隐藏层、输出层。单独一层不会有连接，一般相邻的两层是全部相连的（每一层的每个神经元都与另一层的每个神经元相连）。1.前向传播网络（FF或FFNN）     它们从...

客户端获取服务器端软件更新版本方法：packagecom.platform.ui.update;importjava.io.BufferedInputStream;importjava.io.BufferedWriter;importjava.io.File;importjava.io.FileInputStream;...

一、安装环境 硬件：虚拟机 操作系统：Ubuntu1432位 IP：59.77.132.28主机名：admin安装用户：root二、安装JDK 安装JDK1.7或者以上版本。这里安装jdk1.7.0_79。 下载地址：http://www.oracle.com/tech...

https://msdn.microsoft.com/zh-cn/library/ff576068.aspxhttp://blogs.msdn.com/b/nblumhardt/archive/2009/08/28/analyze-mef-assemblies-from-the-command-line.aspx随着M...

http://www.cnblogs.com/leotsai/p/how-to-use-entity-framework-transaction-scope.html写在前面：1.本文中单元测试用到的数据库，在执行测试之前，会被清空，即使用空数据库。2.本文中的单元测试都是正确通过的。要理解EF的事务机制，首先要理解这...

概念：REST指的是一组架构约束条件和原则，如果一个架构符合REST的约束条件和原则，就称之为RESTful架构。 REST全称是表述性状态转移，其实指的是资源，要让一个资源可以被识别，需要唯一标识，在Web中这个标识就是URI。uri设计技巧：使用_或-来让uti可读性更好使用/来表示资源的层级关系使用？来...

转载：http://blog.csdn.net/u013970991/article/details/52088350一、什么是Diamonddiamond是淘宝内部使用的一个管理持久配置的系统，它的特点是简单、可靠、易用，目前淘宝内部绝大多数系统的配置，由diamond来进行统一管理。 diamond为应用...

转载：http://blog.csdn.net/szwandcj/article/details/51165954早期的应用都是单体的，配置修改后，只要通过预留的管理界面刷新reload即可。后来，应用开始拆分，从单一系统拆分成多个子系统，每个子系统还会对应多个运行实例，就开始面临一些问题： 1.配置分散在多...

网址：http://www.cnblogs.com/itfly8/p/4967966.html 本文是学习大型分布式网站架构的技术总结。对架构一个高性能，高可用，可伸缩，可扩展的分布式网站进行了概要性描述，并给出一个架构参考。一部分为读书笔记，一部分是个人经验总结。对大型分布式网站架构有很好的参考价值。一、大...

http://blog.csdn.net/u010738184/article/details/49472795分布式系统的基础理论：分布式系统：多台机器通过网络连接在一起，作为一个整体为上层提供服务。一、基础理论知识：数据分布、复制、一致性、容错。1、异常（1）服务器宕机（内存错误，服务器停电）：如何通过读取持久化戒...

转载： http://blog.csdn.net/xkhgnc_6666/article/details/51757209在测试过程中有些情况通过手工测试是无法测试出来的或是非常难复现，比如网络异常、网络延迟，又比如在接口测试过程中如果后台开发还没有把接口开发出来时有什么办法能够提前进行接口测试呢？这些情况下...

转载：https://www.cnblogs.com/itfly8/p/5128025.html学习是技术人员成长的基础，本次分享20本技术方面的书籍，这些书不是每一本都是经典，但是每一本都有其特点。以下20本大部分本人都看过，因此推荐给大家。（本次推荐的20本只是一个参考，比如像HeadFirst，Java编程思想等...

第一阶段Java基础Linux基础第二阶段Hadoop第三阶段HBaseHiveSqoopFlumeZooKeeperStormKafkaRedisMongoDB第四阶段ScalaSpark机器学习第五阶段DockerKVM虚拟化OpenStack搜索引擎与爬虫第六阶段综合项目演练...