转载：https://blog.csdn.net/shengmingqijiquan/article/details/52922009HBase是一个构建在HDFS上的分布式列存储系统；HBase是ApacheHadoop生态系统中的重要一员，主要用于海量结构化数据存储；从逻辑上讲，HBase将数据按照表、行和列进行存储。Hbase是Hadoop生态系统的一个组成部分Hbase与HDFS对比共同点：两者都具有良好的容错性和扩展性，都可以扩展到成百上千个节点；不同点：HDFS：适合批处理场景不支持数据随机查找不适合增量数据处理不支持数据更新HBase：大：一个表可以有数十亿行，上百万列；无模式：每行都有一个可排序的主键和任意多的列，列可以根据需要动态的增加，同一张表中不同的行可以有截然不同的列；面向列：面向列（族）的存储和权限控制，列（族）独立检索；稀疏：对于空（null）的列，并不占用存储空间，表可以设计的非常稀疏；数据多版本：每个单元中的数据可以有多个版本，默认情况下版本号自动分配，是单元格插入时的时间戳；数据类型单一：Hbase中的数据都是字符串，没有类型行存储与列存储二.HBas...

一.MapReduce的应用场景1.MapReduce特点易于编程良好的扩展性高容错性适合PB级以上海量数据的离线处理备注：*MR的最后一个特性就注定了它的应用场景的特定性，专门为处理离线批量大数据*而生。问：那MR不擅长什么啊？它不擅长的东西谁比较擅长呢？2.MapReduce的特色—不擅长的方面实时计算spark像MySQL一样，在毫秒级或者秒级内返回结果流式计算stormMapReduce的输入数据集是静态的，不能动态变化MapReduce自身的设计特点决定了数据源必须是静态的DAG计算Tez多个应用程序存在依赖关系，后一个应用程序的输入为前一个的输出PS:你的弱点就是别人的机会！3.常见MapReduce应用场景简单的数据统计，比如网站pv、uv统计搜索引擎建索引海量数据查找复杂数据分析算法实现聚类算法分类算法推荐算法图算法二.MapReduce编程模型1.最经典的MR编程实例-WordCount场景：有大量文件，里面存储了单词，且一个单词占一行任务：如何统计每个单词出现的次数？类似应用场景：搜索引擎中，统计最流行的K个搜索词；统计搜索词频率...

转载：https://www.jianshu.com/p/4b5d0e9d1afd一、HDFS是什么源自于Google的GFS论文发表于2003年10月HDFS是GFS克隆版HadoopDistributedFileSystem易于扩展的分布式文件系统运行在大量普通廉价机器上，提供容错机制为大量用户提供性能不错的文件存取服务1、HDFS优点高容错性数据自动保存多个副本副本丢失后，自动恢复适合批处理移动计算而非数据数据位置暴露给计算框架适合大数据处理GB、TB、甚至PB级数据百万规模以上的文件数量10K+节点规模流式文件访问一次性写入，多次读取保证数据一致性可构建在廉价机器上通过多副本提高可靠性提供了容错和恢复机制2、HDFS缺点低延迟数据访问比如毫秒级低延迟与高吞吐率小文件存取占用NameNode大量内存寻道时间超过读取时间并发写入、文件随机修改一个文件只能有一个写者仅支持append3、HDFS设计思想 image image image4、HDFS数据块（block）文件被切分成固定大小的数据块默认数据块大小为64MB，可配置若文件大小不到64MB，...

https://blog.csdn.net/amap_tech/article/details/999212661.导读2018年十一当天，高德DAU突破一个亿，不断增长的日活带来喜悦的同时，也给支撑高德业务的技术人带来了挑战。如何保障系统的稳定性，如何保证系统能持续的为用户提供可靠的服务？是所有高德技术人面临的问题，也是需要大家一起解决的问题。2.高德业务规模支撑一亿DAU的高德服务是什么体量？可能每个人的答案都不相同，这里从基础设施的角度给大家做个简单的介绍，我们有数千个线上应用，分别部署在全国各地多个机房中的数万台机器上。 这张图是高德业务核心链路的架构，从图中可以看出高德业务具有相当高的复杂性。当然，真实系统远远要比图表示的复杂，如果用这张图来代表高德整体业务形态，无异于管中窥豹，太过于片面。对于如此大规模，高复杂度的系统，如何保障系统的稳定性，是高德技术人长期面临和解决的问题。3.保障稳定性的手段 如何保障系统稳定性是几乎所有互联网企业都需要面对的问题。通常来讲，有五种手段来从理论上保障系统的稳定性，分别是：容量规划：根据以往业务的流量，估算出未来（通常是...

本文以淘宝作为例子，介绍从一百个并发到千万级并发情况下服务端的架构的演进过程，同时列举出每个演进阶段会遇到的相关技术，让大家对架构的演进有一个整体的认知，文章最后汇总了一些架构设计的原则。在介绍架构之前，为了避免部分读者对架构设计中的一些概念不了解，下面对几个最基础的概念进行介绍：分布式系统中的多个模块在不同服务器上部署，即可称为分布式系统，如Tomcat和数据库分别部署在不同的服务器上，或两个相同功能的Tomcat分别部署在不同服务器上高可用系统中部分节点失效时，其他节点能够接替它继续提供服务，则可认为系统具有高可用性集群一个特定领域的软件部署在多台服务器上并作为一个整体提供一类服务，这个整体称为集群。如Zookeeper中的Master和Slave分别部署在多台服务器上，共同组成一个整体提供集中配置服务。在常见的集群中，客户端往往能够连接任意一个节点获得服务，并且当集群中一个节点掉线时，其他节点往往能够自动的接替它继续提供服务，这时候说明集群具有高可用性负载均衡请求发送到系统时，通过某些方式把请求均匀分发到多个节点上，使系统中每个节点能够均匀的处理请求负载，则可认为系统是负载均衡的...

“相信大部分人都用过美团外卖，尤其是在每天的两个吃饭的高峰期。美团外卖从创业到现在经历了数次的迭代，不断的适应需求，提供更好的体验。本文是美团外卖架构师曹振团在ArchSummit2016深圳站上的分享。老司机简介曹振团，美团外卖技术专家/架构师，目前负责美团外卖业务系统的架构设计及优化工作。2013年加入美团，早期参与了多个创新业务的探索。经历了美团外卖从无到有的创业过程，以及业务快速发展的高增长期，积累了丰富的从0到1业务系统的架构设计和优化经验。加入美团之前，在网易网站部工作，负责后台服务的设计和开发工作，拥有丰富的高并发系统的架构设计和实战经验。本视频时长39分，建议在Wifi环境下观看。技术体系架构演进简单介绍一下外卖现在的情况：我们从2013年10月份做外卖的事情，是从餐饮外卖开始的。经过两年多的发展，我们不光可以提供餐饮外卖，也可以提供水果、鲜花、蛋糕、下午茶甚至是超市和便利店一些外送的服务。我们做外卖过程中，我们发现用户对外送的体验有两个关注点：第一个是品质，用户对品质要求非常高，送过来的饭不能凉了，不能不好看，送餐员身上脏兮兮也不行会影响食欲的；另外一个关...

本文链接：https://blog.csdn.net/arkzheng/article/details/52090254架构稳定性需要注意些什么？如果你有好的观点也可以抛出来，欢迎批评指导1.压测知道你的容量，设置报警线；读通过tcpcopy，写通过染色数据，如此引入线上数据回放测试2.如果出现事故如何引导用户3.拆分业务初期耦合的逻辑，拆分为接口间调用4.拆服务，拆库，避免一个库挂掉，全站挂掉5.避免高峰上线，提前引入压测6.日志监控，各模块流量监控7.每一次上线都要准备回滚方案8.对于异常流量的防御和隔离，防刷9.单机服务熔断机制10.流量优先级控制，避免无用任务占用cpu11.事后总结，casestudy总结：如何快速发现，是否可以提前发现，是否可以快速止12.服务降级，当系统出现问题，允许关闭一些功能，甚至拒绝一部分流量13.引入效果监控，及时发现线上问题14.保护你的数据库，如果库挂掉或者被打满，修复的代价会比较高———————————&mdas...

本文链接：https://blog.csdn.net/m0_38125278/article/details/95046242分布式架构的架构稳定性接上一期架构性能，本期讲架构稳定性 1.服务拆分服务拆分主要有两个目的：一是为了隔离故障，二是为了重用服务模块。但服务拆分完之后，会引入服务调用间的依赖问题。2.服务冗余服务冗余是为了去除单点故障，并可以支持服务的弹性伸缩，以及故障迁移。然而，对于一些有状态的服务来说，冗余这些有状态的服务带来了更高的复杂性。其中一个是弹性伸缩时，需要考虑数据的复制或是重新分片，迁移的时候还要迁移数据到其它机器上。3.限流降级当系统实在扛不住压力时，只能通过限流或者功能降级的方式来停掉一部分服务，或是拒绝一部分用户，以确保整个架构不会挂掉。这些技术属于保护措施。4.高可用架构通常来说高可用架构是从冗余架构的角度来保障可用性。比如，多租户隔离，灾备多活，或是数据可以在其中复制保持一致性的集群。总之，就是为了不出单点故障。4.高可用运维高可用运维指的是DevOps中的CI/CD（持续集成/持续部署）。一个良好的运维应该是一条很流畅的软件发布管线，其中做...

http://www.51testing.com/?uid-293557-action-spacelist-type-blog-itemtypeid-12625...

我们在使用Robotframework时，经常编写脚本的人或许会不习惯，不过没关系！我们在熟悉RF的语法后，可以使用编辑器来编写和运行。下面就通过使用最多的python编辑器pycharm来演示一下如何配置和运行RF的脚本。 1.下载pycharm我们可以通过官网来下载软件：http://www.jetbrains.com/pycharm/当然，也可以通过百度云链接下载(三个版本任选一个即可)：http://pan.baidu.com/s/1pL3EB39安装后我们可以通过File-Open来把RF的脚本文件夹导入进来我这个示例图片是黑色的主题，你可以自己设置~ 2.通过pycharm下载intelliBot插件如图所示，我们通过File-settings来打开设置面板，然后按照图中步骤来下载这个插件，然后重启pycharm 3.配置RF的文件类型识别通过上一步，我们可以用这个插件来配置编辑器识别RF的脚本文件还是打开设置面板，如图所示来配置一下（因为RF的文件，我们在ide中设置的是txt格式，所以我们添加*.txt，如果你设置的是其他格式，那就添加其他...

转载：　https://blog.csdn.net/u013088062/article/details/50001189Pycharm作为一款优秀的PythonIDE，唯一让我觉得不安的就是它的拼写检查机制实在有点严格，单词不能连写、变量名和函数名不能大写等等，网上百度了一下取消其拼写检查的方法，发现不是很全面，再次给大家奉上一个相对彻底的取消方法。　　首先，关闭拼写检查，setting-->Inspections-->Spelling-->Typo，取消勾选：　　第二步，关闭代码风格检查，setting-->Inspections-->Python-->PEP8:　　不过需要说明一点，关闭拼写检查只是让自己看着舒服点，但在写程序时同样要保持格式的统一。 shadowsname‘xxxx’fromouterscope警告解决在PyCharm中提示shadowsname‘xxxx’fromouterscope，当你在外部有个相同名称的变量在方法内部被重新指定了新的值，也就是说你在外部的相同名称...

转载：　https://blog.csdn.net/fx677588/article/details/56830929PyCharm安装第三方库是十分方便的，无需pip或其他工具，平台就自带了这个功能而且操作十分简便。如下： 【注】：本人PyCharm已汉化，若是英文版按括号中英文指示操作即可。 　　1.打开软件，点击左上角“文件(File)”—>“设置(setting)”；　　2.选择弹出界面左上角的“项目(Project):PyCharm_Demo”—>“projectInterpreter”； 　　3.点击右上方“+”进入搜索第三方库的界面；　　4.在搜索框中搜索对应想安装的库或者模块，点击左下方“Installpackage”就行了。如果安装完成，该库显示字体颜色会变成蓝色，并且在上一个界面罗列出你已安装的库；  　　需要注意一下，如果你安装的proj...

转载：https://blog.csdn.net/yjx2323999451/article/details/53200243/pycharm+python+Django之web开发环境的搭建（windows）    最近在学习python，总感觉网上写的一些东西对新手（python方面的程序员）来说不是太友好。有些文章写得不是太详细，有些又写得比较高升。对于新手的我来说不是太适合。于是就写下自己在学习中遇到的问题和解决的步骤。（说明：文章只是供自己学习，复习自用。） pycharm：一款非常好用的python开发工具。这里我们不讨论它的下载和安装。（以后会有文章专门来讲的）python:开发环境的安装地址参考：http://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000（说明：这个网址是非常适合新手学习python的。本人也是在这个网站上学习的） Django:是python中的web框架，比较流行。（下载和安装以后会写）...

在File---settings---FileandCodeTemplates---Pythonscript脚本里添加: [python] viewplain copy #!usr/bin/env python  #-*- coding:utf-8 _*-  """ @author:${USER} @file: ${NAME}.py @time: ${YEAR}/${MONTH}/{DAY} """   参考文章:pycharm修改新建文件时的头部模板(默认为__author__='...')...

转载：https://blog.csdn.net/u014044812/article/details/78727496因公司的需求，需要做一个爬取最近上映的电影、列车号、航班号、机场、车站等信息，所以需要我做一个爬虫项目，当然java也可以做爬虫，但是还是没有python这样方便，所以也开始学习Python啦！！！欲善其事，必先利其器。这里我为大家提供了三种激活方式： 授权服务器激活：适合小白，一步到位，但服务器容易被封激活码激活：适合小白，Windows、Mac、Linux都适用且无其他副作用，推荐~破解补丁激活：适合动手能力强的，长期有效，但破解可能会遇到各种问题本教程对jetbrains全系列可用例：IDEA、WebStorm、phpstorm、clion等关注微信公众号：裸睡的猪 或扫描下方的二维码，昌昌带你不迷路！！！————————更新分割线2018.05.24———————...