代理ARP（Proxy-arp）的原理就是当出现跨网段的ARP请求时，路由器将自己的MAC返回给发送ARP广播请求发送者，实现MAC地址代理（善意的欺骗），最终使得主机能够通信。图中R1和R3处于不同的局域网，R1和R3在相互通信时，R1先发送了一个ARP广播数据包，请求R3的mac地址，但是由于R1是12.1.1.0网段，而R3是13.1.1.0网段，R1和R3之间是跨网段访问的，也就是说R1的ARP请求会被R2拦截到，然后R2会封装自己的mac地址为目的地址发送一个ARP回应数据报给R1（善意的欺骗），然后R2就会代替R1去访问R3。  整个过程R1以为自己访问的是R3，实际上真正去访问R3的是R2，R1却并不知道这个代理过程，这就是所谓的ARP代理，通常用于跨网段访问。  注意：如果R2关闭了arp的代理功能，那么R1再访问R3的时候，R2并不会把自己的mac地址给R1，那么R1和R3之间就无法通信。默认情况下，思科的设备是开启了arp代理功能，也就是说，R2会作为中间代理实现R1和R3之间跨网段通信。  代理ARP的使...

转载自一位大佬　　通常我们都知道Nginx性能很高，尤其是作为一个代理服务器，因为它用的是epoll模型，就比如PythonDjangoWeb的性能不行，我们可能就会在前端加一个nginx代理，从而提高总体的处理性能问题，代理服务技术是在互联网早期就出现被使用的。一般实现代理技术的方式就是在服务器上安装代理服务软件，让其成为一个代理服务器，从而实现代理技术。常用的代理技术分为正向代理、反向代理和透明代理。　　一般情况下，如果没有特别说明，代理技术默认说的是正向代理技术。　　正向代理（forward）是一个位于客户端【用户A】和原始服务器(originserver)【服务器B】之间的服务器【代理服务器Z】，为了从原始服务器取得内容，用户A向代理服务器Z发送一个请求并指定目标(服务器B)，然后代理服务器Z向服务器B转交请求并将获得的内容返回给客户端。客户端必须要进行一些特别的设置才能使用正向代理，如下图所示：从上图看，所谓的正向代理就是代理服务器【Z】替代访问方【用户A】去访问目标服务器【服务器B】。下面就是正向代理的意义以及场景1、用户访问本来无法访问的服务器B的资源　　假设最初用户A要...

本文转载自https://www.vpnon.net/setup-ss.html，原标题《5分钟手把手教你搭建一个私人代理》。高级版请查看：点击这里，高级版搭建复杂点，但更稳定。搭建一个私人代理非常简单，熟练的话前后不到5分钟就可以完成。本教程教你使用最简单的方式搭建一个属于自己的代理。搭建代理分为以下3步：注册一个虚拟主机安装服务端安装客户端首先打开 https://www.vultr.com 注册vultr帐号（已有帐号可跳过这一步）。vultr是当前最适合做代理的VPS服务商，在上面消费满$10会获得额外$10奖励。选择节点位置，目前只有纽约和迈阿密有$2.5的月套餐，其他地区是$5的月套餐。每月包1T流量，个人用足够了。速度方面日本延迟最低，100~200毫秒的延迟，美国一般是200~400毫秒延迟，个人根据需要选择。 然后选择系统和配置，选择CentOS7系统（不要使用默认的CentOS8，它的python版本不兼容），价格选择$2.5或$5即可。 第4步附加选项不需要选。 第5步点击AddNew，粘贴一个一键安装脚本。&nb...

好久没更新博客啦~，今天来更新一篇利用爬虫爬取西刺的代理池的小代码　　先说下需求，我们都是用python写一段小代码去爬取自己所需要的信息，这是可取的，但是，有一些网站呢，对我们的网络爬虫做了一些限制，例如你利用python写了个小爬虫，巴拉巴拉的一劲儿爬人家网页内容，各种下载图片啦，下载视频啥的，然后人家那肯定不让你搞了~，然后尴尬的一幕就出现了，什么呢....防火墙！禁止你在某一段时间登录....给你各种拉黑，那我们有没有什么办法，能特么的不让狗日的拉黑呢，so...我们可以来一些反爬虫的策略，一般来说，我们可以让爬虫爬去网页的内容尽可能的慢一些，或者封装自己的headers，也就是使用浏览器的headers来伪装自己，另外一种，我们可以通过"代理"来实现发爬虫策略，某些网站会对IP地址做限制，例如某个ip地址在一段时间内容访问网站太TMD的快了，要是我，我特么的也不让你玩对吧~，so...我们可以通过伪装ip从而实现继续爬呀爬呀爬，直到爬死小站点~~~渍渍渍！　　好，叨逼完前戏了，咱们进入正题~,本次代码是基于scarpy1.4+python3.6.1的环境+pymysql来保存...

安装过程略。本地调试，可以安装自签名证书，安装方法参考https本地自签名证书添加到信任证书访问将上面的配置文件拷贝到conf目录，添加或者修改节点如下http{server{listen443ssl;server_namewww.aaa.com;sslon;ssl_certificatewww.aaa.com+5.pem;ssl_certificate_keywww.aaa.com+5-key.pem;ssl_session_cacheshared:SSL:1m;ssl_session_timeout5m;ssl_ciphersHIGH:!aNULL:!MD5;ssl_prefer_server_cipherson;#charsetkoi8-r;access_loglogs/aiPlatform/access_log;error_loglogs/aiPlatform/error_logerror;location/{proxy_passhttp://127.0.0.1:8111;proxy_redirectoff;proxy_set_headerHost$host;proxy_set...

小白第一次使用nginx，本地环境Ubuntu16.04.6sudoaptinstallnginx（参考来源：https://segmentfault.com/a/1190000007990972）1)使用openssl生成密钥privkey.pem：opensslgenrsa-outprivkey.key1024/2038证书信息可以随便填或者留空，只有CommonName要根据你的域名填写。2)使用密钥生成证书server.pem：opensslreq-new-x509-keyprivkey.pem-outserver.pem-days365 vim/etc/nginx.conf#在http{}申明内添加以下代码server{listen443sslhttp2;server_name172.16.3.64;root/var/www/html/;indexindex.phpindex.htmlindex.htm;#charsetkoi8-r;access_log/var/log/nginx/access_log;error_log/var/log/nginx/error_l...

importrequests#urlurl='http://www.xicidaili.com'#添加proxyproxy={'http':'http://root:Yao+ql2011@101.200.50.18:8118'}#添加headersheaders={'User-Agent':'Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/67.0.3396.99Safari/537.36'}#调用requests,得到responseresponse=requests.get(url,headers=headers,proxies=proxy)#response.text=response.content.decode()#response.text类型是str#response.content类型是bytesprint(response.text)#withopen('xicidaili.html','wb')asf:#f.write(response.content)...

代理模式的基本介绍 代理模式：为一个对象提供一个替身，以控制这个对象的访问。即通过代理对象访问目标对象。这样做的好处是：可以在目标对象实现的基础上，增强额外的功能操作，即拓展目标对象。被代理的对象可以是远程对象、创建开销大的对象或需要安全控制的对象代理模式有三种不同的形式：静态代理、动态代理(又叫jdk代理，接口代理)、Cglib代理(可以在内存内动态的创建对象，而不需要实现接口，属于动态代理的范畴)。原理图如下： 一、静态代理　　静态代理在使用时，需要定义接口或者父类，被代理对象(即目标对象)与代理对象一起实现相同的接口或者是继承相同父类。 类关系图：  java实现： ITeacherDao.javapublicinterfaceITeacherDao{publicvoidteach();} TeacherDao.javapublicclassTeacherDaoimplementsITeacherDao{@Overridepublicvoidteach(){System.out.println("老师授课中")...

新安装好的Widnows8.1企业版：一直很好的，吃完晚饭，上网查资料学习的。却出现下面这个错误“代理服务器没有响应”：但是傲游(Maxthon)与火狐(Firefox)浏览器均可以上网。按照它的提示，转到“工具”>“Internet选项”>“连接”。和所有设置均为如上，并没有它所提示一样。为何打开不任何网页？用Firefox网上查找相关的问题，也有网友遇上相同的问题。也有的网友提供解决方法：1.在开始界面中点击桌面应用，按键盘上的Windows徽标键+X，点击命令提示符(管理员)，出现用户帐户控制对话框时，点击是。2.在命令提示符窗口中输入netsh并按回车键。3.输入winhttp并按回车键。4.输入importproxysource=ie并按回车键。5.关闭命令提示符窗口并重新启动计算机，确认问题是否解决。Insus.NET也照着做，电脑也重启，结果还是一样......难道不用InternetExplorer了吗？Insus.NET差点忘记自己以前做过网管，电脑维护这样多年...

目标网站:静听网网站url:http://www.audio699.com/目标文件:所有在线听的音频文件附:我有个喜好就是听有声书，然而很多软件都是付费才能听，免费在线网站虽然能听，但是禁ip很严重，就拿静听网来说，你听一个在线音频，不能一个没听完就点击下一集，甚至不能快进太快，否则直接禁你5分钟才能再听，真的是太太讨厌了...于是我就想用爬虫给它爬下来存储本地就nice了.我把我的大概分析步骤分享出来.步骤1：我查看静听网网页url有一个规律，基网址是http://www.audio699.com/book/,每本书对于一个唯一标识,比如《借种》这本书的url如下:(唯一标识1276)步骤2:分析html源码:我发现这个网站的每本书的每一集的url就是再上述url后添加集数,并且网页html中包含了音频文件的src如下:到这里我有点奇怪，这个网站封ip这么严，为什么src会直接放在静态网页中暴露如此明显，我尝试着随便复制一个src，使用python下载这个文件,嗯，瞬间就下载好了，我心想python还真不错,然而当我播放下载好的m4a文件时，发现只有5s,里面传来熟悉的声音"您访问...

1packagecom.proxy.daili;23importcom.proxy.daili.service.IModelMath;45importjava.lang.reflect.InvocationHandler;6importjava.lang.reflect.Method;7importjava.lang.reflect.Proxy;8importjava.util.Arrays;910/**11*动态代理模式类12*第一种代理模式：Jdk动态代理13*注意：实现InvocationHandler这个接口14*15*基于接口的16*/17publicclassJdkDynamicProxyimplementsInvocationHandler{1819//定义需要代理的接口20protectedIModelMathiModelMath;2122//将需要代理的接口作为参数传入到动态代理设计模式类中23publicJdkDynamicProxy(IModelMathiModelMath){24this.iModelMath=iModelMath;25}2627/**28*生成...

信息源是搜狗微信，就爬到的数据保存到MySQL中 搜狗对微信公众号和文章做了整合，我们可以直接通过链接搜索到相关的公众号和文章 例如搜索NBA，搜索的结果的URL中有很多无关的GET请求的参数，手动将无关的请求参数去掉，其中只保留type和query，其中type表示的是搜索微信文章，query表示搜索关键词为NBA  https://weixin.sogou.com/weixin?query=NBA&type=2&page=2 要注意的点就是如果没有输入账号的话，那么只能看到十页内容，登录之后可以看到一百页的内容，如果想要抓取更多的内容，就需要登录并使用cookies来进行爬取，搜狗微信的反爬能力很强，如果要是连续的刷新话站点就会弹出验证码　　网络请求出现了302跳转，返回状态码是302，这时候就进入了验证界面，所以可以得出结论，如果服务器返回的状态码是302而不是200的话就说明IP访问次数过高了，IP早到了封禁，此次请求失败　　要是遇到这种情况，我们可以选择识别这个验证码并进行解封操作，或者也可以选择IP代理来进行...

11、什么是nginx?2Nginx是一款高性能的http服务器/反向代理服务器及电子邮件（IMAP/POP3）代理服务器。由俄罗斯的程序设计师IgorSysoev所开发，官方测试nginx能够支支撑5万并发链接，并且cpu、内存等资源消耗却非常低，运行非常稳定。32、Nginx的应用场景4a、http服务器。Nginx是一个http服务可以独立提供http服务。可以做网页静态服务器。5b、虚拟主机。可以实现在一台服务器虚拟出多个网站。例如个人网站使用的虚拟主机。6c、反向代理，负载均衡。当网站的访问量达到一定程度后，单台服务器不能满足用户的请求时，需要用多台服务器集群可以使用nginx做反向代理。并且多台服务器可以平均分担负载，不会因为某台服务器负载高宕机而某台服务器闲置的情况。1、Nginx做反向代理服务器（反向代理区分与正向代理），可以为反向代理的服务器集群做集群管理和负载均衡。正向代理：对客户端已知，对服务端透明的代理应用，称为正向代理。如：翻墙软件。反向代理：对服务端已知，对客户端透明的代理应用，称为反向代理。如：nginx。  2、Nginx的手动安装搭...

正向代理（forwardproxy）：是一个位于客户端和目标服务器之间的服务器(代理服务器)，为了从目标服务器取得内容，客户端向代理服务器发送一个请求并指定目标，然后代理服务器向目标服务器转交请求并将获得的内容返回给客户端。这种代理其实在生活中是比较常见的，比如科学上网技术，其用到的就是代理技术。有时候，用户想要访问某国外网站，该网站无法在国内直接访问，但是我们可以访问到一个代理服务器，这个代理服务器可以访问到这个国外网站。这样呢，用户对该国外网站的访问就需要通过代理服务器来转发请求，并且该代理服务器也会将请求的响应再返回给用户。这个上网的过程就是用到了正向代理。这个过程其实和租房子很像。租房子的时候，一般情况下，我们很难联系到房东，因为有些房东为了图方便，只把自己的房屋信息和钥匙交给中介了。而房客想要租房子，只能通过中介才能联系到房东。而对于房东来说，他可能根本不知道真正要租他的房子的人是谁，他只知道是中介在联系他。这里面一共有三个角色，租客（用户）、中介（代理服务器）和房东（国外网站，目标服务器）。引入中介（代理服务器）的原因是用户无法联系上房东（用户无法访问国外网站）。正向代理，...

1、前言　　最近工作中用到反向代理，发现网络代理的玩法还真不少，网络背后有很多需要去学习。而在此之前仅仅使用了过代理软件，曾经为了访问google，使用了代理软件，需要在浏览器中配置代理的地址。我只知道有代理这个概念，并不清楚代理还有正向和反向之分，于是赶紧学习一下，补充一下知识。首先弄清楚什么是正向代理，什么是反向代理，然后是二者在实际使用中展示的方式是什么样的，最后总结一下正向代理用来做什么，反向代理可以做什么。2、正向代理　　正向代理类似一个跳板机，代理访问外部资源。举个例子：　　我是一个用户，我访问不了某网站，但是我能访问一个代理服务器，这个代理服务器呢,他能访问那个我不能访问的网站，于是我先连上代理服务器,告诉他我需要那个无法访问网站的内容，代理服务器去取回来,然后返回给我。从网站的角度，只在代理服务器来取内容的时候有一次记录，有时候并不知道是用户的请求，也隐藏了用户的资料，这取决于代理告不告诉网站。　　客户端必须设置正向代理服务器，当然前提是要知道正向代理服务器的IP地址，还有代理程序的端口。　　例如之前使用过这类软件例如CCproxy，http://www.ccproxy...