为您找到搜索结果：815个
讲一个使用jquery-slick旋转木马效果插件案例
效果展示连接 http://www.jqcool.net/demo/201405/jquery-slick/今天刚接触这个插件，被这插件搞的大脑风暴了所以来记录一下使用方法首先注意一点不特别标注slide:'li'就只对div管用 引入<linkhref="css/slick.css"rel="stylesheet"type="text/css"/><scriptsrc="js/jquery-1.9.1.min.js"type="text/javascript"></script><scripttype="text/javascript"src="js/slick.js"></script> 要记得引入他的css和js还有jq注意顺序HTML部分<divclass="nav_yysjslick"id="wrapper">//给大盒子添加slick类名<div>//这个div是必须加上的slick会在这个空div上自动生成样式所以必须在你所需要滚动的模块上面添加一个空的div<d...
用Intellij IDEA建mybatis案例
用IDEA建mybatis案例环境准备：首先，建库建表（最好用navicat或sqlpro直接导）然后打开IDEA,1.java--->javaEE--->javaapp-->finished2.建lib包，并导入.jar包（动态代理，数据库驱动，日志文件，mybatis等）3.在src下new一个日志文件log4j.properties文件（用于在控制台输出sql相关信息）说明：右侧可以查看数据库和库中表的情况；-----------------------------------------------------------------------------------------------开发步骤：1.创建PO(model)类，根据数据库字段;2.创建全局配置文件SqlMapConfig.xml（数据库相关信息配置）;3.编写映射文件xxMapper.xml（编写sql操作语句);4.加载映射文件，在SqlMapConfig.xml中进行加载;5.写测试类，并连接并操作数据库思路：a）读取配置文件b)通过SqlSessionFactoryBuilder创建...
String小案例(**)、包装类型和普通数据类型的转换（拆装箱）
###String用法：packageStringTest;/**功能：*判断Java文件名是否正确，判断邮箱格式是否正确*其中：合法的文件名应该以.java结尾*合法的邮箱名至少包含"@"*并要求"@"在"."之前*/publicclassHelloWorld{publicstaticvoidmain(String[]args){//后期改为Scanner来接收输入StringfileName="helloWorld.java";Stringemail="shi@imooc.com";/**判断文件是否以.java结尾*/intindex=fileName.lastIndexOf(".");//获取文件名中.的文件Stringprefix=fileName.substring(index+1,fileName.length());//判断必须包含"."号，且不能出现在首位，同时后缀名为".java"if(index!=-1&&index!=0&&prefix.equals("java")){System.out.println("Java文件名正确")...
Python scrapy爬虫数据保存到MySQL数据库
除将爬取到的信息写入文件中之外，程序也可通过修改Pipeline文件将数据保存到数据库中。为了使用数据库来保存爬取到的信息，在 MySQL 的python数据库中执行如下SQL语句来创建job_inf数据表：CREATETABLEjobinf(idINT(11)NOTNULLAUTO_INCREMENTPRIMARYKEY,titleVARCHAR(255),salaryVARCHAR(255),companyVARCHAR(255),urlVARCHAR(500),work_addrVARCHAR(255),industryVARCHAR(255),company_sizeVARCHAR(255),recruiterVARCHAR(255),publish_dateVARCHAR(255)) 然后将Pipeline文件改为如下形式，即可将爬取到的信息保存到MySQL数据库中：#导入访问MySQL的模块importmysql.connectorclassZhipinspiderPipeline(object):#定义构造器，初始化要写入的文件def__init__(...
Python Scrapy反爬虫常见解决方案（包含5种方法）
爬虫的本质就是“抓取”第二方网站中有价值的数据，因此，每个网站都会或多或少地采用一些反爬虫技术来防范爬虫。比如前面介绍的通过User-Agent请求头验证是否为浏览器、使用 JavaScript动态加载资源等，这些都是常规的反爬虫手段。下面针对更强的反爬虫技术提供一些解决方案。有些网站会使用IP地址验证进行反爬虫处理，程序会检查客户端的IP地址，如果发现同一个IP地址的客户端频繁地请求数据，该网站就会判断该客户端是爬虫程序。针对这种情况，我们可以让Scrapy不断地随机更换代理服务器的IP地址，这样就可以欺骗目标网站了。为了让Scrapy能随机更换代理服务器，可以自定义一个下载中间件，让该下载中间件随机更换代理服务器即可。Scrapy随机更换代理服务器只要两步：打开Scrapy项目下的middlewares.py文件，在该文件中增加定义如下类classRandomProxyMiddleware(object):#动态设置代理服务器的IP地址defprocessrequest(self,request,spider):#get_random_proxy(...
Python Scrapy突破反爬虫机制（项目实践）
对于BOSS直聘这种网站，当程序请求网页后，服务器响应内容包含了整个页面的HTML源代码，这样就可以使用爬虫来爬取数据。但有些网站做了一些“反爬虫”处理，其网页内容不是静态的，而是使用 JavaScript动态加载的，此时的爬虫程序也需要做相应的改进。本项目爬取的目标站点是https://unsplash.com/，该网站包含了大量高清、优美的图片。本项目的目标是爬虫程序能自动识别并下载该网站上的所有图片。在开发该项目之前，依然先使用Firefox浏览该网站，然后查看该网站的源代码，将会看到页面的<body.../>元素几乎是空的，并没有包含任何图片。现在使用Scrapy的shell调试工具来看看该页面的内容。在控制台输入如下命令，启动shell调试：scrapyshellhttps://unsplash.com/ 执行上面命令，可以看到Scrapy成功下载了服务器响应数据。接下来，通过如下命令来尝试获取所有图片的src属性（图片都是img元素，src属性指定了图片的URL）：response.xpath('//img/@src').ex...
爬虫之12306手工打码篇
1#-*-coding:utf-8-*-2#@Author:Jackzz34importrequests,re,base645importurllib367urllib3.disable_warnings()89defposition_count(args):10"""11123412567813:paramargs:14:return:15"""16position_dict={17'1':'49,50',18'2':'106,50',19'3':'174,50',20'4':'240,50',21'5':'50,121',22'6':'120,120',23'7':'174,123',24'8':'240,125',25}26position_data=[]27foriinargs:28position_data.append(position_dict.get(i))29return','.join(position_data)3031defreq_html(url_img):323334headers={35"User-Agent":"Mozilla/5.0(WindowsNT...
两个大屏可视化案例的布局与实现
近期分别使用了 React 和 Vue 完成了两个大屏可视化案例，经历了设计师和产品经理的各种 “指指点点” ，也算是对可视化大屏项目有了一点点小的经验，对于两个技术栈写组件也有一点小心得，趁着周末总结一下。大屏效果图1大屏效果图2无论是在科幻电影还是在真实世界里，可视化大屏都是非常常见的一种表现手法。之前在昆明公安局出差，也亲眼看到了 湄公河惨案 的真实指挥中心和他的大屏，屏幕的宽度大约有两层楼高。可视化大屏， 归根到底还是运用的可视化技术 ，只不过展现的屏幕比起笔记本和显示器大了很多。相比于传统的桌面级可视化运用，大屏可视化的特性有:屏幕巨大，用户通常离屏幕比较远，文字表达出来的信息需要足够清楚，通常要在字体和颜色上做文章。弱化交互，基于键盘和鼠标的交互方式很少，更多时候系统自己做出响应，而不是让人工介入。视觉冲击力强，设计一般都是以深色为底色，一来科技感十足，二来可以配合突出的主体动画和强设计感的元素。场景化，一块大屏通常用来展示一类场景，场景主要由图表构成...
C# 使用AngleSharp 爬虫图片
AngleSharp简介AngleSharp是基于.NET（C#）开发的专门解析HTML源码的DLL组件。根据HTML的DOM结构操作HTML，整个DOM已传输到逻辑类结构中。这种结构可以更好的操作DOM元素。AngleSharp还带来了一些非常有用的扩展方法，它们跟jQuery和JavaScript中的用法类似。使用命名空间AngleSharp可以访问Html，Css，Attr或Text等方法。这些方法向给定的IHtmlCollection一样在给定的IEnumerable<IElement>上运行。目的很简单：轻松修改给定的DOM元素。此插件最大的优势：支持输出Javascript、Linq语法、ID和Class选择器、动态添加节点。 AngleSharp是个开源项目， 主页地址。参考http://www.cnblogs.com/pandait/p/AngleSharp.htmlhttps://www.cnblogs.com/liguobao/p/6130121.html通过NuGet获取AngleSharp将AngleSharp整合到您的项目中最简...
.NET实现爬虫
前几天看到一个.NETCore写成的爬虫，有些莫名的小兴奋，之前一直用集搜客去爬拉勾网的招聘信息，这个傻瓜化工具相当于用HTML模板页去标记DOM节点，然后在浏览器窗口上模拟人的浏览行为同时跟踪节点信息。它有很多好处，但缺点也明显：抓取速度慢；数据清洗和转储麻烦；只知其过程，不知其原理，网站改了模板或者要爬取别的网站，重现效率反而不如自己写个程序。那么就自己实现一个？说干就干！首先了解需要拉勾网的网页结构。对于搜索结果需要点击控件才能展示分页，不用这么麻烦，查看网络，发现每次点击下一页会向一个地址发出异步POST请求：1URL:https://www.lagou.com/jobs/positionAjax.json?px=new&needAddtionalResult=false它的请求数据为（以.Net搜索的第2页为例）：first=false&pn=2&kd=.NET显然pn和kd分别传入的是页码和搜索关键词。再检查它的响应报文，返回的是单页所有的职位信息，格式是JSON：可以用JavaScriptSerializer类的DeserializeObject方...
六、单列模式-简单案例
usingSystem;usingSystem.Collections.Generic;usingSystem.Linq;usingSystem.Threading.Tasks;usingCommon;usingMicrosoft.AspNetCore.Mvc;namespaceOTA.Controllers{publicclassIndexController:Controller{publicIActionResultIndex(){Common.G<H>.Resolve.h();strings=Common.G<H>.Resolve.hh();ViewBag.Message=s;returnView();}}//调用的方法。publicclassH{publicvoidh(){//return2;Console.WriteLine("H2");}publicstringhh(){return"GG2";}}} @{Layout=null;}<!DOCTYPEhtml><html><head><...
Python爬虫获取天气预报并发到指定人的QQ邮箱
关于email模块的使用天气预报：https://tianqi.so.com/weather/#coding:utf-8importsmtplibfromemail.mime.textimportMIMETextfromemail.headerimportHeaderimportrequestsfrombs4importBeautifulSoupimportprettytableasptdefget_Data(url):data_list=[]response=requests.get(url)html_doc=response.textsoup=BeautifulSoup(html_doc,'lxml')#将html代码自动补全，并按html代码格式返回wendu=soup.find('div',class_='temperature').get_text()tianqi=soup.find('div',class_='weather-icon-wrap').get_text()data_list.append("现在的温度：%s现在天气情况：%s"%(wendu,tianqi))l...
Python爬虫模拟登录的github项目
项目地址：https://github.com/CharlesPikachu/DecryptLogin项目中文文档：https://httpsgithubcomcharlespikachudecryptlogin.readthedocs.io/zh/latest/SupportList：WebsitessupportPCAPI?supportmobileAPI?inChineseweibo✓✓新浪微博douban✓✗豆瓣github✓✗Githubmusic163✓✗网易云音乐zt12306✓✗中国铁路12306QQZone✗✓QQ空间QQQun✗✓QQ群QQId✗✓我的QQ中心zhihu✓✗知乎bilibili✓✓B站toutiao✗✓今日头条taobao✓✗淘宝jingdong✓✗京东ifeng✓✗凤凰网sohu✓✓搜狐zgconline✓✗中关村在线lagou✓✗拉勾网twitter✓✗推特Vultr✓✗VultreSurfing✓✗天翼renren✓✗人人网w3cschool✓✗W3Cschool(编程狮)fishc✓✗鱼C论坛youdao✓✗有道bai...
radio和复选框的案例
<table> <tr> <td>性别</td> <td><inputtype="radio"value="男"name="txtSsex"checked="checked"/>男<inputtype="radio"value="女"name="txtSsex"/>女</td> </tr> &...
分布式爬虫实战
由于条件有限，一台虚拟机，一台笔记本。在虚拟机上装上mongodb数据库、redis数据库、redis_scrapy、pymongo、scrapyd在本地电脑上装上monodb数据库、redis数据库、redis_scrapy、pymongo、scrapyd-clientl、scrapyd-api如果使用分布式爬虫，配置文件需要做以下修改：#-*-coding:utf-8-*-#Scrapysettingsforzhihuproject##Forsimplicity,thisfilecontainsonlysettingsconsideredimportantor#commonlyused.Youcanfindmoresettingsconsultingthedocumentation:##https://doc.scrapy.org/en/latest/topics/settings.html#https://doc.scrapy.org/en/latest/topics/downloader-middleware.html#https://doc.scrapy.org/en/lat...