为您找到搜索结果：815个
SqlServer--查询案例
use MyDataBase1--*表示显示所有列--查询语句没有加where条件表示查询所有行select*fromTblStudent---只查询表中的部分列selecttsid,tsname,tsgenderfromTblStudent--根据条件，只查询部分行(使用where条件筛选部分行显示)select*fromTblStudentwheretsclassId=5--为查询结果集中的列起别名selecttsidas学生编号,tsnameas学生姓名,tsgenderas性别fromTblStudent--也可以这样排列selecttsidas学生编号,tsnameas学生姓名,tsgenderas性别fromTblStudent selecttsid'(学生编号)',--可以输出空格tsname学生姓名,--不能输出空格tsgender性别fromTblStudent select学生编号=tsid,学生姓名=tsname,性别=tsgenderfromTblStudent select学生编号=tsid,学生...
几个不错的echarts +百度地图 案例
https://echarts.baidu.com/examples/editor.html?c=map-polygonhttps://echarts.baidu.com/examples/editor.html?c=effectScatter-bmap空气质量等，可以通过值来控制点的大小和光环。https://echarts.baidu.com/examples/editor.html?c=heatmap-bmap人流密度图、热力图等 我的echarts+百度地图 左上角可以切换地图和表格，鼠标移动到小点会显示内容，点击小点会跳转到该城市详情页。 这个是echarts 对一个json地理数据的展示。https://www.echartsjs.com/download-extension.htmlhttps://echarts.baidu.com/examples/index.html#chart-type-globehttps://echarts.baidu.com/echarts2/doc/example....
ECharts 散点图+百度地图（案例转载）
转载来源：https://efe.baidu.com/blog/echarts-map-tutorial-2/ 小红 2016-06-13 ECharts, 教程, 地图上一篇我们介绍了如何使用ehcarts内置地图实现地图上绘制的散点图，这篇中，我们将讲解如何在百度地图上绘制散点图。 首先要创建html和引入ECharts包，具体说明详见上篇：[ECharts实现地图散点图（一）](/2016/04/28/echarts-map-tutorial.html)。在 github 上下载ECharts扩展bmap.js，放在/extension/目录下，并引入html中：<!DOCTYPEhtml><htmllang="en"><head><metacharset="UTF-8"><title>EChartsmapDemo</title></head><body><divi...
爬虫相关问题总结
常见爬虫框架常见的反爬虫措施有哪些？1）通过Headers反爬虫 从用户请求的Headers反爬虫是最常见的反爬虫策略。很多网站都会对Headers的User-Agent进行检测，还有一部分网站会对Referer进行检测（一些资源网站的防盗链就是检测Referer）。如果遇到了这类反爬虫机制，可以直接在爬虫中添加Headers，将浏览器的User-Agent复制到爬虫的Headers中；或者将Referer值修改为目标网站域名。对于检测Headers的反爬虫，在爬虫中修改或者添加Headers就能很好的绕过。2）基于用户行为反爬虫 还有一部分网站是通过检测用户行为，例如同一IP短时间内多次访问同一页面，或者同一账户短时间内多次进行相同操作。大多数网站都是前一种情况，对于这种情况，使用IP代理就可以解决。可以专门写一个爬虫，爬取网上公开的代理ip，检测后全部保存起来。这样的代理ip爬虫经常会用到，最好自己准备一个。有了大量代理ip后可以每请求几次更换一个ip，这在requests或者urllib2中很容易做到，这样就能很容易的绕过第一种反爬虫。对于第二种情况，可以在每次请求后随机间隔...
爬虫之scrapy框架
1.scrapy框架介绍 Scrapy是用纯Python实现的一个为了爬取网站数据、提取结构性数据而编写的应用框架 Scrapy特色是使用了Twisted异步网络框架来处理网络通讯，加快了下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完成各种需求1.1scrapy框架架构图ScrapyEngine(引擎):负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。Scheduler(调度器):它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。Downloader（下载器）：负责下载ScrapyEngine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给ScrapyEngine(引擎)，由引擎交给Spider来处理，Spider（爬虫）：它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)，ItemPipeline(管道)：它...
爬虫之Selenium模块
1.Selenium模块介绍 该模块最初是一个自动化测试模块，而在爬虫中使用它是为了解决requests无法直接执行JavaScript代码的问题 本质是驱动浏览器，完全模拟浏览器的操作，如跳转、输入、点击、下拉等 selenium支持的多种浏览器：fromseleniumimportwebdriverbrowser=webdriver.Chrome()browser=webdriver.Firefox()browser=webdriver.PhantomJS()#一个无界面的浏览器browser=webdriver.Safari()browser=webdriver.Edge() 它的官方文档链接：https://selenium-python.readthedocs.io/1.1安装针对有界面的浏览器：安装链接：http://npm.taobao.org/mirrors/chromedriver/下载chromdriver.exe，把它放到python安装路径的scripts目录中即可(本人windows)对于mac系统，将解压后的chromedriver移动到/usr/l...
爬虫之Beautifulsoup及xpath
1.BeautifulSoup (以Python风格的方式来对HTML或XML进行迭代，搜索和修改)1.1介绍 BeautifulSoup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。1.2解析器 BeautifulSoup支持Python标准库中的HTML解析器,还支持一些第三方的解析器，如果我们不安装它，则Python会使用Python默认的解析器，lxml解析器更加强大，速度更快，推荐安装。官方文档1.3使用 借用官方文档提供的爱丽丝梦游仙境文档内容html_doc="""<html><head><title>TheDormouse'sstory</title></head><body><pclass="title"><b>TheDormouse'sstory</b></p><pclass="stor...
爬虫之requests
1.爬虫介绍1.1什么是爬虫 互联网最有价值的就是资源，爬虫要做的就是爬取资源，比如链家网的租房信息，拉勾网的求职信息，岛国的资源等等1.2爬虫流程 发送请求------>获取响应------>爬取资源(下载资源)------>解析数据------>数据持久化(mongodb数据库，redis数据库)请求模块：requests模块，selenium模块解析模块：BeautifulSoup模块，xpath模块 2.requests模块 Requests唯一的一个非转基因的PythonHTTP库，人类可以安全享用 Requests允许你发送纯天然，植物饲养的HTTP/1.1请求，无需手工劳动。你不需要手动为URL添加查询字串，也不需要对POST数据进行表单编码。Keep-alive和HTTP连接池的功能是100%自动化的，一切动力都来自于根植在Requests内部的 urllib3。(来源官网)#各种请求方式：常用的就是requests.get()和requests.post()>>>importrequests>...
前端JavaScript之DOM使用案例
1.弹出框点击关闭（这个例子关键自己创建标签以及属性，不是太好想啊，而且作用相对来数也不是太大）<!DOCTYPEhtml><html><head><metacharset="UTF-8"><title></title><styletype="text/css">*{padding:0;margin:0;}html,body{height:100%;}#box{width:100%;height:100%;background:rgba(0,0,0,.3);}#content{position:relative;top:150px;width:400px;height:200px;line-height:200px;text-align:center;color:red;background-color:#fff;margin:auto;}#span1{position:absolute;background-color:red;top:0;right:0;width:30px;height:30px;...
递归，回溯算法两大经典案例—迷宫问题和八皇后问题
迷宫问题：问题描述：用二维数组表示一个迷宫，比如1表示墙，0表示空格，设置一个起点和终点，让小球自己从迷宫的起点到终点走出一条路径，并将路径标识为2。代码实现：1packagecn.ftf.digui;23publicclassMiGong{4publicstaticbooleanfindPath(int[][]arr,inti,intj){5//结束条件6if(arr[6][5]==2){7returntrue;8}9if(arr[i][j]==0){10arr[i][j]=2;11if(findPath(arr,i+1,j)){12returntrue;13}elseif(findPath(arr,i,j+1)){14returntrue;15}elseif(findPath(arr,i-1,j)){16returntrue;17}elseif(findPath(arr,i,j-1)){18returntrue;19}else{20arr[i][j]=3;21returnfalse;22}23}else{24returnfalse;25}26}27publicstaticvoidm...
爬虫请求库之selenium
一、介绍selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器fromseleniumimportwebdriverbrowser=webdriver.Chrome()#谷歌浏览器browser=webdriver.Firefox()#火狐浏览器browser=webdriver.PhantomJS()browser=webdriver.Safari()browser=webdriver.Edge()二、安装1.有界面浏览器#安装selenium+chromedriver1.pipinstallselenium2.一定要记得下载chromdriver.exe放到python安装路径scripts目录中，或者放在项目的根目录下，下载的时候注意和浏览器对应的版本2.无界面浏览器原来是用PhantomJS,现在使用谷歌浏览器headless模式 三、基本使用fromseleniu...
爬虫解析库beautifulsoup
一、介绍BeautifulSoup是一个可以从HTML或XML文件中提取数据的python库。#安装BeautifulSouppipinstallbeautifulsoup4#安装解析器BeatifulSoup支持python标准库中的HTML解析器，还支持一些第三方的解析器，其中一个是lxml,安装lxml:pipinstalllxml#这个使用率最高的另外一个可供选择的解析器是纯python实现的html5lib,html5lib的解析方式与浏览器相同，安装方式：pipinstallhtml5lib下表列出了主要的解析器,以及它们的优缺点,官网推荐使用lxml作为解析器,因为效率更高.在Python2.7.3之前的版本和Python3中3.2.2之前的版本,必须安装lxml或html5lib,因为那些Python版本的标准库中内置的HTML解析方法不够稳定.解析器使用方法优势劣势Python标准库BeautifulSoup(markup, "html.parser")Python的内置标准库执行速度适中文档容错能力强Python2.7.3or3.2.2)前的版本中文档容错...
爬虫请求库之requests库
一、介绍介绍：使用requests可以模拟浏览器的请求，比之前的urllib库使用更加方便注意：requests库发送请求将网页内容下载下来之后，并不会执行js代码,这需要我们自己分析目标站点然后发起新的request请求安装：pipinstallrequests常用的请求方式：requests.get(),requests.post()二、基于GET请求1.基本请求importrequestsres=requests.get('http://www.baidu.com')res.encoding='utf-8'print(res.text)#获取百度首页页面html代码 2.带参数的GET请求-->params自己拼接GET参数 (在?后面拼接参数)#加上请求头headers伪装成浏览器，百度才会正常返回页面，不一定只加User-agent，每个网站需要加不一样的请求头参数，需要自己慢慢试importrequestsres=requests.get('https://www.baidu.com/s?wd=python',#?拼接路径headers...
爬虫的基本流程
爬虫的基本流程1.发送请求使用http库向目标站点发起请求，即发送一个RequestRequest包含：请求头、请求体、路由等2.获取响应内容如果服务器能正常响应，则会得到一个Response包含：html页面，json,图片3.解析内容解析html数据：正则表达式，第三方解析库如bs4解析json数据：json模块解析二进制数据：以b的方式写入文件4.保存数据数据库文件Request请求1.请求方式常用的请求方式：GET,POST其他请求方式：HEAD,PUT,DELETE,OPTHONS注意：post和get请求最终都会拼接成这种形式：k1=xxx&k2=yyypost请求的参数放在请求体内：（参数可以放在data中传递）可用浏览器查看，存放于formdata内get请求的参数直接放在url后面(把参数放在params中传递)2.请求头User-agent:请求头中没有user-agent客户端配置，服务端可能将你作为一个非法用户hostcookies:cookie用来保存登录信息一般做爬虫都会带上请求头3.请求体如果是get方式，请求体没有内容如果是post方式，请求体是...