存入mongodb的pipelines文件是这样子写的fromopenpyxlimportWorkbookfromscrapy.confimportsettingsimportpymongoclassUsergentPipeline(object):def__init__(self):host=settings['MONGODB_HOST']port=settings['MONGODB_PORT']dbname=settings['MONGODB_DBNAME']#数据库名client=pymongo.MongoClient(host=host,port=port)tdb=client[dbname]self.port=tdb[settings['MONGODB_DOCNAME']]#表名defprocess_item(self,item,spider):agentinfo=dict(item)self.port.insert(agentinfo)returnitemsettings文件应该这样子写：MONGODB_HOST='192.168.90.9'MONGODB_PORT=270...

转自：https://www.cnblogs.com/Java3y/p/8507258.html（原贴） /什么是存储过程？有哪些优缺点？存储过程就像我们编程语言中的函数一样，封装了我们的代码(PLSQL、T-SQL)。存储过程的优点：能够将代码封装起来保存在数据库之中让编程语言进行调用存储过程是一个预编译的代码块，执行效率比较高一个存储过程替代大量T_SQL语句，可以降低网络通信量，提高通信速率存储过程的缺点：每个数据库的存储过程语法几乎都不一样，十分难以维护（不通用）业务逻辑放在数据库上，难以迭代/三个范式是什么/第一范式（1NF）：数据库表中的字段都是单一属性的，不可再分。这个单一属性由基本类型构成，包括整型、实数、字符型、逻辑型、日期型等。第二范式（2NF）：数据库表中不存在非关键字段对任一候选关键字段的部分函数依赖（部分函数依赖指的是存在组合关键字中的某些字段决定非关键字段的情况），也即所有非关键字段都完全依赖于任意一组候选关键字。第三范式（3NF）：在第二范式的基础上，数据表中如果不存在非关键字段对任一候选关键字段的传递函数依赖则符合第三范式。所谓传递函数依赖，指...

来自：http://blog.csdn.net/zqtsx/article/details/8929625-----------------------------------------------------------------------------MySql性能到底能有多高？用了php半年多，真正如此深入的去思考这个问题还是从前天开始。有过痛苦有过绝望，到现在充满信心！MySql这个数据库绝对是适合dba级的高手去玩的，一般做一点1万篇新闻的小型系统怎么写都可以，用xx框架可以实现快速开发。可是数据量到了10万，百万至千万，他的性能还能那么高吗？一点小小的失误，可能造成整个系统的改写，甚至更本系统无法正常运行！好了，不那么多废话了。用事实说话，看例子：数据表collect(id,title,info,vtype)就这4个字段，其中title用定长，info用text,id是逐渐，vtype是tinyint，vtype是索引。这是一个基本的新闻系统的简单模型。现在往里面填充数据，填充10万篇新闻。最后collect为10万条记录，数据库表占用硬盘1.6G。OK,看下面这条sq...

来源：http://www.lvtao.net/database/mysql_page_limit.html---------------------------------------------------------------------------很多的朋友在面试中会遇到这样的问题，也有很多的项目在运营一段时间后也会遇到MYSQL查询中变慢的一些瓶颈，今天这儿简单的介绍下我常用的几种查询分页的方法，我所知道的也无非就是索引、分表、子查询偏移，所以要是有什么不对或有更好的方法，欢迎大家留言讨论。效率分析关键词：explain+SQL语句一，最常见MYSQL最基本的分页方式limit：select*from`table`orderbyiddesclimit0,20在中小数据量的情况下，这样的SQL足够用了，唯一需要注意的问题就是确保使用了索引。随着数据量的增加，页数会越来越多,在数据慢慢增长的过程中，可能就会出现limit10000,20这样的情况，limit10000,20的意思扫描满足条件的10020行，扔掉前面的10000行，返回最后的20行，问题就在这里，如果是limit...

来源：http://www.wenlingnet.com/index.php/198/---------------------------------------------------------------------当一个表数据有几百万的数据时，分页的时候成了问题如select*fromtablelimit0,10这个没有问题当limit200000,10的时候数据读取就很慢，可以按照一下方法解决总数据有500万左右以下例子当时候select*fromwl_tagindexwherebyname=’f’orderbyidlimit300000,10执行时间是3.21s优化后：select*from(selectidfromwl_tagindexwherebyname='f'orderbyidlimit300000,10)aleftjoinwl_tagindexbona.id=b.id执行时间为0.11s速度明显提升这里需要说明的是我这里用到的字段是byname,id需要把这两个字段做复合索引，否则的话效果提升不明显具体参考：http://explaine...

获取股票数据的源头主要有：数据超市、雅虎、新浪、Google、和讯、搜狐、ChinaStockWebService、东方财富客户端、证券之星、网易财经。2016年5月6日更新。根据最近频繁出现的数据超市，可以无限制获取相关数据，而不再需要使用爬虫等方式获取，这样不仅节省了极大资源，也有利于遍历数据。具体的方法不再赘述，列出来相关网站清单，开发者可自行到这些网站查询调用方法。聚合数据 https://www.juhe.cn/百度API数据 http://apistore.baidu.com/发源地 http://www.finndy.com/笔者这里推荐使用聚合数据，其次配合百度API使用即可。缺点：某些美国节假日数据会短缺；调用次数不能超过每分钟200次，否则会被警告并封锁IP地址；自定义列获取方法只能获取美股数据。优点：数据最标准化，可以获取其他国家市场数据；返回数据类型可自定义组合。方法1：http://table.finance.yahoo.com/table.csv?s=股票代码返回结果：CSV格式的文件，返回列依次是“日期、开盘价、最...

原文：https://www.cnblogs.com/qingqing-919/p/8444816.html 对比使用Charles和Fiddler两个工具及利用Charles抓取https数据（App）实验目的：对比使用Charles和Fiddler两个工具实验对象：车易通App，易销通App实验结果：1.     接口数据呈现方式对比：（1）Charles树状结构呈现于屏幕，清晰易区分（2）Fiddler默认按时间倒叙呈现所有接口数据，不易区分个人觉得图形界面上Charles更易使用，当然可以通过过滤抓取的接口数据，这样Fiddler下也就很容易区分你要找的接口了。2.     针对车易通和易销通App抓取的接口数据全面性对比：（1）    Charles对于https无法直接获取到，可获取的呈现出来也都是乱码，需要安装ssl证书，后面会写具体设置方法。（2）    Fiddler可以直接抓取所...

今天朋友跟我聊他在提拔下属时的一些困扰。当中聊到了员工忠诚度的问题，让我有一些感触，所以今天就谈谈我对忠诚度的看法，做HR或者管理的同行可以听一听。　　今天加班有点累，长话短说了。　　我认识一个HR，在某大型企业任职。她挑选面试者时会特别看重应聘者的任职经历，即到目前为止在几家任职过。她跟我说，如果一个员工10年内跳槽超过4次，她会直接pass掉，她认为这种人很不稳定、对企业没有忠诚度。　　其实我不太赞同这种看法，不过这种她这种看法貌似还挺普遍的。　　稳定性和忠诚度确实是我们在招人和提拔员工时考虑的一个重要方面，但我觉得现在有一个误区，在一家公司做两年走并不意味着这个员工不忠诚。员工的忠诚度应该是这个员工在公司服务的时候为公司创造价值、做好事情，而不应该是以工作多久为衡量。当然没有时间是肯定无法创造价值的，但一个干不好的人即使他待在工作岗位上也肯定是创造不了什么价值的。所以，我觉得在招人和提拔员工时，应该更多的考虑对比一下候选人，看谁能为团队创造价值。　　再说，现在很少有人能够在一家公司待一辈子。换句话说，绝大多数人都会离开公司，只是在公司待得时间长短而已。所以，我们不应该片面追求员工...

1#提供一个文件浏览夹。让用户选择需要打开的文件，打开并显示文件内容：23importeasyguiasg4importos5msg='浏览文件并打开'6title='测试'7default='D:Python练习*'8fileType='全部文件'9filePath=g.fileopenbox(msg,title,default,fileType)1011withopen(filePath)asf:12title=os.path.basename(filePath)13msg='文件%s的内容如下：'%title14txt=f.read()15g.textbox(title,msg,txt) ...

一个人真正的魅力，不是给别人留下美好的第一印象，而是在别人认识你多年后，仍然喜欢和你在一起；不是能瞬间吸引别人的目光，而是他慢慢熟悉你以后，依然会从心里欣赏你；不是初次见面后，就有相见恨晚的感觉，而是历尽沧桑后，还能由衷的说：认识你真好。时间是检验一切的试金石，一个人的魅力，永远不会被时间冲淡，反而会因为岁月愈加闪耀。 一个有魅力的人，有着强烈的责任感，不会把说的话当成空口承诺，而是落实在生活的点点滴滴。一个有魅力的人，时常保持拥有阳光的心态，得失了无忧，来去都随缘。容貌乃天成，浮华在身外，心里满是阳光，才是永恒的美。一个有魅力的人，对待他人总是敞开胸怀，做人真实，不拘细节，率真坦荡。没有眼前的苟且，不活在角落里，而是像诗一样，自然流淌，一直走向远方……...

JS（jQuery）写缓存之：sessionStorage的运用：结果就是讲存储的DOM对象value传到后台PHP，进行foreach(){}解析JSON成二维数组示例页面：http://www.xxxx.com/index.php?ctl=project&act=add_content&id=63图片：          上1和下2     /*我的自述我的项目为何众筹+自定义章节*//*我的自述我的项目为何众筹+自定义章节*/$(function(){$('ul#tabli').bind("mousedown",function(){/*点击叠加样式*/$(this).addClass('active').siblings().removeClass('active');});js_session_mouseup();//点击this自定义章节，siblings()上下排序、删除div自动隐藏click_custom...

jQuery动态显示当前时间：   html代码：<divid="current_time"></div>setInterval()使用：setInterval(functionName,timeOut);setInterval使用示例：   jQuery代码：<scripttype="text/javascript">setInterval(function(){varnow=(newDate()).toLocaleString();$('#current-time').text(now);},1000);</script>   整合示例教程-->jQuery+PHP动态显示项目倒计时：html代码：<ulclass="public-time-left"><li><pid="time_d"></p><span>天</span></li><li>&l...

1、问题说明　　有一组数据，用来存储图片路径，动态修改图片的路径来上传图片，而小程序JS只能通过事件获取时机和setData方法修改数据来改变view。而用这样写的方式明显是错误的　　 2、解决办法　　字符串拼接...

原文：https://www.cnblogs.com/muhy/p/10493678.html  oracle如何将项目中的表导出后在导入自己的数据库中，这是一个完整的操作，对于数据库备份或在本地查看数据验证数据进场用到，一般情况下我都用dos黑窗口进行操作，简单记录下，毕竟好记性不如烂笔头嘛！　　oracle的imp/exp就相当于oracle数据的还原与备份，利用这个功能我们可以构建两个相同的数据库，一个用于正式的，一个用户测试，一般情况下，我们常用的是将服务器的数据导出来，放在本地进行测试，以便发现问题并改正。　　imp命令可以把本地.dmp文件导入到对应数据库中，不管是本地还是远程的　　exp命令可以把数据从远程服务器中导入到本地，以.dmp进行保存到本地文件夹下　　1、oracle如何导出表？　　步骤一：打开cmd;　　步骤二：语法：exp用户名/密码@服务名tables=表名file=存入本地dmp目标地址log=存入本地log目标地址 owner=要导出的用户名　　　　　　导出表：exptest/test@orcltables=sys_use...

原文：https://blog.csdn.net/aachangs/article/details/87820818 数据库编码问题新手入坑，第一次使用oracle数据库，还是与mysql略有不同，首先在插入数据时的SQL语法有很大不同，mysql写法：1insertintotablenamevalues(%s,%s)oracle中插入写法：1insertintotablename(ITEM_ID,CONTENT)values(:ITEM_ID,:CONTENT)问题描述：mysql和python都是utf-8编码，oracle为SIMPLIFIEDCHINESE_CHINA.ZHS16GBK，想把mysql中的一些数据导入到oracle，琢磨着写个程序来导(毕竟程序猿)，于是就发生了一下错误：1UnicodeEncodeError:'ascii'codeccan'tencodecharactersinposition0-1:ordinalnotinrange(128)问题分析：引起这个问题的原因是编码格式不同，并不是由于python版本的问题引起的（当然，如果你的pytho...