#大屏可视化数据

PANDAS 数据合并与重塑

pandas作者WesMcKinney在【PYTHONFORDATAANALYSIS】中对pandas的方方面面都有了一个权威简明的入门级的介绍,但在实际使用过程中,我发现书中的内容还只是冰山一角。谈到pandas数据的行更新、表合并等操作,一般用到的方法有concat、join、merge。但这三种方法对于很多新手来...
代码星球 ·2021-02-23

Pandas 合并数据集

在数据挖掘过程中,经常会有不同表格的数据需要进行合并操作。今天介绍通过python下的pandas库下的merge方法和concat方法来实现数据集的合并。1.mergemerge函数通过一个或多个键来将数据集的行连接起来。该函数的主要应用场景是针对同一个主键存在两张包含不同特征的表,通过该主键的连接,将两张表进行合并...
代码星球 ·2021-02-23

python中如何对数据进行各种排序?

Python列表具有内置的list.sort()方法,可以在原地修改列表。还有一个sorted()内置的函数从迭代构建一个新的排序列表。在本文中,我们将探讨使用Python排序数据的各种技术。转自http://mp.weixin.qq.com/s?__biz=MzI5NDY1MjQzNA==&mid=22474...

爬虫进阶之Selenium和chromedriver,动态网页(Ajax)数据抓取

Ajax(AsynchronouseJavaScriptAndXML)异步JavaScript和XML。过在后台与服务器进行少量数据交换,Ajax可以使网页实现异步更新。这意味着可以在不重新加载整个网页的情况下,对网页的某部分进行更新。传统的网页(不使用Ajax)如果需要更新内容,必须重载整个网页页面。因为传统的在传输...

数据存储之使用MongoDB数据库存储数据

安装MongoDB环境:1.官网下载:https://www.mongodb.com/download-center#community2.MongoDB可视化工具compass下载https://www.mongodb.com/download-center#compass笔记importpymongo#获取连接Mo...

数据存储之使用mysql数据库存储数据

 推荐安装mysql5.7环境:官网下载:https://dev.mysql.com/downloads/installer/5.7.html如果提示没有.NETFramework框架。那么就在提示框中找到下载链接,下载一个就可以了。如果提示没有MicrosoftVirtualC++x64(x86),那么百度...

数据存储之json文件处理和csv文件处理

什么是json:JSON(JavaScriptObjectNotation,JS对象标记)是一种轻量级的数据交换格式。它基于ECMAScript(w3c制定的js规范)的一个子集,采用完全独立于编程语言的文本格式来存储和表示数据。简洁和清晰的层次结构使得JSON成为理想的数据交换语言。易于人阅读和编写,同时也易于机器解...

Flask使用Flask-SQLAlchemy操作MySQL数据库

Flask-SQLAlchemy是一个Flask扩展,简化了在Flask程序中使用SQLAlchemy的操作。SQLAlchemy是一个很强大的关系型数据库框架,支持多种数据库后台。SQLAlchemy提供了高层ORM,也提供了使用数据库原生SQL的低层功能。学习了Flask-SQLAlchemy下MySQL的配置和增...

Fiddler模拟post四种请求数据

Fiddler是一个简单的http协议调试代理工具,它界面友好,易于操作,是模拟http请求的利器之一。在接口测试中,接口通常是get请求或者post请求。get请求的测试一般较为简单,只需设置好相关的请求头,url写正确即可。但是在测试post请求时,请求数据格式的设置往往就稍显复杂。尤其是在开发人员的接口文档描述不...

Selenium--数据驱动(python)

什么是数据驱动?从它的本意来解释,就是数据的改变从而驱动自动化测试的执行,最终引起测试结果的改变。说人话,其实就是参数化。一、ini文件1、定义程序没有任何配置文件,那么它对外是全封闭的,一旦程序需要修改一些参数必须要修改程序代码本身并重新编译,为了让程序出厂后还能根据需要进行必要的配置,所以要用配置文件;配置文件有很...

ASP.NET Log4net数据库日志新增记录客户端ip

LOG4数据库记录器XML配置1<appendername="ADONetAppender"type="log4net.Appender.ADONetAppender">2<!--BufferSize为缓冲区大小,只有日志记录超设定值才会一块写入到数据库-->3<bufferSizeval...

WebRequest抓取网页数据出现乱码问题

今天项目里突然有个功能用不起来了,本机确实好的,这个很无语 不知道为啥经过写日志发现html 变成了这样的东西,很是头疼,刚开始各种编码转换,发现这并不是编码的问题   后面观察目标网站多了一个gzip压缩标识,开始尝试解压Gzip 找到AutomaticDe...

sqlserver数据库脱机和分离的区别

脱机和分离的区别:分离和脱机都可以使数据库不能再被使用,但是分离后需要附加才能使用,而脱机后只需联机就可以用了。 附加数据库报错:无法打开物理文件XXX.mdf"。操作系统错误5:"5(拒绝访问。)"。(MicrosoftSQLServer,错误:5120) 解决方法:找到xxx.MDF与xxx_l...

SQL数据库优化的六种方法

SQL命令因为语法简单、操作高效受到了很多用户的欢迎。但是,SQL命令的效率受到不同的数据库功能的限制,特别是在计算时间方面,再加上语言的高效率也不意味着优化会更容易,所以每个数据库都需要依据实际情况做特殊调整。 同时,这也是为什么我们要尽可能多的了解不同的方法来优化或增强数据库,以确保最佳性能的原因。不同职...

SQL Server查询第31到40条数据

大致分为两种情况:ID连续和ID不连续。1.ID连续的情况:select*fromAwhereIDbetween31and402.ID不连续的情况:(1).两次对表查询,效率较低。selecttop10*fromAwhereIDnotin(selecttop30IDfromA)(2).外层查询没有对表A进行查询,效率提...
首页上一页...2627282930...下一页尾页