数据主题的文章列表，还有数据的技术要点_第368页

【大数据】Spark On Yarn

Spark在YARN中有yarn-cluster和yarn-client两种运行模式: I.Yarnclient在yarn-client模式下，Driver运行在Client上，通过ApplicationMaster向RM获取资源。本地Driver负责与所有的executorcontainer进行交互，并将最...

代码星球 ·2020-04-06

【数据库】分库分表策略

关系型数据库本身比较容易成为系统瓶颈，单机存储容量、连接数、处理能力都有限。当单表的数据量达到1000W或100G以后，由于查询维度较多，即使添加从库、优化索引，做很多操作时性能仍下降严重。此时就要考虑对其进行切分了，切分的目的就在于减少数据库的负担，缩短查询时间。数据库分布式核心内容无非就是数据切分（Sharding...

代码星球 ·2020-04-06

【数据库】事务的四大特性

⑴原子性（Atomicity）　　原子性是指事务包含的所有操作要么全部成功，要么全部失败回滚，事务的操作如果成功就必须要完全应用到数据库，如果操作失败则不能对数据库有任何影响。⑵一致性（Consistency）　　一致性是指事务必须使数据库从一个一致性状态变换到另一个一致性状态，也就是说一个事务执行之前和执行之后都必须...

代码星球 ·2020-04-06

【数据库】索引的优点和缺点

索引就像是书的目录，是与表或视图关联的磁盘上结构，可以加快从表或视图中检索行的速度。索引中包含由表或视图中的一列或多列生成的键。这些键存储在一个结构（BTree）中，使SQL可以快速有效地查找与键值关联的行。① 建立索引的列可以保证行的唯一性，生成唯一的rowId② 建立索引...

代码星球 ·2020-04-06

【数据库】数据库负载均衡

解决方案：使用分布式数据库，引入中间件实现负载均衡，我们先把操作发给这个中间件管家，然后管家通过识别，哦～原来你要进行select操作，那么我就把你这个请求发给master，又来一个原来你需要进行的是插入insert的操作，那么我就把你这个请求发给slave，当如果有多个slave的时候，我就通过slave的权重，轮循...

代码星球 ·2020-04-06

《Python数据分析与挖掘实战》读书笔记

大致扫了一遍，具体的代码基本都没看了，毕竟我还不懂python，并且在手机端的排版，这些代码没法看。有收获，至少了解到以下几点：一、Python的语法挺有意思的有一些类似于JavaScript这种动态语言的特性在里面，比如多值赋值、比如Lambda表达式等，有机会可以找本python...

代码星球 ·2020-04-06

android：Android中用文件初始化sqlite数据库（zz）

很多时候在应用安装初始化时，需要创建本地数据库，同时为数据库添加数据，之后再从数据库中读取数据。这里有2个思路 1.先在本地创建一个能支持android使用的sqlite数据库文件,启动时,用现成的sqlite的二进制文件进行直接copy到Andro...

代码星球 ·2020-04-06

Ubuntu下迁移MySQL数据库文件目录

用Ubuntu的apt包管理工具安装的mysql数据库，默认将数据库文件保存在/var/lib/mysql目录下，时间久了数据库越来越大，所以准备挂载个新的硬盘专门存放mysql数据库。1、确定mysql数据库文件存放目录一般默认是在/var/lib/mysql目录下。先登录自己的mysql数据库，比如我用root账户...

代码星球 ·2020-04-06

Java连接mysql数据库并插入中文数据显示乱码

连接数据库设置编码　　jdbc:mysql://地址:3306/数据库名?characterEncoding=utf8...

代码星球 ·2020-04-06

【MySql】Java 批量插入数据库addBatch

//addBatch批量插入数据库publicstaticvoidinsertCommentToMySql(Set<String>commentList){Iterator<String>it=commentList.iterator();Statementst=null;try{st=DBCo...

代码星球 ·2020-04-05

MySQL 数据备份与还原

　　1、使用mysqldump命令备份　　mysqldump命令将数据库中的数据备份成一个文本文件。表的结构和表中的数据将存储在生成的文本文件中。　　mysqldump命令的工作原理很简单。它先查出需要备份的表的结构，再在文本文件中生成一个CREATE语句。然后，将表中的所有记录转换成一条INSERT语句。然后通过这些...

代码星球 ·2020-04-05

MySQL重复数据

deletefrompornwhereIdnotin(selectminidfrom(selectmin(id)asminidfromporngroupbyviewkey)b);...

代码星球 ·2020-04-05

Java 数据库操作之Dao类

packageDao;importjava.sql.ResultSet;importjava.sql.SQLException;importjava.sql.Statement;importjava.util.ArrayList;importjava.util.List;importbean.Pair;importut...

代码星球 ·2020-04-05

curl模拟自动登陆&采集网页数据

<!DOCTYPE><html><head><metahttp-equiv="Content-Type"content="text/html;charset=utf-8"/><title>模拟登录测试</title></head><...

代码星球 ·2020-04-05

AJAX 页面数据传递

$.ajax({//一个Ajax过程type:"post",//以post方式与后台沟通url:"personstockajax.php",//与此php页面沟通dataType:'json',//从php返回的值以JSON方式解释data:'tid='+tid+'&polar='+polar+'&fi...

代码星球 ·2020-04-05