#大数据存储与处理

java 查找list中重复数据

查找一个List集合中所有重复的数据,重复的数据可能不止一堆,比如:aa,bb,aa,bb,cc,dd,aa这样的数据。如果有重复数据,则给这些重复数据加上编号,上述数据改为:aa1,bb1,aa2,bb2,cc,dd.算法如下:publicstaticvoidsame(List<String>list){...

Java--如何高效向List中存放不重复的数据(附带时间测试)

set不允许出现重复的值(key)List是不能存储重复数据的,而我们想利用List存储不重复的元素,一般都使用List自带的contains方法对元素进行判断,如果不包含再进行添加,但是这样太耗时了。含再进行添加,但是这样太耗时了。if(!list.contains("/home/"+i)){list.add("/h...

Quartz的Misfire处理规则

调度(scheduleJob)或恢复调度(resumeTrigger,resumeJob)后不同的misfire对应的处理规则CronTriggerwithMisfireHandlingInstructionDoNothing——不触发立即执行——等待下次Cron触发频率...
代码星球 ·2020-04-04

mysql查询数据

今天:select*from表名whereto_days(时间字段名)=to_days(now());昨天SELECT*FROM表名WHERETO_DAYS(NOW())-TO_DAYS(时间字段名)<=1近七天SELECT*FROM表名whereDATE_SUB(CURDATE(),INTERVAL7DAY)&...
代码星球 ·2020-04-04

log4j2记录日志到数据库(完美支持mysql使用DruidDataSource)

引用log4j-core-2.12.1.jarlog4j-web-2.12.1.jar1:配置数据源2:调用类3:写入...

MYSQL千万级数据量的优化方法积累

1.对查询进行优化,应尽量避免全表扫描,首先应考虑在where及orderby涉及的列上建立索引。2.应尽量避免在where子句中对字段进行null值判断,否则将导致引擎放弃使用索引而进行全表扫描,如:selectidfromtwherenumisnull可以在num上设置默认值0,确保表中num列没有null值,然后...

Mysql取随机数据效率测试(200W条中读取100条)

第一种方案: SELECT*FROM`follow_record`ASt1JOIN(SELECTROUND(RAND()*((SELECTMAX(record_id)FROM`follow_record`)-(SELECTMIN(record_id)FROM`follow_record`))+(SELECTM...

APP中的图片如何长按可以下载并保存图片到相册出错处理

https://www.cnblogs.com/interdrp/p/9302164.html接上文。如果用户在保存图片过程中,不小心拒绝了相册的访问权限 ...

JSOUP 乱码处理

JSOUP 支持在请求的时候,传入URL对象,然后设置编码。如下方式才是正解,设置编码为GBK。doc=Jsoup.parse(newURL(url).openStream(),"GBK",url);如果对方是UTF-8,那就设置为UTF-8RLurl=newURL("https://sms.reyo.cn"...
代码星球 ·2020-04-04

JSOUP 超时分析与处理

下面说说超时的发现,有可能出现超时的原因,以及超时处理。1.请求头信息得一致当你捕获到一个采用JSOUP去请求超时的链接,我是通过catch去发现。try{doc=Jsoup.connect(url).header("User-Agent","Mozilla/5.0(WindowsNT6.1;Win64;x64;rv:...
代码星球 ·2020-04-04

mysql 时间类型精确到毫秒、微秒及其处理

一、MySQL获得毫秒、微秒及对毫秒、微秒的处理MySQL较新的版本中(MySQL6.0.5),也还没有产生微秒的函数,now()只能精确到秒。MySQL中也没有存储带有毫秒、微秒的日期时间类型。但,奇怪的是MySQL已经有抽取(extract)微秒的函数。例如:selectmicrosecond('12:00:00....

Spring MVC 数据绑定流程分析

①  SpringMVC主框架将ServletRequest 对象及目标方法的入参实例传递给WebDataBinderFactory实例,以创建 DataBinder 实例对象②  DataBinder调用装配在SpringMVC上下文中的 ...

SpringMVC内置的精准数据绑定2

https://blog.csdn.net/flashflight/article/details/42935137 之前写过一篇《扩展SpringMVC以支持更精准的数据绑定1》用于完成类似于struts2的数据绑定;有朋友可能觉得自己写个参数解析器扩展比较麻烦,在此再介绍下springmvc内置的支持。&...

深入 Spring 系列之静态资源处理

前一段时间,WebIDE开源的过程中,无意间接触到 webjars,觉得比较有趣,于是研究并整理了一下。webjars是将前端的库(比如jQuery)打包成Jar文件,然后使用基于JVM的包管理器(比如Maven、Gradle等)管理前端依赖的方案。webjars的效果非常神奇。对于其用法,我们可以在mave...

如何优雅地进行错误处理(clean code阅读笔记之六)

错误处理是十分必要的,但是如果对错误处理使用不当则会让代码变得十分臃肿,让阅读者看不清代码的逻辑,更严重的是,这也会让程序变得十分脆弱。本文中将列出一些使用错误处理的技巧,帮助你写出既简洁又健壮的代码。使用Exception而不是返回码返回码是一个历史遗留问题,在以前的没有Exception的语言(比如c语言)中,它是...
首页上一页...499500501502503...下一页尾页