1）、引入外部的数据源（Druid）<!--https://mvnrepository.com/artifact/com.alibaba/druid--><dependency><groupId>com.alibaba</groupId><artifactId>druid</artifactId><version>1.1.10</version></dependency>2）、配置文件中切换默认的数据源spring.datasource.url=jdbc:mysql://127.0.0.1:3306/users?serverTimezone=GMTspring.datasource.username=rootspring.datasource.password=1234spring.datasource.driver-class-name=com.mysql.cj.jdbc.Driverspring.datasource.type=com.alibaba.druid.pool.D...

简介：对于数据访问层，无论是SQL还是NOSQL，SpringBoot默认采用整合SpringData的方式进行统一处理，添加大量自动配置，屏蔽了很多设置。引入各种xxxTemplate，xxxRepository来简化我们对数据访问层的操作。对我们来说只需要进行简单的设置即可。我们将在数据访问章节测试使用SQL相关、NOSQL在缓存、消息、检索等章节测 整合最基本的JDBC数据源： pom.xml引入web、jdbc、mysql切记吧mysql的《scope》属性去掉 连接jdbc会自动装配到容器中spring:datasource:username:rootpassword:1234driver-class-name:com.mysql.cj.jdbc.Driverurl:jdbc:mysql://127.0.0.1:3306/users?serverTimezone=GMT 测试： 默认使用：数据的相关配置都在：  类中1.x默认使用的是  数据源的自动配置：  &nbs...

packagegui;importjava.awt.*;importjava.awt.event.*;importjava.io.*;importjava.util.Scanner;importjavax.swing.*;classguiTestextendsJFrameimplementsActionListener{privateJTextAreata=newJTextArea(50,80);privateJFileChooserjfc=newJFileChooser(newFile("."));privateJButtonbOpen,bSave;publicguiTest(){super("文档选择框应用程序");JScrollPaneps=newJScrollPane(ta);bOpen=newJButton("选取源文件");bSave=newJButton("存盘");JButtonbCount=newJButton("转换");//这个是自定义的按钮setLayout(newFlowLayout(FlowLayout.CENTER,15,10));add(ps);add(...

功能实现：通过Reader类方法每次读入一行数据，然后对该行的8列数据进行转换为double型，显示 (n列)通过readLine方法判断行是否读取完，进而判断有多少行 （m行）功能缺陷:虽然实现了对每一行数据按空格截取（使用正则可以区分多个空格)，但是没有做到将数据读到二维数组中，然后对数据处理代码：packagecom.swust.file;importjava.io.*;publicclassfileTest{publicstaticvoidmain(String[]args)throwsFileNotFoundException,IOException{//TODOAuto-generatedmethodstubtry{BufferedReaderbr=newBufferedReader(newFileReader("1.txt"));//reader类操作Stringstr="";//行列计数初始化intrank=0;intcoulumn=0;while((str=br.readLine())!=null){System.out.println(str);...

首先不适用缓存技术，读取数据：//非缓冲计时packagecom.swust;importjava.io.*;/**功能：创建一个程序，写10000个随机双精度的数到一个文件中，同时测试运用缓冲和非缓冲技术**读取数据，求平均数，进行这种操作所需要的时间*分析：*在写开始操作之前，先获取当前时间*再将它同操作结束后的时间作比较，以此判断各个操作的时间*实现：*仍使用两个类：*/publicclassflowTest{publicstaticvoidmain(String[]args){doublesum=0;try{longstart=System.currentTimeMillis();FileInputStreamfileIn=newFileInputStream("sample.ini");DataInputStreamin=newDataInputStream(fileIn);for(inti=0;i<10000;i++){sum+=in.readDouble();}in.close();longstop=System.currentTimeMillis();System...

//非缓冲计时packagecom.swust;importjava.io.*;/**功能：创建一个程序，写10000个随机双精度的数到一个文件中，同时测试运用缓冲和非缓冲技术*进行这种操作所需要的时间*分析：*写双精度数到磁盘中的代码和之前文章类似。在写开始操作之前，先获取当前时间*再将它同操作结束后的时间作比较，以此判断各个操作的时间*实现：*仍使用两个类：*/publicclassflowTest{publicstaticvoidmain(String[]args){try{longstart=System.currentTimeMillis();FileOutputStreamfs_out=newFileOutputStream("sample.ini");DataOutputStreamout=newDataOutputStream(fs_out);for(inti=0;i<10000;i++){out.writeDouble(Math.random());}out.close();longstop=System.currentTimeMillis();System.o...

packagecom.swust;importjava.io.*;/**功能：按照双精度浮点型、整型、布尔型、字符型、和字符串型的顺序从名为sample.dat文件读取数据*分析：用FileInputStream类创建一个输出流的实例作为一个“流”*将该实例作为DataInputStream对象的输入*该对象调用各种方法实现从“流”读取的功能*图形：*sample.dat---->fs_out(FileOutputStream)------->out(DataOutputStream)*FileOutputStream类似一个底层函数，DataOutputStream为顶层函数，使用它作为一个桥梁输出到流*/publicclassflowTest{publicstaticvoidmain(String[]args){//TODOAuto-generatedmethodstubtry{FileInputStreamfs_in=newFileInputStream("sample.dat");DataInputStreamin=n...

重要的知识点：流的概念： 从数据源到I/O类的输入流（in)　　　　  从I/O类到数据接收器的输出流（out)I/O包含子类较多的有四大家族：InputStream，OutputStream,Reader和Write类        InputStream，OutputStream类均为抽象类，也就是说不能用他们创建实例对象，必须子类化之后才能建立对象printStream是一个格式化的输出流，它含有如下形式的write()方法publicvoidwrite(intb)publicvoidwirte(byteb[],intoff,intlen);除了write()方法外，printStream还有两个主要方法，print()和println(),举例如下：System.out.println(“hellojava");System.out.print("x=",x);主要差别是：print()方法是先把字符保存到缓冲区，然后当遇到换行符""时再显示到屏幕上；而则是...

示例IDE采用IDEA//**********************华丽的分割线****************//1.新建一个java项目-->在Src目录下创建3个包(Package)与一个文件夹(Directory)Package(包)-①bean:存放自动生成的JavaBean②mapper:存放自动生成的mapper接口与对应的.xml文件③test:存放一个main方法用于执行自动生成操作Directory(目录)::lib:存放项目所需要导入的包 2.向lib导入所需的包(记得让项目关联上这4个包,教程结束处附上资源链接)3.右击Src目录-->new-->File(新建两个配置文件db.properties与config.xml)db.properties:用于存放链接数据库的基本配置信息config.xml:存放Mybatis相关配置信息配置文件代码:db.properties:jdbc.driver=com.mysql.jdbc.Driverjdbc.url=jdbc:mysql://localhost:3306/ssm_mybatis...

前几天分享了一段获取所有股票实时数据的代码，有用户积极留言，提出一个非常棒的问题：如果数据本生的延时非常严重，通过代码获取数据再快又有什么用呢？一直以来我也只是直观感觉延时并不是很长，但没有做过详细的统计，今天统计一下通过上一篇文章分享的方法获取的实时数据，究竟延时有多大。今天实验用的数据是今天（2017-12-12）使用服务器脚本获取的实时数据的一部分，一共筛选了268只股票，数据只是这一天中的一部分数据，由于开盘了以后才修改的脚本，数据大概从9:47开始，少了十几分钟的数据，但是不影响结果，本次实验用的数据以网盘链接的方式放在文末，感兴趣的朋友自己下载下来算一算看看延时是多少，注意有一个问题，由于数据源的数据大约3秒更新一次，但脚本每秒获取一次数据，所以有一些数据是重复的，需要把重复的数据滤掉，避免影响结果。 在这里贴出结果，其他没有贴出来的与图片上的类似，最小延时大多为1秒，2秒，3秒，少数为4秒，最小延时没有超过44秒的，最大延时在30秒左右，从均值来看，延时分布在3秒到5秒之间居多，感兴趣的朋友可以算一下中位数，众数，方差，标准差等等。不过从这个实验也可以得出一些结...

 前两篇文章分别简单介绍了tushare这个财经数据接口包的使用，用起来很简单顺手，一两句代码就可以获取到你想的要的数据，但是有在群里经常看到说获取数据经常挂，延迟很严重等等，其实那是因为使用者没有好好去领悟和了解工具。片面两篇文章已经对tushare如何获取股票的历史数据和实时数据有过简单的介绍，没看过的朋友可以到微信公众号【数据之佳】点击往期文章就可以查看。上两篇文章只是向大家介绍了tushare这个工具，相信有不少对量化投资感兴趣，却不知道如何获取数据的朋友已经尝试过使用他来获取数据，但遗憾的是，如果不注意使用的技巧，你获取数据的脚本即使不经常挂，得到的数据质量也不高，尤其是实时分笔数据，上一篇文章展示的代码，获取一次所有股票的实时数据整整花了20秒的时间，遇到这种情况，可能很多人会想，是不是我的网速的问题，或者是数据服务器限制访问的频次导致的？所以只能退而求其次，自我安慰，有总比没有好。其实不然，我们使用tushare来获取数据，器数据也是通过爬虫从各个数据服务器爬下来的，那么在代码访问数据的过程中，每一次访问都需要经过验证，就好像你需要从仓库中取一万个零件，你每一次...

  前一天简单介绍了python怎样获取历史数据和实时分笔数据，那么如果要获取所有上市公司的实时分笔数据，应该怎么做呢？ 肯定有人想的是，用一个列表存储所有上市公司的股票代号，然后无限循环获取不就得了吗？ 现在深市和沪市的股票一共有3400多只，如果你真这样做的话，获取一次所有股票的实时数据需要十几二十秒的时间，甚至更多，而且非常容易因为等待超时而使程序挂掉，如果你的模型对实时数据的质量要求非常高，这肯定是不行的，即使不考虑数据质量，获取数据的脚本经常挂也是不行的。 那首先想到的是多线程和多进程。然而因为python全局解释锁的存在，在多线程情况下，即使是在多核cpu的情况下，也只能同时执行一个线程，即使如此，多线程获取一次所有股票实时数据所花的时间，依然比在一个大循环里面运用单线程少得多，这是因为python从网络获取数据存储到本地，是IO密集型任务，python多线程依然能很大程度上提高性能，具体细节在这里不多做介绍。 为了充分利用带宽资源，IO资源，在这里使用多线程和多进程两种方式获取股票数据， 首先我们需要有...

使用tushare获取股票历史数据和实时分笔数据 财经数据接口包tushare的使用（一）Tushare是一款开源免费的金融数据接口包，可以用于获取股票的历史数据、年度季度报表数据、实时分笔数据、历史分笔数据，本文对tushare的用法，已经存在的一些问题做一些介绍。 一：安装tushare为避免由于依赖包缺失导致安装失败，请先安装anaconda,百度网盘地址： 链接：http://pan.baidu.com/s/1qYDQUGs 密码：6wq8 安装直接一直下一步即可 安装完成之后，anaconda会自动配置环境变量，直接就可以用了，cmd打开命令行窗口，使用命令 pipinstalltushare 即可安装tushare 二：tushare的使用1、获取历史数据之get_hist_data 参数说明： •code：股票代码，即6位数字代码，或者指数代码（sh=上证指数sz=深圳成指hs300=沪深300指数sz50=上证50zxb=中小板cyb=创业板）&nbs...

 在这篇文章中，我们将介绍一种新的关键字搜索和替换的算法：Flashtext算法。Flashtext算法是一个高效的字符搜索和替换算法。该算法的时间复杂度不依赖于搜索或替换的字符的数量。比如，对于一个文档有N个字符，和一个有M个词的关键词库，那么时间复杂度就是 O(N) 。这个算法比我们一般的正则匹配法快很多，因为正则匹配的时间复杂度是 O(M*N)。这个算法和AhoCorasick算法也有一点不同，因为它不匹配子字符串。Flashtext算法被设计为只匹配完整的单词。比如，我们输入一个单词{Apple}，那么这个算法就不会去匹配“IlikePineapple”中的apple。这个算法也被设计为首先匹配最长字符串。在举个例子，比如我们有这样一个数据集{Machine，Learning，MachineLearning}，一个文档“IlikeMachineLearning”，那么我们的算法只会去匹配“MachineLearning”，因为这是最长匹配。这个算法我们已经在Githu...

  2017-11-0311:05数据平台Kaggle近日发布了2017机器学习及数据科学调查报告，针对最受欢迎的编程语言、不同国家数据科学家的平均年龄、不同国家的平均年薪等进行深度调查。此次调查共收到16000余份回复。以下「AI脑力波」小编对该报告数据进行了梳理编译，供大家参考。年龄从全球范围来看，本次调查对象的平均年龄在30岁左右。在不同的国家，数值会有所差异，加拿大接受问卷调查的平均年龄为34岁，而中国的机器学习从业者年龄的中位数是25岁。工作状态全球全职工作者为65.7%，其中中国为53.%，美国占比较高，达70.9%。职位数据科学领域可涵盖的工作非常多，包括机器学习工程师、数据分析师、数据科学家、软件开发人员、数据挖掘人员等。其中，数据科学家人数占比最高，达24.4%。软件开发人员/工程师位居第二，但人数仅占12.3%，数据分析师紧跟其后，以11.3%位列第三。年薪从全球来看，人们普遍认为“职业进修机会”比“薪酬福利”要更重要一些。数据科学人员的年薪中位数为$55,441。在中国，数据科学家的年薪中位数为$...