#淘宝数据魔方技术架构解析

自定义标签&JSON数据处理

最近几日去参加一些面试,多多少少有一些收获。现将遇到的一些面试题,做一下分析和总结。 1、使用原生JS,不能使用递归,查找dom中所有以“<com-”开头的自定义标签tagName。1<!DOCTYPEhtml>2<htmllang="zh">34<...

echarts 点击方法总结,点任意一点获取点击数据,举例说明:在多图联动中点击绘制标线

关于点击(包括左击,双击,右击等)echarts图形任意一点,获取相关的图形数据,尤其是多图,我想部分人遇到这个问题一直很头大。下面我用举例说明,如何在多图联动基础上,我们点击任意一个图上任意一点,在点击处绘制一条标注线。多图联动的用法,我就不详细解释,不明白或者感兴趣的同学可以看我上一篇:http://www.cnb...

PL/SQL简单实现数据库的连接

通常我们都会去选择通过修改配置文件去实现数据库链接,方法如下:找到你orale安装下的文件:instantclient_11_2etworkadmin修改的主要有三个地方:上面的命名随便起,而ip地址,端口和数据库sid名都需要配置这些配置好之后,就能在登陆界面找到你的命名的选项。当然还有更简单的方法:直接在登陆页面配...

(转)J2EE的13种核心技术

一、JDBC(JavaDatabaseConnectivity)    JDBCAPI为访问不同的数据库提供了一种统一的途径,象ODBC一样,JDBC对开发者屏蔽了一些细节问题,另外,JDBC对数据库的访问也具有平台无关性。二、JNDI(JavaNameandDirectoryI...

如何用perl将表格中不同列的数据进行拼凑,然后将拼凑后的数据用“|”连接在一起

最近写了一个perl脚本,实现的功能是将表格中其中两列的数据进行拼凑,然后将拼凑后的数据用“|”连接在一起。表格内容如下:员工号码员工姓名职位入职日期1001张三销售1980/12/170:00:001002李四财务1981/02/200:00:001003王五经理1981/02/220:00:...

如何用Excel直接查询Oracle中的数据

将Oracle中查询的数据保存为Excel文件,通常使用的是PL/SQLDeveloper。其实,Excel可直接写SQL语句查询Oracle中数据,在这里,用到ODBC驱动。详细步骤如下:一、配置ODBC数据源开始->控制面板->系统和安全->管理工具->ODBC数据源(可根据自己的情况选择3...

数据挖掘相关概念

1.过度拟合overfittingt是这样一种现象:一个假设在训练数据上能够获得比其他假设更好的拟合,但是在训练数据外的数据集上却不能很好的拟合数据。此时我们就叫这个假设出现了overfitting的现象。出现这种现象的主要原因是训练数据中存在噪音或者训练数据太少。而解决overfit的方法主要有两种:提前停止树的增长...

sqoop数据导出导入命令

1.将mysql中的数据导入到hive中sqoopimport--connectjdbc:mysql://localhost:3306/sqoop--direct--usernameroot--password123456--tabletb1--hive-tabletb1--hive-import-m1其中--tabl...

深度解析MySQL启动时报“The server quit without updating PID file”错误的原因

很多童鞋在启动mysql的时候,碰到过这个错误,首先,澄清一点,出现这个错误的前提是:通过服务脚本来启动mysql。通过mysqld_safe或mysqld启动mysql实例并不会报这个错误。那么,出现这个错误的原因具体是什么呢?哈哈,对分析过程不care的童鞋可直接跳到文末的总结部分~总结 下面,来分析下m...

爬虫技术:从sougou网站访问微信公众号的过程

一:分析过程:fidder+chrome开发者工具1:输入nba跳转的页面,每页显示10条相关公众号的信息2:分析网站得到每条标题的详情页链接地址在:3,请求上图中的url,会返回一段js代码,js代码的作用是,构造一个的新的url,并对新的url进行了请求。认真分析一下这段js代码,除了更换请求的url,还做了些什么...

python数据分析第二版:数据加载,存储和格式

一:读取数据的函数  1.读取csv文件 importnumpyasnpimportpandasaspddata=pd.read_csv("C:\Users\Administrator\Desktop\result.csv",encoding="utf-8")#这里需要注意路径必须用\斜杠,斜杠显示...

爬虫技术:代理池的维护

一:代理池维护的模块  1.抓取模块Crawl,负责从代理网站上抓取代理---------------抓取模块  2.获取代理Getter,负责获取抓取模块返回的值,并判断是否超过存储模块的最大容量。---------------获取模块  3.存储模块Redis,负责将抓取的每一条代理存放至有序集合中。-------...

python数据分析第二版:pandas

一:pandas两种数据结构:series和dataframe  series:索引(索引自动生成)和标签(人为定义)组成---返回一个对象obj=pd.Series([1,2,3,4])obj#结果01122334dtype:int64obj=pd.Series(["姓名","年龄","身高","体重"])obj#结...

爬虫技术:数据处理josn和pickle模块

一:json模块json模块的作用就是讲json字符串("{"a":1,"b":1}")和python能够识别的字典进行相互转换。importjsonimportpicklea="""{'a'::1,'c':2}"""ret=json.loads(a)print(ret)#结果json.decoder.JSONDeco...

python数据分析第二版:numpy

一:Numpy#数组和列表的效率问题,谁优谁劣#1.循环遍历importnumpyasnpimporttimemy_arr=np.arange(1000000)my_list=list(range(1000000))defarr_time(array):s=time.time()for_inarray:_*2e=tim...
首页上一页...539540541542543...下一页尾页