#ARK

开发工具之Spark程序开发详解

1、打开IDEA的官网地址,地址如下:http://www.jetbrains.com/idea/ 2、点击DOWNLOAD,按照自己的需求下载安装,我们用免费版即可。 3、双击ideaIU-15.0.2.exe安装包,点击Next。 4、选择安装路径,点击Next。5、可以选择是否创建桌...

Mark 韦氏拼音 邮政式拼音 和汉语拼音

一直感觉很多大学名字不像是汉语拼音也不像是英文,百度了下原来是三种不同的拼音方式:转载百度百科:邮政式拼音和威妥玛拼音法并未完全消失。北京大学(PekingUniversity)、清华大学(TsinghuaUniversity)、苏州大学(SooChowUniversity)的英文校名用的就是邮政式拼音。同时,为保证历...

Spark(一): 基本架构及原理

 ApacheSpark是一个围绕速度、易用性和复杂分析构建的大数据处理框架,最初在2009年由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一,与Hadoop和Storm等其他大数据和MapReduce技术相比,Spark有如下优势:Spark提供了一个全面、统一的框架用于...
代码星球 ·2020-04-14

MarkDownPad2基本语法

一、换行和空格  (1)换行  行尾加两个空格  (2)空格     二、标题  在#后跟个空格再写文字,一个#是一级标题,两个#是二级标题,以此类推,支持六级标题。 &n...
代码星球 ·2020-04-14

CloneZilla + Parkomat 实现网络备份

前往 http://clonezilla.org/downloads.php 下载CloneZillaLive,有四个版本,我们主要使用的是稳定版(stable)。而alternative-stable,stable的区别主要是基于不同的发行版,前者基于Ubuntu,而后者基于Debian。对于UE...

三维网格细分算法(Catmull-Clark subdivision & Loop subdivision)附源码(转载)

转载: https://www.cnblogs.com/shushen/p/5251070.html下图描述了细分的基本思想,每次细分都是在每条边上插入一个新的顶点,可以看到随着细分次数的增加,折线逐渐变成一条光滑的曲线。曲面细分需要有几何规则和拓扑规则,几何规则用于计算新顶点的位置,拓扑规则用于确定新顶点的...

python3实践-从网站获取数据(Carbon Market Data-GD) (bs4/Beautifulsoup)

 结合个人需求,从某个网站获取一些数据,发现网页链接是隐藏的,需要通过浏览器看后面的代码来获取真实的链接。下面这个案例,直接是从真实的链接中爬去数据。此外,发现用pandas的read_html不能直接解析“lxml”的表格,有待后续研究。 另外,爬去的数据发现有很多空格符号...

python3实践-从网站获取数据(Carbon Market Data-BJ) (pandas,bs4)

 自己边看边实践一些简单的实际应用,下面的程序是从某个网站上获取需要的数据。在编写的过程中,通过学习陆续了解到一些方法,发现Python真的是很便捷。尤其是用pandas获取网页中的表格数据,真的是太方便了!!!程序写的可能并不好,但基本上实现了自己的需求。希望有高手来指点下~~ Version04...

wireshark怎么抓包、wireshark抓包详细图文教程

wireshark是非常流行的网络封包分析软件,功能十分强大。可以截取各种网络封包,显示网络封包的详细信息。使用wireshark的人必须了解网络协议,否则就看不懂wireshark了。为了安全考虑,wireshark只能查看封包,而不能修改封包的内容,或者发送封包。wireshark能获取HTTP,也能获取HTTPS...

Wireshark常用过滤使用方法

过滤源ip、目的ip。在wireshark的过滤规则框Filter中输入过滤条件。如查找目的地址为192.168.101.8的包,ip.dst==192.168.101.8;查找源地址为ip.src==1.1.1.1 端口过滤。如过滤80端口,在Filter中输入,tcp.port==80,这条规则是把源端口...

Spark(十七)图计算GraphX

1.1基本概念图是由顶点集合(vertex)及顶点间的关系集合(边edge)组成的一种数据结构。这里的图并非指代数中的图。图可以对事物以及事物之间的关系建模,图可以用来表示自然发生的连接数据,如:社交网络、互联网web页面常用的应用有:在地图应用中找到最短路径、基于与他人的相似度图,推荐产品、服务、人际关系或媒体1.2...
代码星球 ·2020-04-11

网页静态化解决方案Freemarker

序言:  沉淀了三个月,逐步将自己最近两年在公司中用到的技术和知识点,重新整理归纳了下,对比以前可以发现,现在技术更新越来越快,也越来越成熟,在互联网企业,用到的技术也更先进,更领先,比如微服务、分布式和高并发等等。接下来我会将自己创业的时候在客户做项目,用到的一些技术和知识点给大家分享,供大家参考学习。下面我们先从网...

Spark 编程基础

1.初始化Sparkimportorg.apache.spark.{SparkContext,SparkConf}valconf=newSparkConf().setAppName("RDD1").setMaster("local")valsc=newSparkContext(conf)2.创建RDD的方法内存:Par...
代码星球 ·2020-04-11

翻滚吧,Spark (错误记录)

1)本地运行报错: Exceptioninthread"main"org.apache.spark.SparkException:AmasterURLmustbesetinyourconfiguration解决方案:第一种,在代码里设置:valconf=newSparkConf().setAppName("S...
代码星球 ·2020-04-11

Win7 单机Spark和PySpark安装

欢呼一下先。软件环境菜鸟的我终于把单机Spark和Pyspark安装成功了。加油加油!!!1.安装方法参考:已安装Pycharm和IntellijIDEA。win7PySpark安装:http://blog.csdn.net/a819825294/article/details/51782773win7Spark安装:...
首页上一页...2526272829...下一页尾页