51Dev开发社区
登录 注册

#ADO

flink yarn error 缺少hadoop 包
flinkversion: ApacheFlink1.11.2forScala2.12  后运行,各种jar包找不到yarn-session.sh-n1-jm1024m-tm1024m 查看官网：https://flink.apache.org/downloads.html可以知...
代码星球 ·2020-12-30

css3 box-shadow 阴影的用法
text-shadow是给文本添加阴影效果，box-shadow是给元素块添加周边阴影效果。随着html5和CSS3的普及，这一特殊效果使用越来越普遍。基本语法是{box-shadow:[inset]x-offsety-offsetblur-radiusspread-radiuscolor}对象选择器{box-shad...
代码星球 ·2020-12-30

box-shadow 阴影
text-shadow是给文本添加阴影效果，box-shadow是给元素块添加周边阴影效果。随着html5和CSS3的普及，这一特殊效果使用越来越普遍。基本语法是{box-shadow:[inset]x-offsety-offsetblur-radiusspread-radiuscolor}对象选择器{box-shad...
代码星球 ·2020-12-30

html <input type="text" />加上readonly后在各种浏览器的差异。
1<html>2<body>3<p>Name:<inputtype="text"name="email"/></p>4<p>Country:<inputtype="text"name="country"5value="China"readon...
代码星球 ·2020-12-29

[Hadoop]-从数据去重认识MapReduce
　　这学期刚好开了一门大数据的课，就是完完全全简简单单的介绍的那种，然后就接触到这里面最被人熟知的Hadoop了。看了官网的教程【吐槽一下，果然英语还是很重要！】，嗯啊，一知半解地搭建了本地和伪分布式的，然后是在没弄懂，求助了Google，搞来了一台机子，嗯，搭了个分布式的。其实是作业要求啦，觉得自己平时用单机的完全够...
代码星球 ·2020-12-29

Hello, AnnsShadow!
　　Hello！　　发现这个神奇的园子快一年了，自己的学习历程磕磕碰碰也过了一年了，想想，这么久了，是时候做些记录做个分享者了。　　从一开始的只敢看Blog，到现在自己发表一下自己的所感所想，算是一种成长了吧，挺好的。　　博客内容大多数是之前做的笔记和遇到的问题及解决方案，网上如此多类似的，就自己好好做总结吧。　　嗯，...
代码星球 ·2020-12-29

Redis 学习笔记（十二）Redis 复制功能详解 ----- (error) READONLY You can't write against a read only slave
Redis复制(Replication)1.复制介绍分布式数据库为了获取更大的存储容量和更高的并发访问量，会将原来集中式数据库中的数据分散存储到多个通过网络连接的数据存储节点上。Redis为了解决单点数据库问题，会把数据复制多个副本部署到其他节点上，通过复制，实现Redis的高可用性，实现对数据的冗余备份，保证数据和服...
代码星球 ·2020-12-27

最近火狐浏览器 总是“插件 adobe flash 已崩溃”
原因和解决方案：在地址栏中输入：about:addons》在如下地方发现firefox已经在警告该插件的安全性了》选择“总不激活”...
代码星球 ·2020-12-26

Ubuntu 18.04虚拟机中 安装 Hadoop系统环境
修改root用户的初始密码sudopasswd 退出当前用户，使用root登陆系统。关闭防火墙systemctlstopfirewalld.service开机不启动防火墙systemctldisablefirewalld.service查看防火墙状态ufwstatusinactive状态是防火墙关闭状态，ac...
代码星球 ·2020-12-18

Hadoop总结
一、linux简介01.Linux简介linux是一种自由和开放源代码的类UNIX操作系统。该操作系统的内核由林纳斯·托瓦兹在1991年10月5日首次发布。，在加上用户空间的应用程序之后，成为Linux操作系统。应用：长时间的运行编写的程序代码，可以安装在各种计算机硬件设备中，如：手机、平板电脑、路由器等...
代码星球 ·2020-12-18

Hadoop优化
1、mr程序的效率瓶颈功能：分布式离线计算计算机性能：CPU、内存、磁盘、网络I/O操作优化（1）数据倾斜（代码优化）（2）map和reduce数设置不合理（3）map运行时间太长，导致reduce等待过久（4）小文件过多（combineTextInputFomrat小文件合并）（5）不可分块的超大文件（不断的溢写）（...
代码星球 ·2020-12-18

Hadoop压缩
一、Hadoop压缩简介1、hadoop的3个阶段（1）分布式文件系统HDFS（2）分布式编程框架MapReduce（3）yarn框架2、Hadoop数据压缩MR操作过程中进行大量数据传输。压缩技术能够有效的减少底层存储（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。数据压缩能够有效的节省资源！压缩是mr程...
代码星球 ·2020-12-18

模拟hadoop-rpc通信
一、RPC服务类packagecom.css.rpc.server;importjava.io.IOException;importorg.apache.hadoop.HadoopIllegalArgumentException;importorg.apache.hadoop.conf.Configuration;im...
代码星球 ·2020-12-18

/etc/passwd /etc/group /etc/shadow 文件的格式说明
/etc/passwd存放账户信息：root:x:0:0:root:/root:/bin/bashjianing:x:1011:100::/home/jianing:/bin/bashusername:password:uid:gid:allname:homedir:shell用户名:密码:用户ID:组ID:用户全名:...
代码星球 ·2020-12-17

Hadoop.2.x_常用端口及定义方法(转)
组件 节点默认端口配置用途说明HDFSDataNode50010dfs.datanode.addressdatanode服务端口，用于数据传输HDFSDataNode50075dfs.datanode.http.addresshttp服务的端口HDFSDataNode50475dfs.datanode.htt...
代码星球 ·2020-12-07
首页上一页...89101112...下一页尾页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他