实验目的复习配置hadoop初始化环境复习配置hdfs的配置文件学会配置hadoop的配置文件了解yarn的原理实验原理1.yarn是什么　　前面安装好了hdfs文件系统，我们可以根据需求进行数据的读写操作。hdfs解决了大数据的存储，接下来的问题就是根据实际的业务需求进行计算。目前大数据的计算业务主要有离线计算、实时...

实验目的通过实验了解tf-idf算法原理通过实验了解mapreduce的更多组件学会自定义分区，读写缓存文件了解mapreduce程序的设计方法实验原理1.TF-IDF简介　　TF-IDF(termfrequency–inversedocumentfrequency)是一种用于资讯检索与资讯探勘的常用加权技...

实验目的了解hive的原理和安装方式学习使用MySQL数据库使用hive进行基本操作实验原理1.Hive　　Hive是一个数据仓库技术，包括解释器、编译器、优化器，一次将一个sql语句装化为mapreduce代码，然后对代码进行编译，最后优化执行。实质是一个客户端程序，类似jsp和servlet的关系，实际上jsp也是...

实验目的复习安装jdk学习免密码登录掌握安装配置hdfs集群的方法掌握hdfs集群的简单使用和检查其工作状态实验原理1.hdfs是什么　　hadoop安装的第一部分是安装hdfs，hdfs是一个磁盘文件系统，提供的功能类似于本地文件系统一样，可以通过命令进行增删改查文件，不同的是，hdfs通过将很多机器放在一起组成一个...

实验目的了解java的安装配置学习配置对自己节点的免密码登陆了解hdfs的配置和相关命令了解yarn的配置实验原理1.Hadoop安装　　　　Hadoop的安装对一个初学者来说是一个很头疼的事情，要一步安装好整个hadoop集群难度特别大，所以一个快捷的学习方法是边安装边学习，安装的时候，先搭建单节点伪分布式，然后再搭...

实验目的了解zookeeper的概念和原理学会安装zookeeper集群并验证掌握zookeeper命令使用实验原理1.Zookeeper介绍　　ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper是h...

实验目的了解Hadoop的概念和原理学习HDFS架构原理熟悉mapreduce框架熟悉mapred和yarn命令实验原理1.hadoop和hadoop生态系统　　hadoop的思想来源是Google，Google曾经面对一个问题，大量的网页怎么存储，怎么快速搜索的问题，于是三篇论文诞生了GFS、Map-Reduce、B...

实验目的学习安装Java学习配置环境变量学习设置免密码登陆的方法掌握Linux环境下时间同步的配置实验原理1.Java的安装　　java是大数据的黄金语言，这和java跨平台的特性是密不可分的，大数据的大部分框架，包括hadoop、hbase、tachyon等，都是用java实现，而spark框架的scala语言，也是...

实验目的了解yum的原理及配置学习软件的更新与安装学习源代码编译安装实验原理1.编译安装　　前面我们讲到了安装软件的方式，因为linux是开放源码的，我们可以直接获得源码，自己编译安装。例如：新建一个hello.c的文件，在里面添加一下内容：#include<stdio.h>intmain(void){pr...

实验目的学习使用xshell工具连接Linux服务器在连上的服务器中进入用户目录熟悉简单的文件操作命令实验原理　　熟悉shell命令是熟悉使用linux环境进行开发的第一步，我们在linux的交互式命令行输入的每一个命令都是一个shell指令，Shell本质是一个用C语言编写的程序，它是用户使用Linux的桥梁。She...

实验课程名称：大数据处理技术实验项目名称：hadoop集群实现PageRank算法实验类型：综合性实验日期：2018年6月4日-6月14日学生姓名吴裕雄学号15210120331班级软工三班专业名称软件工程实验组其他成员无实验地点F110实验成绩（教师签名）   实验目的与要求了解Page...

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的...

前文在《利用Hadoop实现超大矩阵相乘之我见（一）》中我们所介绍的方法有着“计算过程中文件占用存储空间大”这个缺陷，本文中我们着重解决这个问题。矩阵相乘计算思想传统的矩阵相乘方法为行、列相乘的方式，即利用左矩阵的一行乘以右矩阵的一列。不过该方法针对稀疏矩阵相乘，会造成过多的无效计算，降低计算效...

  前记最近，公司一位挺优秀的总务离职，欢送宴上，她对我说“你是一位挺优秀的程序员”，刚说完，立马道歉说“对不起，我说你是程序员是不是侮辱你了？”我挺诧异，程序员现在是很低端，很被人瞧不起的工作吗？或许现在连卖盗版光盘的，修电脑的都称自己为搞IT的，普...

 一、Java环境yum安装方式安装1、搜索JDK安装包yumsearchjava|grepjdk2、安装yuminstalljava-1.8.0-openjdk-src.x86_643、查看安装结果java-version通过yum默认安装的路径为/usr/lib/jvm可以通过cd/usr/lib/jvm...