实验目的通过实验了解tf-idf算法原理通过实验了解mapreduce的更多组件学会自定义分区，读写缓存文件了解mapreduce程序的设计方法实验原理1.TF-IDF简介　　TF-IDF(termfrequency–inversedocumentfrequency)是一种用于资讯检索与资讯探勘的常用加权技...

实验目的了解hive的原理和安装方式学习使用MySQL数据库使用hive进行基本操作实验原理1.Hive　　Hive是一个数据仓库技术，包括解释器、编译器、优化器，一次将一个sql语句装化为mapreduce代码，然后对代码进行编译，最后优化执行。实质是一个客户端程序，类似jsp和servlet的关系，实际上jsp也是...

实验目的复习安装jdk学习免密码登录掌握安装配置hdfs集群的方法掌握hdfs集群的简单使用和检查其工作状态实验原理1.hdfs是什么　　hadoop安装的第一部分是安装hdfs，hdfs是一个磁盘文件系统，提供的功能类似于本地文件系统一样，可以通过命令进行增删改查文件，不同的是，hdfs通过将很多机器放在一起组成一个...

实验目的了解java的安装配置学习配置对自己节点的免密码登陆了解hdfs的配置和相关命令了解yarn的配置实验原理1.Hadoop安装　　　　Hadoop的安装对一个初学者来说是一个很头疼的事情，要一步安装好整个hadoop集群难度特别大，所以一个快捷的学习方法是边安装边学习，安装的时候，先搭建单节点伪分布式，然后再搭...

实验目的了解zookeeper的概念和原理学会安装zookeeper集群并验证掌握zookeeper命令使用实验原理1.Zookeeper介绍　　ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper是h...

实验目的了解Hadoop的概念和原理学习HDFS架构原理熟悉mapreduce框架熟悉mapred和yarn命令实验原理1.hadoop和hadoop生态系统　　hadoop的思想来源是Google，Google曾经面对一个问题，大量的网页怎么存储，怎么快速搜索的问题，于是三篇论文诞生了GFS、Map-Reduce、B...

importjava.io.*;publicclassExecDemo01{publicstaticvoidmain(Stringargs[])throwsException{inti=0;intj=0;BufferedReaderbuf=null;//接收键盘的输入数据buf=newBufferedReader(ne...

USE[Test]GOSETANSI_NULLSONGOSETQUOTED_IDENTIFIERONGOALTERTRIGGER[dbo].[trg_InsertAndUpdate]ON[dbo].[Shop_OrderAmount]FORUPDATEASBEGINSETNOCOUNTON;declare@oldQty...

配置读取.netcore下读取配置还是有点麻烦的，本身没有System.Configuration.dll,所以在进行配置前需要自行引用Microsoft.Extensions.Configuration,如下：  这样的话我们就可以配置读取的相关编码了，比如我们数据库的链接字符串，在appsett...

CentOS配置防火墙操作实例（启、停、开、闭端口）：注：防火墙的基本操作命令：查询防火墙状态:[root@localhost ~]#serviceiptablesstatus<回车>停止防火墙:[root@localhost ~]#serviceiptablesstop<回车&g...

数据结构（Java版）ch2线性表的顺序存储（顺序表） 线性表的抽象数据Java接口描述如下：packagech2;/***线性表的抽象数据接口，用Java语言描述线性表的这些功能！*@author房廷飞**/publicinterfaceIList{publicvoidclear();//将线型表置成空表p...

一、概述近年来，大数据技术如火如荼，怎样存储海量数据也成了当今的热点和难点问题，而HDFS分布式文件系统作为Hadoop项目的分布式存储基础，也为HBASE提供数据持久化功能，它在大数据项目中有很广泛的应用。Hadoop分布式文件系统(HadoopDistributedFileSystem。HDFS)被设计成适合运行在...

1.local模式$SPARK_HOME/bin/spark-shell--masterlocalimportorg.apache.log4j.{Level,Logger}//导入javalog4j的日志相关类Logger.getLogger("org.apache.spark").setLevel(Level.WAR...