为您找到搜索结果：19387个
苏宁大数据面试题
1. hadoop使用什么版本，CDH版本号，是5.3.6。hadoop的版本是2.72，记住cdh的版本号和hadoop版本号不一样。2. flume是单节点采集数据还是多节点采集数据？flume是自定义框架还是用官方提供的框架？官方框架开发中有什么问题吗？ flume是多节点采集数据，框架用的是官方的框架，基于官网进行配置。官网提供的flume会出现丢包的情况，但是数据量不是很大的情况下，我们没有考虑丢包这个问题。3. Flume采集数据时如果出现了数据拥堵应该怎么处理？4. Flume开发中主要的source源头？ 1.AvroSource监听AVRO端口来接受来自外部AVRO客户端的事件流。利用AvroSource可以实现多级流动、扇出流、扇入流等效果。另外也可以接受通过flume提供的Avro客户端发送的日志信息。 2.SpoolingDirectorySource这个Source允许你将将要收集的数...
tar命令--数据归档（二）
tar-cfall.tar*.jpg这条命令是将所有.jpg的文件打成一个名为all.tar的包。-c是表示产生新的包，-f指定包的文件名。tar-rfall.tar*.gif这条命令是将所有.gif的文件增加到all.tar的包里面去。-r是表示增加文件的意思。tar-ufall.tarlogo.gif这条命令是更新原来tar包all.tar中logo.gif文件，-u是表示更新文件的意思。tar-tfall.tar这条命令是列出all.tar包中所有文件，-t是列出文件的意思tar-xfall.tar这条命令是解出all.tar包中所有文件，-x是解开的意思如：root@d001:~#tar-cvfcentos.tar/home/centostar:从成员名中删除开头的“/”/home/centos//home/centos/.bash_logout/home/centos/.bash_profile/home/centos/.bashrc/home/centos/.bash_history/home/centos/jdk-8u144-linux...
tar命令--数据归档（一）
虽然zip命令能够很好的将数据压缩和归档到单个文件，蛋挞不是linux和unix的标准归档工具。 ta命令最开始是用来将文件写到磁盘设备上的归档。然而他也能把输出写道文件里。你会发现这个可选参数是真的多！！！可以没有时间换成简易版：tar命令--数据归档（二） tar--help用法:tar[选项...][FILE]...GNU‘tar’将许多文件一起保存至一个单独的磁带或磁盘归档，并能从归档中单独还原所需文件。示例tar-cfarchive.tarfoobar#从文件foo和bar创建归档文件archive.tar。tar-tvfarchive.tar#详细列举归档文件archive.tar中的所有文件。tar-xfarchive.tar#展开归档文件archive.tar中的所有文件。主操作模式:-A,--catenate,--concatenate追加tar文件至归档-c,--create创建一个新归档-d,--diff,--compare找出归档和文件系统的差异--delete从归档(非磁带！)中删除-r,--append追加文件至归档结尾-...
python深浅copy
在详细的了解python中赋值、copy和deepcopy之前，了解一下python内存中变量的存储情况。 在高级语言中，变量是对内存及其地址的抽象。对于python而言，python的一切变量都是对象，变量的存储，采用了引用语义的方式，存储的只是一个变量的值所在的内存地址，而不是这个变量的只本身。引用语义：在python中，变量保存的是对象(值)的引用，我们称为引用语义。采用这种方式，变量所需的存储空间大小一致，因为变量只是保存了一个引用。也被称为对象语义和指针语义。值语义：有些语言采用的不是这种方式，它们把变量的值直接保存在变量的存储区里，这种方式被我们称为值语义，例如C语言，采用这种存储方式，每一个变量在内存中所占的空间就要根据变量实际的大小而定，无法固定下来。值语义和引用语义的区别：值语义：死的、傻的、简单的、具体的、可复制的引用语义：活的、聪明的、复杂的、抽象的、不可复制的 我们来看一张简单易懂的图理解一下python的引用语义和C语言值语义在内存中的存储情况，左右两个图，分别表示了python中变量存储与C语言中变量存储区别： 在python中的数...
python时间 time模块和datetime模块
time模块中时间表现的格式主要有三种： a、timestamp时间戳，时间戳表示的是从1970年1月1日00:00:00开始按秒计算的偏移量 b、struct_time时间元组，共有九个元素组。 c、formattime格式化时间，已格式化的结构使时间更具可读性。包括自定义格式和固定格式。1、时间格式转换图： 2、主要time生成方法和time格式转换方法实例：#生成timestamptime.time()#1558617411.1751661#struct_time==>timestamptime.mktime(time.localtime())#1558617411.1751661#生成struct_time#timestamp==>struct_time本地时间time.localtime()time.localtime(time.time())#time.struct_time(tm_year=2019,tm_mon=5,tm_mday=23,tm_hour=21,tm_min=20,tm_sec=7,tm_wday=3,tm_yday=143,t...
python 的ConfigParser模块
一、ConfigParser简介ConfigParser是用来读取配置文件的包。配置文件的格式如下：中括号“[]”内包含的为section。section下面为类似于key-value的配置内容。[db]db_host=127.0.0.1db_port=69db_user=rootdb_pass=roothost_port=9205[concurrent]thread=10processor=20括号“[]”内包含的为section。紧接着section为类似于key-value的options的配置内容。二、ConfigParser初始化对象使用ConfigParser首选需要初始化实例，并读取配置文件：importconfigparserconfig=configparser.ConfigParser()config.read("ini",encoding="utf-8")三、ConfigParser常用方法1、获取所用的section节点#获取所用的section节点importconfigparserconfig=configparser.ConfigParser()confi...
python上下文管理器
1.whatANDdemo我们希望把一些操作放到一个代码块中，这样在代码块中执行时就可以保持在某种运行状态，而当离开该代码块时就执行另一个操作，结束当前状态；所以，简单来说，上下文管理器的目的就是规定对象的使用范围，如果超出范围就采取“处理”。with语句内置上下文管理工具。withopen("test/test.txt","w")asf:f.write("hello")不使用上下文管理工具：f=open("hl.txt","w")print(f.closed)#运行到这里，会打印出False，因为没有关闭f.write("Hello,contextmanager!")f.close()print(f.closed)#这里才会打印出True，表示文件关闭如果这段代码根本执行不到f.close()这一句，就出现问题，这样就永远执行不到f.close()这一句，文件就永远不会被关闭。可以用try…finally语句。2.how自定义一个上下文管理器上下文管理协议（ContextManagementProtocol）：包含方法__enter__()和__exit__()，支持该协议的对象要实...
hive元数据
本文介绍Hive元数据库中一些重要的表结构及用途，方便Impala、SparkSQL、Hive等组件访问元数据库的理解。1、存储Hive版本的元数据表(VERSION)该表比较简单，但很重要。VER_IDSCHEMA_VERSIONVERSION_COMMENTID主键Hive版本版本说明11.1.0Set byMetaStore如果该表出现问题，根本进入不了Hive-Cli。比如该表不存在，当启动Hive-Cli时候，就会报错”Table‘hive.version’doesn’texist”。2、Hive数据库相关的元数据表(DBS、DATABASE_PARAMS)DBS：该表存储Hive中所有数据库的基本信息，字段如下:表字段说明示例数据DB_ID数据库ID1DESC数据库描述Default HivedatabaseDB_LOCATION_URI数据HDFS路径hdfs://193.168.1.75:9000/test-warehouseNAME数据库名defaultOWNER_NAME数据库所有者用户名publicOWNER_TYPE所有者角色ROLE&nbs...
python脚本攻略之log日志
logging模块是Python内置的标准模块，主要用于输出运行日志，可以设置输出日志的等级、日志保存路径、日志文件回滚等；相比print，具备如下优点：可以通过设置不同的日志等级，在release版本中只输出重要信息，而不必显示大量的调试信息；print将所有信息都输出到标准输出中，严重影响开发者从标准输出中查看其它数据；logging则可以由开发者决定将信息输出到什么地方，以及怎么输出日志等级：log4j定义了8个级别的log（除去OFF和ALL，可以说分为6个级别），优先级从高到低依次为：OFF、FATAL、ERROR、WARN、INFO、DEBUG、TRACE、ALL。ALL最低等级的，用于打开所有日志记录。TRACEdesignatesfiner-grainedinformationaleventsthantheDEBUG.Since:1.2.12，很低的日志级别，一般不会使用。DEBUG指出细粒度信息事件对调试应用程序是非常有帮助的，主要用于开发过程中打印一些运行信息。INFO消息在粗粒度级别上突出强调应用程序的运行过程。打印一些你感兴趣的或者重要的信息，这个可以用于生产环...
python继承之super
super() 函数是用于调用父类(超类)的一个方法。super是用来解决多重继承问题的，直接用类名调用父类方法在使用单继承的时候没问题，但是如果使用多继承，会涉及到查找顺序（MRO）、重复调用（钻石继承）等种种问题。MRO就是类的方法解析顺序表,其实也就是继承父类方法时的顺序表。super(type[,object-or-type])super()type--类。object-or-type--类，一般是selfPython3.x和Python2.x的一个区别是:Python3可以使用直接使用 super().xxx 代替 super(Class,self).xxx :classA:defadd(self,x):y=x+1print(y)classB(A):defadd(self,x):super().add(x)b=B()b.add(2)#3classA:defadd(self,x):y=x+1print(y)classB(A):defadd(self,x):super(B,self).add(x)b=B()b.add(2)#3&n...
python的方法VSjava方法
类方法用static修饰的方法。由于类方法是属于整个类的，所以类方法的方法体中不能有与类的对象有关的内容。即类方法体有如下限制：1.类方法中不能引用对象变量；2.类方法中不能调用类的对象方法；3.在类方法中不能调使用super，this关键字；4.类方法不能被覆盖。实例方法当一个类创建了一个对象后，这个对象就可以调用该类的方法（对象方法）。1.实例方法中可以引用对象变量，也可以引用类变量；2.实例方法中可以调用类方法；3.对象方法中可以使用super，this关键字。区别和注意事项区别：类方法可以通过类名调用，实例方法不能通过类名调用当类的字节码文件被加载到内存时，类的实例方法不会被分配入口地址当该类创建对象后，类中的实例方法才分配入口地址，从而实例方法可以被类创建的任何对象调用执行。类方法在该类被加载到内存时，就分配了相应的入口地址。从而类方法不仅可以被类创建的任何对象调用执行，也可以直接通过类名调用。类方法的入口地址直到程序退出时才被取消。注意：当我们创建第一个对象时，类中的实例方法就分配了入口地址，当再创建对象时，不再分配入口地址。也就是说，方法的入口地址被所有的对象共享，当所有...
python面向对象基础（三）内置方法 __xx__
改变对象的字符串显示__str__,__repr__自定制格式化字符串__format__ #_*_coding:utf-8_*_format_dict={'格式1':'{obj.name}-{obj.addr}-{obj.type}',#学校名-学校地址-学校类型'格式2':'{obj.type}:{obj.name}:{obj.addr}',#学校类型:学校名:学校地址'格式3':'{obj.type}/{obj.addr}/{obj.name}',#学校类型/学校地址/学校名}classSchool:def__init__(self,name,addr,type):self.name=nameself.addr=addrself.type=typedef__repr__(self):return'School(%s,%s)'%(self.name,self.addr)def__str__(self):return'(%s,%s)'%(self.name,self.addr)def__format__(self,format_spec):#ifformat_specifn...
MySQL + Atlas --- 部署读写分离
需要进入134与135数据库中配置用户名与密码，用户必须是远程可以访问的用户，配置方法如下： 首先进入到134的MySQL数据库中，创建用户“buck”设置密码为“hello”下列标红的是用户与密码。mysql>grantallon*.*tobuck@'127.0.0.1'identifiedby"hello";QueryOK,0rowsaffected(0.00sec) 修改buck的访问权限，首先得进入mysql数据库，才能修改host权限的信息#进入数据库mysql>usemysqlDatabasechanged#修改host权限为"%"mysql>updateusersethost='%'whereuser='buck';QueryOK,1rowaffected(0.00sec)Rowsmatched:1Changed:1Warnings:0 查看一下user表，看看修改成功了没有。可以看到，buck的用户，host已经修改成百分号了。mysql>selectuser,hostfromuser;+------+-------...