/基于scrapyd提供主机管理功能基于scrapyd管理已安装服务的主机。进入具体主机管理页面，会自动加载所有已知爬虫任务；可直接可以调度、运行、查看日志。提供项目管理功能将已知项目放到project目录下，可进行爬虫项目单台机器、多台机器部署。提供项目代码在线编辑功能提供任务管理功能基于项目-爬虫的管理，可以构建爬虫调度任务。目前支持三种类型调度，date、interval、cron（基本能满足日常需求）注：从Gerapy2.x开始，其定位发生改变，不再支持Scrapyd，转而支持Docker、Kubernetes的部署，另外开发还会迁移到Scrapy可视化配置和智能解析方面，敬请期待pip3install-Ugerapygerapyinit/gerapyinitGerapySpacecdgerapygerapymigrategerapyinitadmin会初始化一个超级管理员账号，username：adminpassword：admingerapycreatesuperuser回车根据提示输入用户名和密码Email:--可以不用写直接回车如果不想用admin,也可以根...

C语言提供了一些内存管理函数，这些内存管理函数可以按需要动态地分配内存空间，也可把不再使用的空间释放，为有效地使用内存资源提供了手段。动态数组，指的就是利用内存的申请和释放函数，在程序的运行过程中，根据实际需要指定数组的大小。其本质就是一个指向数组的指针变量。主要用到的内存管理函数是：malloc和free。1、分配内存函数malloc：/调用形式：（类型说明符*)malloc(size）；功    能：在内存的动态存储区中分配一块长度为size字节的连续区域。返    回：该区域的首地址。“类型说明符”表示把该区域用于何种数据类型。“(类型说明符*)”表示把返回值强制转换为该类型指针。“size”是一个无符号数。例如，pc=(char*)malloc(100);表示分配100个字节的内存空间，并强制转换为字符数组类型，函数的返回值为指向该字符数组的指针。2、释放内存空间函数free：/调用形式：free(void*ptr);功    能：释放ptr所指向的一块内存空...

RPM包管理器是由RedHat推出的应用软件管理器（过去的RPM就是RedHatPackageManager的缩写）。RPM包管理器是Linux系统中最早的软件包管理软件之一，也是目前最流行的软件包管理器，许多发行版都使用RPM作为默认的软件包管理软件。一、RPM包管理器简介【软件依赖性】与Windows系统中的软件不同，Linux系统中的软件将不同的功能模块单独写入到不同的软件包中，最后将多个相互依存的软件包结合起来形成一个应用程序。虽然这在Windows中也经常使用，但Linux系统中的软件模块划分得更小、功能更单一。因此在安装功能性软件时，通常需要安装许多与其具有依赖关系的软件包，这就是Linux系统中的软件依赖性。【RPM包管理器】在早期的系统中，安装应用程序是一件非常麻烦的事情，需要编译许多软件包才能完成应用程序的安装。为了解决这个问题，RedHat公司开发了一个包管理器，早期的包管理器名为RedHatPackageManager。虽然名中带有RedHat，但这是一个基于GPL协议的开源软件。RedHat公司鼓励广大的Linux系统发行商了解和使用RPM包管理器。由于RedH...

小知识：Linux系统启动时，运行的第1个进程名为init。这个进程是所有进程的父进程，其PID永远是1。PID是系统分配给进程的唯一的标识符，虽然系统中可能存在两个名称一样的进程，但PID绝对不同。当系统启动进程时，init会通过系统调用的方式启动新进程，并为新进程分配资源和PID等。而当进程结束时，系统会收回分配给进程的资源和PID等，这些资源和PID可以重复利用，下一次系统可能会将这些资源又分配给另一个进程。一、查看进程命令ps【命令格式】ps[option]【常用选项】a：显示所有‘终端进程’。u：显示所有‘用户进程’。x：显示所有进程，包括没有明确终端的进程（通常是一些后台服务进程）。e：显示所有进程。此选项与选项x类似，但使用的格式为BSD系统格式。f：显示UID，PPID（父进程ID），C（CPU占用率）和STIME（进程启动时间）字段。l：以长格式显示进程列表。【用法示例】（1）如果不加任何参数，ps命令会输出当前用户在当前终端中的进程：[root@localhost~]#psPIDTTYTIMECMD4253pts/000:00:00bash12681pts/000:...

小知识：服务是指操作系统中提供指定功能的程序或进程。服务也是一种应用程序，不同的是服务一般只在后台运行，且服务的对象一般是本地系统或网络中的主机和用户。一、查看系统服务Linux系统中存在许多服务，按服务对象不同，通常可以分为本地系统服务和网络服务两类。本地系统服务主要用于支撑本地系统运行，例如打印、网络支持、防火墙服务、蓝牙支持服务等。网络服务通常用于对网络中的用户或主机提供服务，例如Web应用服务、代理服务、FTP、数据库服务等。无论何种服务，在Linux系统中都可以设置为在一个或多个特定的运行级别中自动启动，即当系统进入某个指定的运行级别时，会自动运行设置在该级别中的服务。管理这些服务的第1步是查看系统中的服务。查看Linux系统中的服务列表，可以使用命令chkconfig。该命令可以用于查看服务的自启动状态，也可用于设置服务的启动状态。【命令格式】chkconfig–list[name]【用法示例】chkconfig命令可以查看单一服务的自启动状态，也可以用于查询系统中的服务列表。（1）查询系统防火墙服务iptables的自启动状态：[root@localhosthome]#c...

在多用户系统中，如果没有对用户使用的磁盘空间做出限制，用户无限制地存放数据和文件，可能会导致系统磁盘空间告警。如果存放的是无用数据，就会导致磁盘空间白白浪费。磁盘配额可以限制用户或组在磁盘上存放文件的空间，这样既可以让用户拥有一定的存储空间，又可以避免用户无限制地存放数据导致系统磁盘空间不足。一、为磁盘配额提供支持在Linux系统中，为磁盘配额提供支持的是quota软件包，如果系统中没有安装这个软件包，用户可以自行安装。在设置磁盘配额之前，必须要获文件系统的支持。为此需要系统中的自动挂载文件/etc/fstab，为相应的文件系统添加挂载参数：usrquota（启用用户限额）和grpquota（启用用户组限额）。以磁盘分区/dev/sda3为例，讲解如何建立磁盘配额。（1）修改自动挂载文件/etc/fstab，启用文件系统sda3的配额支持，将其修改为以下内容：/dev/sda3/homeext3defaults,usrquota,grpquota12（2）修改完之后，需要重新挂载文件系统，以启动磁盘配额支持：#umount/home#mount/dev/sda3/home也可以使用以下...

要使用磁盘存储数据，必须要先分区、建立文件系统，之后才可以挂载并使用文件系统存储数据。但是一些系统中凸显了这种方式的弊端：随着应用的不断扩展，存储的数据越来越多（例如数据库、文件服务器等），分区大小不能在线扩充就成了一个棘手的问题。为了解决问题，管理员们不得不关闭正在提供的业务，然后在线下执行扩展和数据转移工作。由于数据量巨大，线下扩展通常花费的时间很长，这对与关键性业务而言可能是致命的。可以使用LVM来解决这一难题。LVM（LogicalVolumeManager），逻辑卷管理。LVM可以将多个不同容量的分区合并在一起，然后重新分配使用空间。不仅如此，LVM还支持在线添加磁盘、删除磁盘、在线扩充文件系统等功能。一、LVM的基本概念1、基本术语物理卷（PV，PhysicalVolume）：构成LVM的基本存储设备。在实际应用中，物理卷可以是磁盘分区、RAID设备等。卷组（VG，VolumeGroup）：卷组就像一个可以扩充的磁盘（可以简单地理解为卷组是未分区的磁盘），由一个或多个物理卷组成。逻辑卷（LV，LogicalVolume）：逻辑卷就像是卷组中的一个分区，可以创建文件系统，挂载...

1、创建文件系统命令mkfs分区在使用前，应该对其进行初始化（主要目的是将数据组织结构等写入分区），这个过程在Windows系统中叫做格式化，在Linux系统中称为创建文件系统。Linux系统中，创建文件系统可以使用mkfs系列命令（命令提示符下输入mkfs，然后TabTab可以查看一系列的mkfs命令）。按创建的文件系统不同，mkfs系列命令包括：mkfs.ext3、mkfs.ext2和mkfs.vfat等。利用这些命令可以为分区创建相应的文件系统，也可以直接使用mkfs命令创建不同的文件系统。【命令格式】mkfs[option]device【常用选项】t：用于指定创建的文件系统类型。L：创建文件系统的同时，为文件系统添加卷标。c：创建文件系统前，先检查指定分区的坏道。【注意事项】创建文件系统时，必须要向mkfs命令指明要创建文件系统的分区和文件系统类型。创建文件系统的分区可以是磁盘分区、U盘等存储设备，这些设备以文件的形式放在目录/dev中。为磁盘分区创建文件系统会丢失分区中的所有数据，因此创建文件系统之前要备份分区中的数据。2、查看和修改卷标命令e2label卷标是用户对文件系统...

查看磁盘设备列表命令fdisk【命令格式】fdisk[option]device【常用选项】l：列出当前系统中的磁盘设备及分区详情。提示：在Linux系统中，所有的设备都被放置在/dev/中。对于磁盘等存储设备而言，sd通常表示SCSI磁盘、SATA磁盘、U盘等设备，hd通常表示IDE设备。而软驱通常使用fd表示，光驱则使用hdc或cdrom表示。查看磁盘设备命令hdparmhdparm命令主要用于查看IDE硬盘的工作参数。【命令格式】hdparm[option]device【常用选项】I：显示硬盘提供的硬件信息。T：评估硬盘从快速缓存（cache）中读取数据的速度。t：评估硬盘从缓冲区（buffer）中读取数据的速度。【用法示例】（1）查看硬盘提供的硬件信息：[root@localhosttest]#hdparm-I/dev/hda 注意：hdparm命令的大多数用法都只能用于IDE硬盘。（2）hdparm最常见的用法是评估硬盘的性能（此用法适用于IDE硬盘、SCSI硬盘及RAID设备等）：[root@localhosttest]#hdparm-tT/dev/sda/dev...

目的：（1）有效管理系统中的用户；        （2）运用文件权限使系统中的多个用户同时使用系统，但互不影响。一、用户管理系统用户文件概述（1）系统用户文件：用于保存系统用户及用户设置的文件是/etc/passwd.[root@localhosttest]#cat/etc/passwdroot:x:0:0:root:/root:/bin/bashbin:x:1:1:bin:/bin:/sbin/nologindaemon:x:2:2:daemon:/sbin:/sbin/nologinadm:x:3:4:adm:/var/adm:/sbin/nologin...可以看出，每一行都使用冒号“：”隔开，隔开的各个字段就是用户的设置。从左向右各个字段含义依次是：字段1：用户名。字段2：用户的登录密码。这里的x表示密码保存在用户密码文件/etc/shadow中。字段3：用户的ID号（即UID）。字段4：用户所属组的ID号（即GID）。字段5：可选，通常为空。这个字段一般用来保存用户的其他信息（如全名）等。字段6：...

静态函数库与动态函数库基本认知：GCC编译基础流程包括：预处理、编译、汇编、链接。注意在特定语义环境中区别第一个编译和第二个编译的含义。静态链接：链接器在链接时将库的内容加入到可执行程序中动态链接：链接器在链接时仅仅建立与所需库函数之间的链接关系，在程序运行时才将所需资源调入可执行程序中静态函数库（静态链接库）：程序编译时使用　　被称作：archive　　扩展名：.a　　命名格式：libxxx.a　　独立执行：编译成功的可执行文件可以独立执行　　升级难易度：难动态函数库（动态链接库）：程序运行时使用　　被称作：sharedobject　　扩展名：.so　　　命名格式：libxxx.so　　独立执行：编译成功的可执行文件不可独立执行，库函数文件必须要存在，并且函数库所在目录也不能改变　　升级难易度：易注：使用gcchello.c-ohello时，系统默认使用动态链接方式进行编译程序，若想使用静态编译，需加入-static参数　　如果静态库、动态库都放在/lib下，当静态库函数与动态库函数重名时，系统也是优先考虑链接动态库，同样如果想要使用静态库，需加入-static选项 静态函...

网络设置：使用ifconfig查看网络接口信息：#ifconfig　　　　　　　　　　查看所有活动的网络接口#ifconfig-a　　　　　　　　查看所有网络接口（包括非活动的）#ipaddressshow　　　　   查看网络接口的ip地址 使用ifconfig配置网络接口格式如下：#ifconfig eth0 <ip_address> netmask <netmask> [up|down]#ifconfig eth0 <ip_address> </prefixlen> [up|down]使用ifconfig命令只能临时修改网络接口的设置，系统重新启动后，这些设置将会丢失。 网络接口配置文件：/etc/sysconfig/network-scripts/目录中　　按网络接口名称不同，文件名称为ifcfg-ethX，其中X为网络接口编号。另外，ifcfg-lo文件为环回接口配置文件。　　配置文件中每一...

Thunar拥有的实用功能：缩略图查看批量重命名 $sudoapt-getinstallthunar　　sudoleafpad/usr/share/gvfs/mounts/network.mount查找：AutoMount=true修改成：AutoMount=false然后保存即可。...

实际开发中，项目的代码为了便于管理，往往按模块进行了分类，例如我涉及开发teacher教师模块，那么我在整个左侧的目录树中我需要：teacher的Java类teacher的相关配置文件teacher的相关web页面一般来说，我的目录就变成了这样：这什么鬼？群里用的刷屏金箍棒吗！这还不包括如果你需要频繁查看其他相关包中的代码，你可以感受一下我的心情。更崩溃的是，今天没有把功能写完，第二天上班再重新打开IDEA，目录全部给你收回去，心里几乎是崩溃的。然而当我有了favoriteslist： :D愿世界充满爱。ManagingYourProjectFavorites...

在项目管理中，预算和储备是经常被考的知识点，但是对二者的区分，很多学员都有困惑，现做整理比较如下：一、应急储备应急储备是为未规划但可能发生的变更提供的补贴，这些变更由风险登记册中所列的已知风险引起。关于应急储备，归纳如下几点是必须要理解的：1.         应急储备由PM负责管理。2.         PM可支配应急储备。3.         应急储备是为将来应对的"已知的未知风险"做准备的储备。4.         应急储备是是成本绩效基准的一部分，同时也属于项目预算。5.         若无估算依据，应急储备可按总成本的一定比例（例如...