今天在分析tomcat日志文件时，遇到一个问题，想统计外面用户的useragent信息，因此就只需要过滤出第12列之后的所有内容。那么对于这个需求，我们到底该怎么处理呢，由于我没有想到一个一步到位的方法，因此找到了一个取巧的方法，将其过程分成两步：1、使用awk将文件的前12列替换为空。awk'{for(i=1;i&l...

sed以行为单位处理文件，awk比sed强的地方在于不仅能以行为单位还能以列为单位处理文件。awk缺省的行分隔符是换行，缺省的列分隔符是连续的空格和Tab，但是行分隔符和列分隔符都可以自定义，比如/etc/passwd文件的每一行有若干个字段，字段之间以:分隔，就可以重新定义awk的列分隔符为:并以列为单位处理这个文件...

计算hdfs指定目录中所有文件名中包含2011-04-24的文件大小，并换算成GB： $HADOOP_HOME/bin/hadoop fs -du/user/hdfs/s3/ifocus/*2011-04-24*  |awk '{sum +=&nbs...

 、uniq：只会对相邻的行进行判断是否重复，不能全文本进行搜索是否重复，所以往往跟sort结合使用。例子1：[root@aaa01~]#cata.txt12345612[root@aaa01~]#cata.txt|uniq>>au.txt[root@aaa01~]#catau.txt123456...

Sedsed是一个很好的文件处理工具，本身是一个管道命令，主要是以行为单位进行处理，可以将数据行进行替换、删除、新增、选取等特定工作，下面先了解一下sed的用法sed命令行格式为：sed[-nefri]‘command’输入文本 常用选项：    ...

删除最后一个字符如：1.1.1， 在file文件中： sed'$s/.$//'file 或者：head-c-2 去掉最后一个字符head-c-3 去掉最后二个字符head-c-4 去掉最后三个字符...

　　版权申明：本文为博主窗户(ColinCai)原创，欢迎转帖。如要转贴，必须注明原文网址　　http://www.cnblogs.com/Colin-Cai/p/9082551.html　　作者：窗户　　QQ：6679072　　E-mail：6679072@qq.com　　想来惭愧，之前写的一篇文章《用awk写递归》...

　　版权申明：本文为博主窗户(ColinCai)原创，欢迎转帖。如要转贴，必须注明原文网址　　http://www.cnblogs.com/Colin-Cai/p/7087128.html　　作者：窗户　　QQ：6679072　　E-mail：6679072@qq.com看到自己很多年前写的一篇帖子，觉得有些意义，转录...

echob1c2d3d1e8f9|awk'{string=$0len=length(string)for(i=0;i<=len;i++){tmp=substr(string,i,1)if(tmp~/[1-9]/){str=tmpstr1=(str1str)}}printstr1}'　　命令行直接贴入以上代码。...

awk'NR==1{gsub(""","");print$2}'$vehicle_file NR=1 取第一行gsub("src","target")  将src全部替换为targetprint$2取第2列...

find.-name'*.conf'|xargscat|grep'--'|grepflagfile|awk-F'flagfile=''{print$2}'|awk'{print$1}'|xargscat|less...

awk中使用shell中的变量一:"'$var'"这种写法大家无需改变用'括起awk程序的习惯,是老外常用的写法.如:var="test"awk'BEGIN{print"'$var'"}'这种写法其实际是双括号变为单括号的常量,传递给了awk.如果var中含空格,为了shell不把空格作为分格符,便应该如下使用:var...

背景：cattest.txt134实例：1、xargscattest.txt|xargs-iecho{}cattest.txt|xargs-I{}echo{}大小写i的参数是不一样的效果，小写i默认参数为{}，且不能改变，而大写I参数是自定义的，可以是{}、a...等等。2、awkawk是变成语言，{}代码块中可以使用...

grep的使用：一、grep一般格式：grep [选项] 基本正则表达式 [文件]这里的正则表达式可以为字符串。在grep命令中输入字符串参数时，最好将其用双引号括起来。调用变量时也可以使用双引号。在调用模式匹配事，应使用单引号。二、grep常用选项：-c只输出匹配行的计数。-i不区分大小...

接到个任务，要对大量的主机ip进行扫描：扫描加过滤脚本贴到底下#!/bin/bash###usenmapscanaliyunecho"********Startscan********"cataliyun.txt|grep-Ev'^(#|$)'|whilereadline;donmap-Pn$line|awk'/Nma...