刘新修个人博客

111

查看apache日志相关细节

很多时候在使用Linux的shell时，我们都需要对文件名或目录名进行处理，通常的操作是由路径中提取出文件名，从路径中提取出目录名，提取文件后缀名等等。例如，从路径/dir1/dir2/file.txt中提取也文件名file.txt，提取出目录/dir1/dir2，提取出文件后缀txt等。

下面介绍两种常用的方法来进行相关的操作。

一、使用${}

1、${var##*/}

该命令的作用是去掉变量var从左边算起的最后一个'/'字符及其左边的内容，返回从左边算起的最后一个'/'（不含该字符）的右边的内容。使用例子及结果如下：

liuxinxiu@HongKong: var=/dir1/dir2/file.txt

liuxinxiu@HongKong: echo ${var##*/}

file.txt

从运行结果可以看到，使用该命令，可以提取出我们需要的文件名file.txt。

若使用时在shell程序文件中，可以使用变量来保存这个结果，再加以利用，如file=${var##*/}

2、${var##*.}

该命令的作用是去掉变量var从左边算起的最后一个'.'字符及其左边的内容，返回从左边算起的最后一个'.'（不含该字符）的右边的内容。使用例子及结果如下：

liuxinxiu@HongKong: var=/dir1/dir2/file.txt

liuxinxiu@HongKong: echo ${var##*.}

txt

从运行结果可以看到，使用该命令，可以提取出我们需要的文件后缀。

如果文件的后缀不仅有一个，例如，file.tar.gz，命令${var##*.}仅能提取最后一个后缀，而我想提取tar.gz时该怎么办？那么就要用下面所说的${var#*.}命令了。

3、${var#*.}

该命令的作用是去掉变量var从左边算起的第一个'.'字符及其左边的内容，返回从左边算起第一个'.'（不含该字符）的右边部分的内容。使用例子及结果如下：

liuxinxiu@HongKong: var=/dir1/dir2/file.tar.gz

liuxinxiu@HongKong: echo ${var#*.}

tar.gz

从运行结果可以看到，使用该命令，可以提取出文件的多个后缀。

4、${var%/*}

该命令的使用是去掉变量var从右边算起的第一个'/'字符及其右边的内容，返回从右边算起的第一个'/'（不含该字符）的左边的内容。使用例子及结果如下：

liuxinxiu@HongKong: var=/dir1/dir2/file.txt

liuxinxiu@HongKong: echo ${var%/*}

/dir1/dir2

从运行的结果可以看到，使用该命令，可以提取出我们需要的文件所在的目录

5、${var%%.*}

该命令的使用是去掉变量var从右边算起的最后一个'.'字符及其右边的内容，返回从右边算起的最后一个'.'（不含该字符）的左边的内容。使用例子及结果如下：

liuxinxiu@HongKong: var=/dir1/dir2/file.txt

liuxinxiu@HongKong: echo ${var%%.*}

/dir1/dir2/file

当我们需要建立一个与文件名相同名字（没有后缀）的目录与对应的文件相对应时，就可以使用该命令来进行操作。例如，解压文件的情况就与此类似，我们压缩文件file.zip时，会在与file.zip同级目录下建立一个名为file的目录。

6、${}总结

其实${}并不是专门为提取文件名或目录名的，它的使用是变量的提取和替换等等操作，它可以提取非常多的内容，并不一定是上面五个例子中的'/'或'.'。也就是说，上面的使用方法只是它使用的一个特例。

看到上面的这些命令，可能会让人感到非常难以理解和记忆，其实不然，它们都是有规律的。

#：表示从左边算起第一个

%：表示从右边算起第一个

##：表示从左边算起最后一个

%%：表示从右边算起最后一个

换句话来说，＃总是表示左边算起，％总是表示右边算起。

＊：表示要删除的内容，对于#和##的情况，它位于指定的字符（例子中的'/'和'.'）的左边，表于删除指定字符及其左边的内容；对于%和%%的情况，它位于指定的字符（例子中的'/'和'.'）的右边，表示删除指定字符及其右边的内容。这里的'*'的位置不能互换，即不能把*号放在#或##的右边，反之亦然。

例如：${var%%x*}表示找出从右边算起最后一个字符x，并删除字符x及其右边的字符。

看到这里，就可以知道，其实该命令的用途非常广泛，上面只是指针文件名和目录名的命名特性来进行提取的一些特例而已。

二、basename和dirname

${}并不是专门为提取文件名和目录名设计的命令，那么basename和dirname命令就是专门为做这一件事而已准备的了。

1、basename

该命令的作用是从路径中提取出文件名，使用方法为basename NAME [SUFFIX]。

1）从路径中提出出文件名（带后缀），例子如下：

liuxinxiu@HongKong: var=/dir1/dir2/file.txt

liuxinxiu@HongKong: echo (basename $var)

file.txt

2）从上面命令的用法中可以看到，后缀（SUFFIX）是一个可选项。所以，若只想提取出文件名file，而不带有后缀，还可以在变量的后面加上后缀名，例子如下：

liuxinxiu@HongKong: var=/dir1/dir2/file.txt

liuxinxiu@HongKong: echo (basename $var .txt)

file

2、dirname

该命令的作用是从路径中提取出目录名，使用方法为 dirname NAME

使用例子如下：

liuxinxiu@HongKong: var=/dir1/dir2/file.txt

liuxinxiu@HongKong: dirname $var

/dir1/dir2

这样就提取出了file.txt文件所在的目录。

注：该命令不仅能提取出普通文件所的目录，它能提取出任何文件所在的目录，例如目录所在的目录，如下：

liuxinxiu@HongKong: var=/dir1/dir2/

liuxinxiu@HongKong: dirname $var

/dir1

它提取出了目录dir2所在的目录dir1.

find / -amin -10 # 查找在系统中最后10分钟访问的文件
find / -atime -2 # 查找在系统中最后48小时访问的文件

find / -mmin -5 # 查找在系统中最后5分钟里修改过的文件
find / -mtime -1 #查找在系统中最后24小时里修改过的文件

查看网络连接数：

netstat -an |wc -l

netstat -an |grep xx |wc -l        查看某个/特定ip的连接数

netstat -an |grep TIME_WAIT|wc -l    查看连接数等待time_wait状态连接数

netstat -an |grep ESTABLISHED |wc -l    查看建立稳定连接数量

查看不同状态的连接数数量

[root@cp-nginx ~]# netstat -an | awk '/^tcp/ {++y[$NF]} END {for(w in y) print w, y[w]}'

LISTEN 8

ESTABLISHED 2400

FIN_WAIT1 2

TIME_WAIT 6000

查看每个ip跟服务器建立的连接数

[root@cp-nginx ~]# netstat -nat|awk '{print$5}'|awk -F : '{print$1}'|sort|uniq -c|sort -rn

31 45.116.147.178

20 45.116.147.186

12 23.234.45.34

11 103.56.195.17

（PS：正则解析：显示第5列，-F : 以：分割，显示列，sort 排序，uniq -c统计排序过程中的重复行，sort -rn 按纯数字进行逆序排序）

查看每个ip建立的ESTABLISHED/TIME_OUT状态的连接数

[root@cp-nginx ~]# netstat -nat|grep ESTABLISHED|awk '{print$5}'|awk -F : '{print$1}'|sort|uniq -c|sort -rn

24 103.56.195.17

19 45.116.147.186

18 103.56.195.18

17 45.116.147.178

问题1：解决time_wait连接数大量问题

查询到time_wait连接数过多情况下，调整内核参数：/etc/sysctl.conf

vim /etc/sysctl.conf

添加以下配置文件：

net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_fin_timeout = 300

/sbin/sysctl -p 让参数生效，调优完成

参数详解：

1.net.ipv4.tcp_syncookies = 1 表示开启 syn cookies 。当出现 syn 等待队列溢出时，启用 cookies 来处理，可防范少量 syn 攻击，默认为 0 ，表示关闭；

2.net.ipv4.tcp_tw_reuse = 1 表示开启重用。允许将 time-wait sockets 重新用于新的 tcp 连接，默认为 0 ，表示关闭；
3.net.ipv4.tcp_tw_recycle = 1 表示开启 tcp 连接中 time-wait sockets 的快速回收，默认为 0 ，表示关闭。
4.net.ipv4.tcp_fin_timeout 修改系靳默认的 timeout 时间

如果以上配置调优后性能还不理想，可继续修改一下配置：

vi /etc/sysctl.conf

问题2：ESTABLISHED连接数过大问题

怎么解决请求结束后依然存在大量ESTABLISHED没有被释放

初步推断是tomcat服务器回收session时出了问题，这个一般都跟服务器的Timeout设置有联系。

查看tomcat的配置文件 server.xml

<Connector port="8080" protocol="HTTP/1.1"                connectionTimeout="20000"                redirectPort="8443" URIEncoding="UTF-8" />
*****

检查配置得出20000毫秒的时候acceptCount=”100” ，明显不合理，最大连接数也太小了吧。

所以进一步优化：

connectionTimeout="20000" 改为 connectionTimeout="100"acceptCount="100"改为acceptCount="5000"

优化完毕，继续压测...

系统响应能力节节攀升，之前LoadRunner报错问题直到压倒***并发也再也没有出现。

Action.c(380): 错误 -26608: 对于“http://www.cnlogs.com/javame”，HTTP 状态代码=504 (Gateway Time-out)

解释:  返回结果示例：  LAST_ACK 5   (正在等待处理的请求数)  SYN_RECV 30  ESTABLISHED 1597 (正常数据传输状态)  FIN_WAIT1 51  FIN_WAIT2 504  TIME_WAIT 1057 (处理完毕，等待超时结束的请求数)    状态：描述  CLOSED：无连接是活动的或正在进行  LISTEN：服务器在等待进入呼叫  SYN_RECV：一个连接请求已经到达，等待确认  SYN_SENT：应用已经开始，打开一个连接  ESTABLISHED：正常数据传输状态  FIN_WAIT1：应用说它已经完成  FIN_WAIT2：另一边已同意释放  ITMED_WAIT：等待所有分组死掉  CLOSING：两边同时尝试关闭  TIME_WAIT：另一边已初始化一个释放  LAST_ACK：等待所有分组死掉  使用这上面的命令是可以查看服务器的种连接状态，其中ESTABLISHED 就是并发连接状态的显示数的了。如果你不想查看到这么多连接状态，而仅仅只是想查看并发连接数，可以简化一下命令，即： 

这个返回的数字就是当前并发的连接数的了。

 本文主要使用的是grep,awk,cut等工具来对nginx日志进行统计和分析，具体如下：

1，列出当天访问最多次数的ip地址

cut -d- -f 1 /usr/local/nginx/logs/20160329/access_2016032913.log |uniq -c | sort -rn | head -20 

 2，查看某一个页面被访问的次数

[root@httpservera 20160329]#grep "/index.php" log_file | wc -l

3，查看每一个IP访问了多少页面并排序

awk '{++S[$1]} END {for (a in S) print a,S[a]}' access_2016032913.log |uniq|sort -rn|more

其中，sort -rn 按照数字从大到小排序，uniq 将重复行去除。

4，查看某一个ip访问了那些页面：grep ^xx.xx.xx.xx log_file |awk '{print $1,$7}'

5,去掉搜索引擎统计当天的页面：awk '{print $12,$1}' access_2016032913.log | grep ^\"Mozilla | awk '{print $2}' |sort | uniq | wc -l    

6，查看一个小时内有多少ip访问：

2.访问量统计

1.根据访问IP统计UV

awk '{print $1}'  access.log|sort | uniq -c |wc -l

2.统计访问URL统计PV

awk '{print $7}' access.log|wc -l

3.查询访问最频繁的URL

awk '{print $7}' access.log|sort | uniq -c |sort -n -k 1 -r|more

4.查询访问最频繁的IP

awk '{print $1}' access.log|sort | uniq -c |sort -n -k 1 -r|more

5.根据时间段统计查看日志

 cat  access.log| sed -n '/14\/Mar\/2015:21/,/14\/Mar\/2015:22/p'|more

备注:nginx 日志分割脚本