Nginx 内置日志变量详解
$args #请求中的参数值
$query_string #同 $args
$arg_NAME #GET请求中NAME的值
$is_args #如果请求中有参数，值为"?"，否则为空字符串
$uri #请求中的当前URI(不带请求参数，参数位于$args)，可以不同于浏览器传递的$request_uri的值，它可以通过内部重定向，或者使用index指令进行修改，$uri不包含主机名，如"/foo/bar.html"。
$document_uri #同 $uri
$document_root #当前请求的文档根目录或别名
$host #优先级：HTTP请求行的主机名>"HOST"请求头字段>符合请求的服务器名.请求中的主机头字段，如果请求中的主机头不可用，则为服务器处理请求的服务器名称
$hostname #主机名
$https #如果开启了SSL安全模式，值为"on"，否则为空字符串。
$binary_remote_addr #客户端地址的二进制形式，固定长度为4个字节
$body_bytes_sent #传输给客户端的字节数，响应头不计算在内；这个变量和Apache的mod_log_config模块中的"%B"参数保持兼容
$bytes_sent #传输给客户端的字节数
$connection #TCP连接的序列号
$connection_requests #TCP连接当前的请求数量
$content_length #"Content-Length" 请求头字段
$content_type #"Content-Type" 请求头字段
$cookie_name #cookie名称
$limit_rate #用于设置响应的速度限制
$msec #当前的Unix时间戳
$nginx_version #nginx版本
$pid #工作进程的PID
$pipe #如果请求来自管道通信，值为"p"，否则为"."
$proxy_protocol_addr #获取代理访问服务器的客户端地址，如果是直接访问，该值为空字符串
$realpath_root #当前请求的文档根目录或别名的真实路径，会将所有符号连接转换为真实路径
$remote_addr #客户端地址
$remote_port #客户端端口
$remote_user #用于HTTP基础认证服务的用户名
$request #代表客户端的请求地址
$request_body #客户端的请求主体：此变量可在location中使用，将请求主体通过proxy_pass，fastcgi_pass，uwsgi_pass和scgi_pass传递给下一级的代理服务器
$request_body_file #将客户端请求主体保存在临时文件中。文件处理结束后，此文件需删除。如果需要之一开启此功能，需要设置client_body_in_file_only。如果将次文件传 递给后端的代理服务器，需要禁用request body，即设置proxy_pass_request_body off，fastcgi_pass_request_body off，uwsgi_pass_request_body off，or scgi_pass_request_body off
$request_completion #如果请求成功，值为"OK"，如果请求未完成或者请求不是一个范围请求的最后一部分，则为空
$request_filename #当前连接请求的文件路径，由root或alias指令与URI请求生成
$request_length #请求的长度 (包括请求的地址，http请求头和请求主体)
$request_method #HTTP请求方法，通常为"GET"或"POST"
$request_time #处理客户端请求使用的时间,单位为秒，精度毫秒； 从读入客户端的第一个字节开始，直到把最后一个字符发送给客户端后进行日志写入为止。
$request_uri #这个变量等于包含一些客户端请求参数的原始URI，它无法修改，请查看$uri更改或重写URI，不包含主机名，例如："/cnphp/test.php?arg=freemouse"
$scheme #请求使用的Web协议，"http" 或 "https"
$server_addr #服务器端地址，需要注意的是：为了避免访问linux系统内核，应将ip地址提前设置在配置文件中
$server_name #虚拟主机名
$server_port #服务器端口
$server_protocol #服务器的HTTP版本，通常为 "HTTP/1.0" 或 "HTTP/1.1"
$status #HTTP响应代码
$time_iso8601 #服务器时间的ISO 8610格式
$time_local #服务器时间（LOG Format 格式）
$cookie_NAME #客户端请求Header头中的cookie变量，前缀"$cookie_"加上cookie名称的变量，该变量的值即为cookie名称的值
$http_NAME #匹配任意请求头字段；变量名中的后半部分NAME可以替换成任意请求头字段，如在配置文件中需要获取http请求头："Accept-Language"，$http_accept_language即可
$http_cookie
$http_host #请求地址，即浏览器中你输入的地址（IP或域名）
$http_referer #url跳转来源,用来记录从那个页面链接访问过来的
$http_user_agent #用户终端浏览器等信息
$http_x_forwarded_for
$sent_http_NAME #可以设置任意http响应头字段；变量名中的后半部分NAME可以替换成任意响应头字段，如需要设置响应头Content-length，$sent_http_content_length即可
$sent_http_cache_control
$sent_http_connection
$sent_http_content_type
$sent_http_keep_alive
$sent_http_last_modified
$sent_http_location
$sent_http_transfer_encoding
nginx做反向代理可加的log字段：
$upstream_addr #后端reserver 真实IP
$uptream_status #upstream状态
$upstream_response_time #请求过程中，upstream的响应时间
SSL 信息：
$ssl_protocol：SSL协议版本，比如TLSv1。
$ssl_cipher：交换数据中的算法，比如RC4-SHA。
Nginx常用变量
- $host: 请求的主机头
if ($host = 'bbs.gitlib.com') { rewrite ^/$ http://bbs.bliwan.com permanent; }
- $remote_addr: 客户端IP地址
- $remote_port: 客户端端口号
- $remote_user: 已经经过Auth Basic Module验证的用户名
- $http_referer: 请求引用地址
- $http_user_agent: 客户端代理信息(UA)
- $http_x_forwarded_for: 相当于网络访问路径
- $body_bytes_sent: 页面传送的字节数
- $time_local: 服务器时间
- $request: 客户端请求
- $request_uri: 请求的URI,带参数, 不包含主机名
- $request_filename: 请求的文件路径
- $request_method: 请求的方法，如GET、POST
- $args: 客户端请求中的参数
- $query_string: 等同于$args, 客户端请求的参数
- $nginx_version: 当前nginx版本
- $status: 服务器响应状态码
- $server_addr: 服务器地址
- $server_port: 请求到达的服务器端口号
- $server_protocol: 请求的协议版本
- $content_type: HTTP请求信息里的Content-Type字段
- $content_length: HTTP请求信息里的Content-Length字段
- $uri: 请求中的当前URI(不带请求参数，参数位于$args)
- $document_root: 当前请求在root指令中指定的值
- $document_uri: 与$uri相同
定义日志格式示例:
log_format access '$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" $http_x_forwarded_for'; 输入格式: 14.18.29.118 - - [24/Jun/2017:20:53:09 +0800] "GET /index.html HTTP/1.1" 200 23 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36" -
Nginx设置重定向
return形式
# 301永久重定向，302临时重定向 return 301 https://example.com$request_uri; # return 返回形式 return code; return code URL; return URL;
rewrite形式
rewrite ^/$ http://bbs.gitlib.com permanent;
rewrite flag说明:
- last: 停止处理后续rewrite指令集，然后对当前重写的新URI在rewrite指令集上重新查找
- break: 停止处理后续rewrite指令集，并不在重新查找,但是当前location内剩余非rewrite语句和location外的非rewrite语句可以执行
- redirect: 如果replacement不是以http:// 或https://开始，返回302临时重定向
- permant: 返回301永久重定向
Nginx条件判断
if判断
if ($http_user_agent ~ (125LA|WinHttpRequest|360Spider)) { return 444; } if ($http_referer ~* "filter=author&orderby=dateline") { return 444; } if ($host = 'bbs.gitlib.com') { rewrite ^/$ http://bbs1.gitlib.com permanent; }
比较符说明:
- 使用=、!= 比较的一个变量和字符串，true/false
- 使用~、~*与正则表达式匹配的变量，如果这个正则表达式中包含右花括号}或者分号;则必须给整个正则表达式加引号
- 使用-f、!-f 检查一个文件是否存在
- 使用-d、!-d 检查一个目录是否存在
- 使用-e、!-e 检查一个文件、目录、符号链接是否存在
- 使用-x、!-x 检查一个文件是否可执行
set设置变量
if ( $host ~* (.*)\.yzz\.cn) { set $domain $1; } root /www/website/www/gitlib/$domain/; # set语法 set variable value;
Nginx反向代理
proxy_pass
proxy_pass将请求传递给HTTP服务器 proxy_buffering: on; # 设置是否开启Proxy Buffer，默认为on proxy_pass http://upload.gitlib.com; # 设置被代理服务器的地址 proxy_connect_timeout 600;# 设置Nginx服务器与后端被代理服务器尝试建立连接的超时时间，默认为60s proxy_read_timeout 600; # 设置Nginx服务器向后端被代理服务器发出read请求后，等待响应的超时时间，默认为60s proxy_send_timeout 600; # 设置Nginx服务器向后端被代理服务器发出write请求后，等待响应的超时时间，默认为60s proxy_buffer_size 8k; # 设置Nginx服务器从被代理服务器获取的第一段数据buffer大小，一般和proxy_buffers设置的buffer大小一致，或者更小, 默认为4k或者8k proxy_buffers 4 32k; # 设置Proxy Buffer的个数和每个Buffer的大小 proxy_busy_buffers_size 64k; # 设置处在Busy状态的Buffer总大小上限，默认为8K或者16K proxy_temp_file_write_size 64k; # proxy_next_upstream error timeout invalid_header http_500 http_503 http_404; # upstream设置被代理服务器集群时，设置组内服务器出现哪些异常时，可以依次轮询到下一个组内服务器处理 proxy_redirect off; # 修改响应头Location值，off表示直接返回proxy_pass后的值，默认为default(客户端请求的URI),
fastcgi_pass
fastcgi_pass将请求传递给FastCGI服务器
fastcgi_connect_timeout 3000; fastcgi_send_timeout 3000; fastcgi_read_timeout 3000; fastcgi_buffer_size 200k; fastcgi_buffers 8 200k; fastcgi_busy_buffers_size 200k; fastcgi_max_temp_file_size:1024M; # 设置临时文件大小，默认为1024M fastcgi_temp_file_write_size 200k;# 配置同时写入临时文件的数据量的大小，合理的配置可以避免磁盘IO负载过高，导致系统性能下降,默认为8KB或16KB fastcgi_temp_path /dev/shm; # 配置磁盘上的一个文件路径，用于临时存放代理服务器的大体积响应数据，如果proxy buffer 被装满后，响应数据仍然没有被Nginx服务器完全接收，响应数据就被会临时存放在该文件中
uwsgi_pass
uwsgi_pass将请求传递给uwsgi服务器(如python服务)
scgi_pass
scgi_pass将请求传递给SCGI服务器
memcached_pass
memcached_pass将请求传递给memcached服务器
Nginx负载均衡
Nginx通过proxy_pass和upstream指令实现负载均衡，Nginx原生支持的负载均衡算法有如下几种:
轮询
每个请求按时间顺序逐一分配到不同的应用服务器，如果应用服务器down掉，自动剔除，剩下的继续轮询
权重
通过配置权重，指定轮询几率，权重和访问比率成正比，用于应用服务器性能不均的情况
ip_hash
每个请求按访问ip的hash结果分配，这样每个访客固定访问一个应用服务器，可以解决session共享的问题。
least_conn
最小连接数
示例:
upstream php { server 127.0.0.1:9000 max_fails=3 fail_timeout=30s; server 192.168.1.16 backup; server 192.168.1.17 down; } upstream php { server 192.168.10.2 weight=1; server 192.168.10.3 weight=2; } upstream php { ip_hash; server 192.168.10.16; server 192.168.10.17; }
Nginx缓存
Proxy Cache
Nginx通过proxy_cache来实现缓存。Buffer和Cache都是用于提供IO吞吐小路的，但是概念不同。Buffer(缓冲)主要用于传输效率不同步或者优先级不相同的设备之间传输数据，一般通过对一方数据进行临时存放，再统一发送的办法传递给另一方，以降低进程之间的等待时间，保证速度较快的进程不发生间断，临时存放的数据一旦传送给另一方，这些数据本身也就没有用处了；Cache(缓存)主要用于将硬盘上已有的数据在内存中建立缓存数据，提高数据的访问效率，对于过期不用的缓存可以随时销毁。
Proxy Cache机制依赖于Proxy Buffer机制，只有在Proxy Buffer机制开启的情况下Proxy Cache的配置才会发挥作用。
相关配置参数说明:
- proxy_cache: zone | off; # 默认为off，即关闭proxy_cache功能，zone为用于存放缓存的内存区域名称
- proxy_cache_path: path [levels=levels] keys_zone=name:size [inactive=time] [max_size=size];
- path设置缓存数据存放的路径；
- levels设置目录层级，如levels=1:2，表示有两级子目录,第一个目录名取md5值的倒数第一个值，第二个目录名取md5值的第2和3个值。
- keys_zone设置内存zone的名字和大小，如keys_zone=my_zone:10m
- inactive设置缓存多长时间就失效，当硬盘上的缓存数据在该时间段内没有被访问过，就会失效了，该数据就会被删除，默认为10s。
- max_size设置硬盘中最多可以缓存多少数据，当到达该数值时，nginx会删除最少访问的数据
示例
proxy_cache_path /data/nginx_cache/ levels=1:2 keys_zone=my_zone:10m inactive=300s max_size=5g; location / { proxy_cache my_zone; proxy_pass http://192.168.10.110:8080/; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; }
Expires
location ~ .*\.(jpg|jpeg|gif|png|ico|swf)?$ { expires 1d; #设置过期时间 }
Nginx实现Gzip压缩
通过gzip相关指令可以配置Gzip压缩，对响应数据进行在线实时压缩。
相关配置参数说明:
- gzip: on; # 开启或关闭gzip功能，默认为off
- gzip_buffers: 16 8K; # 配置Gzip压缩文件时使用的缓存空间大小，默认number*size=128K
- gzip_comp_level: 9; # 压缩级别，压缩程度越高，压缩效率最低，最费时间
- gzip_min_length:# 配置最小压缩的数据大小，如果响应页面的大小大于该值，才开启Gzip功能（一些小文件会导致压缩后的大小比源文件还大），默认为20，建议设置为1k(1024)
- gzip_http_version:1.0; # 配置只有高于指定版本的HTTP协议才能开启Gzip，默认为1.1, 目前绝大多数浏览器都支持Gzip自解压，一般采用默认值即可
- gzip_proxied:any; # 设置是否对被代理服务器返回的数据进行压缩，默认为off
- gzip_vary: on; # 开启压缩标记，开启后在响应头部添加 Vary: Accept-Encoding,默认为off
- gzip_types:text/plain application/x-javascript text/css application/xml text/javascript; # 对指定类型的文档进行Gzip压缩
- gzip_static:on; # 对于存在服务器上.gz作为后缀的文件，且客户端浏览器支持gzip压缩，就直接返回压缩后的数据
示例:
gzip on; gzip_static on; gzip_comp_level 9; gzip_min_length 1k; gzip_buffers 4 8k; gzip_http_version 1.0; gzip_vary on; gzip_proxied any; gzip_types text/plain application/x-javascript text/css application/xml text/javascript;
Nginx常见配置参数
- server_names_hash_max_size 1024;
- server_names_hash_bucket_size 512;
- client_header_buffer_size 32k; # 客户端请求头部的缓冲区大
- large_client_header_buffers 4 32k;
- client_max_body_size 10m;#设置最大的允许客户端请求主体的大小(上传文件大小限制), 默认为1m
- client_body_buffer_size 128k;
- keepalive_timeout 60; #客户端连接超时时间，单位是秒, 默认是75秒
- sendfile on; # 开启高效传输模式,默认为off
- tcp_nopush on;
- tcp_nodelay on;
- ssi on; # 开启ssi支持，默认为false
- ssi_silent_errors on; # 设置为on表示在处理ssi文件时不输出错误信息，默认为false
- ssi_types text/html; # 默认支持html ,如果需要支持shtml(服务器执行脚本)，需要设置为ssi_types text/shtml
- server_tokens off; # 关闭nginx版本号的显示，默认为on
Nginx优化相关参数
- worker_processes 2; # 配置生成的worker process数量，一般为cpu核数
- worker_rlimit_nofile 65536; # 一个nginx进程打开的最多文件描述符数目，一般设置为与系统设定的值相同(ulimit -n)
- worker_cpu_affinity 01 10;# 为每个进程分配CPU的工作内核
- use epoll; # 事务模型
events { use epoll; # 事务模型 worker_connections 20000; # 一个nginx进程的连接数，nginx服务器允许的同事连接的客户端最大数量Client = worker_processes * worker_connections/2; }
Nginx常见用法
依据UA屏蔽爬虫
if ($http_user_agent ~* "qihoobot|Baiduspider|Googlebot|Googlebot-Mobile|Googlebot-Image|Mediapartners-Google|Adsbot-Google|Feedfetcher-Google|Yahoo! Slurp|Yahoo! Slurp China|YoudaoBot|Sosospider|Sogou spider|Sogou web spider|MSNBot|ia_archiver|Tomato Bot") { return 403; }
屏蔽IP访问
allow 133.27.182.82; allow 113.106.18.0/24; allow 121.201.104.0/24; deny all;
使用Auth权限访问
auth_basic "bbs-auth"; auth_basic_user_file /usr/local/nginx/conf/bbsauthpwd;
限制带宽
# 用户下载达到 500k 后，便控制其速度在 50k 以内 location /download/ { limit_rate_after 500k; limit_rate 50k; }
限制连接
# 定义了一个名为“down”，10M大小，以连接IP为key的连接数据存储空间 limit_conn_zone $binary_remote_addr zone=down:10m; # 读取名为`down`连接数据存储空间的数据，限制每个key(上面是以ip作为IP) 最大同时连接数为4 location ~ .*\.(rar|zip|apk)?$ { limit_conn down 4; limit_rate 150k; } limit_conn_log_level notice: 指定当触发limit的时候日志打印级别
限制请求
# 定义一个名为”one”, 10M大小，每秒1个请求的请求数据存储空间 limit_req_zone $binary_remote_addr zone=one:10m rate=10r/s; # 引用名为“one”的存储空间，burst为等待请求数量数，当等待请求数量超过50个时，则抛出503错误,nodelay 针对的是 burst 参数，burst=50 nodelay 表示这50个请求立马处理，不能延迟，相当于特事特办。不过，即使这20个突发请求立马处理结束，后续来了请求也不会立马处理。burst=50 相当于缓存队列中占了50个坑，即使请求被处理了，这20个位置这只能按 100ms一个来释放 limit_req zone=one burst=50 nodelay; limit_req_log_level notice: 指定当触发limit的时候日志打印级别
实时显示Nginx运行状况
在安装nginx是编译http_stub_status_module即可，使用参数为–with-http_stub_status_module
location /ngx_status { stub_status on; access_log on; }
设置错误页面
error_page 404 /404.html
Nginx 常见错误码
- 301 永久重定向
- 302 临时重定向
- 403 禁止访问
- 404 文件不存在
- 413 文件上传超过限制
- 500 服务器错误
- 502 后台服务器无响应
- 504 Nginx超时，请求过多，工作进程不足
- 发表于 2019-11-01 16:03
- 阅读 ( 43 )
