이것은 내 것입니다 nginx.conf(PHP 또는 다른 병목 현상이 없도록 구성을 업데이트했습니다).
user nginx;
worker_processes 4;
worker_rlimit_nofile 10240;
pid /var/run/nginx.pid;
events
{
worker_connections 1024;
}
http
{
include /etc/nginx/mime.types;
error_log /var/www/log/nginx_errors.log warn;
port_in_redirect off;
server_tokens off;
sendfile on;
gzip on;
client_max_body_size 200M;
map $scheme $php_https { default off; https on; }
index index.php;
client_body_timeout 60;
client_header_timeout 60;
keepalive_timeout 60 60;
send_timeout 60;
server
{
server_name dev.anuary.com;
root "/var/www/virtualhosts/dev.anuary.com";
}
}
http://blitz.io/play 를 사용하여 서버를 테스트하고 있습니다 (10,000 개의 동시 연결 요금제를 구입했습니다). 30 초 실행, 나는 얻을 964안타를하고 5,587 timeouts. 동시 사용자 수가 200 명일 때 테스트 시간이 40.77 초에 첫 번째 시간 초과가 발생했습니다.
테스트 중 서버로드는 ( top출력) 이었습니다 .
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 20225 nginx 20 0 48140 6248 1672 S 16.0 0.0 0:21.68 nginx
1 root 20 0 19112 1444 1180 S 0.0 0.0 0:02.37 init
2 root 20 0 0 0 0 S 0.0 0.0 0:00.00 kthreadd
3 root RT 0 0 0 0 S 0.0 0.0 0:00.03 migration/0
따라서 서버 리소스 문제가 아닙니다. 그때는 무엇입니까?
업데이트 2011 12 09 GMT 17:36.
지금까지 병목 현상이 TCP / IP가 아닌지 확인하기 위해 다음과 같이 변경했습니다. 다음에 추가됨 /etc/sysctl.conf:
# These ensure that TIME_WAIT ports either get reused or closed fast.
net.ipv4.tcp_fin_timeout = 1
net.ipv4.tcp_tw_recycle = 1
# TCP memory
net.core.rmem_max = 16777216
net.core.rmem_default = 16777216
net.core.netdev_max_backlog = 262144
net.core.somaxconn = 4096
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_max_orphans = 262144
net.ipv4.tcp_max_syn_backlog = 262144
net.ipv4.tcp_synack_retries = 2
net.ipv4.tcp_syn_retries = 2
더 많은 디버그 정보 :
[root@server node]# ulimit -a
core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 126767
max locked memory (kbytes, -l) 64
max memory size (kbytes, -m) unlimited
open files (-n) 1024
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority (-r) 0
stack size (kbytes, -s) 10240
cpu time (seconds, -t) unlimited
max user processes (-u) 1024
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited
NB worker_rlimit_nofile로 설정 10240Nginx의 구성.
업데이트 2011 12 09 GMT 19:02.
변경 사항이 많을수록 더 나빠지는 것처럼 보이지만 여기에는 새 구성 파일이 있습니다.
user nginx;
worker_processes 4;
worker_rlimit_nofile 10240;
pid /var/run/nginx.pid;
events
{
worker_connections 2048;
#1,353 hits, 2,751 timeouts, 72 errors - Bummer. Try again?
#1,408 hits, 2,727 timeouts - Maybe you should increase the timeout?
}
http
{
include /etc/nginx/mime.types;
error_log /var/www/log/nginx_errors.log warn;
# http://blog.martinfjordvald.com/2011/04/optimizing-nginx-for-high-traffic-loads/
access_log off;
open_file_cache max=1000;
open_file_cache_valid 30s;
client_body_buffer_size 10M;
client_max_body_size 200M;
proxy_buffers 256 4k;
fastcgi_buffers 256 4k;
keepalive_timeout 15 15;
client_body_timeout 60;
client_header_timeout 60;
send_timeout 60;
port_in_redirect off;
server_tokens off;
sendfile on;
gzip on;
gzip_buffers 256 4k;
gzip_comp_level 5;
gzip_disable "msie6";
map $scheme $php_https { default off; https on; }
index index.php;
server
{
server_name ~^www\.(?P<domain>.+);
rewrite ^ $scheme://$domain$request_uri? permanent;
}
include /etc/nginx/conf.d/virtual.conf;
}
업데이트 2011 12 11 GMT 20:11.
이것은 netstat -ntla테스트 중에 출력 됩니다.
https://gist.github.com/d74750cceba4d08668ea
업데이트 2011 12 12 GMT 10:54.
명확히하기 위해 iptables테스트 중에 (방화벽)이 꺼져 있습니다.
업데이트 2011 12 12 GMT 22:47.
이것은 sysctl -p | grep mem덤프입니다.
net.ipv4.ip_forward = 0
net.ipv4.conf.default.rp_filter = 1
net.ipv4.conf.default.accept_source_route = 0
kernel.sysrq = 0
kernel.core_uses_pid = 1
net.ipv4.tcp_syncookies = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.shmmax = 68719476736
kernel.shmall = 4294967296
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_time = 30
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_mem = 8388608 8388608 8388608
net.ipv4.tcp_rmem = 4096 87380 8388608
net.ipv4.tcp_wmem = 4096 65536 8388608
net.ipv4.route.flush = 1
net.ipv4.ip_local_port_range = 1024 65000
net.core.rmem_max = 16777216
net.core.rmem_default = 16777216
net.core.wmem_max = 8388608
net.core.wmem_default = 65536
net.core.netdev_max_backlog = 262144
net.core.somaxconn = 4096
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_max_orphans = 262144
net.ipv4.tcp_max_syn_backlog = 262144
net.ipv4.tcp_synack_retries = 2
net.ipv4.tcp_syn_retries = 2
업데이트 2011 12 12 GMT 22:49
blitz.io모든 테스트를 실행 하는 데 사용 하고 있습니다. 테스트중인 URL 은 다음 명령을 사용하여 http://dev.anuary.com/test.txt입니다 .--region ireland --pattern 200-250:30 -T 1000 http://dev.anuary.com/test.txt
업데이트 2011 12 13 GMT 13:33
nginx사용자 제한 (에서 설정 /etc/security/limits.conf)
nginx hard nofile 40000
nginx soft nofile 40000
답변
테스트 중에 네트워크 연결을 덤프해야합니다. 서버에 거의로드가 없을 수 있지만 TCP / IP 스택이 과금 될 수 있습니다. netstat 출력에서 TIME_WAIT 연결을 찾으십시오.
이 경우 TCP 대기 상태, TCP 재 사이클링 및 이와 유사한 메트릭과 관련된 tcp / ip 커널 매개 변수 조정을 점검 할 수 있습니다.
또한 테스트 대상을 설명하지 않았습니다.
나는 항상 테스트 :
- 정적 컨텐츠 (이미지 또는 텍스트 파일)
- 간단한 PHP 페이지 (예 : phpinfo)
- 응용 프로그램 페이지
이것은 귀하의 경우에는 적용되지 않을 수 있지만 성능 테스트시 수행하는 작업입니다. 다른 유형의 파일을 테스트하면 봇 틀넥을 정확히 찾아 낼 수 있습니다.
정적 콘텐츠의 경우에도 시간 초과 및 기타 메트릭을 다이얼링하려면 다른 크기의 파일을 테스트하는 것이 중요합니다.
3000 개 이상의 활성 연결을 처리하는 정적 콘텐츠 Nginx 상자가 있습니다. Nginx가 확실히 할 수 있습니다.
업데이트 : netstat에 많은 열린 연결이 표시됩니다. TCP / IP 스택 조정을 시도 할 수 있습니다. 또한 어떤 파일을 요청하고 있습니까? Nginx는 포트를 빠르게 닫아야합니다.
sysctl.conf에 대한 제안은 다음과 같습니다.
net.ipv4.ip_local_port_range = 1024 65000
net.ipv4.tcp_rmem = 4096 87380 8388608
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_time = 30
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_tw_reuse = 1
이 값은 매우 낮지 만 동시성 Nginx 상자에서 성공했습니다.
답변
또 다른 가설. 을 늘 worker_rlimit_nofile렸지만 최대 클라이언트 수는 설명서에서 다음 과 같이 정의 됩니다.
max_clients = worker_processes * worker_connections
worker_connections8192와 같이 올리려고하면 어떻게합니까? 또는 CPU 코어가 충분하면 worker_processes?
답변
나는 아파치 서버의 업스트림에서로드 밸런서 역할을하는 nginx 상자와 매우 비슷한 문제가있었습니다.
필자의 경우 업스트림 아파치 서버가 오버로드되어 네트워킹과 관련된 문제를 격리 할 수있었습니다. 전체 시스템이로드되는 동안 간단한 bash 스크립트로 다시 만들 수 있습니다. 중단 된 프로세스 중 하나의 strace에 따르면 연결 호출에 ETIMEDOUT이 발생했습니다.
이 설정 (nginx 및 업스트림 서버)은 문제를 해결했습니다. 이러한 변경을 수행하기 전에 분당 1 ~ 2 시간 초과가 발생하고 (~ 100 reqs / s를 처리하는 상자) 이제 0을 얻습니다.
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_fin_timeout = 20
net.ipv4.tcp_max_syn_backlog = 20480
net.core.netdev_max_backlog = 4096
net.ipv4.tcp_max_tw_buckets = 400000
net.core.somaxconn = 4096
net.ipv4.tcp_tw_recycle 또는 net.ipv4.tcp_tw_reuse를 사용하지 않는 것이 좋지만 후자를 사용하려면 후자를 사용하십시오. 대기 시간이 전혀없고 후자가 적어도 둘 중 더 안전하면 기괴한 문제가 발생할 수 있습니다.
tcp_fin_timeout을 1로 설정하면 문제가 발생할 수 있다고 생각합니다. 기본값보다 훨씬 낮은 20/30에 배치하십시오.
답변
blitz.io에서 테스트하는 동안 nginx 문제가 아닐 수도 있습니다.
tail -f /var/log/php5-fpm.log
(저는 PHP를 처리하는 데 사용하는 것입니다)
오류가 발생하고 시간 초과가 발생하기 시작합니다.
WARNING: [pool www] server reached pm.max_children setting (5), consider raising it
따라서 fmp conf에 max_children을 더 많이 넣으십시오! ;디
답변
너무 낮습니다 max open files(1024). nginx를 변경하고 다시 시작하십시오. ( cat /proc/<nginx>/limits확인)
ulimit -n 10240
그리고 worker_connections10240 이상으로 늘리십시오 .