Now, http2 is available if your browser accept it.
nginx で pukiwiki を起動する時、web 上のレシピによっては fastcgi_param の設定が適切にできず、アンカーの張るパスがファイルシステム上のフルパスになってしまう場合がある。
正：
fastcgi_param SCRIPT_NAME $fastcgi_script_name; fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
誤：
fastcgi_param SCRIPT_NAME $document_root$fastcgi_script_name; fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
要は、phpinfo() の環境変数などが正しくセットされればいいわけで、正常な例とにらめっこしながら設定してみると良いのでは。
設定は、fastcgi_param で正しくやっておけば、nginx.conf だったり各サイトの server ディレクティブ内でだったりで設定しなくていいはず。
またつまらぬものを作ってしまった…
自分で管理しているサーバでは不要だが，会社のサーバなど管理者権限がなく，でもディレクトリ内のファイル一覧を見たいパスで，Indexes オプションの代わりをしてくれる php スクリプトを作ってみた．
自分のブラウザ環境で，ある httpd サーバのファイル一覧画面を参考に作ったものなので，多少のフォーマット変更は各人でヨロ．
<html> <head>Index of <?php if($_SERVER['SCRIPT_NAME']==$_SERVER['REQUEST_URI']) { if(dirname($_SERVER['REQUEST_URI'])=='/') print '/'; else print dirname($_SERVER['REQUEST_URI']).'/'; } else { print $_SERVER['REQUEST_URI']; } ?> Index of /
<?php foreach (scandir('.') as $val) { if ($val=='.') continue; elseif ($val=='..') print "<a href=\"../\">../\n"; else { print "<a href=\"$val\">$val"; for ($i=51-strlen($val);$i>0;--$i) print ' '; $st=stat($val); print date('d-M-Y H:i',$st[9]); for ($i=20-strlen("$st[7]");$i>0;--$i) print ' '; print $st[7]."\n"; } } ?>
</body> </html>
前使っていたドメインから現在のドメインへリダイレクトをしていたが、どうにもアクセスが完全には途絶えていないらしい。
んで、リダイレクトしているホストやリファラから、古いドメインへリンクしているサイトを特定するために、また移転したよメッセージを表示するために、ワンクッションはさむことにした。←ほぼ検索エンジンか更新されていない掲示板等であることが判明したので，rewriteはやめた
なんとなくのイメージだけで作業開始したものの、実際に作業してみるとハマりポイントがいくつかあったため、メモに残す。
やったこと
ハマりポイント
RewriteEngine On
RewriteCond %{HTTP_HOST} ^(old\.domain\.com)(:80)?
RewriteCond %{HTTPS} off
RewriteRule ^(.*)$ http://redirect.domain.com/?$1 [QSA,R=301,L]
といった感じ。
QSA は QUERY_STRING を最後に付与する指示。
header("HTTP",true,404);
header("Content-type: text/html; charset=iso-8859-1");
include('./404.php');
404.php は、httpd の 404 ドキュメントを模したファイルで、上の .htaccess を用いた場合は QUERY_STRING に アクセスパスがついてくるので、展開して使えば、それっぽく表示できる。
apache2 の場合、404 や 403 はブラウザの設定に依らず charset が iso-8859-1 で返っていたので、ヘッダに入れた。
$mysqli = new mysqli("DBHOST", "DBUSER", "DBPASS", "DBNAME");
$mysqli->query($query);
mysqli では、特段の理由がない限りはセッションの close をしないらしい。
$query は使いたい SQL をそのまま書いたもの。
いざ文書にしてみると、迫力のない tips だな。
他にも元アクセスのパターンによって何度か print デバッグしないといけないと思うけど、頑張れ！
毎回，OS を入れ直す度に忘れるので，今回こそはきちんとメモるぞー．
記事の趣旨が趣旨なので，この記事は随時アップデートされると思う．
LAMP サーバが入った状態で Ubuntu server をインストールしたことが前提．
自分しか使わないサーバなので，mod_php5 で勘弁する．
(この後の予定) SSL 対応と，vhost 対応．←済
# a2enmod userdirphp_admin_value engine Offをコメントアウト．# a2enmod rewriteAllowOverride FileInfoと，Options SymLinksIfOwnerMatch辺りを# a2enmod auth_digest
openssl genrsa -aes256 2048 > server.key
秘密鍵は、パスフレーズで保護する。
server.key が秘密鍵。
openssl req -new -key server.key > server.csropenssl req -new -sha256 -key server.key -out server.csr # sha-2署名を要求するNameVirtualHost *:443/path/server.key
/path/server.crt
/path/sub.class1.server.ca.pem (← intermediate CA Certifications)
/path/ca.pem (← root CA Certifications)ServerAdmin MAIL_ADDR DocumentRoot ROOT_DIR ServerName DOMAIN_NAME SSLEngine on SSLCertificateFile /path/server.crt SSLCertificateKeyFile /path/server.key SSLCertificateChainFile /path/sub.class1.server.ca.pem SSLCACertificateFile /path/sslfiles/ca.pem ... ... ...
# openssl rsa -in server.key.org > server.key
-- 追記
いつからか，apache2 の再起動時に，以下のエラーを吐くようになった．
いろいろと対処しているうちに名前解決が怪しいと気付き，syslog を見て原因が分かった．
ホスト名を変更した時に，旧ホスト名を現ホスト名の CNAME にしたにも関わらず，ローカルに立てている DNS の SOA レコードとか NS レコードとかもろもろを書き換え忘れていたことが原因．
httpd: apr_sockaddr_info_get() failed for hoge.hadacchi.com
httpd: Could not reliably determine the server's fully qualified domain name, using 127.0.0.1 for ServerName
どうやらこれは，二つのエラーを意味しているようだ．
多分
1行目：ServerName の設定がないから自分で取ろうとしたけど，うまくいかないぜ！
2行目：なんか，ちゃんとした答えが得られないから，これこれを ServerName に使うぜ！
とうことなんだろうと思う．対応とその結果を書いておく．
# hostname -f で表示されるものの FQDN) を /etc/hosts の 127.0.0.1 の別名として併記する．当サイトでは， spammer と思しき IP アドレスからのアクセスを禁止している．しかし，禁止後もアクセスを続けるしつこい spammer が多い．
特にしつこい spammer は何か，あっさり消えた spammer は誤爆かも知れない，という観点から，アクセス禁止後も引き続き継続するアクセスを， IP アドレス毎にカウントしたい．
ということで，前回の spammer counter v3 では， MySQL を使って簡易に実装した．
今回は， IP アドレス毎にソートできるようにした．
これは，
という狙いから， IP アドレスでソートをかけ，可読性を高めるためだ．
.htaccess へ ErrorDocument 403 を追記する場合，その飛ばし先のファイルへのアクセスは可能とすること．
さもなくば， 403 の転送で無限ループが発生する．
具体的には，.htaccess へ下記を追記．hogehoge.phpの部分は，設置したphpファイル名に変更すること．
<?php
header('HTTP/1.1 403 Forbidden');
header('Content-Type: text/html; charset=iso-8859-1');
?>
<!DOCTYPE HTML PUBLIC '-//IETF//DTD HTML 2.0//EN'>
<HTML><HEAD>
<TITLE>403 Forbidden</TITLE>
</HEAD><BODY>
<H1>Forbidden</H1>
<?php printf('You don't have permission to access %s\non this server.',
htmlentities(strip_tags($_SERVER['REQUEST_URI']))); ?><P>
<HR>
<ADDRESS><?php
$e = explode(' ',$_SERVER['SERVER_SOFTWARE']);
printf('%s Server at %s Port %d',$e[0],$_ENV['SERVER_NAME'],$_ENV['SERVER_PORT']);
?></ADDRESS>
</BODY></HTML>
<?php
// MySQL
$mySqlHost = 'xxx.xxx.xxx';
$dbname = 'database_name';
$user = 'user_name';
$password = 'password';
$table = 'spam_counter';
// connecting
$mobj = mysql_connect($mySqlHost,$user,$password);
if ($mobj == FALSE) { die('broken');}
// count IP addr
$addr = $_SERVER['REMOTE_ADDR'];
$addr_pt = explode('.',$addr);
if (count($addr_pt)<4) { die('wrong address...');}
$sql_str = sprintf('insert into %s (ipaddr,number,ip1,ip2,ip3,ip4) '
.'values ('%s',1,%s,%s,%s,%s) on duplicate key update number=number+1;',
$table,$addr,$addr_pt[0],$addr_pt[1],$addr_pt[2],$addr_pt[3]);
mysql_select_db($dbname,$mobj);
$done=mysql_query($sql_str);
mysql_close($mobj);
if ($done == FALSE) { die('no response...');}
?>
IP アドレスを分割して，格納しているだけ．
カウントさせるために，主キーたる IP アドレスは保持．
当然，テーブルが変更になるため， viewer にも変更が加わる．
<?php require_once './php/head.inc.php'; ?>
<!DOCTYPE html PUBLIC '-//W3C//DTD XHTML 1.0 Transitional//EN'
'http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd'>
<html xmlns='http://www.w3.org/1999/xhtml' xml:lang='ja' lang='ja'>
<head><title>spammer viewer v2</title></head>
</body>
<h1>spammer viewer v2</h1>
<table style='border: black solid 1px;'>
<tr>
<th>IP addr
<a href='<?php echo $_SERVER['PHP_SELF'];?>?mode=ip&order=asc'>▲</a>
<a href='<?php echo $_SERVER['PHP_SELF'];?>?mode=ip&order=desc'>▼</a>
</th>
<th># of access
<a href='<?php echo $_SERVER['PHP_SELF'];?>?mode=num&order=asc'>▲</a>
<a href='<?php echo $_SERVER['PHP_SELF'];?>?mode=num&order=desc'>▼</a>
</th>
</tr>
<?php
// MySQL
$mySqlHost = 'xxx.xxx.xxx';
$dbname = 'database_name';
$user = 'user_name';
$password = 'password';
$table = 'spam_counter';
$mode = $_GET['mode'];
$order = $_GET['order'];
if ($mode == 'num' and $order=='asc') { $oby = ' order by number ASC;';}
elseif ($mode == 'num') { $oby = ' order by number DESC;';}
elseif ($mode == 'ip' and $order=='desc') { $oby = ' order by ip1,ip2,ip3,ip4 DESC;';}
elseif ($mode == 'ip') { $oby = ' order by ip1,ip2,ip3,ip4 ASC;';}
else { $oby = ';';}
// connecting
$mobj = mysql_connect($mySqlHost,$user,$password);
if ($mobj == FALSE) { die('broken');}
mysql_select_db($dbname,$mobj);
$done=mysql_query('select * from '.$table.$oby);
//$done=mysql_query('select * from '.$table.' order by CAST(ipaddr AS SIGNED);');
mysql_close($mobj);
if ($done == FALSE) { die('no response...');}
$total = 0;
$num_host = 0;
$ostr = '';
while ( $row = mysql_fetch_row($done)) {
$ostr .= sprintf(' <tr><td>%s</td><td style=\'text-align:right;\'>%d</td></tr>\n',$row[0],$row[1]);
$total = $total + (int)$row[1];
++$num_host;
}
$ostr .= sprintf(' <tr><td>total</td><td style=\'text-align:right;\'>%d</td></tr>\n"
.' <tr><td># of hosts</td><td style=\'text-align:right;\'>%d</td></tr>',$total,$num_host);
print $ostr;
?>
</table>
</body>
</html>
分割した IP アドレスの前から 1Byte 毎の値で，複数キーによるソートをかけているだけ．
テーブル作成．
create table spam_counter ( ipaddr varchar(16) not null, number int unsigned not null, ip1 tinyint unsigned not null, ip2 tinyint unsigned not null, ip3 tinyint unsigned not null, ip4 tinyint unsigned not null, primary key (ipaddr) );
spammer の中でも，頻繁にアクセスのあるホストをアク禁にしているのは，トップページからもリンクしているアクセス禁止リストの通りだが，
その集計結果を spammer viewer | hadacchi blog に出力させてみた．
このうち，どの程度が踏み台にされている一般PCなのかは，よく分からない．
1つ1つ，whois を引けば分かるように思うが，時間がない．
これだけ弾いていても，現在なお 100件/日 の spam 投稿がなされる．
特に今月に入って， Akismet が検出できない記事が増えている (2件/日) ので，困っている…
逆に，投稿したハズなのに表示されないということがあれば，誤検出している可能性が高いので，右下にあるフォームから苦情を飛ばして欲しい．
これだけスパムが届くと，誤検知がないか，チェックしていられない．
IP アドレスでアクセスを禁止している spammer が，その後どれだけアクセスを続けているかをカウントする php コードを，今回は MySQL を使って実装した．
まず最初に注意点． ErrorDocument 403 で php ファイルへ飛ばす場合，その php ファイルへのアクセスは可能とすること．
さもなくば， 403 の転送で無限ループが発生する．
具体的には，.htaccess へ下記を追記．hogehoge.phpの部分は，設置したphpファイル名に変更すること．
<Files hogehoge.php> allow from all </Files>
spammer のアクセスが集中している時など，どうしても
spammer counter v2
では，ファイル書き込みに失敗するようだ．
その結果，度々ファイルがクリアされてしまっていた．
んで，よく考えたらこのサイトでは MySQL を使う blog が2つも動いていることを思い出したので，
DB で実装することにした．
とても楽チン．
そのコードは，こんな感じ．
<?php
header('HTTP/1.1 403 Forbidden');
header('Content-Type: text/html; charset=iso-8859-1');
?>
<!DOCTYPE HTML PUBLIC '-//IETF//DTD HTML 2.0//EN'>
<HTML><HEAD>
<TITLE>403 Forbidden</TITLE>
</HEAD><BODY>
<H1>Forbidden</H1>
<?php printf('You don't have permission to access %s\non this server.',
htmlentities(strip_tags($_SERVER['REQUEST_URI']))); ?><P>
<HR>
<ADDRESS><?php
$e = explode(' ',$_SERVER['SERVER_SOFTWARE']);
printf('%s Server at %s Port %d',$e[0],$_ENV['SERVER_NAME'],$_ENV['SERVER_PORT']);
?></ADDRESS>
</BODY></HTML>
<?php
// MySQL
$mySqlHost = 'xxx.xxx.xxx';
$dbname = 'database_name';
$user = 'user_name';
$password = 'password';
$table = 'spammer_counter';
// connecting
$mobj = mysql_connect($mySqlHost,$user,$password);
if ($mobj == FALSE) { die('broken');}
// count IP addr
$addr = $_SERVER['REMOTE_ADDR'];
mysql_select_db($dbname,$mobj);
$done=mysql_query('insert into '.$table.' (ipaddr,number) values (''.$addr.'',1) '
.'on duplicate key update number=number+1;');
mysql_close($mobj);
if ($done == FALSE) { die('no response...');}
?>
欠点は，データを見るのに DB を叩く必要があること．
それは嫌なので，viewer も作った．
</p>
<p class="pre">
<?xml version='1.0' encoding='Shift_JIS'?>
<!DOCTYPE html PUBLIC '-//W3C//DTD XHTML 1.0 Transitional//EN'
'http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd'>
<html xmlns='http://www.w3.org/1999/xhtml' xml:lang='ja' lang='ja'>
<head><title>spammer viewer</title></head>
</body>
<h1>spammer viewer</h1>
<table style='border: black solid 1px;'>
<tr><th>IP addr</th><th># of access</th></tr>
<?php
// MySQL
$mySqlHost = 'xxx.xxx.xxx';
$dbname = 'database_name';
$user = 'user_name';
$password = 'password';
$table = 'spammer_counter';
// connecting
$mobj = mysql_connect($mySqlHost,$user,$password);
if ($mobj == FALSE) { die('broken');}
mysql_select_db($dbname,$mobj);
$done=mysql_query('select * from '.$table.';');
mysql_close($mobj);
if ($done == FALSE) { die('no response...');}
while ( $row = mysql_fetch_row($done)) {
printf(' <tr><td>%s</td><td style=\'text-align:right;\'>%d</td></tr>\n',$row[0],$row[1]);
}
?>
</table>
</body>
</html>
spammer counter の記事で書いた，403 にかかった IP を保存するスクリプトを改造した．
まず最初に注意だが， ErrorDocument 403 で php ファイルへ飛ばす場合，その php ファイルへのアクセスは可能とすること．
さもなくば， 403 の転送で無限ループが発生する．
具体的には，.htaccess へ下記を追記．hogehoge.phpの部分は，設置したphpファイル名に変更すること．
<Files hogehoge.php> allow from all </Files>
もともとこのスクリプトを設置した理由は，弾いている IP を subnet mask でまとめるため，
subnet 毎のアクセスを把握したかったためなのだが，
先の記事のログではアクセス順に並ぶため， subnet 毎の状況を一見して把握できなかった．
そこで，アクセスがある毎に， 1 回だけ bubble sort を走らせることにした．
bubble sort で実装し行毎処理を行なっているのは，
全てメモリに読み込んで sort するのは，spammer のアドレスが想像以上に多いので，
ライン数が増えて処理に時間がかかるようになり，ファイルロックに邪魔されて
spammer のアクセスを拾えなくなるのではないかという懸念のため．
実際には，File I/O の方がボトルネックになっている気がするので，
fwrite 一発で書き込んだ方が処理は早いかも知れない…
もっと行数が増えたら，測定してみよう．
で，まぁコードはこんな感じ．
-- 追記
ごめん，バグがあった．
ループ前の1回の処理でbreak文を消してなかったので，バグってた．
-- 追記2
fgetcsv で取得した末尾の空白文字を取り除かないと \n が入ってしまうらしいことに，
後から気付いた．
全部 int キャストすることで，回避．
<?php
header('HTTP/1.1 403 Forbidden');
header('Content-Type: text/html; charset=iso-8859-1');
?>
<!DOCTYPE HTML PUBLIC '-//IETF//DTD HTML 2.0//EN'>
<HTML><HEAD>
<TITLE>403 Forbidden</TITLE>
</HEAD><BODY>
<H1>Forbidden</H1>
<?php printf('You don't have permission to access %s\non this server.',
htmlentities(strip_tags($_SERVER['REQUEST_URI']))); ?><P>
<HR>
<ADDRESS><?php
$e = explode(' ',$_SERVER['SERVER_SOFTWARE']);
printf('%s Server at %s Port %d',$e[0],$_ENV['SERVER_NAME'],$_ENV['SERVER_PORT']);
?></ADDRESS>
</BODY></HTML>
<?php
// comparison 2 IP addresses
function aIsLargerThanB($a,$b) {
// a and b are arrays of 4 integers, e.g. 127.0.0.1 is expressed as
// array(127,0,0,1)
if ($a[0]==$b[0])
if ($a[1]==$b[1])
if ($a[2]==$b[2]) return $a[3] > $b[3];
else return $a[2] > $b[2];
else return $a[1] > $b[1];
else return $a[0] > $b[0];
}
// parse IP address to array of 4 integers.
function parseIpAddress($ip_addr){
$return = array();
foreach ( explode('.',$ip_addr) as $i) $return[] = (int)$i;
return $return;
}
// count IP addr
$addr = $_SERVER['REMOTE_ADDR'];
$fobj = fopen('counter.dat','r');
if (flock($fobj, LOCK_EX)) {
$oobj = fopen('counter.tmp','w');
$flag=false;
// 1st processing
$s=fgetcsv($fobj);
if (count($s)==2 and $s[0] === $addr) {
$s[1]=(int)$s[1]+1;
$flag=true;
} else { $s[1] = (int)$s[1];}
$prev = array($s[0],$s[1]);
// process loop
while (!feof($fobj))
{
$s=fgetcsv($fobj);
$s[1] = rtrim($s[1]);
if (count($s)<2) {
fputcsv($oobj,$prev);
break;
} elseif (!$flag and $s[0] === $addr) {
$s[1]=(int)$s[1]+1;
$flag=true;
} else { $s[1] = (int)$s[1];}
$pips = parseIpAddress($prev[0]);
$nips = parseIpAddress($s[0]);
// bubble sort
if (aIsLargerThanB($pips,$nips)) {
fputcsv($oobj,$s);
} else {
fputcsv($oobj,$prev);
$prev = array($s[0],$s[1]);
}
}
fputcsv($oobj,$prev);
if (!$flag) { fprintf($oobj,'%s,1\n',$addr);}
flock($fobj,LOCK_UN);
fclose($fobj);
fclose($oobj);
copy('counter.tmp','counter.dat');
} else {
fclose($fobj);
}
?>
アクセス禁止したスパマーが，その後どれだけアクセスしているかカウントする．
以前，スパム増加という記事でも触れたが，
本サイトではアクセス禁止リストにあるホストからのアクセスを禁止している．
ところが，似たようなIPからのアクセスが絶えず続いており，どんどんホストを追加している状態である．
このままではアクセス禁止リストが延々と伸びていってしまうので，特にアクセスの多いアドレス空間については，
適当なサブネットマスクでもってアク禁とすることにしたい．
ところが，一度アクセスを禁止してしまうと，その後はどの程度のアクセスがあるのか分からない．
アク禁リストのアップデートをするための情報として，アク禁を解除しないまま，アクセス数を把握する方法を考えた．
ずばり，403 エラードキュメントをphpにして，アクセス元をカウントアップする作戦である．
そして普通に誤った操作をした人に疑問を与えないよう，403を忠実に再現したい．
ということで，こんなコードを生成してみた．
<?php
header("HTTP/1.1 403 Forbidden");
header("Content-Type: text/html; charset=iso-8859-1");
?>
<!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN">
<HTML><HEAD>
<TITLE>403 Forbidden</TITLE>
</HEAD><BODY>
<H1>Forbidden</H1>
<?php printf("You don't have permission to access %s\non this server.",
htmlentities(strip_tags($_SERVER['REQUEST_URI']))); ?><P>
<HR>
<ADDRESS><?php
$e = explode(' ',$_SERVER['SERVER_SOFTWARE']);
printf("%s Server at %s Port %d",$e[0],$_ENV['SERVER_NAME'],$_ENV['SERVER_PORT']);
?></ADDRESS>
</BODY></HTML>
<?php
// count IP addr
$addr = $_SERVER['REMOTE_ADDR'];
$fobj = fopen("counter.dat","r");
if (flock($fobj, LOCK_EX)) {
$oobj = fopen("counter.tmp","w");
$flag=false;
for(;!feof($fobj);)
{
if ($flag) { fwrite($oobj,fgets($fobj));}
else {
$s=fgetcsv($fobj);
if (count($s)<2) { break;}
if ($s[0] === $addr) {
$s[1]=(int)$s[1]+1;
$flag=true;
}
fputcsv($oobj,$s);
}
}
if (!$flag) { fprintf($oobj,"%s,1\n",$addr);}
fclose($fobj);
fclose($oobj);
copy("counter.tmp","counter.dat");
} else {
fclose($fobj);
}
?>
ファイルロックなんて，何年か振りに実装した．
普通に php のオンラインドキュメントにあるようなファイルロックにしていないのは，
各行毎に読み込み/書き込みをしたかったから．
読み込み用ファイルを排他ロックして，読み込めた人だけ処理が進むようにしてみた．
そんな処理が問題になるほど膨大なログが溜まる頃には，レンタルサーバのスペースを
食い潰してアカウント消されていそうだけどね…
んで，アク禁で ErrorDocument 403 へ飛ばす場合の注意．
403 で飛ばす先の php ファイルへのアクセスは可能とすること．
さもなくば， 403 の転送で無限ループが発生する．
<Files hogehoge.php> allow from all </Files>
とかでOK．
余談だが， ErrorDocument で http://~~ と URI 指定すると，
別サーバへの転送と同様に処理されてしまうらしく，呼び出し元が引けなくなるので注意．
-- きっとこれで終わる追記
本家のフォーラムで，
パッチを作ってもらえました．
えがった，えがった．
general-tempate.php に，linkタグの出力があったんだなぁ…
-- 追記
フォーラムで報告したところ，もう少しスマートな方法をご紹介いただいた．
でももう眠いので，また今度ためします．
フォーラムの該当記事はこちら→サイト内検索時のRSSフィードのURL出力について
-- 元の記事
これはハマった．
ちなみに，application/xhtml+xml は，IE8以前では認識されないため，IE8以前向けには出力していません．確認をしたい方は，firefoxとか使ってください．IE9もイイヨ．
$link = str_replace('&','&',$link);
...(略)
$link = str_replace('&','&',$link);