【CentOS8】クローラ拒否設定（robots.txt .htaccess）

2020-06-25T10:10:00+09:00 2020-06-25T03:48:52Z

DocumentRoot /var/www/dev の場合

robots.txtでクローラ拒否

# vi /var/www/dev/robots.txt

User-Agent:*
Disallow:/

httpd.conf に記述してもOK。

# vi /var/www/dev/.htaccess

SetEnvIf User-Agent "Googlebot" ng_ua
SetEnvIf User-Agent "bingbot" ng_ua
order Allow,Deny
Allow from all
Deny from env=ng_ua