经发现，虽然wget遵循 robots.txt 规则，但是那个还是可以绕过去，现在56云小编把我自己使用的屏蔽方法分享给大家：

网站建设哪家好，找创新互联建站！专注于网页设计、网站建设、微信开发、小程序开发、集团企业网站建设等服务项目。为回馈新老客户创新互联还提供了含山免费建站欢迎大家使用！

1. 屏蔽下载任何文件

.htaccess

SetEnvIfNoCase User-Agent "^wget" bad_bot

Order Allow,Deny

Allow from all

Deny from env=bad_bot

2. 屏蔽下载部分文件

.htaccess

SetEnvIfNoCase User-Agent "^Wget" bad_bot

SetEnvIfNoCase User-Agent "^Wget/1.5.3" bad_bot

SetEnvIfNoCase User-Agent "^Wget/1.6" bad_bot

Order Allow,Deny

Allow from all

Deny from env=bad_bot

新闻标题：apache使用.htaccess文件实现屏蔽wget下载网
网页网址：http://scgulin.cn/article/pehssd.html