wget是一個(gè)從網(wǎng)絡(luò)上自動(dòng)下載文件的自由工具，支持通過(guò)HTTP、HTTPS、FTP三個(gè)最常見(jiàn)的TCP/IP協(xié)議下載，并可以使用HTTP代理。wget名稱的由來(lái)是“World Wide Web”與“get”的結(jié)合。
經(jīng)發(fā)現(xiàn)，雖然wget遵循 robots.txt 規(guī)則，但是那個(gè)還是可以繞過(guò)去，現(xiàn)在把我自己使用的屏蔽方法分享給大家：
1. 屏蔽下載任何文件
.htaccess
|
1
2
3
4
5
6
|
SetEnvIfNoCase User-Agent "^wget" bad_bot
<Limit GET POST>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>
|
2. 屏蔽下載部分文件
.htaccess
|
1
2
3
4
5
6
7
8
|
SetEnvIfNoCase User-Agent "^Wget" bad_bot
SetEnvIfNoCase User-Agent "^Wget/1.5.3" bad_bot
SetEnvIfNoCase User-Agent "^Wget/1.6" bad_bot
<Files ~ ".(html|pdf|mp3|zip|rar|exe|gif|jpe?g|png|php|jsp) $">
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</files>
|
服務(wù)熱線：
4006-75-4006(7*24小時(shí)在線)
總機(jī)直撥：
0871-63886388（工作日9:00-18:00）
售前咨詢
售后咨詢
備案咨詢
二維碼
TOP
