利用宝塔快速屏蔽垃圾蜘蛛

一、屏蔽垃圾蜘蛛的作用

就是拦截垃圾蜘蛛、爬虫、采集器。降低服务器消耗。加快速度。避免不必要的消耗，导致搜索引擎收录差等。

二、使用方法：

宝塔插件的防火墙UA添加屏蔽某些垃圾蜘蛛

安装宝塔linux防火墙。

软件管理 → linux防火墙免费版→ 全局配置 → User-Agent过滤 填入下面的规则。

随便写描述后点击添加即可。

垃圾蜘蛛规则列表：

#关键词过滤1        
(HTTrack|Apache-HttpClient|harvest|audit|dirbuster|pangolin|nmap|sqln|hydra|Parser|libwww|BBBike|sqlmap|w3af|owasp|Nikto|fimap|havij|zmeu|BabyKrokodil|netsparker|httperf| SF/)

#可疑UA特征
(hidden|secret|scan|hack|exploit)
        
#新增扫描器
(zap|arachni|wpscan|skipfish)
        
#社交媒体爬虫
(Twitterbot|facebookexternalhit|Facebot|LinkedInBot)
        
#搜索引擎 & 商业爬虫        
(Googlebot|GoogleOther|Adsbot|Bingbot|DuckDuckBot|Bytespider|zhanzhang\.toutiao|Barkrowler|BLEXBot|MegaIndex|MJ12bot|AhrefsBot|SemrushBot|DataForSeoBot|dataforseo|DotBot|Web-Crawler|ExtLinksBot)

#安全扫描工具
(nmap|hydra|sqln|sqlmap|nikto|w3af|dirbuster|netsparker|havij|owasp|ZAP|BurpSuite|acunetix|nessus|Metasploit)
        
#自动化工具/框架
(Apache-HttpClient|Go-http-client|python-requests|Scrapy|curl|PostmanRuntime|Paw|HTTPie|okhttp|RestSharp)
        
#数据采集器
(HTTrack|harvest|audit|fimap|webprosbot|SurdotlyBot|msray-plus|iaskspider|RepoLookoutBot|CensysInspect)
        
#云服务/厂商
(AWS SDK|Amazonbot|aws-sdk-java|alibaba|YandexBot|DigitalOcean|Linode|Azureus|EC2|GCE)
        
#网络扫描/监控
(Masscan|zmap|Nessus|OpenVAS|SolarWinds|PaloAlto|Sophos|Fortinet|Cisco)
        
#开发调试工具
(Postman|Fiddler|Wget|WinHTTP|Synapse|Electron|PhantomJS|SlimerJS|CefClient)
        
#AI相关        
(ChatGLM|GPTBot|openai|GPT-4|Claude-ai)

#其他常见需要过滤的
(SP-engine|Shuame|Ezooms|FlightDeckReports|InternetMeasurement|WebDAV|WebScarab)
        
#协议库/通用组件
(libwww|libcurl|fasthttp|axios|Java|PHP|Python|Ruby|Perl|Node\.js|Go |\.NET)
        
#桌面/服务器系统
(CrOS|X11; Linux|FreeBSD|ArchLinux|Ubuntu; Mobile)

此方法简单高效。

PS：开启防火墙后给自己的IP设置白名单，避免采集或者修改的时候出现误报。