怎样限制百度蜘蛛速度

版主: 丁程

回复
兄弟要低调
惊鸿侠影
惊鸿侠影
帖子: 150
注册时间: 周二 1月 31, 2017 10:03 am

怎样限制百度蜘蛛速度

帖子 兄弟要低调 » 周三 4月 24, 2019 10:24 am

自己做的一个照片分享网站,最近百度蜘蛛爬得太狠,一个月消耗了流量30GB左右,要怎么给百度蜘蛛限速?

头像
丁程
论坛版主
论坛版主
帖子: 263
注册时间: 周四 1月 12, 2017 9:32 pm

Re: 怎样限制百度蜘蛛速度

帖子 丁程 » 周三 4月 24, 2019 2:08 pm

百度站长资源里,加入需要限制蜘蛛访问频率的域名,然后根据自己服务器的带宽,设置对应的抓取速率

兄弟要低调
惊鸿侠影
惊鸿侠影
帖子: 150
注册时间: 周二 1月 31, 2017 10:03 am

Re: 怎样限制百度蜘蛛速度

帖子 兄弟要低调 » 周三 4月 24, 2019 2:17 pm

丁程 写了:
周三 4月 24, 2019 2:08 pm
百度站长资源里,加入需要限制蜘蛛访问频率的域名,然后根据自己服务器的带宽,设置对应的抓取速率
不去百度站长资源控制还有什么办法吗

心雨成
逍遥游侠
逍遥游侠
帖子: 40
注册时间: 周三 2月 01, 2017 11:32 am

Re: 怎样限制百度蜘蛛速度

帖子 心雨成 » 周三 4月 24, 2019 2:18 pm

兄弟要低调 写了:
周三 4月 24, 2019 10:24 am
自己做的一个照片分享网站,最近百度蜘蛛爬得太狠,一个月消耗了流量30GB左右,要怎么给百度蜘蛛限速?
你服务器什么配置,连这点流量都受不了

兄弟要低调
惊鸿侠影
惊鸿侠影
帖子: 150
注册时间: 周二 1月 31, 2017 10:03 am

Re: 怎样限制百度蜘蛛速度

帖子 兄弟要低调 » 周三 4月 24, 2019 2:20 pm

CPU用的配置才2核心,肯定承受不来

头像
丁程
论坛版主
论坛版主
帖子: 263
注册时间: 周四 1月 12, 2017 9:32 pm

Re: 怎样限制百度蜘蛛速度

帖子 丁程 » 周三 4月 24, 2019 2:21 pm

服务器单方面的限制带宽,会造成用户访问缓慢,除此之外还可以根据UA来判断出蜘蛛,设置在某时间段返回403状态码

头像
虚空电台
逍遥游侠
逍遥游侠
帖子: 39
注册时间: 周六 4月 01, 2017 2:32 pm

Re: 怎样限制百度蜘蛛速度

帖子 虚空电台 » 周三 4月 24, 2019 2:22 pm

目测抓取过多这种情况都是程序结构不好,导致蜘蛛乱爬

回复