你们的网站有没有把什么搜索引擎屏蔽

版主: 丁程

回复
头像
nik
惊鸿侠影
惊鸿侠影
帖子: 173
注册时间: 周四 1月 19, 2017 1:39 pm

你们的网站有没有把什么搜索引擎屏蔽

帖子 nik » 周一 5月 13, 2019 8:08 pm

就在最近发现,神马搜索蜘蛛的抓取方式很奇葩,重复上万条的抓取不说,没有丝毫收录的迹象,白白耗费了自身服务器的流量,差不多和CC变种攻击一样啦。我在考虑要不要把神马搜索引擎给直接屏蔽

头像
zhangmingdo
惊鸿侠影
惊鸿侠影
帖子: 139
注册时间: 周六 1月 14, 2017 10:32 am

Re: 你们的网站有没有把什么搜索引擎屏蔽

帖子 zhangmingdo » 周一 5月 13, 2019 8:10 pm

目前没有屏蔽,抓取的量不怎么多

头像
滑稽幽默
逍遥游侠
逍遥游侠
帖子: 59
注册时间: 周一 1月 16, 2017 7:55 pm

Re: 你们的网站有没有把什么搜索引擎屏蔽

帖子 滑稽幽默 » 周一 5月 13, 2019 8:12 pm

以目前的形式来看暂时不要屏蔽

它和华为有合作,华为手机浏览器默认的搜索就是神马

头像
歌源
闻弦雅士
闻弦雅士
帖子: 96
注册时间: 周日 1月 22, 2017 11:02 am

Re: 你们的网站有没有把什么搜索引擎屏蔽

帖子 歌源 » 周一 5月 13, 2019 8:13 pm

多大点量就受不了,怎么个重复抓取法

头像
nik
惊鸿侠影
惊鸿侠影
帖子: 173
注册时间: 周四 1月 19, 2017 1:39 pm

Re: 你们的网站有没有把什么搜索引擎屏蔽

帖子 nik » 周一 5月 13, 2019 8:15 pm

歌源 写了:
周一 5月 13, 2019 8:13 pm
多大点量就受不了,怎么个重复抓取法
url/?d9x
url/?d0s
url/?d2s

这样的形式不停让CDN回源,100G的流量几天就没了

小华芝
逍遥游侠
逍遥游侠
帖子: 43
注册时间: 周日 1月 29, 2017 2:54 pm

Re: 你们的网站有没有把什么搜索引擎屏蔽

帖子 小华芝 » 周一 5月 13, 2019 8:16 pm

滑稽幽默 写了:
周一 5月 13, 2019 8:12 pm
以目前的形式来看暂时不要屏蔽

它和华为有合作,华为手机浏览器默认的搜索就是神马
有一定的时常份额,但是少,毕竟懂互联网的人都用百度,只有一部分傻瓜会直接用浏览器地址来进行默认搜索引擎搜索

小华芝
逍遥游侠
逍遥游侠
帖子: 43
注册时间: 周日 1月 29, 2017 2:54 pm

Re: 你们的网站有没有把什么搜索引擎屏蔽

帖子 小华芝 » 周一 5月 13, 2019 8:17 pm

nik 写了:
周一 5月 13, 2019 8:15 pm
歌源 写了:
周一 5月 13, 2019 8:13 pm
多大点量就受不了,怎么个重复抓取法
url/?d9x
url/?d0s
url/?d2s

这样的形式不停让CDN回源,100G的流量几天就没了
这样的话直接屏蔽好了,个人小站肯定承受不起

风继续吹
武林新贵
武林新贵
帖子: 31
注册时间: 周二 1月 31, 2017 2:25 pm

Re: 你们的网站有没有把什么搜索引擎屏蔽

帖子 风继续吹 » 周一 5月 13, 2019 8:19 pm

用阿里云的CDN,可以把URL后面的参数忽略,强制应答缓存给用户和机器人

回复