你们的网站有没有把什么搜索引擎屏蔽

版主: 丁程

回复
头像
nik
惊鸿侠影
惊鸿侠影
帖子: 195
注册时间: 2017年 1月 19日 13:39

你们的网站有没有把什么搜索引擎屏蔽

帖子 nik »

就在最近发现,神马搜索蜘蛛的抓取方式很奇葩,重复上万条的抓取不说,没有丝毫收录的迹象,白白耗费了自身服务器的流量,差不多和CC变种攻击一样啦。我在考虑要不要把神马搜索引擎给直接屏蔽
头像
zhangmingdo
惊鸿侠影
惊鸿侠影
帖子: 162
注册时间: 2017年 1月 14日 10:32

Re: 你们的网站有没有把什么搜索引擎屏蔽

帖子 zhangmingdo »

目前没有屏蔽,抓取的量不怎么多
头像
丫蛋蛋
闻弦雅士
闻弦雅士
帖子: 74
注册时间: 2017年 1月 16日 19:55

Re: 你们的网站有没有把什么搜索引擎屏蔽

帖子 丫蛋蛋 »

以目前的形式来看暂时不要屏蔽

它和华为有合作,华为手机浏览器默认的搜索就是神马
头像
歌源
闻弦雅士
闻弦雅士
帖子: 123
注册时间: 2017年 1月 22日 11:02

Re: 你们的网站有没有把什么搜索引擎屏蔽

帖子 歌源 »

多大点量就受不了,怎么个重复抓取法
头像
nik
惊鸿侠影
惊鸿侠影
帖子: 195
注册时间: 2017年 1月 19日 13:39

Re: 你们的网站有没有把什么搜索引擎屏蔽

帖子 nik »

歌源 写了:
2019年 5月 13日 20:13
多大点量就受不了,怎么个重复抓取法
url/?d9x
url/?d0s
url/?d2s

这样的形式不停让CDN回源,100G的流量几天就没了
小华芝
逍遥游侠
逍遥游侠
帖子: 54
注册时间: 2017年 1月 29日 14:54

Re: 你们的网站有没有把什么搜索引擎屏蔽

帖子 小华芝 »

滑稽幽默 写了:
2019年 5月 13日 20:12
以目前的形式来看暂时不要屏蔽

它和华为有合作,华为手机浏览器默认的搜索就是神马
有一定的时常份额,但是少,毕竟懂互联网的人都用百度,只有一部分傻瓜会直接用浏览器地址来进行默认搜索引擎搜索
小华芝
逍遥游侠
逍遥游侠
帖子: 54
注册时间: 2017年 1月 29日 14:54

Re: 你们的网站有没有把什么搜索引擎屏蔽

帖子 小华芝 »

nik 写了:
2019年 5月 13日 20:15
歌源 写了:
2019年 5月 13日 20:13
多大点量就受不了,怎么个重复抓取法
url/?d9x
url/?d0s
url/?d2s

这样的形式不停让CDN回源,100G的流量几天就没了
这样的话直接屏蔽好了,个人小站肯定承受不起
风继续吹
逍遥游侠
逍遥游侠
帖子: 42
注册时间: 2017年 1月 31日 14:25

Re: 你们的网站有没有把什么搜索引擎屏蔽

帖子 风继续吹 »

用阿里云的CDN,可以把URL后面的参数忽略,强制应答缓存给用户和机器人
回复