问题
2020-03-05 星期四,下午一点.百度流量异常地高,超过了200Mbps.
联系了网宿那边的技术,说是百度的爬虫在捣鬼.
让他们导出了一系列IP
切换到阿里云之后,发现百度竟然还把我网宿的IP给记住了,真是666.
然后我查看了站长后台,抓取的频次确实高了些.
结论
- 123.125 xxx xxx
- 220.181 xxx xxx
这2个网段都是百度那边的IP,原则上要放行.而且他们喜欢在周四更新.
2020-03-05 星期四,下午一点.百度流量异常地高,超过了200Mbps.
联系了网宿那边的技术,说是百度的爬虫在捣鬼.
让他们导出了一系列IP
切换到阿里云之后,发现百度竟然还把我网宿的IP给记住了,真是666.
然后我查看了站长后台,抓取的频次确实高了些.
这2个网段都是百度那边的IP,原则上要放行.而且他们喜欢在周四更新.