这些巨头爬虫们现在怎么了？记忆中2022年之前的十几年，园子没有遇到过被巨头爬虫们爬宕机的情况，巨头们都懂得爱护，都懂得控制节奏，都懂得在爬网时控制并发连接数以免给目标网站造成过大压力。
从去年开始，巨头爬虫们开始变了。首先从中文巨头爬虫中的佼佼者——百度蜘蛛开始，变得只追求自己“飞流直下三千尺，疑似银河落九天”的畅快，而不顾是否给目标网站带来“狂风暴雨后的一片狼藉”。在2022年4月3日与5月4日百度蜘蛛的两次疯狂袭击之后，园子勇敢地说出了“不”——屏蔽了肆无忌惮的百度蜘蛛IP网段，而勇敢的代价是“不让疯爬，就给重罚”——园子被百度全面降权。
今年，被百度重罚后园子的唯一依靠——微软 Bing 的爬虫又开始了，3月29日在园子里上演了下班前的一场暴风雨，爬虫爬至园宕机，无奈之下屏蔽了 Bing 爬虫疯狂爬取的两个网段。
去年屏蔽后，我们还能庆幸地感叹——至少还有你，Bing；今年屏蔽后，我们只剩忐忑不安——如果再被重罚，将是灾难。近一个月的忐忑不安，试着放虎归山，结果又让园子人仰马翻。
前天，我们试着放出了被屏蔽的 Bing 爬虫，结果昨天 18:15~18:40 左右，放出的 Bing 爬虫又爬至园宕机，只能再次屏蔽，再次陷入随时被重罚的危险境地。
抱歉，昨天下班时间出现的故障给大家带来了麻烦，请大家谅解。
在巨头爬虫们变得格外强大变得巨能爬的挑战面前，园子别无选择，唯有让自己变得更强大。
内容来源于网络如有侵权请私信删除
文章来源: 博客园
- 还没有人评论，欢迎说说您的想法！
客服
