《关闭小说畅读模式体验更好》
百度和微点说:“同行们,我把你们加黑名单了,不许来爬取我们的内容了。”然后,同行们就遵守约定,就不爬取了。
这是一个承诺屏蔽,而不是技术屏蔽。
也就是说,就算加黑名单了,也可以利用技术绕开协议,强行爬取。
那些搜索引擎都是正规公司正规网站,都会遵守君子协议。国内正规企业不遵守的案例,也就是360爬取百度百科的内容了。
盗版网站才不管这些。
这是非法网站。
这伙人连法律都不遵守,会遵守君子协议?
直接绕开协议,强行爬取。就可以很容易地把正版网站上的付费内容,爬取到盗版网站中来。
现在的问题是,站的技术不够,不能利用技术反爬虫。奢望加入黑名单遵守君子协定是不可能的。
可是,紫微星有!
内容未完,下一页继续阅读