当前位置: 首页 » 资讯 » 新科技 » 正文

百度百科限制谷歌必应等搜索引擎抓取 保护内容免被AI训练利用

IP属地 北京 编辑:胡颖 PConline太平洋科技 时间:2024-08-23 08:08:39

近日,百度百科已开始屏蔽包括谷歌、必应等在内的多数搜索引擎的抓取权限,此举旨在防止这些搜索引擎和其他爬虫未经授权抓取其内容,用于训练人工智能模型。

根据百度百科的robots.txt文件更新显示,目前只有百度搜索、搜狗搜索、中国搜索(Chinaso)、YYSpider和宜搜搜索(EasouSpider)等少数搜索引擎被允许抓取其内容。

谷歌搜索、必应搜索、微软MSN、UC浏览器的Yisouspider以及其他非白名单爬虫均被明确禁止访问百度百科的数据。尽管360搜索没有在封禁列表中单独列出,但百度百科的策略是禁止一切非白名单爬虫抓取,所以360搜索和其他搜索引擎也都是被屏蔽的。

尽管百度百科采取了上述措施,但有业内人士指出,这些方法可能只能防止大部分合法的爬虫抓取,无法完全阻止那些通过特殊手段绕过限制的小型爬虫继续获取内容,用于AI训练。

免责声明:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其内容真实性、完整性不作任何保证或承诺。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。

全站最新