soword科技言
永久公益免费API接口
提供永久免费的API接口,查看更多API接口,如果您有其他免费API资源,请联系我们,造福人类。
提供商务开发:小程序,系统,APP
定制开发,免费评估,免费咨询,价格便宜,售后保障,前往开发服务中心联系开发客服中心
Facebook链接预览功能在网站抓取方案中用作代理

多个数据采集组滥用Facebook链接预览功能,伪装成Facebook的内容爬虫,从互联网网站上获取数据。

这项技术包括使用Facebook开发人员帐户来调用Facebook或Facebook Messenger API服务器,请求一个组要抓取的页面的链接预览。

Facebook将获取数据,在链接预览中进行组装,并将其作为API响应返回给数据清理程序,随时可以被吸收到Scraper的数据库中。

这项技术是成功的,因为大多数网站运营商都允许Facebook服务器对其网站进行爬网,知道Facebook从他们的页面收集的数据通常用于合法目的,作为社交网络、Facebook Messenger、WhatsApp的链接预览的一部分,或Instagram。

多个小组滥用了该技术,但在DataDome上周发布的一份报告,该公司是一家为在线网站提供机器人检测功能的安全公司,该公司表示,发现了几家“刮板运营商”利用该技术(ab)将Facebook用作其数据抓取活动的代理。

DataDome表示,它发现多个团体在多个网站上滥用该技术,但最初的检测还是开始了它的一个客户网络,一个分类广告门户。

“我们的启发式分析发现,某些不太可能被人类使用的参数,在Facebook请求的url中所占比例过高,DataDome解释道。

这包括机密网站上用户通常不会经常在Facebook上共享的页面的URL,比如搜索结果页面——这是一个绝妙的赠品,有人在为最近的条目从分类广告网站上获取信息。

DataDome团队进行的测试证实了该技术的有效性发现数据采集组可能会滥用这一功能,从一个Facebook开发者帐户中以高达10000个URL/h的速度检索链接预览。

这家法国安全公司表示,它在今年早些时候将攻击通知了Facebook。

“Facebook现在已经改进了Messenger预览API的速率限制。正如我们的测试(以及某些黑客论坛的讨论)所证实的那样,这有效地防止了预览功能继续被用于抓取目的,”安全公司说。

Facebook发言人确认了抓取操作和API修复,但该公司并没有在DataDome的报告中添加任何内容。

microsoft 2020年11月的补丁星期二发布,并进行了修复对于Windows zero day

Chrome to block tab nabing攻击