昊梵体育网

Easy同学正在独立开发 很多时候抓取网页被屏蔽,不光是因为UA和出口 IP 的

Easy同学正在独立开发

很多时候抓取网页被屏蔽,不光是因为UA和出口 IP 的问题。更多的是因为你没有登录态,识别不到你是哪个用户,所以限制会变得严一些。

我发现通过 CookieCloud 把 Cookie 注入到无头浏览器后,再去抓取时,效果会好很多。像 x 这种防范严格的网站都能抓取到内容。

在本地电脑上我一直是 agent browser + cookiecloud 混搭使用,但 agent browser 在服务器端比较耗资源。

加上我正好买了 cloudflare 的 workers paid 套餐,每个月有10 个小时的免费时长(其其免费版每天 10 分钟,感觉低频使用也够了)。

于是弄了一个 CookieCloud × Cloudflare Browser Run 的 Skill 。欢迎有需求的同学使用。

网页链接