Easy同学正在独立开发
很多时候抓取网页被屏蔽,不光是因为UA和出口 IP 的问题。更多的是因为你没有登录态,识别不到你是哪个用户,所以限制会变得严一些。
我发现通过 CookieCloud 把 Cookie 注入到无头浏览器后,再去抓取时,效果会好很多。像 x 这种防范严格的网站都能抓取到内容。
在本地电脑上我一直是 agent browser + cookiecloud 混搭使用,但 agent browser 在服务器端比较耗资源。
加上我正好买了 cloudflare 的 workers paid 套餐,每个月有10 个小时的免费时长(其其免费版每天 10 分钟,感觉低频使用也够了)。
于是弄了一个 CookieCloud × Cloudflare Browser Run 的 Skill 。欢迎有需求的同学使用。
网页链接
