当前位置: 首页 > news >正文

反爬克星还是效率神器?Browser-Use+cpolar重构Web自动化逻辑

文章目录

    • 前言
    • 1. 安装Ollama
    • 2. Gemma3模型安装与运行
    • 3. 虚拟环境准备
      • 3.1 安装Python
      • 3.2. 安装conda
    • 4. 本地部署Brower Use WebUI
      • 4.1 创建一个新conda环境
      • 4.2 克隆存储库
      • 4.3 安装依赖环境
      • 4.4 安装浏览器自动化工具
      • 4.5 修改配置信息
    • 5. 本地运行测试
    • 6. 安装内网穿透
      • 6.1 配置公网地址
      • 6.2 配置固定公网地址
    • 总结
        • 当模拟人类行为的智能引擎遇上穿透技术,Web自动化终于从"实验室工具"变成"生产力基础设施"。这不是简单的功能叠加,而是工作方式的范式转移。

前言

在数据采集领域,Browser-Use正以"伪装者"姿态颠覆传统工具——其底层架构能模拟人类浏览行为,从鼠标悬停时长到键盘输入节奏都符合真实用户分布模型。这款开源工具特别擅长处理带反爬措施的动态内容,无论是电商平台的竞品价格跟踪,还是学术网站的文献批量下载,都能保持99%的稳定性,适合市场调研人员、数据分析师和科研工作者使用。

上个月帮电商客户做竞品分析时,传统爬虫3次被目标网站拦截。改用Browser-Use后,通过设置随机浏览间隔和真实浏览器指纹,连续72小时稳定获取促销数据,甚至能自动填写需要验证码的问卷表单。这种"像真人一样工作"的智能,让数据采集效率提升300%。

但本地部署的局限逐渐显现:公司服务器的自动化脚本只能在办公室访问,居家办公时需远程控制电脑才能启动任务。更麻烦的是团队协作——开发人员优化的爬虫规则,测试人员必须到现场才能验证效果,来回沟通成本吃掉了一半效率红利。

转机出现在接入cpolar之后:通过创建HTTP隧道,将本地7788端口映射为公网地址,现在无论身处何地,打开浏览器就能管理任务队列。上周在高铁上用手机修改了爬虫参数,2分钟后家里的服务器就开始执行新任务。这种"随时随地掌控自动化流程"的体验,彻底打破了物理空间的束缚。

本文主要介绍如何在本地Windows系统部署Browser-Use WebUI,并结合cpolar内网穿透工具实现远程使用Browser-Use操作浏览器智能抓取数据并通过本地AI大模型进行分析,执行任务,打造个人全自动AI助理。

1. 安装Ollama

在部署Browser-Use之前,我们首先需要先准备好Ollama和你要使用的本地大模型以及虚拟环境配置。

本例中使用的是Windows11系统专业版,通过Ollama运行本地大模型,之前曾经发布过如何在Windows安装Ollama的教程,有需要可以看看这篇文章:Windows本地部署Deepseek-R1大模型并使用Web界面远程交互

简单来说,就是访问Ollama的官网:Download Ollama on Windows

image-20250408144901346

下载对应版本的Ollama安装程序并安装:

image-20250408144936715

2. Gemma3模型安装与运行

本例中我打算使用的本地模型是Gemma3:27b,因为它有多模态能力,可以识别图片,稍后测试一下实际效果。

在Ollama的官网点击Models,就能找到安装命令:

ollama run gemma3:27b

image-20250422155507442

PS:默认会下载模型到C盘,如果想修改下载位置,可以在终端中执行下方命令来指定模型文件的存放目录,这里以d:\ollama为例,大家可以提前自定义位置:

set OLLAMA_MODELS=d:\ollama

如果你之前安装过Ollama,在执行命令后出现如下图提示,那么关闭终端,请先升级ollama到最新版本才能正常下载gemma3模型。

image-20250408153616855

模型下载完成之后,安装成功后会提示success:

image-20250408161835787

3. 虚拟环境准备

3.1 安装Python

本例使用Windows11专业版系统进行演示:

首先需要安装 python 3.12 下载地址:Python Release Python 3.12.0 | Python.org

image-20250318144358086

安装时需要注意,勾选下边两个选项,不然后续有可能报错:

image-20250318144818801

安装结束后,如出现下图提示,点击该选项(更改您的机器配置,以允许程序(包括Python)绕过260字符的“最大路径”限制)同意即可。

image-20250318145149139

确认后,点击close关闭即可完成Python环境安装。

3.2. 安装conda

这里我使用的是本地已有的conda环境,大家也可以通过UV来创建虚拟环境:

conda下载地址:Anaconda Installers and Packages

安装时需要注意的是在这一步,需要勾选第三个选项,自动加载刚才安装的Python3.12环境:

image-20250318150527896

安装完成后,点击Finish即可:

image-20250318150909756

4. 本地部署Brower Use WebUI

接下来开始在Windows系统使用conda本地部署Brower Use WebUI

4.1 创建一个新conda环境

首先在Windows中打开cmd,执行下方命令创建虚拟环境:

conda create -n browseruse python=3.12

输入y确认:

image-20250422163301179

创建成功:

image-20250422163410427

如果提示’conda’ 不是内部或外部命令,也不是可运行的程序,我们需要配置一下环境变量,具体操作可以查看这篇文章:conda环境变量配置

环境创建好之后,执行下方命令激活这个新的conda环境:

conda activate browseruse

image-20250422163642838

如上图所示,这个conda环境就激活成功了。

4.2 克隆存储库

接下来,执行下方命令,将Browser-use WebUI拉取到本地:

git clone https://github.com/browser-use/web-ui.git

进入Browser-use WebUI项目路径:

cd web-ui

4.3 安装依赖环境

执行下方命令安装依赖环境:

pip install -r requirements.txt

image-20250422164626232

现在就安装好了:

image-20250422164716384

4.4 安装浏览器自动化工具

执行下方命令,安装浏览器自动化工具:

playwright install

image-20250422165658668

4.5 修改配置信息

然后执行下方命令,复制一份配置示例文件并改为.env格式文件:

copy .env.example .env

image-20250422170754786

复制后在webui安装的电脑路径中也能看到这两个文件:

image-20250422170903992

打开配置文件后可以修改你想要使用的模型路径,API KEY,使用自己哪个已有的浏览器路径等,本地中使用ollama调用本地大模型,就暂时不用修改了,稍后在web-ui界面中配置即可:

image-20250422172133694

修改完成后,保存退出即可。

5. 本地运行测试

执行下方命令:

python webui.py --ip 127.0.0.1 --port 7788

访问:http://localhost:7788

image-20250422171958209

即可在浏览器中打开browser-use 的 web-ui 界面了:

image-20250422172013738

关闭服务后想再次启动服务,可以打开cmd,执行conda activate browseruse 激活环境,然后cd web-ui进入web-ui路径,执行 python webui.py --ip 127.0.0.1 --port 7788 启动服务即可.

在主界面,上方的设置导航中选择Agent Settings,如果你本地部署的大模型不支持视觉识别,可以把这个使用视觉取消勾选,不然后续让AI执行任务时会报错。

image-20250423120048605

然后点击LLM Settings,对本地大模型进行设置:

image-20250423141304692

LLM Provider在下拉中选择ollama

Model Name需要手动输入你要调用的本地大模型名称,我这里使用的是gemma3:27b

这个模型名称可以在cmd终端中输入ollama list来进行查看:

image-20250423141449351

然后就可以点击顶部导航中的Run Agent来输入指令让AI自动来执行任务了:

image-20250423150254501

点击执行后,底部的结果和报错框中会显示运行时间:

image-20250423150542099

在cmd终端中也能看到刚才我们提的要求,与执行操作的步骤:

image-20250423150835193

执行任务同时AI会打开浏览器,自动进行搜索与后续操作:

image-20250423151104986

任务结束后,能看到AI成功执行了指令,帮我在B站搜索cpolar并打开搜索结果中的第一个视频:

image-20250423152122462

agent_history

美中不足的是使用其自带的浏览器在播放视频时,会提示浏览器不支持html5播放器,想要解决这个问题只需要在上边提到的.env配置文件中修改一下调用你自己电脑上的浏览器就可以了,而且登录视频网站后,在使用AI访问该网站时也无需二次登录了。

除了让它自动使用浏览器访问网站搜索并播放视频,我们也可以让它自动访问指定的网站查询某个账号发布的文章,并统计其账号发布的文章标题,发布时间,阅读量和点击量等信息。大家也可以根据自己的情况来提出要求让这个全自动的AI助力来为你提升工作效率,节省大量时间。

6. 安装内网穿透

现在我们已经成功在本地部署了Browser-Use WebUI并使用AI使用浏览器自动执行任务,但如果想实现不在同一网络环境下,也能随时随地在网页中远程使用本地部署的Browser-Use处理问题,那就需要借助cpolar内网穿透工具来实现公网访问了!接下来介绍一下如何安装cpolar内网穿透,过程同样非常简单:

首先进入cpolar官网:

cpolar官网地址: https://www.cpolar.com

点击免费使用注册一个账号,并下载最新版本的cpolar:

image-20250307152003085

登录成功后,点击下载cpolar到本地并安装(一路默认安装即可)本教程选择下载Windows版本。

image-20240319175308664

cpolar安装成功后,在浏览器上访问http://localhost:9200,使用cpolar账号登录,登录后即可看到配置界面,结下来在WebUI管理界面配置即可。

img

6.1 配置公网地址

接下来配置一下 Browser-Use WebUI 的公网地址:

登录后,点击左侧仪表盘的隧道管理——创建隧道,

  • 隧道名称:buse(可自定义命名,注意不要与已有的隧道名称重复)
  • 协议:选择 http
  • 本地地址:7788
  • 域名类型:选择随机域名
  • 地区:选择China Top

image-20250423153718664

隧道创建成功后,点击左侧的状态——在线隧道列表,查看所生成的公网访问地址,有两种访问方式,一种是http 和https:

image-20250423153756174

使用上面的任意一个公网地址,在平板或其他电脑的浏览器进行登录访问,即可成功看到 Browser-Use WebUI 界面,这样一个公网地址且可以远程访问就创建好了,使用了cpolar的公网域名,无需自己购买云服务器,即可到随时在线访问了!

image-20250423153936173

同样可以使用AI在浏览器中自动执行任务:

image-20250423154736017

小结

为了方便演示,我们在上边的操作过程中使用cpolar生成的HTTP公网地址隧道,其公网地址是随机生成的。这种随机地址的优势在于建立速度快,可以立即使用。然而,它的缺点是网址是随机生成,这个地址在24小时内会发生随机变化,更适合于临时使用。

如果有长期远程访问Browser-use WebUI让AI使用浏览器自动处理问题,或者异地访问与使用其他本地部署的服务的需求,但又不想每天重新配置公网地址,还想让公网地址好看又好记并体验更多功能与更快的带宽,那我推荐大家选择使用固定的二级子域名方式来为WebUI配置一个公网地址。.

6.2 配置固定公网地址

接下来演示如何为其配置固定的HTTP公网地址,该地址不会变化,方便分享给别人长期查看你部署的项目,而无需每天重复修改服务器地址。

配置固定http端口地址需要将cpolar升级到专业版套餐或以上。

登录cpolar官网,点击左侧的预留,选择保留二级子域名,设置一个二级子域名名称,点击保留:

image-20250423155504574

保留成功后复制保留成功的二级子域名的名称:mybuse,大家也可以设置自己喜欢的名称。

image-20250423155536754

返回Cpolar web UI管理界面,点击左侧仪表盘的隧道管理——隧道列表,找到所要配置的隧道:buse,点击右侧的编辑:

image-20250423155631106

修改隧道信息,将保留成功的二级子域名配置到隧道中

  • 域名类型:选择二级子域名
  • Sub Domain:填写保留成功的二级子域名:mybuse

点击更新(注意,点击一次更新即可,不需要重复提交)

image-20250423155716162

更新完成后,打开在线隧道列表,此时可以看到公网地址已经发生变化,地址名称也变成了固定的二级子域名名称的域名:

image-20250423155818127

最后,我们使用上边任意一个固定的公网地址访问,可以看到访问成功,这样一个固定且永久不变的公网地址就设置好了,可以随时随地在公网环境异地在线访问本地部署的Browser-use WebUI来让AI帮你全自动处理问题了!

image-20250423160133841

总结

通过以上步骤,我们实现了在Windows系统电脑本地部署Browser-use WebUI,并结合cpolar内网穿透工具轻松实现在公网环境中使用浏览器远程使用AI自主处理问题,并为其配置固定不变的二级子域名公网地址的全部流程,经过简单测试,效果确实不错,同时降低了使用门槛,非常期待它后续的发展,也感谢您的观看,有任何问题欢迎留言交流。

当模拟人类行为的智能引擎遇上穿透技术,Web自动化终于从"实验室工具"变成"生产力基础设施"。这不是简单的功能叠加,而是工作方式的范式转移。

本篇文章知识点来源[cpolar官网][https://www.cpolar.com]

http://www.dtcms.com/a/523477.html

相关文章:

  • 《KingbaseES数据库:首个多院区异构多活容灾架构,浙人医创新开新篇》
  • MySQL 的 MyISAM 与 InnoDB 存储引擎的核心区别
  • 【Qt开发】容器类控件(一)-> QGroupBox
  • 生活电器:重构家居体验的产业变革与发展探索
  • 怎么在百度建立自己的网站58同城西安网站建设
  • Modbus笔记
  • JVM 分代收集算法(Generational GC) 的原理和执行流程
  • 网站名加引号wordpress+极简博客
  • 网站备案取消接入什么是网站反链
  • 淘宝客网站需要多大主机分销网站怎么做
  • 荣县规划和建设局网站wordpress换网址
  • 广州市企业网站建设怎么样合肥做公司网站
  • 如何建设视频资源电影网站贵港网站建设兼职
  • 山东省建设项目备案证明网站怎么修复网站死链
  • 商城网站怎么做网站做淘客
  • 国内最大的网站制作公司公司网站的服务器
  • asp模板网站修改软件公司注册条件
  • 徐州公司做网站写资料的网站有哪些内容
  • ps做网站大小尺寸室内设计效果图全景图
  • 高新园区规划建设局网站专业政务软件开发
  • 网站做推荐链接端口常州微网站建设文档
  • 爱站网站长seo综合查询宁波seo快速优化公司
  • 中国十大网站建设公司wordpress ftp 端口
  • 长沙商城网站建设报价公示网站制作联盟
  • saas网站建设网站常见程序问题
  • 网站建设视频上传珠海市城乡住房建设局网站
  • 西安 房产网站建设拍卖网站建设方案
  • 做网站的一般步骤wordpress oss upload
  • 佛山网站制作对网页设计的认识和理解
  • 响水做网站哪家最好电子商务平台官网