搜索网站的方法全国防疫大数据平台

一、前期准备及排坑

0.背景

由于需要获取某个网站的cookie数据，但是该网站又一定的反爬机制，导致常规的调用java的那些工具类发送get请求获取不到（包括对请求头进行伪装等等）。最后只能模拟浏览器请求来获取。这时就使用到了selenium。

1.本地环境

本地环境：
jdk:1.8
系统环境：win10
springboot2版本:2.1.3.RELEASE
chrome:137.0.7151.69(当时最新版本)
chromedriver：去网站找到对应的版本即可
注意：chrome和chromedriver版本需要保持一致。

2.坑点1（java版本太低）

首先，我先去找了几个ai去实现我这个功能，也说了使用springboot2和java8版本去实现。但是ai回复都是用org.seleniumhq.selenium的4.x版本，导致入坑。经过一顿报错之后，最后提示jdk版本过低，至少需要jdk11才行。但是企业项目不可能随便让你换jkd版本，此时第一个坑遇到了，只能找其他解决方案。

2.1解决坑点1

一顿排查，结论只能降低依赖版本，我这个springboot2版本，其实本身自带一下selenium依赖的，当时我就怀疑，为啥不能直接用原始的3.x版本呢？我去掉引入的selenium相关依赖，使用框架原始的依赖。
原始依赖版本如下：

执行过后还是遇到一点小问题，一些依赖没有成功引入。
最后再原来的基础上，又手动加了一个依赖。（理论上应该不需要这个依赖，因为已经有了，可能是当时频繁换依赖本地仓库的问题之类的吧，暂时没再关心过了。）

<dependency><groupId>org.seleniumhq.selenium</groupId><artifactId>selenium-java</artifactId><version>3.14.0</version>
</dependency>

除上述依赖外，没有额外引入任何其它依赖了。

再次进行调试，win10环境成功跑通。

测试代码如下

public static void main(String[] args) {String url = "https://********";if (SysEnv.getEnv().equals(Status.EnvFlag.WIN.getIndex())) {System.setProperty("webdriver.chrome.driver", "A:\\software\\work\\chromedriver-win64\\chromedriver.exe");} else {System.setProperty("webdriver.chrome.driver", "/home/chrome/chromedriver/chromedriver");}WebDriver driver = null;try {ChromeOptions options = new ChromeOptions();//options.addArguments("--headless");// 创建 WebDriver 实例driver = new ChromeDriver(options);driver.get(url);// 等待一段时间确保页面加载完成（根据实际情况调整等待时间）Thread.sleep(1000 * 5);driver.navigate().refresh();Thread.sleep(1000 * 5);} catch (Throwable e) {log.error("执行异常:", e);} finally {if (Objects.nonNull(driver)) {log.info("执行关闭浏览器");driver.quit();}}
}

---

二、部署到linux环境

1.历史遗留问题

测试环境为centos7、生产为Ubuntuubuntu14.04。天崩开局
先安装官方的Chrome浏览器linux版本，这个需要加速，然后下载安装包进行安装，当然你也可以查查在线安装方式。

centos7勉强还能装上，Ubuntu根本装不上。

2.坑点2

在centos7中验证是否安装成功，执行后先是提示缺少依赖，然后装完依赖又提示系统版本低，解决方法是需要升级centos7系统。到这基本就无解了，系统不能直接简单粗暴的升级系统，风险很高。并且运维还测试了新一些的Ubuntu18装Chrome，也能成功，那么还是得升级系统，到这就不考虑下载官方的新版Chrome了。

2.1解决坑点2

网上一顿搜，总结的方案入下
1.降低Chrome版本
2.部署到docker容器中
3.升级linux系统

先从方案1入手，以为是最简单的方案，但是发现，官方不提供历史版本的下载地址，第三方的Chrome维护的linux版本也不全。耗时好久也找不到合适的，就是chromedriver找旧版本很好找。
方案2实现成本也很高，暂时没验证。
方案3不考虑
最终，在机缘巧合下，发现chromium这个东西，ai了一下这个东西。

centos7安装命令

yum install -y chromium

查询版本

chromium-browser --version

最终又使用这个Chromium 进行尝试，先在centos7中安装Chromium ，然后在代码中使用这个浏览器。

ChromeOptions options = new ChromeOptions();
options.setBinary("/usr/bin/chromium-browser");

在这个过程中你如果在centos7中还遇到了一些其他问题可以尝试加上这些配置

options.addArguments("--headless"); // 无头模式，在Linux环境下通常需要
options.addArguments("--disable-gpu");
options.addArguments("--no-sandbox"); // 解决Linux环境下的沙箱问题
options.addArguments("--disable-dev-shm-usage"); // 解决/dev/shm空间不足问题

还有一个指定用户数据路径的配置

//userDataDir这个是你自己生成的一个随机不重复的文件夹，使用完selenium后可以直接删掉
options.addArguments("--user-data-dir=" + userDataDir);

部署到centos7验证，功能可以实现。

3.坑点3

当在Ubuntu环境安装时，发现由于Ubuntu版本太低，安装Chromium 也不行，能安装的Chromium 最高版本65.0.3325.181，此版本没有支持的driver。最终只能又找了一台centos7服务器进行远程调用获取相关参数，算是一个曲线解决方案，暂时没找到更好的解决方式。

---