当前位置: 首页 > wzjs >正文

有没有可以做各种字体的网站企业推广公司

有没有可以做各种字体的网站,企业推广公司,平面设计师个人网站,如何为公司做网站我在使用 Selenium 爬取网站的时候,直接get url ,却立马闪退,遇到了获取网络响应直接被退出的问题。 这通常是由于 反爬机制、浏览器检测 或 网络限制 导致的。 以下是 完整排查与解决方案: 1. 检查常见原因 问题类型典型表现可…

我在使用 Selenium 爬取网站的时候,直接get url ,却立马闪退,遇到了获取网络响应直接被退出的问题。

这通常是由于 反爬机制浏览器检测网络限制 导致的。

以下是 完整排查与解决方案


1. 检查常见原因

问题类型典型表现可能原因
浏览器检测页面加载后立即关闭被检测到自动化工具(如 webdriver 属性)
反爬机制返回 403/404 或跳转验证码请求头、IP 或行为异常
网络限制TimeoutException 或无响应代理问题、DNS 污染、Cloudflare 拦截
页面重定向获取不到目标数据网站强制跳转(如登录页)

2. 解决方案

✅ 方案 1:绕过浏览器检测
from selenium import webdriver
from selenium.webdriver.chrome.options import Optionsoptions = Options()
options.add_argument("--disable-blink-features=AutomationControlled")
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option("useAutomationExtension", False)driver = webdriver.Chrome(options=options)# 修改 navigator.webdriver 属性
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {"source": """Object.defineProperty(navigator, 'webdriver', {get: () => undefined})"""
})
✅ 方案 2:使用 undetected-chromedriver(推荐)
import undetected_chromedriver as ucdriver = uc.Chrome(version_main=114,  # 匹配你的 Chrome 版本headless=False,    # 无头模式容易被检测use_subprocess=True
)
driver.get("https://目标网站.com")
✅ 方案 3:模拟人类行为(降低检测概率)
import time
import random
from selenium.webdriver.common.action_chains import ActionChains# 随机延迟(避免固定时间间隔)
time.sleep(random.uniform(1, 3))# 模拟鼠标移动
actions = ActionChains(driver)
actions.move_by_offset(random.randint(10, 50), random.randint(10, 50))
actions.perform()
✅ 方案 4:处理 Cloudflare / 反爬验证
# 方法 1:更换 User-Agent
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36")# 方法 2:使用代理 IP
options.add_argument("--proxy-server=http://代理IP:端口")# 方法 3:手动处理验证码(如 2Captcha 服务)
✅ 方案 5:检查网络问题
from selenium.common.exceptions import TimeoutExceptiontry:driver.set_page_load_timeout(30)  # 设置超时时间driver.get("https://目标网站.com")
except TimeoutException:print("页面加载超时,可能是网络问题或网站拦截")driver.quit()

3. 高级调试技巧

📌 检查网络请求(Chrome DevTools)
from selenium.webdriver.common.desired_capabilities import DesiredCapabilitiescaps = DesiredCapabilities.CHROME
caps['goog:loggingPrefs'] = {'performance': 'ALL'}  # 启用网络日志
driver = webdriver.Chrome(desired_capabilities=caps)# 获取网络日志
logs = driver.get_log('performance')
for log in logs:print(log)
📌 使用 selenium-wire 捕获 HTTP 请求
from seleniumwire import webdriverdriver = webdriver.Chrome()
driver.get("https://目标网站.com")# 查看所有请求
for request in driver.requests:if request.response:print(request.url, request.response.status_code)

4. 终极解决方案

如果仍然被拦截,可以:

  1. 更换 IP(使用住宅代理,如 Luminati)
  2. 降低爬取频率(增加随机延迟)
  3. 改用 Puppeteer/Playwright(更接近真实浏览器)
  4. 模拟登录 Cookie(避免被识别为新会话)

总结

问题解决方案
浏览器检测undetected-chromedriver + 修改 webdriver 属性
反爬拦截更换 User-Agent + 代理 IP
网络超时增加 set_page_load_timeout
验证码使用 2Captcha 或手动处理

以上是一些解决方法,我在爬取网站的时候,遇到网站闪退,很有可能是被该网址“封号”了,这个是跟登录账号相关的,或者跟响应方式有关。

如果是账号问题,可能是这个账号登录太多次,导致被拉黑

如果是响应方式的问题,可能一些网址要通过其他方式打开,而不能直接连接这个网址,例如:

html 有这样的元素

onclick="searchlog

说明后面接着的网址是不能直接去get url的,要点击才可以,那么这种就只能模拟点击的方法才能获取url的响应了。
具体的做法可以参考:
【Python】Selenium切换网页的标签页的写法(全!!!)

http://www.dtcms.com/wzjs/522371.html

相关文章:

  • 嘉兴市建设监理协会网站换友情链接的网站
  • 中国搜索引擎网站排名seo关键词排名优化品牌
  • 网站开发工程师 下载互联网营销做什么
  • 哪个网站可以做h5页面万网域名注册官网
  • 网站的二级栏目怎么做常州网站推广
  • 网站前端建设都需要什么问题如何自己制作网站
  • 网站手机页面如何做网页设计与制作
  • 东莞网站建设php方案北京网站营销与推广
  • 星巴克网站建设ppt网络推广seo
  • 网站全程设计技术网站关键词推广工具
  • wordpress 自定义字段 查询seo如何优化关键词排名
  • 南宁网站建设专业品牌指数函数公式
  • 永久网站域名个人开发app最简单方法
  • 做网站宁夏企业快速建站
  • 生物技术网站开发南山网站seo
  • 鄂州网站制作哪家好友情链接方面
  • 台州做网站哪家好seo建站是什么
  • 做微信公众号海报的网站2023b站推广大全
  • 网站开发技术代码安徽seo推广公司
  • 太原最新建设seo怎么发文章 seo发布工具
  • 做网站的标签及属性艾滋病多久可以查出来
  • 做技术一般逛那些网站外贸推广
  • 国家最新发布优化疫情防控措施国外seo大神
  • 遂宁网站设计巩义网站推广优化
  • 淄博阿雷网站建设公司站点推广是什么意思
  • 网站建设 探索自己怎么优化我网站关键词
  • 在家做兼职哪个网站靠谱今天的最新新闻内容
  • 怎么做自己的网站电商培训班一般多少钱
  • 国家企业信用信息查询全国优化教程
  • wordpress模板网站怎么找当地的地推团队