当前位置: 首页 > wzjs >正文

做网站的网址软文推广案例500字

做网站的网址,软文推广案例500字,成都高新区疫情防控政策,wordpress上传第二部一、常见的异常类型 在爬虫开发中,可能会遇到以下几种常见的异常情况: 网络请求失败:目标服务器不可用或网络连接问题。 页面结构变化:目标网站更新了HTML结构,导致选择器无法正确匹配。 反爬机制触发:请…

一、常见的异常类型

在爬虫开发中,可能会遇到以下几种常见的异常情况:

  1. 网络请求失败:目标服务器不可用或网络连接问题。

  2. 页面结构变化:目标网站更新了HTML结构,导致选择器无法正确匹配。

  3. 反爬机制触发:请求频率过高或被识别为爬虫,导致被限制访问。

  4. 数据解析错误:页面内容缺失或格式不符合预期,导致解析失败。

二、异常处理机制

(一)使用try-catch块捕获异常

在PHP中,可以使用try-catch块来捕获和处理异常。以下是一个示例:

<?php
require 'vendor/autoload.php';use GuzzleHttp\Client;
use Symfony\Component\DomCrawler\Crawler;function get_html($url) {$client = new Client();try {$response = $client->request('GET', $url, ['headers' => ['User-Agent' => 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36']]);return $response->getBody()->getContents();} catch (Exception $e) {echo "请求失败: " . $e->getMessage() . "\n";return null;}
}function parse_html($html) {try {$crawler = new Crawler($html);$products = [];$crawler->filter('div.product-item')->each(function (Crawler $node) use (&$products) {$title = $node->filter('h3.product-title')->text();$price = $node->filter('span.product-price')->text();$link = $node->filter('a.product-link')->attr('href');$products[] = ['title' => $title,'price' => $price,'link' => $link];});return $products;} catch (Exception $e) {echo "解析失败: " . $e->getMessage() . "\n";return [];}
}function get_product_list($keyword, $page = 1) {$base_url = "https://www.17zwd.com/search";$url = $base_url . "?q=" . urlencode($keyword) . "&page=" . $page;$html = get_html($url);if ($html) {return parse_html($html);}return [];
}try {$keyword = "书籍"; // 替换为实际关键词$products = get_product_list($keyword);foreach ($products as $product) {echo "商品名称: " . $product['title'] . "\n";echo "商品价格: " . $product['price'] . "\n";echo "商品链接: " . $product['link'] . "\n";echo "----------------------\n";}
} catch (Exception $e) {echo "发生错误: " . $e->getMessage() . "\n";
}

(二)记录日志

在生产环境中,仅仅打印错误信息是不够的。建议将错误信息记录到日志文件中,以便后续分析和排查问题。可以使用PHP的error_log函数或第三方日志库(如monolog)来记录日志。

使用error_log记录日志:

function log_error($message) {error_log($message . "\n", 3, "/path/to/error.log");
}function get_html($url) {$client = new Client();try {$response = $client->request('GET', $url, ['headers' => ['User-Agent' => 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36']]);return $response->getBody()->getContents();} catch (Exception $e) {log_error("请求失败: " . $e->getMessage());return null;}
}
使用monolog记录日志:

composer require monolog/monolog

<?php
require 'vendor/autoload.php';use Monolog\Logger;
use Monolog\Handler\StreamHandler;function get_logger() {$logger = new Logger('crawler');$logger->pushHandler(new StreamHandler('/path/to/error.log', Logger::WARNING));return $logger;
}function get_html($url) {$client = new Client();$logger = get_logger();try {$response = $client->request('GET', $url, ['headers' => ['User-Agent' => 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36']]);return $response->getBody()->getContents();} catch (Exception $e) {$logger->error("请求失败: " . $e->getMessage());return null;}
}

(三)重试机制

在网络请求失败时,可以设置重试机制,尝试重新发送请求。可以通过递归或循环实现重试逻辑。

function get_html($url, $retry = 3) {$client = new Client();try {$response = $client->request('GET', $url, ['headers' => ['User-Agent' => 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36']]);return $response->getBody()->getContents();} catch (Exception $e) {if ($retry > 0) {echo "请求失败,正在重试... ($retry)\n";return get_html($url, $retry - 1);} else {echo "请求失败: " . $e->getMessage() . "\n";return null;}}
}

(四)优雅地处理反爬机制

如果被目标网站识别为爬虫并限制访问,可以尝试以下策略:

  1. 降低请求频率:增加请求间隔时间。

  2. 更换User-Agent:随机选择不同的User-Agent。

  3. 使用代理服务器:通过代理服务器发送请求,避免被封禁IP。

function get_html($url) {$client = new Client();$user_agents = ["Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36","Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:123.0) Gecko/20100101 Firefox/123.0","Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/16.0 Safari/605.1.15"];try {$response = $client->request('GET', $url, ['headers' => ['User-Agent' => $user_agents[array_rand($user_agents)]]]);return $response->getBody()->getContents();} catch (Exception $e) {echo "请求失败: " . $e->getMessage() . "\n";return null;}
}

三、总结

通过上述方法,可以高效地处理PHP爬虫中的异常情况,确保程序的稳定运行。在开发过程中,务必注意以下几点:

  1. 使用try-catch块捕获并处理异常。

  2. 记录错误信息到日志文件,便于后续分析。

  3. 设置重试机制,避免因网络问题导致请求失败。

  4. 优雅地处理反爬机制,避免被目标网站封禁。

希望本文能为你提供有价值的参考,帮助你更好地利用PHP爬虫技术获取电商平台数据。

http://www.dtcms.com/wzjs/76169.html

相关文章:

  • 个人英文网站设计营销型网站特点
  • wordpress get_banner_slide北京谷歌seo
  • 推广公众号的9种方法谷歌seo站内优化
  • 网站建设教案搜易网服务介绍
  • 广州中国建设银行网站首页服装店营销策划方案
  • 手机网站建设网站报价企业如何网络推广
  • it项目外包网标题seo是什么意思
  • b2b外贸网站建设电脑系统优化软件十大排名
  • 做诈骗网站犯什么法搜索引擎营销的基本流程
  • 莱芜网站制作哪家好seo的概念
  • 聚云测网站怎么做的口碑营销的经典案例
  • 男女做a视频网站推广信息发布平台
  • 公司有些网站打不开搜索引擎优化的七个步骤
  • 使用wordpress的企业seo推广排名平台有哪些
  • 建筑模型网站环球网广东疫情最新消息
  • 网站设计开发方案安卓优化大师官网
  • 焦作北京网站建设软文是什么
  • 织梦cms怎么打不开网站免费建站系统
  • 电脑自带的做网站叫什么软件网络推广软件哪个好
  • 国务院建设行政主管部门网站百度app登录
  • 做网站一般多少平台软件定制开发
  • 网站制作教程:初学者肇庆seo
  • 网站建设 搜狐号百度引擎入口官网
  • 群晖ds216j能否做网站百度热榜排行
  • 网站建设可行性搭建网站步骤
  • 用什么网站做头像有哪些平台可以免费发广告
  • 沧州网站建设费用站长工具高清无吗
  • 杭州的网站设计公司近期国内热点新闻事件
  • 怎么注册公司名字和商标seo教程技术
  • 设计开发高中同步测控优化设计答案