最新获取网站访客qq接口一级a做爰视频安全网站
爬虫不是一个小众的场景,所以无论是哪个语言,都有很多相应的生态库.这里介绍一下PHP的技术方案和代码量。
关键能力
对页面的解析能力
PHP的官方扩展中有Dom扩展,但是我建议使用electrolinux/phpquery这个库,他相当于一个PHP版的JQ.
算上加载文件,只要三行就能获取title标签内容.
<?php
include 'phpQuery-onefile.php';$file = 'test.html'; // 加载文件
phpQuery::newDocumentFileHTML($file);// 加载之后就可以使用JQ的操作方法去解析.$titleElement = pq('title'); // 也可以使用对象的操作方式
$title = $titleElement->html();
对数据库的操作能力
PHP对数据库的操作能力不是吹的,原生扩展中支持PDO,这里可以尝试ThinkPHP的think-orm.
简简单单一学就会.
use think\facade\Db;
// 数据库配置信息设置（全局有效）
Db::setConfig([// 默认数据连接标识'default' => 'mysql',// 数据库连接信息'connections' => ['mysql' => [// 数据库类型'type' => 'mysql',// 主机地址'hostname' => '127.0.0.1',// 用户名'username' => 'root',// 数据库名'database' => 'demo',// 数据库编码默认采用utf8'charset' => 'utf8',// 数据库表前缀'prefix' => 'think_',// 数据库调试模式'debug' => true,],],
]);// 查询
Db::name('user')->where('id', 1)->find();
// 新增
$data = ['foo' => 'bar', 'bar' => 'foo'];
Db::name('user')->insert($data);
//更新
Db::name('user')->update(['id' => 1, 'name' => 'thinkphp']);
// 删除
Db::table('think_user')->where('id', 1)->delete();
爬虫效率
PHP对于性能的优化有很多很深的解决方案,包括使用协程等,这里只介绍最简单的的一种方式,使用guzzle这个库(他使用curl 的并行加载特性).
use GuzzleHttp\Client;
use GuzzleHttp\Promise;$client = new Client(['base_uri' => 'http://httpbin.org/']);// 发起不阻塞的请求
$promises = ['image' => $client->getAsync('/image'),'png' => $client->getAsync('/image/png'),'jpeg' => $client->getAsync('/image/jpeg'),'webp' => $client->getAsync('/image/webp')
];// 等待所有请求完成
$responses = Promise\Utils::settle($promises)->wait();
代码量
如上面例子所示,代码量并不多,去掉配置文件,只有十几行代码,最关键的是我们需要的特性并没有削弱.
比如:
- 极简的DOM解析
- 健壮的SQL操作
- 发起并行请求
解析JS
有时候我们要抓取的页面是依赖JS执行的,这是需要一个无头浏览器,此时介绍这样一个库,他能够很简单的完成对phantomjs的操作.
PHP PhantomJS 是一个灵活的 PHP 库，让PHP通过很简单的代码来操作 PhantomJS 无头浏览器加载页面。 让PHP加载的网页地址执行JS/页面截图/导出PDF.
他可以非常方便的实现这些功能:
- 使用无头浏览器PhantomJS加载请求
- 查看详细的响应数据，包括页面内容、标题、状态 代码等
- 处理重定向
- 查看JS控制台输出报错
- 查看详细的PhantomJS调试信息
- 保存页面的截图
- 将页面导出为PDF
- 设置浏览窗口大小
- 为PDF导出设置页眉页脚
- 指定截图位置x,y和宽高
- 延迟页面渲染(等待页面加载完成)
- 轻松构建和运行PhantomJS脚本
PHP PhantomJS 只要求 PHP 5.4.0 或以上即可。
基本用法
使用phantomjs发起一个请求非常简单:
<?phpuse JonnyW\PhantomJs\Client;$client = Client::getInstance();/*** @see JonnyW\PhantomJs\Http\Request**/$request = $client->getMessageFactory()->createRequest('http://phpreturn.com', 'GET');/*** @see JonnyW\PhantomJs\Http\Response**/$response = $client->getMessageFactory()->createResponse();// Send the request$client->send($request, $response);if($response->getStatus() === 200) {// Dump the requested page contentecho $response->getContent();}
使用PHP总是更舒服,更简单.
原文标题： PHP在做爬虫时的解决方案
原文地址： https://phpreturn.com/index/a62235bdfe4e70.html
原文平台： PHP武器库
版权声明： 本文由phpreturn.com（PHP武器库官网）原创和首发，所有权利归phpreturn（PHP武器库）所有，本站允许任何形式的转载/引用文章，但必须同时注明出处。