hanxiaoqingcheng/querylist

QueryList 是一个基于 phpQuery 的非常强大的 PHP 采集工具

v1.0.0 2022-10-13 09:08 UTC

This package is not auto-updated.

Last update: 2024-09-27 16:53:35 UTC


README

QueryList 是一个基于 phpQuery 的通用列表采集类,是一个简单、灵活、强大的采集工具,采集任何复杂的页面基本上就一句话就能搞定了。

QueryList 安装

通过 composer 安装

composer require hanxiaoqingcheng/querylist

更多安装方法: QueryList多种安装方式

QueryList 使用

下面演示 QueryList 用一句代码采集百度搜索结果:

//获取采集对象
$hj = QueryList::Query('http://www.baidu.com/s?wd=QueryList',array(
        'title'=>array('h3','text'),
        'link'=>array('h3>a','href')
    ));
//输出结果:二维关联数组
print_r($hj->data);

上面的代码实现的功能是采集百度搜索结果页面的所有搜索结果的 标题链接,然后分别以二维关联数组的格式输出。

采集结果

Array
(
    [0] => Array
        (
            [title] => QueryList|基于phpQuery的无比强大的PHP采集工具
            [link] => http://www.baidu.com/link?url=IIsMhpzI2PylnmW8vPALcwIfJgHhKFu2SWXEj7yQ-6o7KStbLfmuoWGmalpx1xYE
        )

    [1] => Array
        (
            [title] => 介绍- QueryList指导文档
            [link] => http://www.baidu.com/link?url=edktLqt6f9KwYJ6oip1EDXvwIXh-nHcFImVJeqRm56-VU3zIcqLRYeM83VyYQE_X
        )

  //省略....

)

Query() 静态方法

返回值: QueryList对象

Query 方法为 QueryList 唯一的主方法,用静态的方式调用。

原型

QueryList::Query($page,array $rules, $range = '', $outputEncoding = null, $inputEncoding = null,$removeHead = false)

中文解释

QueryList::Query(采集的目标页面,采集规则[,区域选择器][,输出编码][,输入编码][,是否移除头部])
//采集规则
$rules = array(
   '规则名' => array('jQuery选择器','要采集的属性'[,"标签过滤列表"][,"回调函数"]),
   '规则名2' => array('jQuery选择器','要采集的属性'[,"标签过滤列表"][,"回调函数"]),
    ..........
    [,"callback"=>"全局回调函数"]
);

//注:方括号括起来的参数可选

参数解释

查看文档: http://doc.querylist.cc/site/index/doc/11

QueryList 扩展

Request 网络操作扩展

可以实现如携带cookie、伪造来路等任意复杂的网络请求,再也不用担心QueryList内置的抓取功能太弱了。

Login 模拟登陆扩展

可以实现模拟登陆然后采集。

Multi 多线程插件

多线程(多进程)采集扩展。

DImage图片下载扩展

可实现简单的图片下载需求。

扩展安装以及使用教程: QueryList扩展文档,获取更多扩展可以关注 QueryList 社区和交流群。

其它说明

1.QueryList 内置的只是简单的源码抓取方法,遇到更复杂的抓取情况,如:需要登录身份验证时,请配合其它的 PHP 的 HTTP 工具(推荐使用 Guzzle)来使用,通过将辅助的 HTTP 类抓取到的网页源码传给 QueryList 即可。

2.采集程序请在 PHP 命令行模式(PHP CLI)下运行。

3.QueryList 依赖 phpQueryphpQuery 项目主页: phpQuery 文档

寻求帮助?

作者

Jaeger JaegerCode@gmail.com

许可协议

QueryList 采用 MIT 许可协议。详细信息请查看 LICENSE 文件。