opportus / web-scraper

一个Web爬虫，以URI列表和每个文档上要执行的XPath查询列表作为参数。返回一个DataInterface实例。

维护者

详细信息

github.com/opportus/web-scraper

源代码

问题

安装: 2

依赖关系: 0

建议者: 0

安全: 0

星星: 1

关注者: 2

分支: 0

开放问题: 0

v2.0.0 2018-12-29 11:08 UTC

Requires

MIT 62be5445a73e1bfd310ca101fa5fca78429ec3d4

  • opportus <opportus.woop@gmail.com>

This package is auto-updated.

Last update: 2024-09-29 05:01:10 UTC

README

一个Web爬虫，以URI列表和每个文档上要执行的XPath查询列表作为参数。返回一个DataInterface实例。

安装

$ composer require opportus/web-scraper

使用

Use Opportus\WebScraper\WebScraper;

$uris = [
    'https://en.wikipedia.org/wiki/Web_scraping',
    'https://en.wikipedia.org/wiki/XPath',
];

$queries = [
    '//p[1][node()]',
    '//div[@id="mw-normal-catlinks"]/ul//li[node()]',
];

$scraper = new WebScraper();

$data = $scraper->scrap($uris, $queries); // @see https://github.com/opportus/web-scraper/blob/master/src/DataInterface.php