Scraper是一个快速高效的网页抓取器,针对各种形式的数据。

dev-master 2015-04-04 18:34 UTC

This package is not auto-updated.

Last update: 2024-09-14 16:13:40 UTC


README

Author Latest Version Software License Total Downloads

Mole(名称仍在决定中)是一个强大的网页抓取工具。基本上,你指定一个URL以及你想要抓取的内容(目前是外链或电子邮件),Mole将不断抓取直到达到限制。

亮点

  • 使用正则表达式爬取网站并收集您想要的任何信息
  • 所有请求都可以通过您的代理列表中的一个随机代理发送
  • 由强大的RollingCurl提供支持,它是一个支持异步线程的快速curl包装器
  • 框架无关,可与任何项目一起工作
  • Composer就绪,符合PSR-2规范

文档

当v1.0.0发布时,文档将完成。

安装

Mole可以通过Composer获取。

$ composer require braseidon/scraper

测试

Mole有一个PHPUnit测试套件。要从项目文件夹中运行测试,请运行以下命令

$ phpunit

贡献

欢迎贡献,并将得到充分认可。

安全

如果您发现任何安全相关的问题,请通过电子邮件brandon@poseidonwebstudios.com联系,而不是使用问题跟踪器。

鸣谢

许可

MIT许可证(MIT)。有关更多信息,请参阅LICENSE