braseidon / mole
Scraper是一个快速高效的网页抓取器,针对各种形式的数据。
dev-master
2015-04-04 18:34 UTC
Requires
- php: >=5.4.0
- braseidon/rolling-curl: dev-master
- chuyskywalker/rolling-curl: ~3.1.0
- stefangabos/zebra_curl: dev-master
- symfony/css-selector: ~2.6
- symfony/dom-crawler: ~2.6
Requires (Dev)
- mockery/mockery: ~0.9
- phpunit/php-token-stream: >=1.3.0
This package is not auto-updated.
Last update: 2024-09-14 16:13:40 UTC
README
Mole(名称仍在决定中)是一个强大的网页抓取工具。基本上,你指定一个URL以及你想要抓取的内容(目前是外链或电子邮件),Mole将不断抓取直到达到限制。
亮点
- 使用正则表达式爬取网站并收集您想要的任何信息
- 所有请求都可以通过您的代理列表中的一个随机代理发送
- 由强大的RollingCurl提供支持,它是一个支持异步线程的快速curl包装器
- 框架无关,可与任何项目一起工作
- Composer就绪,符合PSR-2规范
文档
当v1.0.0发布时,文档将完成。
安装
Mole可以通过Composer获取。
$ composer require braseidon/scraper
测试
Mole有一个PHPUnit测试套件。要从项目文件夹中运行测试,请运行以下命令
$ phpunit
贡献
欢迎贡献,并将得到充分认可。
安全
如果您发现任何安全相关的问题,请通过电子邮件brandon@poseidonwebstudios.com联系,而不是使用问题跟踪器。
鸣谢
许可
MIT许可证(MIT)。有关更多信息,请参阅LICENSE。