hedii / php-crawler
此包已被弃用且不再维护。未建议替换包。
使用php和Laravel编写的爬虫应用程序,用于在互联网上查找电子邮件地址。
2.2.0
2019-01-24 10:12 UTC
Requires
- php: >=7.2.0
- doctrine/dbal: ^2.6
- fideloper/proxy: ~4.0
- guzzlehttp/guzzle: ^6.3
- hedii/extractors: ^2.0
- laravel/framework: 5.7.*
- laravel/passport: ^7.0
- laravel/tinker: ~1.0
Requires (Dev)
- barryvdh/laravel-ide-helper: ^2.4
- filp/whoops: ~2.0
- fzaninotto/faker: ~1.4
- mockery/mockery: ~1.0
- nunomaduro/collision: ~1.1
- phpunit/phpunit: ~7.0
README
这个仓库已经很久没有更新了,我也不再使用了。请随意fork它,做你想做的。
一个使用Laravel后端和vuejs前端编写的php爬虫应用程序,用于在互联网上查找电子邮件地址。
给定一个入口URL,爬虫将在入口点域名下所有可用的URL中搜索电子邮件。电子邮件可以下载为文本文件。
多个用户可以开始搜索电子邮件,而不会看到其他用户的搜索结果(搜索与单个用户相关)。
屏幕截图
服务器要求
- PHP >= 7.2.0
- OpenSSL PHP扩展
- PDO PHP扩展
- Mbstring PHP扩展
- Tokenizer PHP扩展
- XML PHP扩展
安装
- 创建一个mysql数据库(默认名称:
crawler
) - 使用 composer 安装项目
composer create-project hedii/php-crawler crawler
cd crawler
- 打开
.env
文件,检查数据库凭据,如有必要进行修改
DB_CONNECTION=mysql
DB_HOST=127.0.0.1
DB_PORT=3306
DB_DATABASE=crawler
DB_USERNAME=root
DB_PASSWORD=your_password_here
- 在
.env
文件中设置应用程序URL
APP_URL=http://crawler.localhost
- 构建爬虫应用程序
php artisan crawler:build
- 将您的Web服务器的文档/网站根目录指向public目录:
/some/path/crawler/public
。该目录中的index.php作为所有进入应用程序的HTTP请求的前端控制器。 见Laravel文档。如果您使用Mac,强烈建议使用 Laravel Valet。否则,请检查 Laravel Homestead。 - 完成
用法
- 导航到您的php-crawler网站
- 注册新账户
- 创建新的搜索
- 创建更多搜索
- 下载找到的电子邮件
测试
composer test
贡献
所有贡献都受欢迎 :)
如果您添加或修改功能,请编写一些测试。
许可证
php-crawler是开源软件,许可协议为MIT许可证。