README

高级网络爬虫模块

特性

单个对象上的多个连接
定义和使用多个代理
定义和使用多个身份（用户名/密码）

安装

使用composer安装

安装此扩展的首选方式是通过 composer。

运行以下命令之一：

php composer.phar require --prefer-dist macklus/yii2-geoselect "*"

或

"macklus/yii2-geoselect": "*"

将以下内容添加到您的 composer.json 文件的require部分。

使用方法

创建新对象

<?php

namespace app\controllers;

use macklus\Crawler\Crawler;

class TestController extends Controller
{
    public function actionCraw()
    {
        $crawler = new Crawler();
    }
}

用户代理

$crawler->setUA($browser)
/*
 * Browser could be chrome, firefox or explorer
 */

身份

$crawler->setUser($name, $user, $password)
$crawler->setUsers(['user1' => ['username' => 'jhon', 'password' => 'doe']])

代理

$crawler->setProxy($name, $string)
$crawler->setProxys([['proxy1' => 'proxystring', 'proxy2' => 'proxy2string]])
/*
 * string should contain all proxy info, like http://username:password@proxy.thing.com:8080/
 */

macklus / yii2-crawler

维护者

详细信息

README

特性

安装

使用方法

用户代理

身份

代理