README

网站解析扩展

安装

安装此扩展的首选方式是通过 composer。

运行以下命令之一：

php composer.phar require --prefer-dist rare/yii2-multiparser2 "*"

或者在您的 composer.json 文件的 require 部分添加：

"rare/yii2-multiparser2": "*"

到

使用

Yii2 Multiparser

最低要求：php 7

这是一个通用的用于解析和处理来自不同网站内容的库。Multiparser 使用 curl 进行常规下载，也使用 multicurl 进行多线程下载，以及流行的 php simple dom parser 库（官方文档网站 - http://simplehtmldom.sourceforge.net/manual.htm）来处理获取到的数据。

使用方法

1. 将组件添加到 Yii2 框架的配置中（使用 Yii2 控制台命令的示例）

    'components' => [
             'multiparser' => [
                'class' => 'multiparser\GetMultiContent',//класс
                'message' => true,//Отображать вывод процесса работы скрипта, по умолчанию false
                'cookies_path' => '@app/runtime/curl/my_cookies_parser.txt', // путь к записи файла cookies парсируемых сайтов, по умолчанию ''
        ],
    ],

2. 使用 multicurl 以高速度加载内容。创建 Yii2 框架的控制器命令

<?php
namespace app\commands;
use Yii;


class ParserController extends \yii\console\Controller{
    
    public function actionIndex(){
        //массив ссылок 
        $url = [
            'http://rozetka.com.ua/prestigio_smartbook_141a03_psb141a03bfw_mb_cis/p12467569/',
            'http://rozetka.com.ua/acer_nx_gfteu_004/p13720121/',
            'http://rozetka.com.ua/lenovo_80r20069ua/p5905617/',
            'http://rozetka.com.ua/acer_nx_gceeu_098/p13716558/'
        ]; 
        /**
         *  GetMultiContent->init($url, $no_parser = false) инициализирует парсер, принимает два параметра:
         *  $url type string - ссылки парсируемых сайтов, если передать массив отработает мультизагрузчик
         *  если строку отработает обычный загрузчик
         *  $no_parser type boolean - true, не создавать объект Simple_html_dom контент для обработки контента
         *  и вернет строку, false, создасть объект автоматически (по умолчанию false)
         */
        foreach(Yii::$app->multiparser->init($url) as $teg){
            
            foreach($teg->find('a') as $atribut) //обработка библиотекой php simple dom parser        (официальный сайт с документацией -  http://simplehtmldom.sourceforge.net/manual.htm )
                echo $atribut->href . "\n";
                echo Yii::$app->multiparser->info; //URL возвращаемого дескриптора
        }
    }
}

3. 以常规模式加载

<?php
namespace app\commands;
use Yii;

class ParserController extends \yii\console\Controller{
    
    public function actionIndex(){

        $url = 'http://rozetka.com.ua/prestigio_smartbook_141a03_psb141a03bfw_mb_cis/p12467569/';  
        /**
         *  GetMultiContent->init($url) инициализирует парсер, принимает два параметра:
         *  $url type string - ссылки парсируемых сайтов, если передать массив отработает мультизагрузчик
         *  если строку отработает обычный загрузчик
         *  $no_parser type boolean - true, не создавать объект Simple_html_dom контент для обработки контента
         *  и вернет строку, false, создасть объект автоматически (по умолчанию false)
         */
        $html = Yii::$app->multiparser->init($url);

            foreach($html->find('a') as $element) 
                echo $element->href . "\n";
    }
}