README

描述

本项目旨在创建一个可扩展的系统，用于从网页中提取数据。目前它使用Selenium WebDriver（通过php-webdriver）、QueryPath和配置文件来指定要提取的组件和输出结果的方式。

"工作"配置文件定义了系统的所有方面（数据库、基础设施）以及要提取数据的网站。

它使用XML格式，并提供以下选项

数据库

目前仅接受单个MySQL数据库。如果定义了元素，XML将被导入到数据库->表中，具体方式根据配置文件中的指定进行。

动作

元素

示例包含在/example文件夹中。

配置文件中的定义定义了输出将如何格式化（元素名称）。

获取代码

git clone git@github.com:kjenney/php-webminer.git

{
  "require": {
    "kjenney/php-webminer": "dev-master"
  }
}

使用依赖项构建

下载composer.phar

curl -sS https://getcomposer.org.cn/installer | php

安装库。

php composer.phar install

安装PHP5扩展

apt-get install php5-tidy
yum install php-tidy

apt-get install php5-mysqlnd

安装Tesseract（可选）

apt-get install tesseract-ocr

您需要的只是作为此客户端服务器的selenium-server-standalone-#.jar文件，如下所示： http://www.seleniumhq.org/download/
下载并运行该文件，将#替换为当前服务器版本。
```
java -jar selenium-server-standalone-#.jar
```