搜索webcoast / versatile-crawler
适用于 TYPO3 CMS 的灵活且可扩展的爬虫
Requires
- php: ^8.1
- typo3/cms-core: ^v12.4
This package is auto-updated.
Last update: 2024-08-27 10:05:19 UTC
README
Versatile Crawler 是一个基本扩展，用于在 TYPO3 CMS 安装中爬取页面和内容。它基于 TYPO3 CMS 8 版本开发。该扩展具有清晰易懂的结构，并为页面和记录提供队列和爬虫功能。
安装与设置
从 GitHub 克隆扩展，手动或通过 composer，并通过扩展管理器激活扩展。在您想开始索引的页面上创建一个爬虫配置记录，例如在主页上。进入调度模块，创建队列任务和进程任务。配置一个触发 TYPO3 CMS 调度器的 cron 作业。
先决条件
- TYPO3 CMS 8
- PHP 7 w/ cURL
文档
文档可以在 GitHub wiki 中找到： https://github.com/webcoast-dk/versatile-crawler/wiki
贡献
请随意复制存储库，进行更改并创建一个拉取请求。如果您不擅长编程或没有时间，可以提出一个问题。
致谢
该扩展由 Thorben Nissen 开发和维护（https://www.kapp-hamburg.de/en/）
许可证
版权 (C) 2017 Thorben Nissen
本程序是自由软件：您可以重新分配它并/或修改它，具体请参阅自由软件基金会根据其发布的 GNU 通用公共许可证的条款，许可证版本 3 或（根据您的选择）许可证的任何后续版本。
本程序根据希望它会有所帮助的原则进行分发，但没有任何保证；甚至没有关于其适销性或适用于特定目的的暗示性保证。有关详细信息，请参阅 GNU 通用公共许可证。
您应已收到与该程序一起的 GNU 通用公共许可证副本。如果没有，请参阅 https://gnu.ac.cn/licenses/。
图标
图标取自 Material design (https://materialdesignicons.com/) 并在 SIL 开放字体许可证 1.1 下授权。