darvinstudio/darvin-crawler-bundle

此包提供控制台命令，用于检测您网站上的断链。

维护者

详细信息

github.com/DarvinStudio/DarvinCrawlerBundle

源代码

问题

安装次数: 1,116

依赖关系: 0

建议者: 0

安全性: 0

星标: 0

关注者: 3

分支: 0

公开问题: 0

类型：symfony-bundle

6.0.4 2021-04-19 05:59 UTC

Requires

MIT 315748b462be742d830ca38dba2eb1f1600c5c58

This package is auto-updated.

Last update: 2024-09-19 13:02:44 UTC

README

此包提供控制台命令，用于检测您网站上的断链。

示例配置

# config/packages/dev/darvin_crawler.yaml
darvin_crawler:
    default_uri: https://example.com # Default value of command's "uri" argument
    blacklists:
        parse: # Content from URIs matching these regexes will not be parsed
            - '/\/filtered\//'
        visit: # URIs matching these regexes will not be visited
            - '/\/filtered\//'

用法

爬取默认URI

$ bin/console darvin:crawler:crawl

爬取指定URI

$ bin/console darvin:crawler:crawl https://example.com

显示所有访问过的链接

$ bin/console darvin:crawler:crawl https://example.com -v