crwlr/robots-txt

网络爬取/抓取的Robots Exclusion Standard/Protocol解析器

维护者

详细信息

github.com/crwlrsoft/robots-txt

主页

源代码

问题

文档

安装量: 8,597

依赖项: 1

建议者: 0

安全性: 0

星标: 9

关注者: 1

分支: 2

开放问题: 0

v1.1.1 2022-11-08 12:25 UTC

Requires

Requires (Dev)

MIT c02a00e5a7ed3b4578e08bd17826a4ea40f1a2c8

parserscraperspidercrawlerbotrobots.txtrobotsprotocolstandardscrapingbotsexclusioncrwlr

This package is auto-updated.

Last update: 2024-08-29 13:46:15 UTC

README

crwlr.software logo

Robots Exclusion Standard/Protocol解析器

用于网络爬取/抓取

在爬虫/抓取程序中使用此库来解析robots.txt文件，并检查您的爬虫用户代理是否允许加载某些路径。

文档

您可以在crwlr.software找到文档。

贡献

如果您考虑为此包贡献一些内容，请阅读贡献指南（CONTRIBUTING.md）。