robinthehood/tokenizer

使用Tokenizer，您可以将字符串轻松转换为流或令牌数组。

维护者

详细信息

github.com/RobinTheHood/Tokenizer

源代码

问题

安装次数: 806

依赖项: 2

建议者: 0

安全: 0

星标: 0

关注者: 2

分支: 0

开放问题: 0

0.1.3 2018-08-03 10:13 UTC

MIT 0015a955ed48e769335b229a73faa610935f1ae8

parsertokenizertokenlexer

This package is auto-updated.

Last update: 2024-09-19 18:19:38 UTC

README

alt text

关于

使用Tokenizer，您可以将字符串轻松转换为流或令牌数组。您可以使用它进行语法高亮或语法解析。如果您希望有更多功能，请随时贡献。

安装

如果Composer已全局安装，请运行

composer require robinthehood/tokenizer

如何使用

代码

require 'vendor/autoload.php'; // if you are using Composer

$tokenizer = new RobinTheHood\Tokenizer\Tokenizer(__FILE__, 'token_php.php');
$tokens = $tokenizer->getAllTokens();
print_r($tokens);

结果

您将获得一个令牌对象数组

Array
(
    [0] => Tokenizer\Token Object
        (
            [type] => T_UNKNOWN
            [value] => <?
            [position] => 2
        )

    [1] => Tokenizer\Token Object
        (
            [type] => T_IDENT
            [value] => php
            [position] => 5
        )

    [2] => Tokenizer\Token Object
        (
            [type] => T_UNKNOWN
            [value] =>

            [position] => 6
        )

    [3] => Tokenizer\Token Object
        (
            [type] => T_COMMENT
            [value] => /*
            [position] => 8
        )

    [...]

参数

new Tokenizer(FILE_PATH, DESCRIPTION_FILE_PATH)

FILE_PATH
是要分割成令牌的文件

DESCRIPTION_FILE_PATH
是一个包含正则表达式以定义令牌的数组结构的文件。您可以在 examples/token_php.php 中找到一个定义 PHP 语法基本令牌的示例描述文件。

许可证

版权所有 (c) 2017 Robin Wieschendorf

特此授予任何人获取此软件及其相关文档副本（“软件”）的权利，免费处理软件，包括但不限于使用、复制、修改、合并、发布、分发、再许可和/或销售软件副本，并允许向软件提供方提供软件的人这样做，前提是遵守以下条件

上述版权声明和本许可声明应包含在软件的所有副本或实质性部分中。

软件按“原样”提供，不提供任何明示或暗示的保证，包括但不限于适销性、适用于特定目的和无侵权性保证。在任何情况下，作者或版权所有者均不对任何索赔、损害或其他责任负责，无论源于合同、侵权或其他原因，与软件或其使用或其它交易有关。