semji/gpt-3-tokenizer-php

用于 GPT 模型的 PHP 文本分词器

维护者

详细信息

github.com/semji/gpt3-tokenizer-php

源代码

问题

安装次数: 39,756

依赖: 0

建议: 0

安全性: 0

星标: 4

关注者: 4

分支: 4

公开问题: 1

v2.0.0 2023-02-07 09:15 UTC

Requires

Requires (Dev)

MIT cacdb30fbc239445a68d2347df80a7b5cf7af108

  • Semji <tech.woop@semji.com>

This package is auto-updated.

Last update: 2024-09-21 15:33:21 UTC

README

用于 GPT 模型的 PHP 文本分词器

关于

一个 PHP 工具包，用于将文本分词的方式与 GPT 系列模型处理文本的方式相似。

从 https://github.com/CodeRevolutionPlugins/GPT-3-Encoder-PHP 分支出来，以适应我们的使用，修复错误并添加单元测试。

使用方法

此工具需要 mbstring PHP 扩展才能正确工作（如果分词文本中包含非 ASCII 字符的话）：有关如何安装 mbstring 的详细信息，请参阅 此处；还需要 PHP 8.1。

use Semji\GPT3Tokenizer\Encoder;
$prompt = "Many words map";
$encoder = new Encoder();
$encoder->encode($prompt);