mehrab-wj / tiktoken-php

python tiktoken 的克隆版，适用于 PHP！适用于与 OpenAI 模型一起使用的快速 BPE 标记化器。

维护者

详细信息

github.com/mehrab-wj/tiktoken-php

源代码

问题

安装次数: 14,926

依赖项: 1

建议者: 0

安全: 0

星标: 17

关注者: 0

分支: 4

开放性问题: 0

v1.0.0 2023-04-19 18:36 UTC

Requires

Requires (Dev)

MIT f894247f05bb3494a9cb4bcad5d588e87ff50e73

  • Mehrab Hojjati Pour <thisismehrab.woop@gmail.com>

This package is auto-updated.

Last update: 2024-09-11 20:16:58 UTC

README

适用于 GPT 模型的 PHP 文本标记器

关于

一个 PHP 工具包，用于将文本标记化，就像 GPT 系列模型处理文本一样。

从 semji/gpt3-tokenizer-php 分支而来，用于修复错误和改进。

要求

用法

首先使用 composer 安装包

composer require mehrab-wj/tiktoken-php
use TikToken\Encoder;
$prompt = "Ai is cool";
$encoder = new Encoder();

$tokens = $encoder->encode($prompt); // [32, 72, 318, 3608]

// Get tokens count:
echo count($tokens); // 4