yurunsoft/tiktoken

tiktoken 的 PHP 版本

维护者

详细信息

github.com/Yurunsoft/tiktoken-php

源代码

安装: 204

依赖者: 0

建议者: 0

安全性: 0

星星: 0

关注者: 1

分支: 22

v0.1.4 2023-09-19 06:32 UTC

Requires

Requires (Dev)

MIT 30b811b556edfe93f3494760598019c4653cabee

tokenizerencodedecodebpeopenaitiktoken

This package is auto-updated.

Last update: 2024-09-19 08:39:36 UTC

README

Packagist Version Build status License

这是 tiktoken 的移植版。

安装

$ composer require yethee/tiktoken

用法

use Yethee\Tiktoken\EncoderProvider;

$provider = new EncoderProvider();

$encoder = $provider->getForModel('gpt-3.5-turbo-0301');
$tokens = $encoder->encode('Hello world!');
print_r($tokens);
// OUT: [9906, 1917, 0]

$encoder = $provider->get('p50k_base');
$tokens = $encoder->encode('Hello world!');
print_r($tokens);
// OUT: [15496, 995, 0]

限制

  • GPT-2 的编码不支持。
  • 特殊令牌（如 <|endofprompt|>）不支持。

许可证

MIT