danny50610/bpe-tokeniser

openai/tiktoken 的 PHP 版本（大多数情况）

维护者

详细信息

github.com/danny50610/bpe-tokeniser

源代码

问题

安装次数: 90,885

依赖项: 1

建议者: 0

安全性: 0

星标: 6

关注者: 2

分支: 0

开放问题: 0

0.2.0 2024-05-18 14:04 UTC

Requires

  • php: ^8.1

Requires (Dev)

MIT abdaec2e7ee729073fa345c987b81397cd790932

  • Chen, Danny <danny50610.woop@yahoo.com.tw>

tokenizergpt-4gpt-3.5tiktokencl100k_base

This package is auto-updated.

Last update: 2024-09-09 06:56:26 UTC

README

PHP Test codecov Latest Stable Version Total Downloads License

PHP 版本的 openai/tiktoken（大多数情况）

支持的编码

  • gpt-3.5-turbo
  • gpt-4
  • gpt-4o
  • 更多...

有关可用编码，请参阅 src/EncodingFactory.php

安装

composer require danny50610/bpe-tokeniser

示例

GPT-4 / GPT-3.5-Turbo (cl100k_base)

use Danny50610\BpeTokeniser\EncodingFactory;

$enc = EncodingFactory::createByEncodingName('cl100k_base');

var_dump($enc->encode("hello world"));
/**
 * output: 
 * array(2) {
 *  [0]=>
 *  int(15339)
 *  [1]=>
 *  int(1917)
 * }
 */

var_dump($enc->decode($enc->encode("hello world")));
// output: string(11) "hello world"
use Danny50610\BpeTokeniser\EncodingFactory;

$enc = EncodingFactory::createByModelName('gpt-3.5-turbo');

var_dump($enc->decode($enc->encode("hello world")));
// output: string(11) "hello world"