rahul900day / gpt-3-encoder
1.1.0
2023-03-22 20:12 UTC
Requires
- php: ^7.4 || ^8.0
- ext-mbstring: *
Requires (Dev)
- pestphp/pest: ^1.22
- phpstan/phpstan: ^1.10
- rector/rector: ^0.15.21
- symfony/var-dumper: ^5.4 || ^6.0
This package is auto-updated.
Last update: 2024-06-16 15:46:04 UTC
README
PHP BPE 编码器/解码器用于 GPT-2/GPT-3
关于
GPT-2 和 GPT-3 使用字节对编码将文本转换为一系列整数以供模型输入。这是一个 OpenAI 原始 Python 编码器/解码器的 PHP 实现,可在 此处 找到。
入门
需要 PHP 7.4+
通过 Composer 包管理器安装 GPT-3-Encoder
composer require rahul900day/gpt-3-encoder
用法
将文本编码为标记
use Rahul900day\Gpt3Encoder\Encoder; Encoder::encode("Your prompt.");
将标记解码为文本
use Rahul900day\Gpt3Encoder\Encoder; Encoder::decode([8582, 242, 98]);
致谢
此包的一些代码和测试灵感来自 node 的 gpt-3-encoder
许可
此包在 MIT 许可证 下发布。