README

NousResearch/Hermes-2-Pro-Mistral-7B 是一个功能强大的开源LLM，具有出色的函数调用能力。

此 PSR-18 插件将使用函数调用的 OpenAI API 请求/响应转换为 Hermes2Pro 提示格式。

它允许您使用与您目前使用的相同的 OpenAI API 客户端代码使用 Hermes2Pro 函数调用。

PHP 库

安装 ollama (docker) 并拉取模型

$ ollama pull adrienbrault/nous-hermes2pro:Q4_K_M

安装此包

$ composer require adrienbrault/hermes2pro:@dev

然后更新您的代码以使用插件

use AdrienBrault\Hermes2Pro\Hermes2ProPlugin;
use Http\Client\Common\PluginClient;
use Http\Discovery\Psr18ClientDiscovery;

require_once __DIR__ . '/vendor/autoload.php';

$client = OpenAI::factory()
    ->withApiKey(getenv('OPENAI_API_KEY'))
    ->withBaseUri(sprintf(
        '%s/v1',
        getenv('OLLAMA_HOST') ?: 'http://localhost:11434'
    ))
    ->withHttpClient(
        new PluginClient(
            Psr18ClientDiscovery::find(),
            [
                new Hermes2ProPlugin()
            ]
        )
    )
    ->make()
;

然后在您的聊天请求中将 adrienbrault/nous-hermes2pro:Q4_K_M 用作 model。还有更多标签/量化可用。

该模型和此插件支持并行函数调用。请注意，当前不支持流。

请注意，只有当请求/响应模型以 adrienbrault/nous-hermes2pro 开头时，插件才处于活动状态。

请参阅 demo/。

Docker 代理

提供 Docker http 代理以将请求/响应转换为/从 Hermes2Pro 格式

$ docker run -it --rm \
    -e OPENAI_BASE_URI=http://docker.for.mac.host.internal:11434 \
    -p 11440:80 \
    adrienbrault/hermes2pro-proxy

$ MODEL="adrienbrault/nous-hermes2pro:Q4_K_M" \
    OPENAI_BASE_URI="http://localhost:11440/v1" \
    php demo/openai.php

adrienbrault / hermes2pro

维护者

详细信息

README

PHP 库

Docker 代理