Chat Completionを作成

新しいChat Completionを作成します。

POST /v1/chat/completions

Chat Completionを作成

cURL

curl --request POST \
  --url https://api.example.com/v1/chat/completions \
  --header 'Authorization: Bearer <token>' \
  --header 'Content-Type: application/json' \
  --data '
{
  "messages": [
    {
      "content": "<string>",
      "role": "<string>",
      "name": "<string>"
    }
  ],
  "add_generation_prompt": true,
  "add_special_tokens": false,
  "allowed_token_ids": [
    123
  ],
  "bad_words": [
    "<string>"
  ],
  "cache_salt": "<string>",
  "chat_template": "<string>",
  "chat_template_kwargs": {},
  "continue_final_message": false,
  "documents": [
    {}
  ],
  "echo": false,
  "frequency_penalty": 0,
  "ignore_eos": false,
  "include_reasoning": true,
  "include_stop_str_in_output": false,
  "kv_transfer_params": {},
  "length_penalty": 1,
  "logit_bias": {},
  "logprobs": false,
  "max_completion_tokens": 123,
  "max_tokens": 123,
  "min_p": 123,
  "min_tokens": 0,
  "mm_processor_kwargs": {},
  "model": "<string>",
  "n": 1,
  "parallel_tool_calls": true,
  "presence_penalty": 0,
  "priority": 0,
  "prompt_logprobs": 123,
  "repetition_detection": {
    "max_pattern_size": 0,
    "min_count": 0,
    "min_pattern_size": 0
  },
  "repetition_penalty": 123,
  "request_id": "<string>",
  "response_format": {
    "json_schema": {
      "name": "<string>",
      "description": "<string>",
      "schema": {},
      "strict": true
    }
  },
  "return_token_ids": true,
  "return_tokens_as_token_ids": true,
  "seed": 0,
  "skip_special_tokens": true,
  "spaces_between_special_tokens": true,
  "stop": [],
  "stop_token_ids": [],
  "stream": false,
  "stream_options": {
    "continuous_usage_stats": false,
    "include_usage": true
  },
  "structured_outputs": {
    "_backend": "<string>",
    "_backend_was_auto": false,
    "choice": [
      "<string>"
    ],
    "disable_additional_properties": false,
    "disable_any_whitespace": false,
    "disable_fallback": false,
    "grammar": "<string>",
    "json": "<string>",
    "json_object": true,
    "regex": "<string>",
    "structural_tag": "<string>",
    "whitespace_pattern": "<string>"
  },
  "temperature": 123,
  "tool_choice": "none",
  "tools": [
    {
      "function": {
        "name": "<string>",
        "description": "<string>",
        "parameters": {}
      },
      "type": "function"
    }
  ],
  "top_k": 123,
  "top_logprobs": 0,
  "top_p": 123,
  "truncate_prompt_tokens": 4611686018427388000,
  "use_beam_search": false,
  "user": "<string>",
  "vllm_xargs": {}
}
'

import requests

url = "https://api.example.com/v1/chat/completions"

payload = {
    "messages": [
        {
            "content": "<string>",
            "role": "<string>",
            "name": "<string>"
        }
    ],
    "add_generation_prompt": True,
    "add_special_tokens": False,
    "allowed_token_ids": [123],
    "bad_words": ["<string>"],
    "cache_salt": "<string>",
    "chat_template": "<string>",
    "chat_template_kwargs": {},
    "continue_final_message": False,
    "documents": [{}],
    "echo": False,
    "frequency_penalty": 0,
    "ignore_eos": False,
    "include_reasoning": True,
    "include_stop_str_in_output": False,
    "kv_transfer_params": {},
    "length_penalty": 1,
    "logit_bias": {},
    "logprobs": False,
    "max_completion_tokens": 123,
    "max_tokens": 123,
    "min_p": 123,
    "min_tokens": 0,
    "mm_processor_kwargs": {},
    "model": "<string>",
    "n": 1,
    "parallel_tool_calls": True,
    "presence_penalty": 0,
    "priority": 0,
    "prompt_logprobs": 123,
    "repetition_detection": {
        "max_pattern_size": 0,
        "min_count": 0,
        "min_pattern_size": 0
    },
    "repetition_penalty": 123,
    "request_id": "<string>",
    "response_format": { "json_schema": {
            "name": "<string>",
            "description": "<string>",
            "schema": {},
            "strict": True
        } },
    "return_token_ids": True,
    "return_tokens_as_token_ids": True,
    "seed": 0,
    "skip_special_tokens": True,
    "spaces_between_special_tokens": True,
    "stop": [],
    "stop_token_ids": [],
    "stream": False,
    "stream_options": {
        "continuous_usage_stats": False,
        "include_usage": True
    },
    "structured_outputs": {
        "_backend": "<string>",
        "_backend_was_auto": False,
        "choice": ["<string>"],
        "disable_additional_properties": False,
        "disable_any_whitespace": False,
        "disable_fallback": False,
        "grammar": "<string>",
        "json": "<string>",
        "json_object": True,
        "regex": "<string>",
        "structural_tag": "<string>",
        "whitespace_pattern": "<string>"
    },
    "temperature": 123,
    "tool_choice": "none",
    "tools": [
        {
            "function": {
                "name": "<string>",
                "description": "<string>",
                "parameters": {}
            },
            "type": "function"
        }
    ],
    "top_k": 123,
    "top_logprobs": 0,
    "top_p": 123,
    "truncate_prompt_tokens": 4611686018427388000,
    "use_beam_search": False,
    "user": "<string>",
    "vllm_xargs": {}
}
headers = {
    "Authorization": "Bearer <token>",
    "Content-Type": "application/json"
}

response = requests.post(url, json=payload, headers=headers)

print(response.text)

const options = {
  method: 'POST',
  headers: {Authorization: 'Bearer <token>', 'Content-Type': 'application/json'},
  body: JSON.stringify({
    messages: [{content: '<string>', role: '<string>', name: '<string>'}],
    add_generation_prompt: true,
    add_special_tokens: false,
    allowed_token_ids: [123],
    bad_words: ['<string>'],
    cache_salt: '<string>',
    chat_template: '<string>',
    chat_template_kwargs: {},
    continue_final_message: false,
    documents: [{}],
    echo: false,
    frequency_penalty: 0,
    ignore_eos: false,
    include_reasoning: true,
    include_stop_str_in_output: false,
    kv_transfer_params: {},
    length_penalty: 1,
    logit_bias: {},
    logprobs: false,
    max_completion_tokens: 123,
    max_tokens: 123,
    min_p: 123,
    min_tokens: 0,
    mm_processor_kwargs: {},
    model: '<string>',
    n: 1,
    parallel_tool_calls: true,
    presence_penalty: 0,
    priority: 0,
    prompt_logprobs: 123,
    repetition_detection: {max_pattern_size: 0, min_count: 0, min_pattern_size: 0},
    repetition_penalty: 123,
    request_id: '<string>',
    response_format: {
      json_schema: {name: '<string>', description: '<string>', schema: {}, strict: true}
    },
    return_token_ids: true,
    return_tokens_as_token_ids: true,
    seed: 0,
    skip_special_tokens: true,
    spaces_between_special_tokens: true,
    stop: [],
    stop_token_ids: [],
    stream: false,
    stream_options: {continuous_usage_stats: false, include_usage: true},
    structured_outputs: {
      _backend: '<string>',
      _backend_was_auto: false,
      choice: ['<string>'],
      disable_additional_properties: false,
      disable_any_whitespace: false,
      disable_fallback: false,
      grammar: '<string>',
      json: '<string>',
      json_object: true,
      regex: '<string>',
      structural_tag: '<string>',
      whitespace_pattern: '<string>'
    },
    temperature: 123,
    tool_choice: 'none',
    tools: [
      {
        function: {name: '<string>', description: '<string>', parameters: {}},
        type: 'function'
      }
    ],
    top_k: 123,
    top_logprobs: 0,
    top_p: 123,
    truncate_prompt_tokens: 4611686018427388000,
    use_beam_search: false,
    user: '<string>',
    vllm_xargs: {}
  })
};

fetch('https://api.example.com/v1/chat/completions', options)
  .then(res => res.json())
  .then(res => console.log(res))
  .catch(err => console.error(err));

<?php

$curl = curl_init();

curl_setopt_array($curl, [
  CURLOPT_URL => "https://api.example.com/v1/chat/completions",
  CURLOPT_RETURNTRANSFER => true,
  CURLOPT_ENCODING => "",
  CURLOPT_MAXREDIRS => 10,
  CURLOPT_TIMEOUT => 30,
  CURLOPT_HTTP_VERSION => CURL_HTTP_VERSION_1_1,
  CURLOPT_CUSTOMREQUEST => "POST",
  CURLOPT_POSTFIELDS => json_encode([
    'messages' => [
        [
                'content' => '<string>',
                'role' => '<string>',
                'name' => '<string>'
        ]
    ],
    'add_generation_prompt' => true,
    'add_special_tokens' => false,
    'allowed_token_ids' => [
        123
    ],
    'bad_words' => [
        '<string>'
    ],
    'cache_salt' => '<string>',
    'chat_template' => '<string>',
    'chat_template_kwargs' => [
        
    ],
    'continue_final_message' => false,
    'documents' => [
        [
                
        ]
    ],
    'echo' => false,
    'frequency_penalty' => 0,
    'ignore_eos' => false,
    'include_reasoning' => true,
    'include_stop_str_in_output' => false,
    'kv_transfer_params' => [
        
    ],
    'length_penalty' => 1,
    'logit_bias' => [
        
    ],
    'logprobs' => false,
    'max_completion_tokens' => 123,
    'max_tokens' => 123,
    'min_p' => 123,
    'min_tokens' => 0,
    'mm_processor_kwargs' => [
        
    ],
    'model' => '<string>',
    'n' => 1,
    'parallel_tool_calls' => true,
    'presence_penalty' => 0,
    'priority' => 0,
    'prompt_logprobs' => 123,
    'repetition_detection' => [
        'max_pattern_size' => 0,
        'min_count' => 0,
        'min_pattern_size' => 0
    ],
    'repetition_penalty' => 123,
    'request_id' => '<string>',
    'response_format' => [
        'json_schema' => [
                'name' => '<string>',
                'description' => '<string>',
                'schema' => [
                                
                ],
                'strict' => true
        ]
    ],
    'return_token_ids' => true,
    'return_tokens_as_token_ids' => true,
    'seed' => 0,
    'skip_special_tokens' => true,
    'spaces_between_special_tokens' => true,
    'stop' => [
        
    ],
    'stop_token_ids' => [
        
    ],
    'stream' => false,
    'stream_options' => [
        'continuous_usage_stats' => false,
        'include_usage' => true
    ],
    'structured_outputs' => [
        '_backend' => '<string>',
        '_backend_was_auto' => false,
        'choice' => [
                '<string>'
        ],
        'disable_additional_properties' => false,
        'disable_any_whitespace' => false,
        'disable_fallback' => false,
        'grammar' => '<string>',
        'json' => '<string>',
        'json_object' => true,
        'regex' => '<string>',
        'structural_tag' => '<string>',
        'whitespace_pattern' => '<string>'
    ],
    'temperature' => 123,
    'tool_choice' => 'none',
    'tools' => [
        [
                'function' => [
                                'name' => '<string>',
                                'description' => '<string>',
                                'parameters' => [
                                                                
                                ]
                ],
                'type' => 'function'
        ]
    ],
    'top_k' => 123,
    'top_logprobs' => 0,
    'top_p' => 123,
    'truncate_prompt_tokens' => 4611686018427388000,
    'use_beam_search' => false,
    'user' => '<string>',
    'vllm_xargs' => [
        
    ]
  ]),
  CURLOPT_HTTPHEADER => [
    "Authorization: Bearer <token>",
    "Content-Type: application/json"
  ],
]);

$response = curl_exec($curl);
$err = curl_error($curl);

curl_close($curl);

if ($err) {
  echo "cURL Error #:" . $err;
} else {
  echo $response;
}

package main

import (
	"fmt"
	"strings"
	"net/http"
	"io"
)

func main() {

	url := "https://api.example.com/v1/chat/completions"

	payload := strings.NewReader("{\n  \"messages\": [\n    {\n      \"content\": \"<string>\",\n      \"role\": \"<string>\",\n      \"name\": \"<string>\"\n    }\n  ],\n  \"add_generation_prompt\": true,\n  \"add_special_tokens\": false,\n  \"allowed_token_ids\": [\n    123\n  ],\n  \"bad_words\": [\n    \"<string>\"\n  ],\n  \"cache_salt\": \"<string>\",\n  \"chat_template\": \"<string>\",\n  \"chat_template_kwargs\": {},\n  \"continue_final_message\": false,\n  \"documents\": [\n    {}\n  ],\n  \"echo\": false,\n  \"frequency_penalty\": 0,\n  \"ignore_eos\": false,\n  \"include_reasoning\": true,\n  \"include_stop_str_in_output\": false,\n  \"kv_transfer_params\": {},\n  \"length_penalty\": 1,\n  \"logit_bias\": {},\n  \"logprobs\": false,\n  \"max_completion_tokens\": 123,\n  \"max_tokens\": 123,\n  \"min_p\": 123,\n  \"min_tokens\": 0,\n  \"mm_processor_kwargs\": {},\n  \"model\": \"<string>\",\n  \"n\": 1,\n  \"parallel_tool_calls\": true,\n  \"presence_penalty\": 0,\n  \"priority\": 0,\n  \"prompt_logprobs\": 123,\n  \"repetition_detection\": {\n    \"max_pattern_size\": 0,\n    \"min_count\": 0,\n    \"min_pattern_size\": 0\n  },\n  \"repetition_penalty\": 123,\n  \"request_id\": \"<string>\",\n  \"response_format\": {\n    \"json_schema\": {\n      \"name\": \"<string>\",\n      \"description\": \"<string>\",\n      \"schema\": {},\n      \"strict\": true\n    }\n  },\n  \"return_token_ids\": true,\n  \"return_tokens_as_token_ids\": true,\n  \"seed\": 0,\n  \"skip_special_tokens\": true,\n  \"spaces_between_special_tokens\": true,\n  \"stop\": [],\n  \"stop_token_ids\": [],\n  \"stream\": false,\n  \"stream_options\": {\n    \"continuous_usage_stats\": false,\n    \"include_usage\": true\n  },\n  \"structured_outputs\": {\n    \"_backend\": \"<string>\",\n    \"_backend_was_auto\": false,\n    \"choice\": [\n      \"<string>\"\n    ],\n    \"disable_additional_properties\": false,\n    \"disable_any_whitespace\": false,\n    \"disable_fallback\": false,\n    \"grammar\": \"<string>\",\n    \"json\": \"<string>\",\n    \"json_object\": true,\n    \"regex\": \"<string>\",\n    \"structural_tag\": \"<string>\",\n    \"whitespace_pattern\": \"<string>\"\n  },\n  \"temperature\": 123,\n  \"tool_choice\": \"none\",\n  \"tools\": [\n    {\n      \"function\": {\n        \"name\": \"<string>\",\n        \"description\": \"<string>\",\n        \"parameters\": {}\n      },\n      \"type\": \"function\"\n    }\n  ],\n  \"top_k\": 123,\n  \"top_logprobs\": 0,\n  \"top_p\": 123,\n  \"truncate_prompt_tokens\": 4611686018427388000,\n  \"use_beam_search\": false,\n  \"user\": \"<string>\",\n  \"vllm_xargs\": {}\n}")

	req, _ := http.NewRequest("POST", url, payload)

	req.Header.Add("Authorization", "Bearer <token>")
	req.Header.Add("Content-Type", "application/json")

	res, _ := http.DefaultClient.Do(req)

	defer res.Body.Close()
	body, _ := io.ReadAll(res.Body)

	fmt.Println(string(body))

}

HttpResponse<String> response = Unirest.post("https://api.example.com/v1/chat/completions")
  .header("Authorization", "Bearer <token>")
  .header("Content-Type", "application/json")
  .body("{\n  \"messages\": [\n    {\n      \"content\": \"<string>\",\n      \"role\": \"<string>\",\n      \"name\": \"<string>\"\n    }\n  ],\n  \"add_generation_prompt\": true,\n  \"add_special_tokens\": false,\n  \"allowed_token_ids\": [\n    123\n  ],\n  \"bad_words\": [\n    \"<string>\"\n  ],\n  \"cache_salt\": \"<string>\",\n  \"chat_template\": \"<string>\",\n  \"chat_template_kwargs\": {},\n  \"continue_final_message\": false,\n  \"documents\": [\n    {}\n  ],\n  \"echo\": false,\n  \"frequency_penalty\": 0,\n  \"ignore_eos\": false,\n  \"include_reasoning\": true,\n  \"include_stop_str_in_output\": false,\n  \"kv_transfer_params\": {},\n  \"length_penalty\": 1,\n  \"logit_bias\": {},\n  \"logprobs\": false,\n  \"max_completion_tokens\": 123,\n  \"max_tokens\": 123,\n  \"min_p\": 123,\n  \"min_tokens\": 0,\n  \"mm_processor_kwargs\": {},\n  \"model\": \"<string>\",\n  \"n\": 1,\n  \"parallel_tool_calls\": true,\n  \"presence_penalty\": 0,\n  \"priority\": 0,\n  \"prompt_logprobs\": 123,\n  \"repetition_detection\": {\n    \"max_pattern_size\": 0,\n    \"min_count\": 0,\n    \"min_pattern_size\": 0\n  },\n  \"repetition_penalty\": 123,\n  \"request_id\": \"<string>\",\n  \"response_format\": {\n    \"json_schema\": {\n      \"name\": \"<string>\",\n      \"description\": \"<string>\",\n      \"schema\": {},\n      \"strict\": true\n    }\n  },\n  \"return_token_ids\": true,\n  \"return_tokens_as_token_ids\": true,\n  \"seed\": 0,\n  \"skip_special_tokens\": true,\n  \"spaces_between_special_tokens\": true,\n  \"stop\": [],\n  \"stop_token_ids\": [],\n  \"stream\": false,\n  \"stream_options\": {\n    \"continuous_usage_stats\": false,\n    \"include_usage\": true\n  },\n  \"structured_outputs\": {\n    \"_backend\": \"<string>\",\n    \"_backend_was_auto\": false,\n    \"choice\": [\n      \"<string>\"\n    ],\n    \"disable_additional_properties\": false,\n    \"disable_any_whitespace\": false,\n    \"disable_fallback\": false,\n    \"grammar\": \"<string>\",\n    \"json\": \"<string>\",\n    \"json_object\": true,\n    \"regex\": \"<string>\",\n    \"structural_tag\": \"<string>\",\n    \"whitespace_pattern\": \"<string>\"\n  },\n  \"temperature\": 123,\n  \"tool_choice\": \"none\",\n  \"tools\": [\n    {\n      \"function\": {\n        \"name\": \"<string>\",\n        \"description\": \"<string>\",\n        \"parameters\": {}\n      },\n      \"type\": \"function\"\n    }\n  ],\n  \"top_k\": 123,\n  \"top_logprobs\": 0,\n  \"top_p\": 123,\n  \"truncate_prompt_tokens\": 4611686018427388000,\n  \"use_beam_search\": false,\n  \"user\": \"<string>\",\n  \"vllm_xargs\": {}\n}")
  .asString();

require 'uri'
require 'net/http'

url = URI("https://api.example.com/v1/chat/completions")

http = Net::HTTP.new(url.host, url.port)
http.use_ssl = true

request = Net::HTTP::Post.new(url)
request["Authorization"] = 'Bearer <token>'
request["Content-Type"] = 'application/json'
request.body = "{\n  \"messages\": [\n    {\n      \"content\": \"<string>\",\n      \"role\": \"<string>\",\n      \"name\": \"<string>\"\n    }\n  ],\n  \"add_generation_prompt\": true,\n  \"add_special_tokens\": false,\n  \"allowed_token_ids\": [\n    123\n  ],\n  \"bad_words\": [\n    \"<string>\"\n  ],\n  \"cache_salt\": \"<string>\",\n  \"chat_template\": \"<string>\",\n  \"chat_template_kwargs\": {},\n  \"continue_final_message\": false,\n  \"documents\": [\n    {}\n  ],\n  \"echo\": false,\n  \"frequency_penalty\": 0,\n  \"ignore_eos\": false,\n  \"include_reasoning\": true,\n  \"include_stop_str_in_output\": false,\n  \"kv_transfer_params\": {},\n  \"length_penalty\": 1,\n  \"logit_bias\": {},\n  \"logprobs\": false,\n  \"max_completion_tokens\": 123,\n  \"max_tokens\": 123,\n  \"min_p\": 123,\n  \"min_tokens\": 0,\n  \"mm_processor_kwargs\": {},\n  \"model\": \"<string>\",\n  \"n\": 1,\n  \"parallel_tool_calls\": true,\n  \"presence_penalty\": 0,\n  \"priority\": 0,\n  \"prompt_logprobs\": 123,\n  \"repetition_detection\": {\n    \"max_pattern_size\": 0,\n    \"min_count\": 0,\n    \"min_pattern_size\": 0\n  },\n  \"repetition_penalty\": 123,\n  \"request_id\": \"<string>\",\n  \"response_format\": {\n    \"json_schema\": {\n      \"name\": \"<string>\",\n      \"description\": \"<string>\",\n      \"schema\": {},\n      \"strict\": true\n    }\n  },\n  \"return_token_ids\": true,\n  \"return_tokens_as_token_ids\": true,\n  \"seed\": 0,\n  \"skip_special_tokens\": true,\n  \"spaces_between_special_tokens\": true,\n  \"stop\": [],\n  \"stop_token_ids\": [],\n  \"stream\": false,\n  \"stream_options\": {\n    \"continuous_usage_stats\": false,\n    \"include_usage\": true\n  },\n  \"structured_outputs\": {\n    \"_backend\": \"<string>\",\n    \"_backend_was_auto\": false,\n    \"choice\": [\n      \"<string>\"\n    ],\n    \"disable_additional_properties\": false,\n    \"disable_any_whitespace\": false,\n    \"disable_fallback\": false,\n    \"grammar\": \"<string>\",\n    \"json\": \"<string>\",\n    \"json_object\": true,\n    \"regex\": \"<string>\",\n    \"structural_tag\": \"<string>\",\n    \"whitespace_pattern\": \"<string>\"\n  },\n  \"temperature\": 123,\n  \"tool_choice\": \"none\",\n  \"tools\": [\n    {\n      \"function\": {\n        \"name\": \"<string>\",\n        \"description\": \"<string>\",\n        \"parameters\": {}\n      },\n      \"type\": \"function\"\n    }\n  ],\n  \"top_k\": 123,\n  \"top_logprobs\": 0,\n  \"top_p\": 123,\n  \"truncate_prompt_tokens\": 4611686018427388000,\n  \"use_beam_search\": false,\n  \"user\": \"<string>\",\n  \"vllm_xargs\": {}\n}"

response = http.request(request)
puts response.read_body

200

{
  "choices": [
    {
      "index": 123,
      "message": {
        "role": "<string>",
        "annotations": {
          "type": "<string>",
          "url_citation": {
            "end_index": 123,
            "start_index": 123,
            "title": "<string>",
            "url": "<string>"
          }
        },
        "audio": {
          "data": "<string>",
          "expires_at": 123,
          "id": "<string>",
          "transcript": "<string>"
        },
        "content": "<string>",
        "function_call": {
          "arguments": "<string>",
          "name": "<string>"
        },
        "reasoning": "<string>",
        "refusal": "<string>",
        "tool_calls": [
          {
            "function": {
              "arguments": "<string>",
              "name": "<string>"
            },
            "id": "<string>",
            "type": "function"
          }
        ]
      },
      "finish_reason": "stop",
      "logprobs": {
        "content": [
          {
            "token": "<string>",
            "bytes": [
              123
            ],
            "logprob": -9999,
            "top_logprobs": [
              {
                "token": "<string>",
                "bytes": [
                  123
                ],
                "logprob": -9999
              }
            ]
          }
        ]
      },
      "stop_reason": 123,
      "token_ids": [
        123
      ]
    }
  ],
  "model": "<string>",
  "usage": {
    "completion_tokens": 0,
    "prompt_tokens": 0,
    "prompt_tokens_details": {
      "cached_tokens": 123
    },
    "total_tokens": 0
  },
  "created": 123,
  "id": "<string>",
  "kv_transfer_params": {},
  "object": "chat.completion",
  "prompt_logprobs": [
    {}
  ],
  "prompt_token_ids": [
    123
  ],
  "system_fingerprint": "<string>"
}

{
  "detail": [
    {
      "loc": [
        "<string>"
      ],
      "msg": "<string>",
      "type": "<string>"
    }
  ]
}

承認

Authorization · string · header · 必須

Bearer authentication header of the form Bearer <token>, where <token> is your auth token.

ボディ

application/json

messages · (ChatCompletionDeveloperMessageParam · object | ChatCompletionSystemMessageParam · object | ChatCompletionUserMessageParam · object | ChatCompletionAssistantMessageParam · object | ChatCompletionToolMessageParam · object | ChatCompletionFunctionMessageParam · object | CustomChatCompletionMessageParam · object | Message · object)[] · 必須

ユーザーが送信したメッセージにかかわらず、モデルが従うべき開発者指定の指示です。o1 モデル以降では、developer メッセージが従来の system メッセージに置き換わります。

ChatCompletionDeveloperMessageParam

ChatCompletionSystemMessageParam

ChatCompletionUserMessageParam

ChatCompletionAssistantMessageParam

ChatCompletionToolMessageParam

ChatCompletionFunctionMessageParam

CustomChatCompletionMessageParam

Message

Show child attributes

add_generation_prompt · boolean · デフォルト: true

true の場合、生成プロンプトが chat template に追加されます。これは、モデルの tokenizer 設定内の chat template で使用されるパラメーターです。

add_special_tokens · boolean · デフォルト: false

true の場合、chat template によって追加されるものに加えて、特殊トークン（例: BOS）もプロンプトに追加されます。ほとんどのモデルでは、特殊トークンの追加は chat template が処理するため、これは false に設定する必要があります（デフォルト値も false です）。

allowed_token_ids · integer[] | null

bad_words · string[]

cache_salt · string | null

指定した場合、複数ユーザー環境で攻撃者がプロンプトを推測することを防ぐため、prefix cache に指定した文字列でソルトを追加します。ソルトはランダムで、第三者が access できないよう保護され、かつ予測不能であるのに十分な長さである必要があります（例: 256 bit に相当する、base64 エンコードで 43 文字）。

chat_template · string | null

この変換に使用する Jinja テンプレートです。transformers v4.44 以降ではデフォルトの chat template は使用できないため、tokenizer で chat template が定義されていない場合は、chat template を指定する必要があります。

chat_template_kwargs · Chat Template Kwargs · object | null

テンプレート renderer に渡す追加のキーワード引数です。chat template からアクセスできます。

continue_final_message · boolean · デフォルト: false

これが設定されている場合、チャットは末尾のメッセージが EOS トークンなしの未完了の状態になるように整形されます。モデルは新しいメッセージを開始するのではなく、そのメッセージの続きを生成します。これにより、モデルの応答の一部を事前に埋めておくことができます。add_generation_prompt とは同時に使用できません。

documents · Documents · object[] | null

モデルが RAG（検索拡張生成）を実行する場合にアクセスできるドキュメントを表す dict のリストです。テンプレートが RAG をサポートしていない場合、この引数は効果を持ちません。各ドキュメントは、"title" キーと "text" キーを含む dict にすることを推奨します。

Show child attributes

echo · boolean · デフォルト: false

true の場合、同じロールに属していれば、新しいメッセージは直前のメッセージの前に追加されます。

frequency_penalty · number | null · デフォルト: 0

ignore_eos · boolean · デフォルト: false

include_reasoning · boolean · デフォルト: true

include_stop_str_in_output · boolean · デフォルト: false

kv_transfer_params · Kv Transfer Params · object | null

分離サービングに使用される KVTransfer パラメーター。

length_penalty · number · デフォルト: 1

logit_bias · Logit Bias · object | null

Show child attributes

logprobs · boolean | null · デフォルト: false

max_completion_tokens · integer | null

max_tokens · integer | null · 非推奨

min_p · number | null

min_tokens · integer · デフォルト: 0

mm_processor_kwargs · Mm Processor Kwargs · object | null

HF processor に渡す追加の kwargs です。

model · string | null

n · integer | null · デフォルト: 1

parallel_tool_calls · boolean | null · デフォルト: true

presence_penalty · number | null · デフォルト: 0

priority · integer · デフォルト: 0

リクエストの優先度です（値が小さいほど先に処理されます。デフォルト: 0）。Serve されたモデルが優先度スケジューリングを使用していない場合、0 以外の優先度を指定するとエラーになります。

prompt_logprobs · integer | null

reasoning_effort · enum<string> | null

利用可能なオプション: low, medium, high

repetition_detection · RepetitionDetectionParams · object | null

出力トークン内の繰り返しのある N-gram パターンを検出するためのパラメーターです。このような繰り返しが検出された場合、生成は早期に終了します。LLM は、ときに反復的で有用でないトークン パターンを生成し、最大出力長に達するまで停止しないことがあります（例: 'abcdabcdabcd...' または '\emoji \emoji \emoji ...'）。この機能は、そのような動作を検出して早期に終了し、時間とトークンを節約します。

Show child attributes

repetition_penalty · number | null

request_id · string

このリクエストに関連する request_id です。呼び出し元が設定しない場合は、random_uuid が生成されます。この ID は Inference プロセス全体を通じて使用され、Response で返されます。

response_format · ResponseFormat · object

ResponseFormat

StructuralTagResponseFormat

LegacyStructuralTagResponseFormat

Show child attributes

return_token_ids · boolean | null

指定した場合、結果には生成されたテキストに加えて token ID も含まれます。ストリーミングモードでは、prompt_token_ids は最初の chunk にのみ含まれ、token_ids には各 chunk の差分 token が含まれます。これはデバッグ時や、生成テキストを入力 token に対応付ける必要がある場合に役立ちます。

return_tokens_as_token_ids · boolean | null

'logprobs' を指定した場合、JSON にエンコードできない token を識別できるよう、token は 'token_id:{token_id}' 形式の文字列として表されます。

seed · integer | null

必須範囲: -9223372036854776000 <= x <= 9223372036854776000

skip_special_tokens · boolean · デフォルト: true

spaces_between_special_tokens · boolean · デフォルト: true

stop · string string[] · デフォルト: []

stop_token_ids · integer[] | null

stream · boolean | null · デフォルト: false

stream_options · StreamOptions · object | null

Show child attributes

structured_outputs · StructuredOutputsParams · object | null

structured outputs 用の追加の kwargs です。

Show child attributes

temperature · number | null

tool_choice · Tool Choice · string Tool Choice · string Tool Choice · string ChatCompletionNamedToolChoiceParam · ChatCompletionNamedToolChoiceParam · object · デフォルト: none

Allowed value: "none"

tools · ChatCompletionToolsParam · object[] | null

Show child attributes

top_k · integer | null

top_logprobs · integer | null · デフォルト: 0

top_p · number | null

truncate_prompt_tokens · integer | null

必須範囲: -1 <= x <= 9223372036854776000

use_beam_search · boolean · デフォルト: false

user · string | null

vllm_xargs · Vllm Xargs · object | null

custom 拡張機能で使用される、文字列または数値の値（またはその list）からなる追加の request パラメーター。

Show child attributes

レスポンス

200

application/json

正常なレスポンス

choices · ChatCompletionResponseChoice · object[] · 必須

Show child attributes

model · string · 必須

usage · UsageInfo · object · 必須

Show child attributes

created · integer

id · string

kv_transfer_params · Kv Transfer Params · object | null

KVTransfer パラメーター。

object · string · デフォルト: chat.completion

Allowed value: "chat.completion"

prompt_logprobs · (object | null)[] | null

Show child attributes

prompt_token_ids · integer[] | null

service_tier · enum<string> | null

利用可能なオプション: auto, default, flex, scale, priority

system_fingerprint · string | null