> ## Documentation Index
> Fetch the complete documentation index at: https://wb-21fd5541-docs-hivemind-launch.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.

# ローカルモデル

> Ollama、LMStudio、または GPT4All を使用してオープンソースモデルをローカルで実行し、OpenAI SDK との互換性を利用して Weave でトレースします。

<div id="local-models">
  # ローカルモデル
</div>

多くの開発者が、Llama-3、Mixtral、Gemma、Phi などのオープンソースモデルをローカル環境にダウンロードして実行しています。これらのモデルをローカルで動かす方法はいくつもありますが、OpenAI SDK との互換性があれば、Weave はその一部を標準でサポートしています。

<div id="wrap-local-model-functions-with-weaveop">
  ## ローカルモデルの関数を `@weave.op()` でラップする
</div>

`weave.init('<your-project-name>')` で Weave を初期化し、LLM への呼び出しを `weave.op()` でラップするだけで、任意の LLM を簡単に Weave と統合できます。詳しくは、[トレース](/ja/weave/guides/tracking/tracing) ガイドを参照してください。

<div id="updating-your-openai-sdk-code-to-use-local-models">
  ## ローカルモデルを使用するための OpenAI SDK コードの更新
</div>

OpenAI SDK との互換性をサポートするサービスやフレームワークでは、いずれもいくつかの軽微な変更が必要です。

まず最も重要なのは、`openai.OpenAI()` の初期化時に `base_url` を変更することです。

```python lines theme={null}
client = openai.OpenAI(
    base_url="http://localhost:1234",
)
```

ローカルモデルの場合、`api_key` には任意の文字列を指定できますが、必ず上書きしてください。そうしないと、OpenAI が環境変数からそれを使用しようとしてエラーになります。

<div id="openai-sdk-supported-local-model-runners">
  ## OpenAI SDK をサポートするローカルモデルランナー
</div>

以下は、Hugging Face からモデルをダウンロードしてローカル環境で実行でき、OpenAI SDK との互換性をサポートするアプリの一覧です。

1. Nomic [GPT4All](https://www.nomic.ai/gpt4all) - Settings の Local Server 経由でサポート ([FAQ](https://docs.gpt4all.io/gpt4all_help/faq.html))
2. [LMStudio](https://lmstudio.ai/) - Local Server による OpenAI SDK サポート [docs](https://lmstudio.ai/docs/developer/core/server)
3. [Ollama](https://ollama.com/) - OpenAI SDK 向けの [OpenAI compatibility](https://ollama.readthedocs.io/en/openai/)
4. [llama-cpp-python](https://llama-cpp-python.readthedocs.io/en/latest/server/) Python パッケージ経由の llama.cpp
5. [llamafile](https://github.com/Mozilla-Ocho/llamafile#other-example-llamafiles) - `http://localhost:8080/v1` は Llamafile の実行時に自動的に OpenAI SDK をサポートします