> ## Documentation Index
> Fetch the complete documentation index at: https://wb-21fd5541-docs-hivemind-launch.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.

> W&B を使用して DSPy プログラムをトラッキングおよび最適化し、プロンプト、評価、コンパイル済みモジュールのパフォーマンスをログします。

# DSPy

W\&B を DSPy と組み合わせることで、言語モデルプログラムをトラッキングして最適化できます。W\&B は、[Weave DSPy インテグレーション](/ja/weave/guides/integrations/dspy) を補完し、次の機能を提供します。

* 評価メトリクスの経時的なトラッキング
* プログラムシグネチャの変化を確認するための W\&B Tables
* MIPROv2 などの DSPy オプティマイザとのインテグレーション

DSPy モジュールの最適化時に包括的な可観測性を確保するには、W\&B と Weave の両方でインテグレーションを有効にしてください。

<Info>
  **注**

  `wandb==0.21.2` および `weave==0.52.5` 時点では、W\&B と併用すると Weave は自動的に初期化されます。

  * `weave` を import してから `wandb.init()` を呼び出した場合 (スクリプトの場合)
  * `wandb.init()` を呼び出した後で `weave` を import した場合 (notebook/Jupyter の場合)

  明示的に `weave.init(...)` を呼び出す必要はありません。
</Info>

<div id="install-and-authenticate">
  ## インストールと認証
</div>

必要なライブラリをインストールし、W\&B にログインします。

<Tabs>
  <Tab title="コマンドライン">
    1. 必要なライブラリをインストールします。

       ```shell theme={null}
       pip install wandb weave dspy
       ```

    2. `WANDB_API_KEY` [環境変数](/ja/models/track/environment-variables/)を設定して、ログインします。

       ```bash theme={null}
       export WANDB_API_KEY=<your_api_key>
       wandb login
       ```
  </Tab>

  <Tab title="Python">
    1. 必要なライブラリをインストールします。

       ```bash theme={null}
       pip install wandb weave dspy
       ```
    2. コード内で W\&B にログインします。

       ```python theme={null}
       import wandb
       wandb.login()
       ```
  </Tab>

  <Tab title="ノートブック">
    必要なライブラリをインストールしてインポートしてから、W\&B にログインします。

    ```notebook theme={null}
    !pip install wandb weave dspy

    import wandb
    wandb.login()
    ```
  </Tab>
</Tabs>

W\&B は初めてですか？[クイックスタートガイド](/ja/models/quickstart/)をご覧ください。

<div id="track-program-optimization-experimental">
  ## プログラム最適化をトラッキングする (実験的)
</div>

`dspy.Evaluate` を使用する DSPy オプティマイザ (MIPROv2 など) では、`WandbDSPyCallback` を使用して、時間の経過に伴う評価メトリクスをログし、W\&B Tables でプログラムシグネチャの変遷をトラッキングします。

```python theme={null}
import dspy
from dspy.datasets import MATH

import weave
import wandb
from wandb.integration.dspy import WandbDSPyCallback

# W&Bを初期化する（weaveをインポートするだけで十分。weave.initの明示的な呼び出しは不要）
project_name = "dspy-optimization"
with wandb.init(project=project_name) as run:
    # DSPyにW&Bコールバックを追加する
    dspy.settings.callbacks.append(
        WandbDSPyCallback(run=run)
    )

    # 言語モデルを設定する
    teacher_lm = dspy.LM('openai/gpt-4o', max_tokens=2000, cache=True)
    student_lm = dspy.LM('openai/gpt-4o-mini', max_tokens=2000)
    dspy.configure(lm=student_lm)

    # データセットを読み込み、プログラムを定義する
    dataset = MATH(subset='algebra')
    program = dspy.ChainOfThought("question -> answer")

    # オプティマイザーを設定して実行する
    optimizer = dspy.MIPROv2(
        metric=dataset.metric,
        auto="light",
        num_threads=24,
        teacher_settings=dict(lm=teacher_lm),
        prompt_model=student_lm
    )

    optimized_program = optimizer.compile(
        program,
        trainset=dataset.train,
        max_bootstrapped_demos=2,
        max_labeled_demos=2
    )
```

このコードを実行すると、W\&B Run URL と Weave URL の両方が取得されます。W\&B では、評価メトリクスの推移に加えて、プログラムシグネチャの変化を示す Tables が表示されます。run の **Overview** タブには、詳しく確認するための Weave トレースへのリンクが含まれます。

`run` オブジェクトが `WandbDSPyCallback` に渡されない場合は、グローバルな `run` オブジェクトが使用されます。

<Frame>
  <img src="https://mintcdn.com/wb-21fd5541-docs-hivemind-launch/zScEGRJKnI_Vuqe8/images/integrations/dspy_run_page.png?fit=max&auto=format&n=zScEGRJKnI_Vuqe8&q=85&s=bf0f886d9b8f73ee9e0dc1b62cabbf52" alt="W&B での DSPy 最適化 run" width="3456" height="1865" data-path="images/integrations/dspy_run_page.png" />
</Frame>

DSPy での Weave トレース、評価、最適化の詳細については、[Weave DSPy インテグレーション guide](/ja/weave/guides/integrations/dspy) を参照してください.

<div id="log-predictions-to-wb-tables">
  ## 予測をW\&B Tablesにログする
</div>

最適化中に個々の例を確認できるよう、詳細な予測ログを有効にします。このコールバックは各評価 step ごとに W\&B Tables を作成するため、個別の成功例や失敗例の分析に役立ちます。

```python theme={null}
from wandb.integration.dspy import WandbDSPyCallback

# 予測のログを有効化（デフォルトで有効）
callback = WandbDSPyCallback(log_results=True)
dspy.settings.callbacks.append(callback)

# 最適化を実行する
optimized_program = optimizer.compile(program, trainset=train_data)

# 必要に応じて予測のログを無効化する
# callback = WandbDSPyCallback(log_results=False)
```

<div id="access-prediction-data">
  ### 予測データにアクセスする
</div>

最適化後、W\&B で予測データを確認できます。

1. run の **Overview** ページにアクセスします。
2. `predictions_0`、`predictions_1` のような名前の Table パネルを探します。
3. 失敗を分析するには、`is_correct` でフィルターします。
4. プロジェクトのワークスペースで、run 間の表を比較します。

各表には、次の列が含まれます。

* `example`: 入力データ
* `prediction`: モデルの出力
* `is_correct`: 評価結果

詳細は、[W\&B Tables ガイド](/ja/models/tables/visualize-tables/)を参照してください。

<div id="save-and-version-dspy-programs">
  ## DSPy プログラムを保存してバージョン管理する
</div>

最良の DSPy プログラムを再現し、バージョン管理できるようにするには、W\&B Artifacts として保存します。プログラム全体を保存するか、状態のみを保存するかを選択できます。

```python theme={null}
from wandb.integration.dspy import WandbDSPyCallback

# コールバックインスタンスを作成する
callback = WandbDSPyCallback()
dspy.settings.callbacks.append(callback)

# 最適化を実行する
optimized_program = optimizer.compile(program, trainset=train_data)

# 保存オプション:

# 1. 完全なプログラム（推奨）- アーキテクチャと状態を含む
callback.log_best_model(optimized_program, save_program=True)

# 2. JSONとして状態のみ - 軽量で人間が読みやすい
callback.log_best_model(optimized_program, save_program=False, filetype="json")

# 3. pickleとして状態のみ - Pythonオブジェクトを保持する
callback.log_best_model(optimized_program, save_program=False, filetype="pkl")

# バージョン管理用のカスタムaliasを追加する
callback.log_best_model(
    optimized_program,
    save_program=True,
    aliases=["best", "production", "v2.0"]
)
```