Rawデータの活用方法

概要

透明性と再現性のためにRawデータを提供しています。研究者が直接検証し、追加分析を行うことができます。

データ構造

各結果には問題ID、モデル名、試行回数、成功可否、応答時間、トークン使用量、コストが含まれます。

{
  "problem_id": "h01-longest-substring",
  "model": "Gemini 2.5 Flash",
  "success": true,
  "attempts": 2,
  "first_attempt_success": false,
  "total_time_ms": 9599,
  "cost_usd": 0.00094,
  "input_tokens": 4330,
  "output_tokens": 484,
  "prompt_mode": "careti",
  "termination_reason": "success",
  "attempt_history": [
    {
      "attempt": 1,
      "success": false,
      "latency_ms": 6229,
      "error": "SyntaxError: invalid syntax"
    },
    {
      "attempt": 2,
      "success": true,
      "latency_ms": 3370
    }
  ]
}

問題原本の照会

Hard Suite問題はGitHubリポジトリのhard-suite.jsonから照会できます。problem_id（例: h01-longest-substring）で検索してください。

# Python - Hard Suite問題検索
import json
import urllib.request

BASE = "https://raw.githubusercontent.com/caretive-ai/careti-benchmark/main/results/2026-02-hard-suite"

# 問題定義（プロンプト、テストコード）
problems = json.loads(urllib.request.urlopen(f"{BASE}/hard-suite.json").read())

# ベンチマーク結果（2100件）
results = json.loads(urllib.request.urlopen(f"{BASE}/results.json").read())

# problem_idで検索（例: h01-longest-substring）
problem = next(p for p in problems if p["id"] == "h01-longest-substring")
print(problem["prompt"])
print(problem["test_code"])

GitHub: caretive-ai/careti-benchmark

モデル行動分析

attempt_historyフィールドで各試行の詳細情報を確認できます。

• termination_reason: success, max_attempts, timeout, oscillation, same_error
• attempt_history: 各試行の成功/失敗、応答時間、トークン使用量
• first_attempt_success: 再試行なしで解決したかどうか

ダウンロード

各ベンチマーク詳細ページの下部からRawデータをダウンロードできます。