Document Ornith 1.5 A/B benchmark

experiments/ornith15-ab/results/vision-qwen-fast.json

@@ -0,0 +1,34 @@
+{
+  "model": "qwen-fast",
+  "prompt": "Was ist links und was ist rechts im Bild? Nenne Form und Farbe beider Objekte.",
+  "expected": "Links ein roter Kreis, rechts ein blaues Quadrat.",
+  "started": 1789825590.7140028,
+  "response": {
+    "wall_seconds": 3.177,
+    "usage": {
+      "completion_tokens": 84,
+      "prompt_tokens": 162,
+      "total_tokens": 246,
+      "prompt_tokens_details": {
+        "cached_tokens": 0
+      }
+    },
+    "timings": {
+      "cache_n": 0,
+      "prompt_n": 162,
+      "prompt_ms": 2185.727,
+      "prompt_per_token_ms": 13.492141975308641,
+      "prompt_per_second": 74.11721591946295,
+      "predicted_n": 84,
+      "predicted_ms": 977.602,
+      "predicted_per_token_ms": 11.77833734939759,
+      "predicted_per_second": 84.90162663333341,
+      "draft_n": 64,
+      "draft_n_accepted": 51
+    },
+    "finish_reason": "stop",
+    "content": "Im Bild sind zwei geometrische Objekte zu sehen:\n\n- **Links**: Ein **roter Kreis**.\n  - Form: Kreis\n  - Farbe: Rot\n\n- **Rechts**: Ein **blaues Quadrat**.\n  - Form: Quadrat\n  - Farbe: Blau\n\nZusammenfassend:\n> Links ist ein roter Kreis, rechts ist ein blaues Quadrat.",
+    "reasoning_content": "",
+    "tool_calls": []
+  }
+}