Ein einfacher Textchat mit deinem gespeicherten Profil. Nutzt denselben Worker wie API-Anfragen; eine öffentliche Profilfreigabe ist nicht erforderlich.
Entladen ist nur ohne laufende Anfragen möglich. Abbrechen beendet nur diesen Test; andere Antworten werden nicht gestoppt.
Prognose mit Reserve, keine Garantie für jede Anfrage. GPU-Layer können automatisch auf die CPU ausgelagert werden. Bei Fehlern helfen häufig kleinerer Kontext oder Microbatch. Hardware-Messwerte →
| Phase | Token | Dauer | Token/s |
|---|---|---|---|
| Eingabe / Prefill (berechnet) | ${num(t.prompt_n)} | ${sec(t.prompt_ms)} | ${num(t.prompt_per_second,2)} |
| Ausgabe / Generierung | ${num(t.predicted_n)} | ${sec(t.predicted_ms)} | ${num(t.predicted_per_second,2)} |
Eingabe gesamt: ${num(u.prompt_tokens)} Token · Ausgabe gesamt: ${num(u.completion_tokens)} Token
Messwerte von llama.cpp nach Abschluss der Antwort. Prefill zählt neu berechnete Eingabe-Token; wiederverwendeter Kontext kann die Arbeit reduzieren. Ausgabe umfasst auch Reasoning. Modellladen und Wartezeit sind nicht Teil der Token/s. — = noch nicht verfügbar, etwa während der Antwort oder nach Abbruch.
`; + } function bind(){ const root=document.querySelector('#chat-test'),el=id=>root.querySelector('#'+id);let profiles=[],messages=[],turns=[],ownJob=null,finished=null,status=null,pending=false; const notice=t=>{if(root.isConnected)el('chat-message').textContent=t;}; function transcript(){put(el('chat-transcript'),turns.map(t=>`${e(t.content)}
${t.reasoning?`${e(t.reasoning)}${e(j?.phase||'Noch kein Chat-Test gestartet.')}
Worker: ${e(w.phase||w.state)} · ${e(w.profile_name||'kein Modell geladen')}
${s.scheduler.active_requests} laufende / ${s.scheduler.waiting_requests} wartende Anfragen
${e(j.error)}
`:''}${w.error?`${e(w.error)}
`:''}${j?`Dauer: ${Math.max(0,Math.round((j.finished_at||Date.now()/1000)-j.started_at))} s
`:''}`); + put(el('chat-state'),`${e(j?.phase||'Noch kein Chat-Test gestartet.')}
Worker: ${e(w.phase||w.state)} · ${e(w.profile_name||'kein Modell geladen')}
${s.scheduler.active_requests} laufende / ${s.scheduler.waiting_requests} wartende Anfragen
${e(j.error)}
`:''}${w.error?`${e(w.error)}
`:''}${metrics(j)}${j?`Dauer: ${Math.max(0,Math.round((j.finished_at||Date.now()/1000)-j.started_at))} s
`:''}`); put(el('chat-memory'),(plan?`Letzte Prognose für ${e(plan.profile_name||w.profile_name||'das Modell')}
${plan.fits?'Prognose passt einschließlich Reserve':'Prognose passt nicht in den verfügbaren Speicher'} · ${plan.context.toLocaleString('de-DE')} Token / ${plan.slots} Slots · GPU-Layerlimit ${plan.gpu_layers===999?'alle':plan.gpu_layers}
${plan.gpus.map(g=>`${e(g.name)}: geschätzt ${gib(g.required_mib)} + ${gib(g.reserve_mib)} Reserve / ${gib(g.free_mib)} beim Prüfen frei
`).join('')}RAM-Budget: ${gib(plan.host_required_mib)} benötigt / ${gib(plan.host_available_mib)} verfügbar
`:'Noch keine Speicherprognose für einen Modellstart vorhanden.
')+`${e(g.name)}: ${gib(g.used_mib)} / ${gib(g.total_mib)} belegt · ${g.percent??'—'} % Auslastung
`).join('')||'GPU-Messwerte nicht verfügbar.
'}`); if(j&&j.id===ownJob){let response=turns[turns.length-1];if(response?.role!=='assistant'){response={role:'assistant',content:'',reasoning:''};turns.push(response);}response.content=j.answer;response.reasoning=j.reasoning;transcript(); if(j.state!=='running'&&finished!==j.id){finished=j.id;if(j.state==='complete'&&j.answer)messages.push({role:'assistant',content:j.answer});else{messages=[];notice('Der nächste Prompt beginnt einen neuen Kontext; der letzte Test wurde nicht vollständig beantwortet.');}if(j.finish_reason==='length')notice('Antwort am Tokenlimit beendet. Bei Bedarf das Antwortlimit erhöhen.');} diff --git a/chat_test.py b/chat_test.py index af14e51..0a0e51f 100644 --- a/chat_test.py +++ b/chat_test.py @@ -1,5 +1,6 @@ """Ephemeral admin chat tests using the same worker and leases as the API.""" import json +import math import socket import threading import time @@ -25,7 +26,7 @@ class ChatTests: if not profile or not profile['runnable']:raise ValueError('Kein ausführbares Chatprofil. Modell und CUDA-Build prüfen.') with self.lock: if self.job and self.job['state']=='running':raise ValueError('Ein Chat-Test läuft bereits.') - self.cancel.clear();self.job=dict(id=uuid.uuid4().hex,state='running',phase='Wartet auf freie Modellreservierung',profile_id=profile['id'],profile_name=profile['name'],started_at=time.time(),answer='',reasoning='',error=None) + self.cancel.clear();self.job=dict(id=uuid.uuid4().hex,state='running',phase='Wartet auf freie Modellreservierung',profile_id=profile['id'],profile_name=profile['name'],started_at=time.time(),answer='',reasoning='',error=None,timings={},usage={}) threading.Thread(target=self._run,args=(profile,messages,limit),daemon=True).start() return dict(self.job) def phase(self,text): @@ -51,7 +52,7 @@ class ChatTests: with self.scheduler.lease(key,profile['parameters']['slots'],prepare,allowed=allowed): if self.cancel.is_set():raise InterruptedError() self.phase('Antwort wird erzeugt') - body=dict(model=profile['name'],messages=messages,max_tokens=limit,stream=True,**{k:profile['parameters'][k] for k in ('temperature','top_p','top_k')}) + body=dict(model=profile['name'],messages=messages,max_tokens=limit,stream=True,stream_options={"include_usage":True},**{k:profile['parameters'][k] for k in ('temperature','top_p','top_k')}) conn,token=self.worker.connect() conn.request('POST','/v1/chat/completions',json.dumps(body).encode(),headers={'Content-Type':'application/json','Authorization':'Bearer '+token}) with self.lock:self.socket=conn.sock @@ -73,6 +74,11 @@ class ChatTests: if payload==b'[DONE]':done=True;break event=json.loads(payload) if 'error' in event:raise InferenceError('Der Modellworker meldet einen Fehler während der Antwort.') + with self.lock: + for section,fields in [('timings',('prompt_n','prompt_ms','prompt_per_second','predicted_n','predicted_ms','predicted_per_second')),('usage',('prompt_tokens','completion_tokens','total_tokens'))]: + values=event.get(section) + if isinstance(values,dict): + self.job[section]={k:v for k,v in values.items() if k in fields and type(v) in (int,float) and math.isfinite(v) and v>=0} for choice in event.get('choices',[]): delta=choice.get('delta',{}) with self.lock: diff --git a/test_chat_test.py b/test_chat_test.py index 5b02e26..40b273f 100644 --- a/test_chat_test.py +++ b/test_chat_test.py @@ -41,6 +41,15 @@ class ChatTestsTests(unittest.TestCase): with self.assertRaises(ValueError):self.manager.unload() def test_truncated_stream_is_not_success(self): self.worker.conn.getresponse.return_value=Reply([b'data: {"choices":[]}\n\n']);self.manager.start(self.request());self.assertEqual(self.finish()['state'],'failed') + def test_native_timings_and_usage_from_final_empty_choices(self): + event=dict(choices=[],timings=dict(prompt_n=100,prompt_ms=200,prompt_per_second=500,predicted_n=20,predicted_ms=1000,predicted_per_second=20,secret='excluded'),usage=dict(prompt_tokens=150,completion_tokens=20,total_tokens=170)) + self.worker.conn.getresponse.return_value=Reply([('data: '+json.dumps(event)+'\n\n').encode(),b'data: [DONE]\n\n']) + self.manager.start(self.request());job=self.finish() + self.assertEqual(job['timings']['prompt_per_second'],500);self.assertEqual(job['usage']['prompt_tokens'],150);self.assertNotIn('secret',job['timings']) + body=json.loads(self.worker.conn.request.call_args.args[2]);self.assertTrue(body['stream_options']['include_usage']) + def test_missing_and_invalid_timings_are_not_invented(self): + self.worker.conn.getresponse.return_value=Reply([b'data: {"choices":[],"timings":{"prompt_n":true,"prompt_ms":-1,"predicted_per_second":"42"},"usage":null}\n\n',b'data: [DONE]\n\n']) + self.manager.start(self.request());job=self.finish();self.assertEqual(job['timings'],{});self.assertEqual(job['usage'],{}) def test_validation(self): for data in [dict(self.request(),max_tokens=True),dict(self.request(),messages=[dict(role='user',content='')]),dict(self.request(),profile_id='missing')]: with self.assertRaises(ValueError):self.manager.start(data)