Ein einfacher Textchat mit deinem gespeicherten Profil. Nutzt denselben Worker wie API-Anfragen; eine öffentliche Profilfreigabe ist nicht erforderlich.
Entladen ist nur ohne laufende Anfragen möglich. Abbrechen beendet nur diesen Test; andere Antworten werden nicht gestoppt.
Prognose mit Reserve, keine Garantie für jede Anfrage. GPU-Layer können automatisch auf die CPU ausgelagert werden. Bei Fehlern helfen häufig kleinerer Kontext oder Microbatch. Hardware-Messwerte →
${e(t.content)}
${t.reasoning?`${e(t.reasoning)}${e(j?.phase||'Noch kein Chat-Test gestartet.')}
Worker: ${e(w.phase||w.state)} · ${e(w.profile_name||'kein Modell geladen')}
${s.scheduler.active_requests} laufende / ${s.scheduler.waiting_requests} wartende Anfragen
${e(j.error)}
`:''}${w.error?`${e(w.error)}
`:''}${j?`Dauer: ${Math.max(0,Math.round((j.finished_at||Date.now()/1000)-j.started_at))} s
`:''}`); + put(el('chat-memory'),(plan?`Letzte Prognose für ${e(plan.profile_name||w.profile_name||'das Modell')}
${plan.fits?'Prognose passt einschließlich Reserve':'Prognose passt nicht in den verfügbaren Speicher'} · ${plan.context.toLocaleString('de-DE')} Token / ${plan.slots} Slots · GPU-Layerlimit ${plan.gpu_layers===999?'alle':plan.gpu_layers}
${plan.gpus.map(g=>`${e(g.name)}: geschätzt ${gib(g.required_mib)} + ${gib(g.reserve_mib)} Reserve / ${gib(g.free_mib)} beim Prüfen frei
`).join('')}RAM-Budget: ${gib(plan.host_required_mib)} benötigt / ${gib(plan.host_available_mib)} verfügbar
`:'Noch keine Speicherprognose für einen Modellstart vorhanden.
')+`${e(g.name)}: ${gib(g.used_mib)} / ${gib(g.total_mib)} belegt · ${g.percent??'—'} % Auslastung
`).join('')||'GPU-Messwerte nicht verfügbar.
'}`); + if(j&&j.id===ownJob){let response=turns[turns.length-1];if(response?.role!=='assistant'){response={role:'assistant',content:'',reasoning:''};turns.push(response);}response.content=j.answer;response.reasoning=j.reasoning;transcript(); + if(j.state!=='running'&&finished!==j.id){finished=j.id;if(j.state==='complete'&&j.answer)messages.push({role:'assistant',content:j.answer});else{messages=[];notice('Der nächste Prompt beginnt einen neuen Kontext; der letzte Test wurde nicht vollständig beantwortet.');}if(j.finish_reason==='length')notice('Antwort am Tokenlimit beendet. Bei Bedarf das Antwortlimit erhöhen.');} + }selection(); + }catch(error){notice(error.message);}finally{if(root.isConnected)setTimeout(refresh,1500);}} + api('profiles').then(s=>{if(!root.isConnected)return;profiles=s.profiles.filter(p=>p.kind==='chat');el('chat-profile').innerHTML=profiles.map(p=>``).join('')||'';selection();}).catch(err=>notice(err.message)); + const clear=()=>{messages=[];turns=[];ownJob=null;finished=null;transcript();notice('Neuer Chat.');};el('chat-clear').onclick=clear;el('chat-profile').onchange=()=>{clear();selection();}; + el('chat-test-form').onsubmit=async event=>{event.preventDefault();pending=true;selection();const text=el('chat-prompt').value.trim();try{const next=[...messages,{role:'user',content:text}];const job=await api('chat-tests/start',{profile_id:el('chat-profile').value,messages:next,max_tokens:Number(el('chat-limit').value)});messages=next;turns.push({role:'user',content:text});ownJob=job.id;finished=null;status={...status,job};el('chat-prompt').value='';transcript();notice('Test gestartet. Speicherprüfung, Modellstart und Antwort erscheinen unter Diagnose.');}catch(error){notice(error.message);}finally{pending=false;selection();}}; + el('chat-cancel').onclick=async()=>{try{await api('chat-tests/cancel',{});notice('Abbruch angefordert.');}catch(error){notice(error.message);}}; + el('chat-unload').onclick=async()=>{try{await api('chat-tests/unload',{});notice('Eigener Modellprozess entladen.');}catch(error){notice(error.message);}}; + refresh(); + } + return {html,bind}; +})(); diff --git a/chat_test.py b/chat_test.py new file mode 100644 index 0000000..af14e51 --- /dev/null +++ b/chat_test.py @@ -0,0 +1,91 @@ +"""Ephemeral admin chat tests using the same worker and leases as the API.""" +import json +import socket +import threading +import time +import uuid +from inference import InferenceError + +class ChatTests: + def __init__(self,profiles,worker,scheduler): + self.profiles=profiles;self.worker=worker;self.scheduler=scheduler + self.lock=threading.RLock();self.job=None;self.cancel=threading.Event();self.socket=None + def status(self): + with self.lock:job=dict(self.job) if self.job else None + return dict(job=job,worker=self.worker.status(),scheduler=self.scheduler.status()) + def start(self,data): + if set(data)!={'profile_id','messages','max_tokens'}:raise ValueError('Profil, Nachrichten und Antwortlimit erforderlich.') + messages=data['messages'];limit=data['max_tokens'] + if type(limit)!=int or not 1<=limit<=4096:raise ValueError('Antwortlimit: 1–4096 Token.') + if not isinstance(messages,list) or not 1<=len(messages)<=32:raise ValueError('1–32 Textnachrichten erforderlich.') + for m in messages: + if not isinstance(m,dict) or set(m)!={'role','content'} or m['role'] not in ('user','assistant','system') or not isinstance(m['content'],str) or not m['content'].strip():raise ValueError('Nur Textnachrichten mit Rolle user, assistant oder system unterstützt.') + if sum(len(m['content']) for m in messages)>24000:raise ValueError('Testverlauf zu lang (maximal 24.000 Zeichen). Neuen Chat beginnen.') + profile=next((p for p in self.profiles.status()['profiles'] if p['id']==data['profile_id'] and p['kind']=='chat'),None) + if not profile or not profile['runnable']:raise ValueError('Kein ausführbares Chatprofil. Modell und CUDA-Build prüfen.') + with self.lock: + if self.job and self.job['state']=='running':raise ValueError('Ein Chat-Test läuft bereits.') + self.cancel.clear();self.job=dict(id=uuid.uuid4().hex,state='running',phase='Wartet auf freie Modellreservierung',profile_id=profile['id'],profile_name=profile['name'],started_at=time.time(),answer='',reasoning='',error=None) + threading.Thread(target=self._run,args=(profile,messages,limit),daemon=True).start() + return dict(self.job) + def phase(self,text): + with self.lock:self.job['phase']=text + def stop(self): + self.cancel.set() + with self.lock:sock=self.socket + if sock: + try:sock.shutdown(socket.SHUT_RDWR) + except OSError:pass + return {'cancellation_requested':True} + def unload(self): + if not self.scheduler.unload_idle():raise ValueError('Es laufen noch Anfragen. Erst deren Ende abwarten; andere Antworten werden nicht abgebrochen.') + return self.status() + def _run(self,profile,messages,limit): + conn=None;outcome='failed';message='Chat-Test fehlgeschlagen.';error=None + try: + key=('chat',profile['id'],profile['revision']) + def allowed():return not self.cancel.is_set() and any(p['id']==profile['id'] and p['revision']==profile['revision'] for p in self.profiles.status()['profiles']) + def prepare(): + self.phase('Speicher wird geprüft · Profil wird geladen') + self.worker.ensure(profile,cancel=self.cancel.is_set) + with self.scheduler.lease(key,profile['parameters']['slots'],prepare,allowed=allowed): + if self.cancel.is_set():raise InterruptedError() + self.phase('Antwort wird erzeugt') + body=dict(model=profile['name'],messages=messages,max_tokens=limit,stream=True,**{k:profile['parameters'][k] for k in ('temperature','top_p','top_k')}) + conn,token=self.worker.connect() + conn.request('POST','/v1/chat/completions',json.dumps(body).encode(),headers={'Content-Type':'application/json','Authorization':'Bearer '+token}) + with self.lock:self.socket=conn.sock + if self.cancel.is_set():raise InterruptedError() + response=conn.getresponse() + if response.status!=200: + raise InferenceError('llama.cpp hat den Test abgelehnt. Kontextbudget, Nachrichtenlänge und Profilparameter prüfen.') + buffer=b'';total=0;done=False;deadline=time.monotonic()+600 + while time.monotonic()Modelle entdecken, herunterladen und mit gespeicherten Profilen konfigurieren.
Profile werden auf Athena gespeichert. Für diesen Bereich ist noch kein Modellworker angebunden. Fehlende Komponenten stehen beim jeweiligen Profil.
llama.cpp-Builds verwalten →Modelle entdecken, herunterladen und mit gespeicherten Profilen konfigurieren.
Profile werden auf Athena gespeichert. Für diesen Bereich ist noch kein Modellworker angebunden. Fehlende Komponenten stehen beim jeweiligen Profil.
llama.cpp-Builds verwalten →