test: Test-Suite für Single-Server-Konfig, Loop-Logik und Skripte

Node-eigener Test-Runner (keine Dependencies). 35 Tests:
- pure-logic: parseVerdict/parseBlockers/normalizeForComparison (real aus
  der Extension extrahiert), inkl. PASS-WITH-CONCERNS-Abgrenzung
- config: models.json/settings.json-Invarianten (kein Port 8002, nur
  llama-cpp-single/qwen3.5-single), Querkonsistenz
- extension-guards: Regression-Schutz fuer jeden Fix (select positional,
  kein switchModel, before_agent_start-Hook, passed-Logik, Loop-Fallback)
- scripts: bash -n + Single-Server-Invarianten

Start: ./run-tests.sh

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
Dieter Schlüter 2026-06-15 02:58:21 +02:00
commit ba733fe684
6 changed files with 266 additions and 0 deletions

67
tests/config.test.mjs Normal file
View file

@ -0,0 +1,67 @@
// Testet die Konfig-Invarianten der Single-Server-Architektur.
// Der ursprüngliche Bug war eine Konfig-Inkonsistenz (Default zeigte auf toten Port 8002).
import { test } from "node:test";
import assert from "node:assert/strict";
import { readJson, readRepoFile } from "./helpers.mjs";
const models = readJson("models.json");
const settings = readJson("settings.json");
test("models.json: Provider llama-cpp-single hat genau ein Modell qwen3.5-single auf Port 8001", () => {
const p = models.providers["llama-cpp-single"];
assert.ok(p, "Provider llama-cpp-single fehlt");
assert.match(p.baseUrl, /:8001\//, "llama-cpp-single muss auf Port 8001 zeigen");
assert.deepEqual(p.models.map((m) => m.id), ["qwen3.5-single"]);
});
test("models.json: tote Dual-/Alt-Provider sind entfernt", () => {
for (const dead of ["llama-cpp", "llama-cpp-coder", "llama-cpp-judge"]) {
assert.ok(!(dead in models.providers), `Toter Provider '${dead}' noch vorhanden`);
}
});
test("models.json: kein Verweis mehr auf den toten Port 8002", () => {
assert.doesNotMatch(JSON.stringify(models), /:8002/);
});
test("settings.json: Default zeigt auf den Single-Server (nicht Port 8002)", () => {
assert.equal(settings.defaultProvider, "llama-cpp-single");
assert.equal(settings.defaultModel, "qwen3.5-single");
assert.deepEqual(settings.enabledModels, ["llama-cpp-single/qwen3.5-single"]);
});
test("settings.json: defaultProvider/defaultModel existieren in models.json", () => {
const p = models.providers[settings.defaultProvider];
assert.ok(p, `defaultProvider '${settings.defaultProvider}' nicht in models.json`);
assert.ok(
p.models.some((m) => m.id === settings.defaultModel),
`defaultModel '${settings.defaultModel}' nicht im Provider`
);
});
test("settings.json: jeder enabledModels-Eintrag verweist auf existierende Provider/Modelle", () => {
for (const ref of settings.enabledModels) {
const idx = ref.indexOf("/");
const prov = ref.slice(0, idx);
const id = ref.slice(idx + 1);
const p = models.providers[prov];
assert.ok(p, `enabledModels: Provider '${prov}' fehlt in models.json`);
assert.ok(p.models.some((m) => m.id === id), `enabledModels: Modell '${id}' fehlt in '${prov}'`);
}
});
test("settings.json ist valides JSON ohne überraschende Felder", () => {
// Reine Smoke-Prüfung, dass die Datei parsebar bleibt und die Kernschlüssel da sind.
for (const key of ["defaultProvider", "defaultModel", "enabledModels"]) {
assert.ok(key in settings, `Schlüssel '${key}' fehlt in settings.json`);
}
});
test("Konsistenz: Extension und settings.json nennen denselben Provider/dasselbe Modell", () => {
const ext = readRepoFile("pi-coder-judge-extension.ts");
assert.match(ext, /SINGLE_PROVIDER = "llama-cpp-single"/);
assert.match(ext, /SINGLE_MODEL_ID = "qwen3.5-single"/);
assert.equal(settings.defaultProvider, "llama-cpp-single");
assert.equal(settings.defaultModel, "qwen3.5-single");
});