Der Grundgedanke: messen und urteilen sind zwei Berufe

The core idea: measuring and judging are two different jobs

Lokale KI-Modelle sind hervorragend im Messen. Sie sagen dir auf die Millisekunde, wann ein Wort gesprochen wurde, wo die Augen im Bild sitzen, wie laut eine Stelle ist. Was sie nicht können: entscheiden, ob ein Satz gut ist.

Local AI models are excellent at measuring. They tell you to the millisecond when a word was spoken, where the eyes sit in frame, how loud a passage is. What they cannot do: decide whether a sentence is any good.

Claude ist hervorragend im Urteilen. Aber Claude kann kein Video ansehen. Also bekommt Claude nicht das Video, sondern die Messwerte — und entscheidet auf dieser Grundlage.

Claude is excellent at judging. But Claude cannot watch a video. So Claude doesn't get the video — it gets the measurements, and decides on that basis.

Die Kette

The chain

Fünf Stufen. Die Reihenfolge ist der Punkt: Stufe 3 startet erst, wenn 1 und 2 fertig sind — Claude entscheidet nie, bevor hingesehen wurde.

Five stages. The order is the point: stage 3 only starts once 1 and 2 are done — Claude never decides before something has actually been looked at.

Stufe 1 + 2 — was die Augen und Ohren messen

Stage 1 + 2 — what the eyes and ears measure

Alles hier läuft auf deinem Rechner. Keins dieser Modelle entscheidet etwas — sie liefern Zahlen und Positionen, sonst nichts.

Everything here runs on your machine. None of these models decides anything — they produce numbers and positions, nothing more.

Die Modelle, die dabei laufen

The models doing the work

• Whisper (large-v3-turbo) — Transkript, Wort für Wort, mit Zeitstempel und Konfidenz pro Wort. Die Konfidenz ist später wichtig: ein Wort am Clip-Rand mit niedriger Konfidenz ist wahrscheinlich angeschnitten.
• Whisper (large-v3-turbo) — transcript, word by word, with a timestamp and a confidence per word. That confidence matters later: a word at a clip edge with low confidence is probably clipped.
• wav2vec2 (xlsr-53, deutsch) — richtet die Wörter exakt aufs Audio aus, damit die Untertitel auf dem Laut sitzen und nicht daneben.
• wav2vec2 (xlsr-53, German) — force-aligns the words to the audio, so captions sit on the sound instead of next to it.
• pyannote 3.1 — Sprechertrennung: wer sagt was, wenn mehrere Personen im Material sind.
• pyannote 3.1 — speaker diarisation: who says what when several people are in the footage.
• Apple Vision (auf dem Gerät) — Gesichter samt Landmarks, Person vom Hintergrund freistellen, Text im Bild lesen. Das ist macOS selbst, kein zusätzliches Modell.
• Apple Vision (on-device) — faces with landmarks, person segmentation, reading text in the frame. That's macOS itself, not an extra model.
• open_clip ViT-B-32 und Qwen2.5-VL-7B — beschreiben, was auf einem Standbild zu sehen ist, damit Claude den Bildinhalt in Worten vorliegen hat.
• open_clip ViT-B-32 and Qwen2.5-VL-7B — describe what a still frame shows, so Claude has the image content in words.
• InsightFace — erkennt dieselbe Person über mehrere Clips hinweg wieder.
• InsightFace — recognises the same person across several clips.
• ffmpeg — Lautheit (LUFS), True Peak, Stille, Szenenwechsel, Schwarzbild, Standbild.
• ffmpeg — loudness (LUFS), true peak, silence, scene changes, black frames, freezes.

Keins dieser Modelle steckt in der App. Sie werden beim ersten Einrichten auf deinen Mac geladen — deshalb braucht der erste Start Zeit und mehrere Gigabyte.

None of these ship inside the app. They're pulled onto your Mac during first setup — which is why the first run takes time and several gigabytes.

Stufe 3 — was Claude bekommt und was Claude entscheidet

Stage 3 — what Claude gets and what Claude decides

Weil das eine Konversation ist, kannst du widersprechen: „die Stelle mit dem Preis muss rein“, „mach es länger“, „der Anfang zieht nicht“. Der Plan wird angepasst und die Kette läuft ab Stufe 4 neu.

Because this is a conversation, you can push back: "the bit about the price has to stay", "make it longer", "the opening doesn't land". The plan is adjusted and the chain re-runs from stage 4.

Stufe 4 — der Schnitt

Stage 4 — the edit

• Nähte auf Wortgrenzen. Weil jedes Wort seinen eigenen Zeitstempel hat, liegt ein Schnitt zwischen zwei Wörtern statt mitten in einem.
• Seams on word boundaries. Because every word carries its own timestamp, a cut lands between two words instead of inside one.
• Untertitel aus denselben Wort-Zeiten. Nicht neu geschätzt, sondern dieselbe Quelle wie der Schnitt — deshalb passen sie zusammen.
• Captions from those same word timings. Not re-estimated — the same source the cut uses, which is why they line up.
• 9:16 aus dem Originalbild. Der Ausschnitt folgt dem Gesicht, aber gebremst: die Kamera wandert, sie springt nicht. Die Augenlinie muss im Rahmen bleiben.
• 9:16 from the original frame. The crop follows the face, but damped: the camera drifts, it doesn't jump. The eye line has to stay in frame.
• Farbe: das Original bleibt das Original. Kein LUT, kein Filter, keine hochgedrehte Sättigung. Nur wenn du ausdrücklich einen Look briefst, wird einer gelegt. HDR-Material kann unverändert durchgereicht werden.
• Colour: the original stays the original. No LUT, no filter, no cranked saturation. A look is only applied if you explicitly brief one. HDR footage can be passed through untouched.
• Ton auf −14 LUFS. Das ist der Wert, mit dem Instagram, TikTok und YouTube rechnen — ohne die Dynamik plattzudrücken.
• Audio at −14 LUFS. The level Instagram, TikTok and YouTube expect — without flattening the dynamics.
• Musik mit Pflicht-Credit. Die zwölf mitgelieferten Stücke sind CC BY 4.0 von Kevin MacLeod. Framoon erzeugt die nötige Namensnennung automatisch mit.
• Music with mandatory credit. The twelve bundled tracks are CC BY 4.0 by Kevin MacLeod. Framoon generates the required attribution line for you.

Stufe 5 — die Prüfschleife

Stage 5 — the verification loop

Das ist der Teil, der Framoon von einem Schnitt-Skript unterscheidet. Wenn der Export fertig ist, ist die Arbeit nicht fertig. Framoon fängt noch einmal von vorne an — aber diesmal mit der exportierten Datei, nicht mit dem Plan.

This is what separates Framoon from a cutting script. When the export is done, the work is not done. Framoon starts over — but this time from the exported file, not from the plan.

Der Unterschied ist entscheidend: Der Plan sagt, was passieren sollte. Die exportierte Datei zeigt, was passiert ist. Nur die zweite Quelle kann den ersten widerlegen.

The distinction is the whole point: the plan says what should have happened. The exported file shows what did. Only the second source can contradict the first.

Die Tore

The gates

• Format — 1080 × 1920, richtiger Codec, plausible Dauer.
• Format — 1080 × 1920, right codec, plausible duration.
• Lautheit — LUFS und True Peak, gemessen an der fertigen Datei.
• Loudness — LUFS and true peak, measured on the finished file.
• Augenlinie — steht das Gesicht im Rahmen? Gemessen an mehreren Frames, nicht an einem.
• Eye line — is the face in frame? Measured across several frames, not one.
• Hook und Endcard — sind die Karten wirklich sichtbar? Geprüft wird die Kantendichte im Textbereich gegen den Rest des Bildes, nicht ob der Befehl abgeschickt wurde. Bei der Endcard zusätzlich, ob das Bild dort wirklich stillsteht.
• Hook and end card — are the cards actually visible? What's measured is edge density in the text area against the rest of the frame, not whether the command was issued. For the end card, also whether the picture really holds still.
• Angeschnittene Wörter — ein Wort in den ersten oder letzten 1,5 Sekunden mit Whisper-Konfidenz unter 0,5 gilt als abgeschnitten.
• Clipped words — a word in the first or last 1.5 seconds with Whisper confidence below 0.5 counts as cut off.
• Nähte — Klick-Geräusche im Ton, harte Histogramm-Sprünge im Bild, und ob mitten im Wort geschnitten wurde. Letzteres über eine neue Transkription des Exports.
• Seams — audible clicks, hard histogram jumps in the picture, and whether a cut landed mid-word. The last one via a fresh transcription of the export.
• Kontext — wurde an jeder Naht wirklich der Zusammenhang benutzt, oder nur ein Satz herausgerissen?
• Context — was the surrounding meaning actually used at each seam, or was a sentence just ripped out?
• Privacy-Sichtung — wenn Gesichter unkenntlich gemacht werden sollten, wird nachgemessen, ob die Unkenntlichmachung im fertigen Bild auch wirklich greift, Fenster für Fenster.
• Privacy sweep — if faces were meant to be obscured, the finished picture is re-measured to confirm the masking actually took, window by window.

Der wichtigste Satz: „ungeprüft“ heißt nicht „in Ordnung“

The sentence that matters most: "unchecked" does not mean "fine"

Eine Prüfung, die sich selbst abschalten kann, ohne dass es jemand merkt, ist keine Prüfung. Genau das ist der häufigste Fehler in automatischen Systemen: eine Stufe läuft nicht — und meldet trotzdem „bestanden“, weil sie nichts gefunden hat.

A check that can switch itself off without anyone noticing isn't a check. That's the most common failure in automated systems: a stage doesn't run — and still reports "passed", because it found nothing.

Framoon behandelt das als eigenen Befund. Jede Prüfung, die nicht laufen konnte, wird mit Grund und Folge protokolliert. Auch Frames, die niemand angesehen hat, werden gezählt und gemeldet.

Framoon treats that as a finding in its own right. Every check that couldn't run is logged with its reason and its consequence. Frames nobody looked at are counted and reported too.

Meldungen wie „ungeprüft“ oder „unvollständig geprüft“ sind also bewusst so — nicht kaputt.

So messages like "unchecked" or "partially checked" are deliberate — not a bug.

Was du vorgibst — die Regeln

What you set — the rules

Die Schlüssel — alle optional, alle gratis

The keys — all optional, all free

Framoon läuft ohne jeden dieser Schlüssel. Jeder schaltet genau eine Zusatzfunktion frei.

Framoon runs without any of these. Each one unlocks exactly one extra capability.

• GEMINI_API_KEY — Bildanalyse in der Cloud, schärfer als das lokale Modell. Standardmäßig aus. Schaltest du sie ein, gehen einzelne Standbilder an Google — Framoon sagt das ausdrücklich, bevor es passiert. Ohne den Schlüssel übernimmt das lokale Vision-Modell.
• GEMINI_API_KEY — cloud image analysis, sharper than the local model. Off by default. Turn it on and individual still frames go to Google — Framoon says so explicitly before it happens. Without the key the local vision model handles it.
• HF_TOKEN — Sprechertrennung bei mehreren Personen. Ohne ihn: Einzelperson-Betrieb.
• HF_TOKEN — speaker separation for multiple people. Without it: single-speaker operation.
• PIXABAY_API_KEY — B-Roll und Stockmaterial. Ohne ihn: kein automatisches Zusatzmaterial.
• PIXABAY_API_KEY — B-roll and stock footage. Without it: no automatic extra material.

Was nicht passiert

What does not happen

• Keine Videodatei wird hochgeladen. Nicht zu Anthropic, nicht zu Google, nirgendwohin. Stufen 1, 2, 4 und 5 laufen komplett auf deinem Rechner.
• No video file is uploaded. Not to Anthropic, not to Google, nowhere. Stages 1, 2, 4 and 5 run entirely on your machine.
• Kein Filter über dein Bild — außer du willst einen.
• No filter over your picture — unless you want one.
• Keine erfundenen Zahlen in Einblendungen. Was nicht gesagt wurde, wird nicht eingeblendet.
• No invented numbers in overlays. What wasn't said doesn't get shown.
• Kein stilles „passt schon“. Was nicht geprüft werden konnte, wird als ungeprüft gemeldet.
• No quiet "looks fine". What couldn't be checked is reported as unchecked.