Sezer Mikail SagirBruchsal, Deutschland
Freiberuflich, mit Sitz in Deutschland. Ich prüfe Modell-Outputs in RLHF-Pipelines – mit über 3.000 strukturierten Evaluationen seit 2025 – und baue die Review-Tools und LLM-gestützte Software, auf die diese Arbeit angewiesen ist.
Verfügbar für Freelance- und Vertragsarbeit
Remote, Mitteleuropäische Zeit
Neuester Beitrag Wann man ein Modell evaluieren sollte – und wann Training es leise verschlechtert
3.000+
Strukturierte Evaluationen
Code-, Logik- und Sprachaufgaben in groß angelegten RLHF-Pipelines.
~98%
Persönliche QA-Abnahmequote
Konstant über all diese Evaluationen hinweg.
15–25%
Geringere Annotator-Fehlerquote
Nach meinem rubrik-basierten Feedback.
~20%
Bessere Bewertungskonsistenz
Teamübergreifend, nach Verfeinerung der Guidelines.
Näherungswerte aus freiberuflicher KI-Evaluationsarbeit über RWS und Volga Partners, April 2025 bis heute. Kunden- und Programmdetails unterliegen einer NDA.
Zusammengearbeitet über RWS Volga Partners Outlier Alignerr Scale AI Agents Only OneForma
Direkt beauftragt, ohne Vendor-Ebene dazwischen. Sie sprechen mit der Person, die die Arbeit tatsächlich macht.
Prüfung von Modell-Outputs gegen Ihre Rubrik – oder eine, die wir gemeinsam entwickeln. Bewertung pro Achse statt eines einzigen Mischwerts.
Basierend auf über 3.000 Evaluationen in produktiven RLHF-Programmen.
LLM-gestützte Workflows mit eingebauter Struktur und Prüfungen, damit ihr Output überprüfbar und vertrauenswürdig ist.
Siehe den TikTok Clip Analyzer und das TTS Review Tool.
Webanwendungen und interne Tools, vom Datenmodell bis zur Infrastruktur.
Siehe das Immobilienbewertungstool.
Ein kleiner, klar begrenzter Batch, um Format und Tiefe meines Feedbacks zu sehen, bevor Sie sich auf mehr festlegen.
Wöchentliches oder monatliches Review, skaliert auf Ihr Volumen, mit wiederkehrenden Musterberichten.
Die Preise hängen von Aufgabenkomplexität und Volumen ab. Beschreiben Sie mir die Aufgabe, und ich schicke Ihnen innerhalb von ein bis zwei Tagen ein Angebot.
Eine genaue Lektüre, so strukturiert, dass eine Pipeline sie nutzen kann. Fünf Schritte, immer in dieser Reihenfolge.
Metriken lenken, Menschen entscheiden. Ein automatischer Score ist ein guter Grund, genauer hinzuschauen – und ein schlechter Grund, damit aufzuhören.
Gepaarte Outputs, geprüft gegen jede explizite und implizite Vorgabe.
Ergebnis: bestanden/nicht bestanden pro Vorgabe
Bedeutung vs. Natürlichkeit, Korrektheit vs. Selbstbeschreibung – nie vermischt.
Ergebnis: eine Bewertung pro Achse
Mehrdeutigkeit wird markiert und dokumentiert, damit sie einmal geklärt wird.
Ergebnis: ein markierter Grenzfall
Wo häufen sich Fehler über den Batch hinweg, nicht nur in einem Einzelfall?
Ergebnis: ein benanntes Fehlermuster
Retraining-taugliche Notizen, Guideline-Anpassungen oder ein neues Probe-Set.
Ergebnis: Feedback, mit dem ein Team arbeiten kann
Seit April 2025 auditiere ich auf Senior-Klassifikationsniveau in groß angelegten Evaluationsprogrammen für generative KI: Ich vergleiche gepaarte Modell- und Annotator-Outputs, labele Grenzfälle und schreibe Feedback, mit dem Modellierungsteams neu trainieren können.
Mein Fokus liegt auf der Lücke zwischen „bewertet gut" und „ist tatsächlich richtig": Sprache, die korrekt, aber unnatürlich ist; Code, dessen Erklärung nicht zu seinem Verhalten passt; Anweisungen, die still fallengelassen werden. Wenn sich solche Fehler wiederholen, mache ich daraus klarere Guidelines und Probe-Sets.
Daneben baue ich Software: Review-Interfaces, LLM-gestützte Analyse-Tools und eine Bewertungs-App mit eigener AWS-Infrastruktur.
Apr 2025 – heute
Selbstständig, remote
Von Nov 2025 bis März 2026 in Vollzeit remote aus Japan gearbeitet, während einer Phase der Japanisch-Immersion.
Jul – Okt 2025
CyberForum e.V., Karlsruhe
Vieles davon ist aus meiner eigenen Evaluationsarbeit entstanden: Wo ein Workflow Reviewer ausbremste oder Urteile driften ließ, habe ich etwas darum herum gebaut.
Eine tastaturgesteuerte Single-Page-Oberfläche für A/B-Evaluation von Text-to-Speech, entwickelt aus den Anforderungen meiner eigenen TTS-Review-Arbeit.
Die öffentliche Demo ist NDA-bereinigt: Platzhaltertext, kein Audio, keine Kundendaten.
CMOS, A vs. BTasten 1–5
Keymapaus der README
Schema des Review-Loops. Die echte Oberfläche gibt's in der Live-Demo.
Immobilienbewertung für die Region Karlsruhe/Bruchsal mit 10-Jahres-Prognose.
Findet clip-würdige Abschnitte in langen YouTube-Videos und erklärt jede Auswahl.
Sechs wiederkehrende Fehlermuster und zwei durchgearbeitete Reviews – eine deutsche HR-Übersetzung und eine Python-Komplexitätsaussage – Zeile für Zeile im Format meiner echten Kundenarbeit.
Wann sich menschliche Evaluation lohnt, was mehr Daten wirklich bringen, Model Collapse, und wie man ein Anker-Set bewahrt, das der Loop nicht korrumpieren kann.
Calques, die eine Bedeutungsprüfung überstehen, unbelegte Code-Aussagen, verschwindende negative Vorgaben und erfundene Details in belegten Zusammenfassungen.
Wenn Ihre Pipeline jemanden braucht, der Outputs genau liest, oder ein Tool, das um diese Arbeit herum gebaut ist, würde ich gerne davon hören.
Lieber telefonieren? Nennen Sie ein paar Zeiten, die für Sie passen, und ich schicke Ihnen einen Terminlink.
Ein paar Zeilen zu Projekt, Umfang und Zeitrahmen reichen.