laloop konzipiert und betreibt selbst gehostete RAG- und LLM-Systeme. Unten sehen Sie den Assistenten, der Teilnehmende von Se Liga na SKY auf WhatsApp betreut: Embeddings, Vektorsuche, Reranker und lokales Modell, jede Antwort bis zur Quelle nachvollziehbar.
Unterhaltung aus dem brasilianischen Portugiesisch übersetzt; Scores sind beispielhaft. Die Parameter entsprechen dem Produktivcode.
Der Assistent oben ist ein Fall. Vier weitere, jeweils mit Architektur, den entscheidenden Entscheidungen und dem aktuellen Stand. Die Fallstudien sind auf Englisch.
Fünf Container in einem docker-compose. Die API reiht nur ein; der Worker serialisiert den Zugriff auf die GPU. Das Wissen liegt in einem separaten Repository und wird ohne Image-Rebuild neu indexiert.
Die Vektorsuche liefert günstigen Recall; der Cross-Encoder entscheidet. Skills und Dokumente laufen auf getrennten Spuren mit eigenen Cut-offs und Schwellenwerten.
Kontextbudget 12.000 Zeichen im System-Prompt; ein längerer Skill wird auf die Hälfte gekürzt.
Verlauf letzte 4 Nachrichten pro session_id in Postgres, Ablauf nach 30 Minuten Inaktivität.
Query aktuelle Nachricht, verkettet mit der vorherigen Nachricht des Nutzers.
Ausgabe sources: [{type, name, chunk, score}] bei jeder Antwort.
Der Reranker liefert sigmoid(logit). Erkennt er weder Bezug noch Widerspruch, liegt der Logit nahe null und der Score bei etwa 0,50. Mit einem Cut-off von 0,50 kam „Was ist die Hauptstadt Brasiliens?“ mit irrelevantem Kontext durch, und das Modell erfand eine Antwort. Bei 0,55 landet die Frage im deterministischen Pfad.
Überschreitet kein Skill und kein Dokument die Schwelle, gilt grounded=False und die Antwort ist ein fester String. Das LLM wird gar nicht aufgerufen: Die Garantie hängt nicht davon ab, dass das Modell dem Prompt folgt, und themenfremde Fragen kosten keine GPU-Zeit.
„Es heißt, mein Passwort sei falsch, aber ich weiß es nicht mehr“ ist für sich allein keinem Skill ähnlich genug. Verkettet mit „Ich komme nicht ins Portal“ trifft es login-bloqueado. Ohne konversationelle Suche und ohne Query-Rewriting per LLM.
Die GPU bearbeitet eine Generierung nach der anderen. Die API antwortet sofort mit 202 und einer job_id, der Kanal pollt; der Worker arbeitet die Queue seriell ab und fährt bei SIGTERM sauber herunter. Mehr Durchsatz heißt mehr Worker auf mehr GPUs.
Der System-Prompt legt Domäne und Umfang des Programms ausdrücklich fest, damit das Modell keine fremden Bedeutungen aus Markennamen übernimmt; Fragen außerhalb des Umfangs werden klar abgelehnt statt geraten.
Skills ändern sich mit dem Betrieb, nicht mit dem Code. Sie liegen in seliga-rag-content und werden als Volume eingebunden; make ingest-skills indexiert neu, und die nächste Anfrage nutzt bereits den neuen Vektor. Beschreibungen bleiben auf Portugiesisch, weil genau sie eingebettet werden.
Das Frontmatter steuert das Retrieval; der Inhalt wird zur Anweisung für das Modell. Die description enthält die Wörter, die Teilnehmende tatsächlich tippen. Auf Portugiesisch, wie im Produktivbetrieb.
skills/antecipar-boleto/SKILL.md
# Antecipar boleto
## Quando usar
- "quero pagar antes", "adiantar o boleto"
## Procedimento
1. Pedido até 3 dias úteis antes
do vencimento, antes das 12h.
...Asynchron, authentifiziert per X-API-Key. Der Kanal blockiert nie, während er auf die GPU wartet.
POST /chat
{ : "c1f4…", : "esqueci a senha" }
202 { "job_id": "550e…", "status": "queued" }
GET /chat/status/550e…
200 {
"status": "done",
"answer": "Sem problema! Na tela…",
"sources": [
{ "type": "skill",
"name": "login-bloqueado",
"score": 0.91 }
]
}
DELETE /chat/{session_id} 204
GET /health 200| Schicht | Wahl | Warum |
|---|---|---|
| Embeddings | BAAI/bge-m3 | Mehrsprachig und stark im Portugiesischen, 1024 Dimensionen, läuft lokal über sentence-transformers. |
| Reranker | BAAI/bge-reranker-v2-m3 | Cross-Encoder aus derselben Familie; bewertet das Paar aus Frage und Passage, nicht nur die Distanz. |
| Vektoren | Postgres 16 + pgvector, HNSW | Eine Datenbank für Vektoren, Sitzungen und Metadaten. Kein zusätzlicher Dienst im Betrieb. |
| LLM | Qwen2.5 14B · Ollama | Befolgt Anweisungen deutlich besser als 4B-Modelle; OpenAI-kompatible API, ein Modellwechsel ist eine Variable. |
| Queue | Redis 7 | Serialisiert den GPU-Zugriff; Jobs laufen nach einer Stunde ab. |
| API | FastAPI + Uvicorn | Kleiner Vertrag, OpenAPI-Dokumentation unter /docs. |
| Ingestion | docling, markitdown | PDF, DOCX, PPTX und XLSX werden vor dem Chunking zu Markdown, mit Cache nach mtime. |
| Integration | MCP server (FastMCP) | Derselbe Index, abfragbar aus Claude, Cursor und anderen MCP-Clients. |
| Deploy | Docker Compose | Dasselbe Compose auf dem Mac (LM Studio) und auf dem Server; die GPU kommt über eine Override-Datei dazu. |
Ein Anreiz- und Punkteprogramm für Mitarbeitende. Fragen kommen über WhatsApp direkt an die API: Portalzugang, fehlende Punkte, Einlöseoptionen und Fristen, Prepaid-Karten, Rechnungszahlungen.
Die Skills entstanden aus echten Supportgesprächen, mit dem Ton der menschlichen Mitarbeiterin als Vorbild. Das Betriebsteam liest Berichte auf Basis der sources-Spur: welche Skills am häufigsten greifen, welche nie, wo die Ablehnungsquote hoch ist.
Was die Berichte zuerst zeigten: Zugang ist das Thema derer, die draußen stehen. Gesperrte Logins und vergessene Passwörter kommen genau von denen, die nicht hineinkommen, und daraus wurde ein neuer Skill für den Erstzugang.
Festpreisprojekte oder Einsatz nach Umfang. Vom Prototyp bis zum überwachten System im Produktivbetrieb, mit Code und Dokumentation für Ihr Team.
Schildern Sie das Problem, die Daten und wo es laufen soll. Wir antworten mit einem Vorschlag für Architektur und Umfang.
E-Mail an contato@laloop.ai