← Wszystkie projekty

nvidia-ai-orchestrator

Darmowy OP-agent na laptopie bez GPU i subskrypcji. Lokalny agent = centrum dowodzenia zespołem 25 darmowych modeli NVIDIA.

O projekcie

NVIDIA AI Orchestrator to serwer FastAPI + SSE, który zamienia lokalnego agenta (opencode) w dyrygenta zespołu 25 darmowych modeli z build.nvidia.com. Modele nie są pojedynczymi narzędziami — każdy dostaje rolę (planista, wykonawca, recenzent, ekspert od wizji), a RPM (limit wywołań/minutę) traktujesz jak budżet projektu.

Jak to działa

1. Lokalny agent widzi 25 modeli jako narzędzia w serwerze MCP.

2. SKILL.md instruuje: kiedy użyć którego modelu, jak podzielić zadanie na sprinty i jak zsynchronizować wyniki.

3. Workflow Engine uruchamia kroki równolegle (serial/parallel/conditional) i składa je w kompletny rezultat.

4. Dashboard (Alpine.js + SSE) pokazuje status zadań na żywo.

Kluczowe elementy

  • 25 aktywnych modeli (z 84 przetestowanych) — od nemotron-mini-4b (277ms) po mistral-large-675b
  • Rate limiter per model (token bucket, 40 RPM = 1.5s na krok)
  • Workflow Engine: 5 providerów (nvidia, ollama, opencode, mcp, system)
  • Baza lekcji: błędy API, wzorce kodu, rekomendacje modeli
  • Tryb sync i async: czekaj na wynik albo polluj taski

Koszt

0 zł. Zwykły laptop. Zero subskrypcji, zero karty graficznej.

Wnioski

Baza lekcji z nvidia-mcp/lessons.md: które modele NIE nadają się do JSON/kodu (nemotron-nano-9b-v2, step-3.5-flash, mistral-large, gpt-oss-20b), które są stabilne (nemotron-3-super-120b-a12b), wzorce kodu (rate limiter per-model, SSE streaming w FastAPI, async taski) i zasady architektury MVP bez Redis/PostgreSQL/Docker.