Przejdź do treści

Backend developer · systemy oparte na LLM

Buduję systemy oparte na dużych modelach językowych.Takie, które działają na produkcji.

Od ponad piętnastu lat jestem backend developerem, a od kilku lat prowadzę projekty oparte na AI.

Obraz wygenerowany przez AI: trzy czarne obudowy komputerów ustawione jedna na drugiej, z zapalonymi diodami, na biurku przy oknie o zmierzchu.
Doświadczenie
15+ lat w backendzie
Specjalizacja
Dokumenty, asystenci, agenci
Modele
OpenAI, Anthropic, otwarte
Infrastruktura
Własny klaster, 3 węzły GPU

01 · Czym się zajmuję

Wszystkim wokół modelu, żeby system działał.

Model to zwykle najmniejszy problem. Trudniejsze jest to, co go otacza: dane wejściowe, kontrola wyników, koszty i to, czy ludzie mogą im ufać.

  • Przetwarzanie dokumentów i obrazów

    Ekstrakcja danych, klasyfikacja i uzupełnianie informacji na dużą skalę.

    Każdy wynik ma ocenę pewności, niepewne przypadki trafiają do weryfikacji, a do systemu źródłowego nic nie jest zapisywane bez potwierdzenia. Najwięcej pracy jest nie w prompcie, tylko w tym, co dzieje się przed nim i po nim: w sprawdzaniu, wykrywaniu duplikatów i w śladzie, który pokazuje, skąd wziął się dany rekord.

  • Asystenci znający firmowe dokumenty

    Asystenci, którzy odpowiadają na pytania na podstawie materiałów firmy i wskazują źródło każdej odpowiedzi.

    Pracuję z modelami OpenAI i Anthropic, a tam, gdzie dane nie mogą opuścić firmy, z otwartymi modelami uruchamianymi na własnej infrastrukturze. Więcej czasu poświęcam jakości wyszukiwania i testom odpowiedzi niż samemu interfejsowi.

  • Agenci i automatyzacje

    Cotygodniowy raport, uzgadnianie danych, przenoszenie informacji między systemami.

    Agent działa według harmonogramu, ma ustalony budżet, zapisuje, co zrobił, i daje znać, gdy coś się nie uda. Każda operacja, która coś zmienia w zewnętrznym systemie, wymaga wcześniejszego zatwierdzenia.

  • Od prototypu do produkcji

    Prototyp, który dobrze wypadł na pokazie, ale nie nadaje się jeszcze do codziennej pracy, to częsty punkt wyjścia.

    Zostawiam to, co działa, dokładam testy, monitoring i obsługę błędów, i zamieniam go w usługę, którą może utrzymywać ktoś inny.

02 · Realizacje

Kilka systemów i skala, w jakiej działają.

Każdy z nich zaprojektowałem i zbudowałem.

  • 6 500+

    pozycji cenowych z 2 100+ stron

    Odczyt danych z dokumentów

    Dwa systemy: jeden czyta gazetki promocyjne modelem wizyjnym, drugi zamienia zdjęcie etykiety w rekord wartości odżywczych. Człowiek rozstrzyga konflikty i zatwierdza zapis, a każda z 6 500+ pozycji wskazuje stronę źródłową.

    • model wizyjny
    • 2× OCR
    • akceptacja człowieka
  • 100+

    postów zaplanowanych i wyprodukowanych

    Produkcja treści dla trzech marek

    Kolejka generuje teksty, grafiki i krótkie wideo dla trzech marek, każdej z własnym stylem i etapami zatwierdzania. Renderowanie rusza dopiero po akceptacji, a oznaczenie AI jest wbudowane w proces, a nie sprawdzane na końcu.

    • 3 marki
    • etapy zatwierdzania
    • oznaczenie AI
  • 320B

    otwarty model na 3 węzłach GPU

    Własna infrastruktura AI

    Trzy węzły GPU, dwa spięte przez 200 GbE, serwują otwarty model klasy 320B za API zgodnym z OpenAI. Służy kilku wewnętrznym aplikacjom bez opłat za wywołanie, a w jedną noc potrafi odczytać ponad dwieście stron.

    • tensor parallel
    • 200 GbE
    • API zgodne z OpenAI
  • 0

    zmian w zewnętrznym systemie bez zatwierdzenia

    Agenci analityczni

    Agenci o ustalonej porze czytają dane z tego dnia i piszą raport. Każdy ma budżet tokenów i log kroków, zmiany tylko proponuje, a gdy model zawiedzie, raport i tak przychodzi z informacją, czego zabrakło.

    • budżet tokenów
    • log kroków
    • zatwierdzenie zmian

Masz system, który ma działać na produkcji?Napisz.

Napisz do mnie