Backend developer · systemy oparte na LLM
Buduję systemy oparte na dużych modelach językowych.Takie, które działają na produkcji.
Od ponad piętnastu lat jestem backend developerem, a od kilku lat prowadzę projekty oparte na AI.

- Doświadczenie
- 15+ lat w backendzie
- Specjalizacja
- Dokumenty, asystenci, agenci
- Modele
- OpenAI, Anthropic, otwarte
- Infrastruktura
- Własny klaster, 3 węzły GPU
01 · Czym się zajmuję
Wszystkim wokół modelu, żeby system działał.
Model to zwykle najmniejszy problem. Trudniejsze jest to, co go otacza: dane wejściowe, kontrola wyników, koszty i to, czy ludzie mogą im ufać.
Przetwarzanie dokumentów i obrazów
Ekstrakcja danych, klasyfikacja i uzupełnianie informacji na dużą skalę.
Każdy wynik ma ocenę pewności, niepewne przypadki trafiają do weryfikacji, a do systemu źródłowego nic nie jest zapisywane bez potwierdzenia. Najwięcej pracy jest nie w prompcie, tylko w tym, co dzieje się przed nim i po nim: w sprawdzaniu, wykrywaniu duplikatów i w śladzie, który pokazuje, skąd wziął się dany rekord.
Asystenci znający firmowe dokumenty
Asystenci, którzy odpowiadają na pytania na podstawie materiałów firmy i wskazują źródło każdej odpowiedzi.
Pracuję z modelami OpenAI i Anthropic, a tam, gdzie dane nie mogą opuścić firmy, z otwartymi modelami uruchamianymi na własnej infrastrukturze. Więcej czasu poświęcam jakości wyszukiwania i testom odpowiedzi niż samemu interfejsowi.
Agenci i automatyzacje
Cotygodniowy raport, uzgadnianie danych, przenoszenie informacji między systemami.
Agent działa według harmonogramu, ma ustalony budżet, zapisuje, co zrobił, i daje znać, gdy coś się nie uda. Każda operacja, która coś zmienia w zewnętrznym systemie, wymaga wcześniejszego zatwierdzenia.
Od prototypu do produkcji
Prototyp, który dobrze wypadł na pokazie, ale nie nadaje się jeszcze do codziennej pracy, to częsty punkt wyjścia.
Zostawiam to, co działa, dokładam testy, monitoring i obsługę błędów, i zamieniam go w usługę, którą może utrzymywać ktoś inny.
02 · Realizacje
Kilka systemów i skala, w jakiej działają.
Każdy z nich zaprojektowałem i zbudowałem.
6 500+
pozycji cenowych z 2 100+ stron
Odczyt danych z dokumentów
Dwa systemy: jeden czyta gazetki promocyjne modelem wizyjnym, drugi zamienia zdjęcie etykiety w rekord wartości odżywczych. Człowiek rozstrzyga konflikty i zatwierdza zapis, a każda z 6 500+ pozycji wskazuje stronę źródłową.
- model wizyjny
- 2× OCR
- akceptacja człowieka
100+
postów zaplanowanych i wyprodukowanych
Produkcja treści dla trzech marek
Kolejka generuje teksty, grafiki i krótkie wideo dla trzech marek, każdej z własnym stylem i etapami zatwierdzania. Renderowanie rusza dopiero po akceptacji, a oznaczenie AI jest wbudowane w proces, a nie sprawdzane na końcu.
- 3 marki
- etapy zatwierdzania
- oznaczenie AI
320B
otwarty model na 3 węzłach GPU
Własna infrastruktura AI
Trzy węzły GPU, dwa spięte przez 200 GbE, serwują otwarty model klasy 320B za API zgodnym z OpenAI. Służy kilku wewnętrznym aplikacjom bez opłat za wywołanie, a w jedną noc potrafi odczytać ponad dwieście stron.
- tensor parallel
- 200 GbE
- API zgodne z OpenAI
0
zmian w zewnętrznym systemie bez zatwierdzenia
Agenci analityczni
Agenci o ustalonej porze czytają dane z tego dnia i piszą raport. Każdy ma budżet tokenów i log kroków, zmiany tylko proponuje, a gdy model zawiedzie, raport i tak przychodzi z informacją, czego zabrakło.
- budżet tokenów
- log kroków
- zatwierdzenie zmian
03 · Notatki
Dłuższe teksty o tym, co buduję.
Modele lokalneDo wielu zadań wcale nie potrzebujesz najlepszego modeluTrzy komputery w domu, jeden otwarty model językowy uruchomiony lokalnie i sporo automatyzacji, które na nim działają. O tym, dlaczego do wielu zadań w firmie mniejszy model w zupełności wystarcza.
JakośćOsiem na dziesięć za tekst z błędemZbudowałem proces, w którym model AI pisze teksty piosenek, a potem sam je ocenia, i dostałem wysoką ocenę za tekst z błędem. O tym, co zmieniłem, żeby kontroli jakości dało się ufać.
AutomatyzacjaOsiem filmów i czterdzieści zasadZbudowałem proces, który ogląda filmy na YouTube i zapisuje z nich zasady dla moich agentów AI. Najwięcej pracy wymagało nie samo wydobycie wiedzy, tylko sprawdzenie, czy w filmie naprawdę pada to, co z niego wyciągnięto.
Po godzinach: małe gry w przeglądarce
GrodowoOsada w dolinie pełnej mgły.grodowo.pl(otwiera się w nowej karcie)
OsiedlandiaOsiedle bloków przy tramwaju.osiedlandia.pl(otwiera się w nowej karcie)
ZenogródKoszenie trawnika dla odprężenia.zenogrod.pl(otwiera się w nowej karcie)
