# Czy jedna stacja AI wystarczy dla 50 osób?

> Tak, jeśli model dobierzesz do szczytu równoległych zapytań, a nie do liczby pracowników. Sprawdź pamięć GPU i zrób test obciążenia przed zakupem.

- Adres: https://www.rebels.software/pl/guide/jedna-stacja-ai-dla-50-osob
- Opublikowano: 2026-11-12
- Autor: Bart Szczepański
- Tagi: Prywatne AI, Sprzęt, Lokalny LLM

Tak, jeśli model dobierzesz do szczytu równoległych zapytań, a nie do liczby pracowników. Jedna stacja robocza z jednym dużym GPU wystarczy, żeby obsłużyć prywatnego asystenta w firmie na 50 osób, jeśli jego zadania to pytania do dokumentów, streszczenia i szkice odpowiedzi. Ta stacja nie udźwignie największych otwartych modeli z długim kontekstem dla wszystkich naraz i nie zastąpi klastra do trenowania.

O tym, co trafia do indeksu, piszę w poradniku [Co należy do bazy wiedzy prywatnego AI](/pl/guide/co-nalezy-do-bazy-wiedzy-prywatnego-ai), a o porządkowaniu dokumentów przed indeksowaniem w [Przygotowaniu dokumentów pod prywatne AI](/pl/guide/przygotowanie-dokumentow-pod-prywatne-ai).

## Co decyduje o odpowiedzi

O tym, czy jedna maszyna wystarczy, decydują trzy liczby: wagi modelu, pamięć potrzebna każdej otwartej rozmowie i liczba zapytań, które przychodzą w tej samej chwili.

Wagi to prosta arytmetyka. Model zapisany w 16 bitach potrzebuje około 2 bajtów na parametr, w 8 bitach około 1 bajta, w 4 bitach nieco ponad pół bajta. Model o 8 miliardach parametrów zmieści się w 4 bitach w mniej więcej 5 GB. Model 32B potrzebuje około 20 GB. Model 70B zajmuje około 40 GB, zanim ktokolwiek zada pytanie.

Każda aktywna rozmowa trzyma dodatkowo pamięć podręczną klucz-wartość (KV cache), która rośnie z długością kontekstu. Długi dokument wklejony do czatu zajmuje pamięć przez cały czas trwania zapytania. Silniki do serwowania modeli, takie jak [vLLM](https://docs.vllm.ai/), przydzielają tę pamięć małymi blokami ([PagedAttention](https://blog.vllm.ai/2023/06/20/vllm.html)) i łączą zapytania w paczki, dlatego jedno GPU obsługuje kilka osób jednocześnie, a nie po kolei.

Liczba pracowników to zła miara. Pięćdziesiąt osób rzadko naciska Enter w tej samej sekundzie. Do planowania liczy się szczytowa liczba zapytań wykonywanych równolegle, a w większości biur to kilka, nie pięćdziesiąt.

## Krok po kroku

1. **Wypisz prawdziwe zadania.** Zapisz, co ludzie faktycznie będą robić przez pierwsze trzy miesiące: pytania do procedur i umów, streszczenia spotkań lub zgłoszeń, szkice maili, może transkrypcje. Każde zadanie ma typową długość wejścia. Pytanie z pięcioma znalezionymi fragmentami jest krótkie. Streszczenie 60-stronicowej specyfikacji przetargowej jest długie.

2. **Zmierz szczyt równoległych zapytań.** Uruchom pilotaż dla 5 do 10 osób na dwa tygodnie albo przejrzyj logi narzędzia, którego już używasz. Policz zapytania na minutę w najbardziej obciążonej godzinie i czas trwania każdego z nich. Przelicz na 50 osób. Do doboru sprzętu trafia ta liczba, nie 50.

3. **Wybierz najmniejszy model, który przechodzi Twój zestaw testowy.** Spisz 30 do 50 prawdziwych pytań ze znanymi odpowiedziami z Twoich dokumentów. Zacznij od małego modelu, potem sprawdź średni. Przy dobrym wyszukiwaniu dobrze dobrany model w przedziale 8B do 32B często odpowiada na pytania do dokumentów tak samo dobrze jak dużo większy. Sięgnij po większy model dopiero wtedy, gdy odpowiedzi zawodzą, a nie dlatego, że tak mówi ranking.

4. **Policz pamięć dla szczytu.** Dodaj wagi w wybranej precyzji, pamięć podręczną dla szczytowej liczby rozmów przy typowej długości kontekstu, model embeddingów do wyszukiwania i zapas. W przybliżeniu: karta 24 do 32 GB wygodnie obsłuży modele do około 14B albo model 32B w 4 bitach przy krótkim kontekście i kilku użytkownikach. Karta 48 GB zmieści model klasy 32B z miejscem na kontekst i kilka równoległych zapytań. Modele klasy 70B w 4 bitach potrzebują około 96 GB, na jednej dużej karcie albo na dwóch.

5. **Uruchom model silnikiem zbudowanym dla wielu użytkowników.** Narzędzia takie jak Ollama dobrze sprawdzają się w pilotażu na jednym biurku. Dla zespołu użyj serwera, który łączy zapytania w paczki, na przykład vLLM, za Twoim własnym logowaniem i rejestrowaniem zapytań. Model embeddingów i bazę wektorową uruchom na tej samej maszynie. Przy modelu językowym zajmują mało.

6. **Zrób test obciążenia przed zakupem albo przed ogłoszeniem.** Odtwórz pytania z pilotażu przy zmierzonym szczycie, potem przy dwukrotności szczytu. Obserwuj czas do pierwszego tokenu i liczbę tokenów na sekundę na użytkownika. Jeśli pierwsze słowo w szczycie pojawia się po kilku sekundach, ludzie przestaną z tego korzystać. Napraw to mniejszym modelem, krótszym kontekstem albo większą pamięcią GPU, w tej kolejności.

7. **Zaplanuj wszystko wokół GPU.** Daj maszynie dość pamięci RAM, żeby modele ładowały się bez swapu. Dołóż szybki dysk NVMe na modele i indeks, UPS, kopie zapasowe indeksu i konfiguracji oraz monitoring pamięci GPU i długości kolejki. Zdecyduj, co się dzieje, gdy maszyna stoi w serwisie: kolejka, druga maszyna albo model w chmurze do niewrażliwych zadań.

## Przykład poglądowy

Firma inżynierska zatrudniająca 50 osób chce odpowiedzi z procedur, dawnych ofert i notatek projektowych oraz pomocy przy szkicach maili. Dwutygodniowy pilotaż z ośmioma osobami pokazuje najbardziej obciążoną godzinę z około 40 zapytaniami, z czego najwyżej cztery trwają jednocześnie. Większość promptów to pytanie ze znalezionymi fragmentami, poniżej 8000 tokenów.

Model 70B wymagałby dwóch kart i nadal byłby wolny w takim szczycie. Zestaw testowy pokazuje, że model 32B w 4 bitach poprawnie odpowiada na 46 z 50 pytań, tak samo jak większy model na tych dokumentach. Działa na jednej karcie 48 GB z vLLM, razem z modelem embeddingów i bazą wektorową. Przy dwukrotności zmierzonego szczytu pierwsze słowo pojawia się po około sekundzie. Streszczenia długich przetargów działają jako zadania w tle, więc nie blokują czatu.

## Typowe błędy

- **Dobór do liczby pracowników.** Pięćdziesiąt osób to nie pięćdziesiąt równoległych zapytań. Zmierz szczyt.
- **Zakup pod największy model z rankingu.** Mniejszy model z czystymi dokumentami i dobrym wyszukiwaniem często wygrywa na Twoich pytaniach.
- **Zapomniana pamięć kontekstu.** Wagi się mieszczą, potem przychodzą jednocześnie trzy długie dokumenty i serwerowi kończy się pamięć.
- **Czat z jednego biurka jako serwer.** Narzędzia dla jednego użytkownika ustawiają zapytania w kolejce. Użyj silnika, który łączy je w paczki.
- **Pominięty test obciążenia.** Demo z jednym użytkownikiem nic nie mówi o poniedziałku o 9:00.
- **Przestój bez planu awaryjnego.** Jedna maszyna to jeden punkt awarii. Ustal plan awaryjny, zanim ludzie zaczną na niej polegać.

## Następny krok

Wybierz jedno zadanie, uruchom dwutygodniowy pilotaż z kilkoma osobami na jednym GPU i zapisuj każde zapytanie. Te logi dadzą Ci szczytowe obciążenie, długość kontekstu i rozmiar modelu do doboru stacji roboczej dla całej firmy.

Rebels Software buduje prywatne AI na infrastrukturze, którą kontrolujesz, jako część platform i aplikacji, które dostarczamy. Na warsztacie Discovery mapujemy zadania i dokumenty, a potem sprawdzamy jeden przypadek jako PoC na Twoim sprzęcie albo wynajętym GPU, z testem obciążenia przy Twoim rzeczywistym szczycie. Po wdrożeniu Rebels Care dba o to, żeby modele, indeks i maszyna działały. Jeśli to pasuje do Twojej sytuacji, umów rozmowę na tej stronie albo zacznij od [strony głównej Rebels Software](/pl).

Zaczynamy od Twojego największego problemu i danych, które za nim stoją. [Umów bezpłatną rozmowę](https://calendly.com/bartlomiej-jacyno/pierwsza-rozmowa)
