Czy jedna stacja AI wystarczy dla 50 osób?

Tak, jeśli model dobierzesz do szczytu równoległych zapytań, a nie do liczby pracowników. Jedna stacja robocza z jednym dużym GPU wystarczy, żeby obsłużyć prywatnego asystenta w firmie na 50 osób, jeśli jego zadania to pytania do dokumentów, streszczenia i szkice odpowiedzi. Ta stacja nie udźwignie największych otwartych modeli z długim kontekstem dla wszystkich naraz i nie zastąpi klastra do trenowania.
O tym, co trafia do indeksu, piszę w poradniku Co należy do bazy wiedzy prywatnego AI, a o porządkowaniu dokumentów przed indeksowaniem w Przygotowaniu dokumentów pod prywatne AI.
Co decyduje o odpowiedzi
O tym, czy jedna maszyna wystarczy, decydują trzy liczby: wagi modelu, pamięć potrzebna każdej otwartej rozmowie i liczba zapytań, które przychodzą w tej samej chwili.
Wagi to prosta arytmetyka. Model zapisany w 16 bitach potrzebuje około 2 bajtów na parametr, w 8 bitach około 1 bajta, w 4 bitach nieco ponad pół bajta. Model o 8 miliardach parametrów zmieści się w 4 bitach w mniej więcej 5 GB. Model 32B potrzebuje około 20 GB. Model 70B zajmuje około 40 GB, zanim ktokolwiek zada pytanie.
Każda aktywna rozmowa trzyma dodatkowo pamięć podręczną klucz-wartość (KV cache), która rośnie z długością kontekstu. Długi dokument wklejony do czatu zajmuje pamięć przez cały czas trwania zapytania. Silniki do serwowania modeli, takie jak vLLM, przydzielają tę pamięć małymi blokami (PagedAttention) i łączą zapytania w paczki, dlatego jedno GPU obsługuje kilka osób jednocześnie, a nie po kolei.
Liczba pracowników to zła miara. Pięćdziesiąt osób rzadko naciska Enter w tej samej sekundzie. Do planowania liczy się szczytowa liczba zapytań wykonywanych równolegle, a w większości biur to kilka, nie pięćdziesiąt.
Krok po kroku
-
Wypisz prawdziwe zadania. Zapisz, co ludzie faktycznie będą robić przez pierwsze trzy miesiące: pytania do procedur i umów, streszczenia spotkań lub zgłoszeń, szkice maili, może transkrypcje. Każde zadanie ma typową długość wejścia. Pytanie z pięcioma znalezionymi fragmentami jest krótkie. Streszczenie 60-stronicowej specyfikacji przetargowej jest długie.
-
Zmierz szczyt równoległych zapytań. Uruchom pilotaż dla 5 do 10 osób na dwa tygodnie albo przejrzyj logi narzędzia, którego już używasz. Policz zapytania na minutę w najbardziej obciążonej godzinie i czas trwania każdego z nich. Przelicz na 50 osób. Do doboru sprzętu trafia ta liczba, nie 50.
-
Wybierz najmniejszy model, który przechodzi Twój zestaw testowy. Spisz 30 do 50 prawdziwych pytań ze znanymi odpowiedziami z Twoich dokumentów. Zacznij od małego modelu, potem sprawdź średni. Przy dobrym wyszukiwaniu dobrze dobrany model w przedziale 8B do 32B często odpowiada na pytania do dokumentów tak samo dobrze jak dużo większy. Sięgnij po większy model dopiero wtedy, gdy odpowiedzi zawodzą, a nie dlatego, że tak mówi ranking.
-
Policz pamięć dla szczytu. Dodaj wagi w wybranej precyzji, pamięć podręczną dla szczytowej liczby rozmów przy typowej długości kontekstu, model embeddingów do wyszukiwania i zapas. W przybliżeniu: karta 24 do 32 GB wygodnie obsłuży modele do około 14B albo model 32B w 4 bitach przy krótkim kontekście i kilku użytkownikach. Karta 48 GB zmieści model klasy 32B z miejscem na kontekst i kilka równoległych zapytań. Modele klasy 70B w 4 bitach potrzebują około 96 GB, na jednej dużej karcie albo na dwóch.
-
Uruchom model silnikiem zbudowanym dla wielu użytkowników. Narzędzia takie jak Ollama dobrze sprawdzają się w pilotażu na jednym biurku. Dla zespołu użyj serwera, który łączy zapytania w paczki, na przykład vLLM, za Twoim własnym logowaniem i rejestrowaniem zapytań. Model embeddingów i bazę wektorową uruchom na tej samej maszynie. Przy modelu językowym zajmują mało.
-
Zrób test obciążenia przed zakupem albo przed ogłoszeniem. Odtwórz pytania z pilotażu przy zmierzonym szczycie, potem przy dwukrotności szczytu. Obserwuj czas do pierwszego tokenu i liczbę tokenów na sekundę na użytkownika. Jeśli pierwsze słowo w szczycie pojawia się po kilku sekundach, ludzie przestaną z tego korzystać. Napraw to mniejszym modelem, krótszym kontekstem albo większą pamięcią GPU, w tej kolejności.
-
Zaplanuj wszystko wokół GPU. Daj maszynie dość pamięci RAM, żeby modele ładowały się bez swapu. Dołóż szybki dysk NVMe na modele i indeks, UPS, kopie zapasowe indeksu i konfiguracji oraz monitoring pamięci GPU i długości kolejki. Zdecyduj, co się dzieje, gdy maszyna stoi w serwisie: kolejka, druga maszyna albo model w chmurze do niewrażliwych zadań.
Przykład poglądowy
Firma inżynierska zatrudniająca 50 osób chce odpowiedzi z procedur, dawnych ofert i notatek projektowych oraz pomocy przy szkicach maili. Dwutygodniowy pilotaż z ośmioma osobami pokazuje najbardziej obciążoną godzinę z około 40 zapytaniami, z czego najwyżej cztery trwają jednocześnie. Większość promptów to pytanie ze znalezionymi fragmentami, poniżej 8000 tokenów.
Model 70B wymagałby dwóch kart i nadal byłby wolny w takim szczycie. Zestaw testowy pokazuje, że model 32B w 4 bitach poprawnie odpowiada na 46 z 50 pytań, tak samo jak większy model na tych dokumentach. Działa na jednej karcie 48 GB z vLLM, razem z modelem embeddingów i bazą wektorową. Przy dwukrotności zmierzonego szczytu pierwsze słowo pojawia się po około sekundzie. Streszczenia długich przetargów działają jako zadania w tle, więc nie blokują czatu.
Typowe błędy
- Dobór do liczby pracowników. Pięćdziesiąt osób to nie pięćdziesiąt równoległych zapytań. Zmierz szczyt.
- Zakup pod największy model z rankingu. Mniejszy model z czystymi dokumentami i dobrym wyszukiwaniem często wygrywa na Twoich pytaniach.
- Zapomniana pamięć kontekstu. Wagi się mieszczą, potem przychodzą jednocześnie trzy długie dokumenty i serwerowi kończy się pamięć.
- Czat z jednego biurka jako serwer. Narzędzia dla jednego użytkownika ustawiają zapytania w kolejce. Użyj silnika, który łączy je w paczki.
- Pominięty test obciążenia. Demo z jednym użytkownikiem nic nie mówi o poniedziałku o 9:00.
- Przestój bez planu awaryjnego. Jedna maszyna to jeden punkt awarii. Ustal plan awaryjny, zanim ludzie zaczną na niej polegać.
Następny krok
Wybierz jedno zadanie, uruchom dwutygodniowy pilotaż z kilkoma osobami na jednym GPU i zapisuj każde zapytanie. Te logi dadzą Ci szczytowe obciążenie, długość kontekstu i rozmiar modelu do doboru stacji roboczej dla całej firmy.
Rebels Software buduje prywatne AI na infrastrukturze, którą kontrolujesz, jako część platform i aplikacji, które dostarczamy. Na warsztacie Discovery mapujemy zadania i dokumenty, a potem sprawdzamy jeden przypadek jako PoC na Twoim sprzęcie albo wynajętym GPU, z testem obciążenia przy Twoim rzeczywistym szczycie. Po wdrożeniu Rebels Care dba o to, żeby modele, indeks i maszyna działały. Jeśli to pasuje do Twojej sytuacji, umów rozmowę na tej stronie albo zacznij od strony głównej Rebels Software.