Jak przygotować dokumenty firmy pod prywatne AI

Jeśli podłączysz wyszukiwarkę AI do serwera plików w obecnym stanie, będzie cytować nieaktualne procedury, pominie każdą zeskanowaną umowę i pokaże ludziom pliki, których nigdy nie mieli oglądać. Dlatego najpierw zdecyduj, które źródła trafią do wyszukiwarki i kto może widzieć każde z nich. Potem je uporządkuj: usuń duplikaty i nieaktualne wersje, zamień skany na tekst i dodaj metadane, takie jak właściciel, data i grupa dostępu. Indeks zbuduj na infrastrukturze, którą kontrolujesz, z tymi samymi uprawnieniami co w systemach źródłowych, i przetestuj go na prawdziwych pytaniach, zanim ktokolwiek zacznie na nim polegać.

Dlaczego od przygotowania zależy wynik

Wyszukiwanie z prywatnym AI, zwykle budowane jako RAG (retrieval-augmented generation), znajduje w Twoich dokumentach pasujące fragmenty i pozwala modelowi językowemu odpowiedzieć na ich podstawie. Odpowiedź jest tylko tak dobra jak to, co znajdzie wyszukiwanie. Jeśli w indeksie leżą trzy wersje tej samej procedury, odpowiedź może pochodzić ze starej. Jeśli zeskanowanej umowy nikt nie zamienił na tekst, system w ogóle jej nie widzi.

Równie ważne są uprawnienia. Microsoft pisze na przykład, że Copilot pokazuje tylko te dane organizacji, do których użytkownik ma co najmniej prawo odczytu, i prosi klientów o uporządkowanie modelu uprawnień. Tak samo działa system, który budujesz u siebie: pokaże ludziom wszystko, co Twoje dyski sieciowe już dziś udostępniają zbyt szeroko. OWASP umieszcza ujawnianie informacji wrażliwych oraz słabości wektorów i embeddingów, w tym wycieki między grupami użytkowników korzystającymi z jednego indeksu, wśród największych zagrożeń dla aplikacji opartych na LLM.

Krok po kroku

Zacznij od jednego zespołu i jednego rodzaju pytań. Na przykład: „jak obsłużyć reklamację gwarancyjną dla linii produktów X”. Wypisz, gdzie leżą odpowiedzi: SharePoint albo dysk sieciowy, ERP, system zgłoszeń, wspólne skrzynki pocztowe. Resztę zostaw na kolejną rundę.
Spisz właścicieli i uprawnienia. Przy każdym źródle zanotuj, kto za nie odpowiada i które grupy mają dziś do niego dostęp. Przenieś te grupy do indeksu i filtruj wyniki według grup pytającego, zanim model cokolwiek zobaczy. Jeśli znajdziesz foldery otwarte dla wszystkich, choć nie powinny takie być, popraw to u źródła.
Wyłącz to, czego nie należy przeszukiwać. Akta pracownicze, listy płac, dane osobowe, których dany przypadek nie potrzebuje, niezatwierdzone szkice. Zasada minimalizacji danych z RODO (art. 5 ust. 1 lit. c) ogranicza przetwarzanie do tego, co niezbędne do celu. Mniej danych w indeksie to także mniej błędnych odpowiedzi.
Usuń duplikaty i oznacz wersję obowiązującą. Pogrupuj niemal identyczne pliki, zostaw aktualną zatwierdzoną wersję, a pozostałe wyklucz albo oznacz. Plik o nazwie „procedura_final_v3_NOWA.docx” mówi wprost, że dokumenty potrzebują pola ze statusem.
Zamień wszystko na czysty tekst. PDF-y i pliki Office utworzone cyfrowo przetworzysz bezpośrednio, na przykład w Apache Tika albo Docling. Docling zachowuje przy tym tabele i nagłówki. Skany wymagają najpierw OCR, na przykład w Tesseract albo OCRmyPDF. Tesseract, z którego korzysta też OCRmyPDF, ma model dla języka polskiego, ale i tak przejrzyj ręcznie próbkę wyników. Tabele, pieczątki i odręczne dopiski to miejsca, w których ekstrakcja najczęściej się sypie.
Dodaj metadane. Minimum to: źródło, właściciel, data, wersja albo status, język i grupa dostępu. Dzięki metadanym możesz filtrować („tylko obowiązujące procedury”), pokazywać źródło pod każdą odpowiedzią i usuwać z indeksu dokumenty wycofane z użycia.
Dziel dokumenty zgodnie z ich strukturą. Tnij po nagłówkach i rozdziałach zamiast co stałą liczbę znaków, nie rozbijaj tabel i zapisuj przy każdym fragmencie tytuł dokumentu oraz nazwę rozdziału, żeby każda odpowiedź mogła wskazać źródło.
Trzymaj indeks w swojej sieci. Embeddingi i model mogą działać na Twoich serwerach albo w prywatnej chmurze. Indeks wektorowy zmieścisz w PostgreSQL z rozszerzeniem pgvector, a modele uruchomisz na przykład w Ollama albo vLLM. Embeddingi traktuj jak dane wrażliwe: OWASP zwraca uwagę, że ataki odwracające embeddingi potrafią odtworzyć znaczną część informacji źródłowych.
Przetestuj na prawdziwych pytaniach. Zbierz 30-50 pytań od osób, które będą korzystać z systemu, zapisz poprawną odpowiedź i dokument, z którego pochodzi, i sprawdź, czy wyszukiwanie go znajduje. Powtarzaj ten test po każdej zmianie w potoku przetwarzania.
Zaplanuj aktualizacje. Dokumenty zmieniają się co tydzień. Ustal, jak nowe pliki trafiają do indeksu, jak znikają z niego wycofane i kto co miesiąc ponownie uruchamia pytania testowe.

Przykład poglądowy

Wyobraź sobie firmę serwisową, w której technicy dzwonią do biura z pytaniami o procedury napraw. Odpowiedzi leżą na dysku sieciowym, w DTR-ach i instrukcjach zbieranych latami, w dużej części zeskanowanych, a także w systemie zgłoszeń z opisami wcześniejszych napraw.

Rozsądna pierwsza runda obejmuje tylko dokumentację dwóch najczęściej serwisowanych rodzin urządzeń i zamknięte zgłoszenia z ostatnich dwóch lat. Zespół usuwa zdublowane instrukcje, przepuszcza skany przez OCR, oznacza każdy plik rodziną urządzeń, wersją i statusem, a zgłoszenia udostępnia do odczytu tylko grupie serwisu. Zestaw testowy to 40 pytań, które biuro słyszy najczęściej. System trafia do techników dopiero wtedy, gdy przy większości z nich znajduje właściwy dokument, a pod każdą odpowiedzią jest link do źródła.

Najczęstsze błędy

Indeksowanie całego serwera plików pierwszego dnia. Do indeksu trafiają wszystkie stare wersje i zbyt szeroko udostępnione foldery, a odpowiedziom nikt nie ufa.
Jedno konto serwisowe, które czyta wszystko. Wyszukiwanie przestaje wtedy uwzględniać, kto pyta. Filtruj według grup użytkownika.
Brak kontroli OCR. Skan zamieniony na tekstowe śmieci jest dla wyszukiwania niewidoczny i nikt tego nie zauważa, dopóki nie zabraknie odpowiedzi.
Odpowiedzi bez źródeł. Ludzie muszą móc otworzyć dokument, żeby sprawdzić odpowiedź i zaufać kolejnej.
Jednorazowy import. Bez procesu aktualizacji indeks w ciągu kilku miesięcy rozjeżdża się z Twoimi prawdziwymi dokumentami.

Następny krok

Wybierz jeden zespół i jedno powtarzające się pytanie, wypisz źródła, które na nie odpowiadają, i sprawdź, kto ma dziś do nich dostęp. Ta lista to zakres Twojego pierwszego indeksu. Kiedy wyszukiwanie działa, te same dokumenty mogą zasilić agenta AI, który na ich podstawie wykonuje pracę. W tej decyzji pomoże poradnik jak wybrać pierwszy proces dla agenta AI.

Rebels Software buduje prywatne AI działające na Twojej infrastrukturze, jako część platform i aplikacji, które tworzymy na zamówienie. Na warsztacie Discovery razem z Tobą rozpisujemy źródła i uprawnienia, potem sprawdzamy jeden przypadek jako PoC na Twoich prawdziwych dokumentach, w Twojej sieci. Po wdrożeniu Rebels Care dba o aktualność potoku i indeksu. Jeśli to pasuje do Twojej sytuacji, umów rozmowę na tej stronie albo zacznij od strony głównej Rebels Software.