DeepFellow Infra uruchamia modele na Twoim sprzęcie: we własnej infrastrukturze, w chmurze prywatnej lub hybrydowo. Jeśli pozwolisz, podłącza też dostawców chmurowych, więc jedna warstwa obejmuje wszystkie modele, których używa Twoja organizacja. Z Infra może się łączyć tylko Server; pracownicy nigdy nie łączą się z nią bezpośrednio.
Równoważenie obciążenia
Zainstaluj ten sam model kilka razy: na kolejnych GPU, na kolejnych maszynach albo na innych węzłach mesh. Infra decyduje, dokąd trafia każde żądanie.
- Najpierw rozgrzane. Przy wyborze instancji dla żądania pierwszeństwo mają te, w których model jest już załadowany, a kolejnym kryterium jest większa dostępna pojemność. vLLM i SGLang zgłaszają swoją rzeczywistą pojemność, wyliczoną z zarezerwowanej pamięci.
- Najpierw do pełna, potem dalej. Każda instancja przyjmuje żądania do granicy swojej pojemności, zanim następna dostanie jakiekolwiek, więc modele nie są załadowane na większej liczbie GPU, niż wymaga ruch.
- Bieżące obciążenie na wielu maszynach. Instancje na innych węzłach uznaje się za pełne przy 90% pojemności, żeby uwzględnić opóźnienie w aktualizacjach obciążenia.
- Bez odmów w szczycie. Gdy wszystkie instancje są pełne, żądanie trafia do najmniej obciążonej, zamiast kończyć się błędem. Dostawca chmurowy serwujący ten sam model przejmuje nadmiar dopiero po Twoich własnych rozgrzanych instancjach.
Mesh: wiele maszyn, jedna Infra
Połącz instancje Infra w drzewo. Server rozmawia z jednym węzłem i sięga do każdego modelu w drzewie.
- Bezpieczne dołączanie. Każdy węzeł dołącza do jednego węzła nadrzędnego kluczem mesh, a obie strony weryfikują się nawzajem. Węzeł bez ustawionego klucza mesh nie przyjmuje nikogo.
- Wszystko jest współdzielone. Modele, serwery narzędzi MCP i własne usługi każdego węzła są dostępne przez jego węzeł nadrzędny. Węzły podrzędne mogą korzystać z modeli węzłów wyżej w drzewie; możesz to wyłączyć.
- Stan na bieżąco. Obciążenie, załadowane modele i stan narzędzi rozchodzą się po mesh w chwili zmiany.
- Widoczna topologia. Panel administracyjny i API pokazują drzewo z perspektywy każdego węzła.
- Rozwój bez zmian. Dodaj serwer GPU w innej lokalizacji, Maca do mniejszych modeli albo węzeł z usługami dla dokumentów. Aplikacje zachowują ten sam adres.
