2026-01-18 17:09 UTC
@____________________@shitpost.poridge.club
То есть по твоему эта штука с гуем - это полноценная альтернатива OpenAI-совместимому серверу моделей с функциональстью для их менеджмента?
Не, оно выглядит нормально для того чтобы на десктопе поднять и делать сразу всё в одном месте.
Но у меня юзкейс совсем другой. У меня модели крутятся на отдельной машине, работа с ними идёт через OoenWebUI, а также есть клиенты к API вроде ботов, которым нужно чтобы бэкенд мог скачать нужную модельку сам, если что. Этот бекенд должен уметь держать несколько моделей в памяти, ограничивать количество одновременно обрабатываемых запросов чтобы расходовать память аккуратно.
Ну и ещё, конечно, мне нужен образ с поддержкой ROCm.
Ну и да, я не понял твоего "любые модели с HF", т.к. и в Ollama притаскивал молели оттуда своими руками если было нужно 🤷
@lonelyowl@pl.kotobank.ch @pastecat@shitpost.poridge.club @iowoof@social.iowoof.com
Replies (0)
No replies.