Разведка
Модельплан: Открытый контрольный план для inference AI
Организации, которые запускают открыточные модели на hardware, которые они сами sởедают, используют флоты GPU, разложенные по облакам, neoclouds и(data) центрах. Каждый флот управляет размещением модели, масштабированием реплики, предоставлением инфраструктуры, распределением веса и routeding трафика.
Help Net Security··3 мин чтения
Организации, которые запускают открыточные модели на hardware, которые они сами sởедают, используют флоты GPU, разложенные по облакам, neoclouds и(data) центрах. Каждый флот управляет размещением модели, масштабированием реплики, предоставлением инфраструктуры, распределением веса и routeding трафика. Teams построили эту координационную шапку вручную, один оператор за раз. Upbound, компания, заработавшая известность на Crossplane проекте, выпустила Modelplane, открытый контрольный план, который управляет координацией флота-wide для inference AI. Software устанавливается в пользовательском окружении... More → The post Modelplane: Open-source control plane for AI inference appeared first on Help Net Security.