Microsoft släpper DeepSpeed-FastGen för High-Throughput Text Generation

Microsoft har tillkännagivit alfa-releasen av DeepSpeed-FastGen, ett system utformat för att förbättra distributionen och serveringen av stora språkmodeller (LLM). DeepSpeed-FastGen är den synergistiska sammansättningen av DeepSpeed-MII och DeepSpeed-Inference. DeepSpeed-FastGen är baserad på Dynamic SplitFuse-tekniken. Systemet stöder för närvarande flera modellarkitekturer.

source

Leave a Reply

Din e-postadress kommer inte publiceras. Obligatoriska fält är märkta *