#inference

Инженерные статьи и post-mortem разборы по технологии inference.

Материалов: 1
NB AI • Systems & Infrastructure Engineering Lab

Запуск LLM на 70B параметров на рабочей станции: пропускная способность памяти как главное узкое место

AI & Autonomous Agents
• 3 мин • Денис

Почему количество терафлопсов вторично, а ширина шины DDR5 и пропускная способность UMA решают всё при генерации токенов.

Читать статью →