Type something to search...

Compression

英伟达™(NVIDIA®)如何修剪和提炼 Llama 3.1 以创建 Minitron 4B 和 8B

英伟达™(NVIDIA®)如何修剪和提炼 Llama 3.1 以创建 Minitron 4B 和 8B

新模型采用了最先进的剪枝和蒸馏技术。我最近开始了一份专注于人工智能的教育通讯,目前已有超过170,000名订阅者。TheSequence是一份不做作(意味着没有炒作,没有新闻等)的机器学习导向通讯,阅读时间为5分钟。目标是让您及时了解机器学习项目、研究论文和概念。请通过下面的链接订阅试试:我们常常被大型语言模型(LLMs)特别是那些参数数量庞大的模型的进展所震撼。然

阅读更多
大型语言模型变得更小了

大型语言模型变得更小了

这将如何改变软件初创企业的游戏规则 本文与 David Meiborg 共同撰写。 *TLDR: 大型语言模型(简称 LLMs)目前体积庞大,运行成本高,并且具有 显著的碳足迹。然而,最近在模型压缩和系统级优化方法上的进展可能会增

阅读更多