LongRoPE方法首次将LLM的窗口扩展到了2048k个token，只是简单微调的情况下，就能实现与短上下文窗口相近的性能！大型语言模型（LLM）往往会追求更长的「上下文窗口」，但由于微调成本高、长文...

 今天，超过50家科技大厂名校和机构，共同成立了全新的人工智能联盟。以开源为旗号，誓于OpenAI和英伟达一决高下。今天，由Meta和IBM牵头，总计50余家科技公司、高校和机构共同成立了——AI联...

 最近，清华和微软的研究人员提出了一种全新的方法，能在保证输出质量不变的前提下，将提示词压缩到原始长度的20%！在自然语言处理中，有很多信息其实是重复的。如果能将提示词进行有效地压缩...

 不以开放性著称的苹果居然同时开源了大模型的权重、训练和评估框架，涵盖训练日志、多个保存点和预训练设置。同时升级计算机视觉工具包 CVNets 为 CoreNet！支持 OpenELM！ ▲图1.由Stable D...