刚刚，GPT-4o mini版迎来“高光时刻”——登顶了lmsys大模型竞技场，和满血版并列第一，还把Claude 3.5甩在了身后。打开网易新闻 查看更多图片 不同于一般的数据集测评，大模型竞技场是用户自己...

 就在最近，国产大模型Kimi再次引爆了舆论。3月18日，月之暗面宣布其对话式AI助手产品Kimi智能助手现已支持200万字的无损上下文输入。这个差异化的“长文本处理”的免费大模型，一下子就火出了...

本文分为三个章节，深入浅出地解读大模型的技术，具体如下三个部分：1、GPT、LLaMA、ChatGLM、Falcon等大语言模型的技术细节比较在深入研究LLaMA、ChatGLM和Falcon等大语言模型时，我们不难发现...

最近一段时间，国内外的大模型行业卷的是「快速版」。5 月谷歌 I/O 大会上，新发布的 Gemini 1.5 大模型序列中出现了 Flash 版，主打轻量化和响应速度。到 7 月，OpenAI 又在 GPT-4o 的基础上推...

过去几年来，扩散模型强大的图像合成能力已经得到充分证明。研究社区现在正在攻克一个更困难的任务：视频生成。近日，OpenAI 安全系统（Safety Systems）负责人 Lilian Weng 写了一篇关于视频生...

 随着AIGC的逐渐普及，你有没有发现越来越多的人开始用大模型自制微信头像？不过，许多文生图大模型仍然存在诸多不足，例如质感不强、图像畸变等。而今，秉持着实用研发思路的腾讯混元文生图大...

 不以开放性著称的苹果居然同时开源了大模型的权重、训练和评估框架，涵盖训练日志、多个保存点和预训练设置。同时升级计算机视觉工具包 CVNets 为 CoreNet！支持 OpenELM！ ▲图1.由Stable D...

 LongRoPE方法首次将LLM的窗口扩展到了2048k个token，只是简单微调的情况下，就能实现与短上下文窗口相近的性能！大型语言模型（LLM）往往会追求更长的「上下文窗口」，但由于微调成本高、长文...

马斯克说到做到开源Grok-1，开源社区一片狂喜。但基于Grok-1做改动or商用，都还有点难题：Grok-1使用Rust+JAX构建，对于习惯Python+PyTorch+HuggingFace等主流软件生态的用户上手门槛高。打开网...

Transformers 的二次复杂度和弱长度外推限制了它们扩展到长序列的能力，虽然存在线性注意力和状态空间模型等次二次解决方案，但从以往的经验来看，它们在预训练效率和下游任务准确性方面表现不...