LongRoPE方法首次将LLM的窗口扩展到了2048k个token，只是简单微调的情况下，就能实现与短上下文窗口相近的性能！大型语言模型（LLM）往往会追求更长的「上下文窗口」，但由于微调成本高、长文...

如何复盘大模型技术爆发的这一年？除了直观的感受，你还需要一份系统的总结。今天，斯坦福 HAI 研究所发布了第七个年度的 AI Index 报告，这是关于人工智能行业现状的最全面的报告之一。打开网...

徒手用 1000 行 C 语言实现，不依赖庞大的外部库，Mac 即可运行。如今这年头，徒手写神经网络代码已经不算事儿了，现在流行手搓大模型训练代码了！这不，今天，特斯拉前 AI 总监、OpenAI 创始团...

 在英伟达统治AI时代硬件的当下，谷歌的TPU却开辟了另一条道路。今天，小编带你了解第一块TPU的前世今生，同时揭开TPU架构的神秘面纱。在计算的历史上，曾被丢弃或过时的想法仍然很有趣，有时...

去年重返OpenAI的联合创始人Andrej Karpathy，今天正式官宣离职！他刚刚发文称，未来将开启个人新项目，希望碰撞出新的火花。就在刚刚，OpenAI联创Karpathy突然官宣离职！ 大家好，没错，我昨...

刚刚，Keras 3.0正式发布！经过5个月的公开Beta测试，深度学习框架Keras 3.0终于面向所有开发者推出。全新的Keras 3对Keras代码库进行了完全重写，可以在JAX、TensorFlow和PyTorch上运行，能够...

摘要以大模型之名，重新定义手机操作系统。作者 | 北方编辑 | 靖宇2020 年，彼时智能手机刚刚进入 5G 普及阶段，手机的硬件与软件都迎来了一次迭代浪潮——新形态的需求对操作系统的设计与交互...

中国网讯 纽约时间2023年10月26日中午12:30，联合国秘书长安东尼奥·古特雷斯正式宣布联合国高级别人工智能咨询机构(High Level Advisory Body on AI)。古特雷斯的发言通过联合国的官方流媒体视...

近日，智源社区邀请到了现任OpenAI科学家Jason Wei，谈了谈他做研究的点点滴滴，以及在谷歌和OpenAI的工作经历。在大模型的研发道路上，思维链、指令微调和智能涌现等关键思想备受关注。正是思...

在当今的 AI 时代，自主智能体被认为是通向通用人工智能（AGI）的一条有前途的道路。所谓自主智能体，即能够通过自主规划和指令来完成任务。在早期的开发范式中，决定智能体行动的策略功能是以...