百川智能王小川：明年国内会诞生若干大模型超级应用

打开网易新闻 查看更多图片

百川智能成立于2023年4月，其核心团队由来自搜狗、Google、腾讯等知名科技公司的AI顶尖人才组成。成立以来，百川智能平均每28天发布一款大模型，半年时间发了七款模型。包括Baichuan-7B/13B等四款开源可免费商用大模型，Baichuan-53B等两款闭源大模型，在写作、文本创作等领域能力已达到行业较好水平。10月30日，百川智能发布Baichuan2-192K大模型，其上下文窗口长度高达192K，是 GPT-4（支持32K上下文窗口，实测约 2.5万字）的14倍。“得到行业的认可，创业公司和大厂内部都在用百川模型”，王小川说。

“理想上慢一步，落地上快三步”，王小川说，这就是百川做大模型的理念。在4月下场之后，百川在两个月时间就完成了第一个70亿参数的模型的发布，行业一般需要半年。

王小川说，要承认在大模型领域，还与跟美国存在差距，但今年年底之前，国内会有几家公司能够做到GPT3.5的水平。

他在发言中，也谈到在美国与OpenAI交流时了解到的情况。他说，OpenAI现在正在设计一个把1000万颗GPU连在一起做模型的技术。做GPT3.5的时候用了4000颗GPU，做GPT4时是25000颗，英伟达一年生产能力才100万颗，而OpenAI在设计把1000万个GPU连接起来，“这样一种想法像登月一样”“我对他们充满了敬畏”。

王小川认为，在做应用方面，中国企业会走得很快。基于现在已有的技术，相信中国明年有若干款超级应用。

谈到搜索与大模型的关系，他说，搜索与大模型融合才能构成完整技术栈。搜索经验可以助力大模型研发，搜索能力也能补齐大模型模板，如用搜索事实解决“幻觉”问题等。