说几个个人比较感兴趣的。一、LLMs & RLHF最值得关注的肯定是LLMs，OpenAI去年11月份发布的ChatGPT引爆人工智能领域，直接导致AI大模型在2023年一整年都是AI领域、甚至整个科研领域最火的概念之一。1、GPT-4(vision)GPT-4技术报告GPT-4v技术报告GPT-4 是OpenAI今年3月份发布的最强的大语言模型，相比于GPT-3.5，它是多模态模型（接受图像和文本输入，输出文本），在各种专业和学术benchmark测试中表现出与人类相当的能力。例如，它通过了模拟律师资格考试，成绩在考生中的前 10% 左右；相比之下，GPT-3.5 的成绩在最低 10% 左右。
RLHF以GPT-3.5/4系列为代表的大模型的成功离不开RLHF（基于人类反馈的增强学习），人类对语言模型在特定输入下的输出进行评级，利用这些评级来学习一个基于人类偏好的奖励模型，然后使用这个模型作为奖励信号，通过强化学习（RL）对语言模型进行微调。RLHF 是LLMs成功的核心，特别是那些为chatbot设计的模型。但是RLHF也不是万金油，它需要雇用人类来评估和反馈模型输，使得它成本高昂，小公司玩不动，并且可能存在偏见。这篇综述文章，总结了RLHF的局限和挑战。Open Problems and Fundamental Limitations of Reinforcement Learning from Human Feedback
前景展望该文提出的稀疏可重构光网络展现了可持续学习在边缘计算架构上的巨大潜力。随着硅光芯片集成技术的发展，光终身学习芯片可实现的规模将越来越大，为智能系统在边缘硬件的实际部署提供了可持续学习的光速解决方案。该光计算架构以其在功能、通量、能效上的优势，有望显著提升通用人工智能在工业制造、智慧城市、自动驾驶等关键领域的发展，使边缘智能计算系统拥有像人类一样对现实世界复杂任务的适应能力。论文信息该研究成果以“Photonic neuromorphic architecture for tens-of-task lifelong learning”为题在线发表于Nature子刊《Light：Science & Applications》，影响因子20.26。辛米尔CTO程远博士为论文的第一作者，清华大学方璐教授为论文的通讯作者。该课题得到科技部重大项目、国家自然科学基金面上项目、辛米尔预研项目等基金支持。
微信扫一扫
