唐杰教授:从千亿模型到chatGPT的一点思考

12月27日 19:00-21:00,腾讯会议:841-650-132

发布者:缪月琴发布时间:2022-12-26浏览次数:8023

讲座内容:从千亿模型到chatGPT的一点思考

讲座人:唐杰教授

讲座时间:12月27日 19:00-21:00

腾讯会议:841-650-132


摘要:

         近年超大规模预训练模型取得突飞猛进的发展,OpenAI发布大规模自然语言预训练模型GPT-3,同时近日推出了AI聊天机器人chatGPT,推理能力大大加强,能够回答非常复杂的推理问题。清华自研了GLM-130B中英双语模型,参数1300亿,算法采用自研的GLM,支持低成本、低资源使用,仅43090即可驱动,同时支持在NVIDIA、海光DCU、华为Ascend 910 神威Sunway处理器上进行训练与推理。我将介绍一下我们在研发GLM-130B过程中碰到的困难和收获,同时介绍我们对chatGPT技术点的理解,分析下一步要实现chatGPT需要走的路和面临的技术挑战。


讲座人简介:

   唐杰(ACM/IEEE Fellow),清华大学计算机系教授、系副主任,获国家杰青。研究人工智能、认知图谱、数据挖掘、社交网络和机器学习。发表论文400余篇,获ACM SIGKDD Test-of-Time Award(十年最佳论文)。主持研发了超大规模预训练模型悟道,参数规模超过1.75万亿。还研发了研究者社会网络挖掘系统AMiner,吸引全球220个国家/地区2000多万用户。担任国际期刊IEEE T. on Big DataAI OPEN主编以及WWW’23大会主席、WWW’21CIKM’16WSDM’15PC Chair。获国家科技进步二等奖、北京市专利奖一等奖、KDD杰出贡献奖。

Baidu
sogou