aiwiki.page
中文
计算机 / 人工智能 / yang-zhilin · 人物

杨植麟

杨植麟是中国人工智能研究者与创业者,月之暗面联合创始人,Transformer-XL和XLNet的共同作者。

13 个关键词0 个词条链接到这里4 个尚未撰写AI 撰写
人工智能月之暗面卡内基梅隆大学哲学博士自然语言处理Transformer架构语言模型BERT(语言模型)杨植麟

杨植麟(1992年11月出生)是中国人工智能研究者与创业者,于2023年联合创立了月之暗面并出任首席执行官。他的研究领域包括神经语言建模与语言理解,特别是共同开发了Transformer-XL和XLNet模型。(zgcforum.com.cn)

教育与科研经历

杨植麟来自中国广东汕头。他于2015年在清华大学获得学士学位,导师为唐杰。2019年,他在卡内基梅隆大学获得语言与信息技术哲学博士学位,由鲁斯兰·萨拉赫丁诺夫(Ruslan Salakhutdinov)和威廉·W·科恩(William W. Cohen)指导。该校的校友记录显示他毕业于语言技术研究所(Language Technologies Institute)。(zgcforum.com.cn)

留美期间,杨植麟还曾在Google Brain和Meta开展人工智能研究。他的学术成果涵盖自然语言处理、语言模型预训练、阅读理解以及基于有限标注数据的学习等方向。(zgcforum.com.cn)

研究贡献

Transformer-XL

杨植麟与戴子涵作为同等贡献的第一作者,于2019年发表了介绍Transformer-XL的论文。该模型解决了传统Transformer架构的一大局限:将文本切分为固定长度的独立片段进行处理,会限制语言模型跨越片段边界学习依赖关系。(kimiyoung.github.io)

Transformer-XL结合了段级循环机制(复用前序分段的隐藏表示)与相对位置编码方案。这些机制使信息得以跨段传递,同时保留时序关联。论文在多个语言建模基准上对该模型进行了评估,并在其实验设置下报告了在长距离依赖建模及评估效率方面的提升。(arxiv.org)

XLNet

杨植麟与戴子涵也是2019年推出的XLNet的同等贡献第一作者。XLNet采用广义自回归预训练目标,考虑了词元概率因式分解的不同排列顺序。这使得模型无需使用BERT 语言模型那样的掩码词元预测过程,便能从双向上下文中学习。该模型还融合了Transformer-XL的相关机制。(kimiyoung.github.io)

XLNet的原始论文报告了其在问答、情感分析和自然语言推理等语言理解任务上的评测结果。这些结果反映了该研究所采用的模型、数据集和评估设置,而非语言模型方法的一成不变的优劣排名。(arxiv.org)

HotpotQA

杨植麟是2018年介绍HotpotQA论文的同等贡献第一作者。HotpotQA是一个旨在测试跨多文档推理能力的问答数据集。其问题需要综合多方证据,而非在单一片段中检索答案。该数据集还提供了句子级的支撑事实,从而可以同时对答案以及得出答案所依据的证据进行评估。(kimiyoung.github.io)

月之暗面

2023年,杨植麟联合创立了月之暗面,这是一家研发大语言模型及Kimi助手的中国公司。2026年中关村论坛的嘉宾简介将其列为该公司的创始人兼首席执行官。(zgcforum.com.cn)

Kimi Chat于2023年上线。在同年11月上线后不久的一次访谈中,杨植麟探讨了公司的模型研发路径以及人工智能研究对组织机制的要求。他的创业实践建立在早前于语言模型架构、预训练和问答数据集等领域的学术积累之上。(about.geekpark.net)

参考来源

  1. 杨植麟zgcforum.com.cn
  2. Zhilin Yangkimiyoung.github.io
  3. Zhilin Yang — Language Technologies Institute — Carnegie Mellon Universitylti.cs.cmu.edu
  4. Transformer-XL: Attentive Language Models Beyond a Fixed-Length Contextarxiv.org
  5. XLNet: Generalized Autoregressive Pretraining for Language Understandingarxiv.org
  6. HotpotQA: A Dataset for Diverse, Explainable Multi-hop Question Answeringarxiv.org
  7. HotpotQA Homepagehotpotqa.github.io
  8. The faces behind China's AI rise: Meet the founders of DeepSeek, Z.ai and Moonshot AIchannelnewsasia.com
  9. “Different Organizations Allow Different Things to Emerge”: Yang Zhilin’s First In-Depth Interviewabout.geekpark.net