【活动预告】山东省人工智能大讲堂（2023年第1期 总第25期）

报告嘉宾：

孔令鹏

报告题目：Self-Adaptive In-Context Learning for Natural Language Processing (自适应上下文学习)

报告摘要： In this talk, we will explore the latest advancements in self-adaptive In-Context Learning (ICL) for Natural Language Processing (NLP) tasks. We will discuss how the self-adaption mechanism can optimize the selection and ordering of in-context examples, maximizing the performance of pretrained language models without parameter updates. We will introduce the general select-then-rank framework and delve into new selection and ranking algorithms, including the proposed Compositional Exemplars for In-context Learning (CEIL) method, which leverages Determinantal Point Processes (DPPs) for subset selection. Through extensive evaluation on a variety of NLP tasks and datasets, we will demonstrate the potential of self-adaptive ICL in achieving significant performance improvements over common practice settings, and its ability to potentially close the gap between ICL and finetuning with more advanced algorithms. The talk will also highlight the transferability and compositionality of the CEIL method, offering insights into effective and efficient in-context learning for the future of NLP.

 在本次演讲中，我们将探讨自然语言处理（NLP）任务中自适应上下文学习（Self-Adaptive In-Context Learning）的最新进展。我们将讨论自适应机制如何优化上下文示例的选择和排序，最大限度地提高预训练语言模型在不更新参数的情况下的性能。我们将介绍一般的选择-排序框架，并深入研究新的选择和排序算法，包括所提出的用于在上下文学习的组合示例（CEIL）方法，该方法利用行列式点过程（DPPs）进行子集选择。通过对各种NLP任务和数据集的广泛评估，我们将展示自适应ICL在实现相对于常规设置的显著性能改进的潜力，以及在采用更先进的算法的情况下可能缩小ICL与微调之间差距的能力。本次演讲还将强调CEIL方法的可迁移性和组合性，为NLP未来的高效和有效的在上下文学习提供见解。

 专家简介：孔令鹏博士，现任香港大学计算机科学系助理教授。2017年从卡耐基梅隆大学（Carnegie Mellon University）计算机学院毕业获得博士学位。在加入香港大学前，曾于在Google DeepMind担任研究科学家。研究方向是自然语言处理与机器学习，包括表征学习，结构预测和生成模型。常年担任机器学习与自然语言处理会议（ICLR, NeurIPS, ICML等）的领域主席。