美利坚大学Amos Golan教授做客“亚洲计量经济学与统计学暑期学校”

信息理论建模与推论

  • 文/吕正浩 韩晓祎 图/吕正浩 (经济与管理学院)
  • 创建于 2022-07-26
  • 230

  有经管学院主办的“亚洲计量经济学与统计学暑期学校”于7月21日和23日上午邀请到美利坚大学(American University)Amos Golan教授带来题为“Information-Theoretic Modeling and Inference”的精彩课程。

  Amos Golan现任美利坚大学经济学教授、信息计量学研究中心主任、圣菲研究所(Santa Fe Institute)外聘教授和里米尼经济分析中心(RCEA)高级会士。Golan教授还是牛津大学彭布罗克学院高级研究员、美国国家科学基金会/美国统计协会/美国人口调查局(NSF/ASA/Census)高级研究员、德国马克斯-普朗克等离子体物理研究所研究员和国际统计学会推选会士。他的主要研究兴趣集中在信息计量学及其交叉学科领域,即在存在噪声和信息不充分的情况下对数据进行建模和统计推断。他的众多研究成果广泛发表在经济学、计量经济学、统计学、数学、物理学、可视化和心理学等相关期刊上。此外,Golan教授还著有经典教材《信息计量学的基础:建模、推论和不完备信息》。

  Amos Golan的课程主要分为两部分,第一部分课程通过对“三面骰子问题(Three-Sided Die Problem)”简单清晰的图形表达和数个跨学科实例对信息计量学分析框架进行简明扼要的介绍和总结。第二部分课程则主要介绍了在信息计量学的分析框架中如何引入和构建先验信息。

  在7月21日的课程中,Golan教授首先指明信息计量学的研究动机:在求解一个经济学、统计学或者其他领域的问题时(例如“根据消费行为反推消费偏好”“进行政策评估”等),如果没有足够的信息,问题的解通常不唯一。这类问题被称作 “欠决定(under-determined)”问题,Golan教授认为此类问题通常可近似对应计量经济学中的部分识别问题,且我们在现实中处理的绝大部分问题均属于此类问题。此类问题的传统分析方法是对数据施加足够多的假设,进而使得问题存在与给定信息或数据相一致的唯一解。但与此同时,由于假设过多,传统方法有可能会输出与真实解相距甚远的解。为了更合理地处理此类问题,信息计量学应运而生。信息计量学将信息论和统计推断统一于有约束优化框架,也就是说,将所有推断问题转化为有约束优化问题,并利用最少的假设作为约束条件求解最优化问题。其中“信息”这一概念由硬数据(即可观测的数据集等),软数据(包括理论,假设,公理等)和先验信息(有关原始数据的可量化信息)三部分组成。而对应的最优化目标函数通常设置为香农熵(Shannon Entropy)。综上,经典的信息计量学分析框架可以概括为以观测到的信息作为约束条件,求解最大化香农熵的有约束优化问题,最终得到最优解析解。为了更好地阐明信息计量学分析框架,Golan教授选择“三面骰子问题”作为切入点进行详细剖析,即对于一个只有 {1,2,3}三面的非公平骰子,给定多次投掷之后所得均值,如何找到该骰子三面对应的概率分布。该问题的全部解集可以用一个正三角形进行表示,在三角形中嵌入香农熵等高线,进而可用图像直观展示上述优化问题的解路径。在经典信息计量学分析框架的基础上,Golan教授还介绍了该框架的多种拓展形式,如使用Rényi熵和Cressie-Read熵来替代香农熵,允许分析框架中包含存在不确定性的理论,模型和观测值等。经过改进和拓展后的分析框架的适用范围更广,所得结论更加可信。

  在7月23日的课程中,Golan教授继续借助“三面骰子问题”作为切入点,利用图形方法详述拓展之后的信息计量学分析框架。在此基础上,进一步介绍了更多跨学科实例,包括“根据历史数据信息如何配置投资组合”和“如何在信息损失最小的情况下进行信息整合”等。关于信息计量学框架中的先验信息构建,Golan教授介绍了在信息计量学分析框架中引入先验信息的意义。随后介绍了熵差(即两个分布之间的Kullback-Leibler散度)的概念,它是衡量两个概率分布之间相似程度的测度,因此衡量了两个分布之间的信息“距离”。通过引入先验信息,可将无先验分析框架中目标的“最大熵”问题推广为目标与先验信息之间的“最小熵差”问题。由此该分析框架的适用范围更广,同时仍然可得出最优解析解。明确了先验信息的重要意义之后,Golan教授又讲授了在离散情况下如何通过归组特性构建先验信息。为了帮助学员理解,他借助了“双面骰子”的例子,进一步用图像来说明有无先验信息会如何影响研究结论。在此基础上,介绍了“公司规模分布研究”“选举结果预测”和“政策对Covid-19患者生存率影响”等实证例子,上述各例均表明在考虑先验信息的情况下,对特定问题的分析精度会得到一定程度的提升。

  最后,对于信息计量学有兴趣的学员,Golan教授指出了进一步的学习方向。本课程内容详实,Golan教授对于复杂知识的讲解直观易懂,给予参会师生很大启发。

责任编辑:刘虹洁