type
status
date
slug
summary
tags
category
icon
password
嘉宾介绍
弗拉基米尔-瓦普尼克（Vladimir Vapnik）是支持向量机、支持向量聚类、VC 理论以及许多统计学习基础思想的共同发明人。他出生于苏联，曾在莫斯科控制科学研究所工作，后到美国，先后在 AT&T、NEC 实验室、Facebook 人工智能研究部门工作，现为哥伦比亚大学教授。他的研究成果被引用超过 20 万次。
在这一集的Lex Fridman播客中，Vladimir Vapnik讨论了工程智能和理解智能之间的区别。他还谈到了predicates及其在理解人类行为和智能中的作用。瓦普尼克认为，只有少数predicates可以解释人类行为，并且将思想结合起来构建不变量是智能的本质。以下是本期访谈的精华摘录，感兴趣的朋友也可自行通过链接🔗观看：
关键性的见解
- 🌐 弗拉基米尔-瓦普尼克的研究成果被引用超过 20 万次，彰显了他在人工智能领域的重大影响。
- 🌌 "我坚信柏拉图的这一思想，即存在一个谓词（predicates）和现实的世界，它们之间有某种联系，你必须弄清楚这一点。"
- 🧠 智能的精髓在于找到能捕捉特定概念一般特性的可接受函数，而不是仅仅关注个别实例。
- 🔄 在训练模型时，弗拉基米尔-瓦普尼克注重选择能保持特定不变性的函数，从而提高性能。
- 🤔 不变性（如平移不变性）的概念在设计神经网络时非常重要，使用一组保留这些不变性的函数可以更好地实现这一概念。
- 🌌 弗拉基米尔-瓦普尼克认为，找到数字识别的标准谓词是理解智能和思想世界本质的关键一步。
- 💡 降低函数集的 VC 维度，可以更容易地找到要找的函数。
- 🌍 要理解二维和三维图像并实现一般智能，可能需要对概念和常识有更深入的理解，而不仅仅局限于视觉形状和对称性。
- 🧠 发现好的谓词是人类智慧的基础，因为它们是抽象函数，可以应用于不同的任务，帮助我们理解世界。
视频的主要观点是，智能的本质在于发现好的谓词，即可以用来对数据进行分类的特定属性，并理解和利用不变式来识别模式和解决问题。
- 00:00 🧠 要理解智能的本质，就需要模仿人类行为、构建谓词、探索纯粹的思想世界，这可以创造出不同的不变式，但可能性可能有限。
- 支持向量机和统计学习基础思想的共同发明人弗拉基米尔-瓦普尼克（Vladimir Vapnik）讨论了他的工作，并发表了关于学习的完整统计理论的演讲。
- 工程智能涉及制造模仿人类行为的设备，而智能科学则侧重于了解智能本身的本质。
- 弗拉基米尔-瓦普尼克讨论了俄罗斯故事中谓词与人类行为之间的关系，特别提到了弗拉基米尔-普罗普的著作《民间故事形态学》以及叙事的顺序结构。
- 模仿智能可以帮助我们创造出有用的东西，比如自动驾驶汽车，但理解智能是一个更加困难的哲学概念，涉及纯粹的思想世界。
- 想法和构建谓词的结合是智能的精髓，因为谓词可以根据数据创建不同的不变式，但纯粹想法的数量可能是有限的。
- 08:20 🧠 智能的本质是观察世界并提出想法，利用谓词和不变式来理解和识别模式，即使情感看起来可能是矛盾的。
- 从最简单的任务开始，如数字识别，对建立智能至关重要，而且使用智能所需的例子也较少。
- 谓词是对真实事物的陈述，就术语和思考方式而言，它可以是一个函数，用来进行内积，例如对称性或一幅图片的结构如何，这对理解图像非常重要。
- 是否有一小套谓词可以概括图像的本质？
- 不变式的概念使我们能够描述数据的特定特征，类似于音乐评论家描述音乐的方式，这一思想与柏拉图的形式理论以及理念世界和事物世界之间的联系相关联。
- 智慧的本质是观察世界万物并提出一个思想世界，尽管人类心理的某些因素，如情感，似乎与智慧和理性相矛盾。
- 对称是一个具有不同程度的普遍概念，可用作数字识别的谓词，有助于创建不变式和决策规则。
- 21:17 🧠 智能的本质在于发现好的谓词，即可以用来对数据进行分类的特定属性，但机器很难发现这些谓词。
- 表示数字特定属性的函数可用于对数字进行分类，通过只选择保持这些属性的函数，可以获得较小的可接受函数子集。
- 函数收敛的定义是两个函数的平方差很小，而内积收敛的定义是内积值收敛到一个特定值。
- 弱收敛性指的是函数的积分属性，在选择谓词时，必须考虑那些能给出与谓词相同值的函数，这些值可以不依赖于训练数据来确定。
- 智能的本质是发现好的谓词，问题是能否让机器进行这种发现。
- 希尔伯特空间中有无限多的谓词，但只有少数非常好的谓词对理解世界有用，而机器很难发现这些好的谓词。
- 在糖尿病研究中，达到一定的百分比就能确定一个谓词，当该谓词不不变时，就会促使对数据进行再训练，并选择能提高性能的函数。
- 31:37 🧠 智能的本质在于发现好的谓词，比如卷积，而不是纠结于深度学习中的大量谓词，因为纳入新的不变式可以减少函数集，更容易找到想要的函数。
- 人类级智能的精髓在于发现好的谓词，比如卷积，而不是执着于在深度学习中找到大量谓词来高效识别手写数字。
- 深度学习涉及构建能够通过使用片断线性函数（即大量函数）进行良好近似和泛化的架构。
- 神经网络是更大函数集合中的一个小子集，在创建架构时，必须选择一个可接受的子集，以保持某些不变性。
- 加入新的不变式可以减少函数集，发言人希望找到一个用于数字识别的标准谓词，探索智能和思想世界，数学家和艺术家在神经网络和音乐描述中使用不变式。
- 弗拉基米尔-普罗普研究了理论文献，发现柏拉图的思想世界并不只是小或大，而是他所确切了解的东西。
- 选择能显著减少可接受函数集的谓词，因为这样能降低 VC 维度，更容易找到所需的函数。
- 40:37 🧠 通过使用可接受的函数集而不是神经网络，就有可能在每个数字只有极少示例的情况下实现最先进的手写识别错误率。
- 一个好的谓词是能够从一个具体的例子概括出更广泛的功能的谓词，而找到这样的谓词可以通过了解主题的特征或共同的结构概念来实现。
- 故事中的不同情境，包括民间故事和侦探连续剧，都遵循着缺席、拦截、侵犯、侦察、婚礼结束等事件模式，也可以通过不同的范式进行分析和解读。
- 对于一组单元或谓词，有人质疑它们在没有人类解释的情况下是否仍然具有力量，而理解数字图像的能力被用作理解的一个例子。
- 在机器学习中使用一些好的谓词需要训练数据，但如果使用所有可能的谓词，就不需要训练数据了。
- 我们面临的挑战是找到一种函数，这种函数可以在每个数字只有极少例子的情况下实现最先进的手写识别错误率，发言者认为可以通过一组可接受的函数找到这种函数，而不是仅仅依靠神经网络。
- 找出谓词中的矛盾，消除矛盾，并选择一小部分可接受的函数来解决问题，因为仅有基于逻辑的系统是不够的。
- 52:39 📚 常识涵盖生活的方方面面，演讲者讨论了普遍不变式和谓词在解决图像识别等问题中的重要性、机器学习中选择正确数据集的问题，以及大数定律和大数均匀律之间的区别。
- 常识涵盖生活的方方面面，包括死亡、对死亡的恐惧、爱、灵性、快乐、悲伤以及对重力的理解。
- 手写数字识别是一个可以解决的问题，它可以帮助理解更一般的图像识别，但需要开发通用不变式和谓词。
- 演讲者讨论了柏拉图的理念世界概念，以及它与理解现实和智慧本质的关系。
- 在机器学习中，选择正确的数据集至关重要，因为它有助于缩小可供选择的函数集范围，从而获得更好的性能。
- 要创建可容许函数集，需要找到能满足一小部分示例的函数，并以对自己有用的方式组织它们。
- 发言人讨论了大数定律和统一大数定律之间的区别，并提到在 60 被认为足够大的情况下使用大数定律。
- 01:05:28 🧠 发现好的谓词对人类智能至关重要，因为它们可以应用于各种任务并帮助我们理解世界，但并不存在适用于所有问题的通用解决方案；将理解现实生活图像中的谓词和不变式与自然语言处理中语言任务的复杂性进行了比较，并结合学习和人类水平智能的发展讨论了统一收敛和弱收敛的概念。
- 发现好的谓词是人类智慧的基础，因为这些谓词是抽象函数，可以应用于各种任务，对于理解世界至关重要。
- 与语言识别相比，手写识别是一个比较简单的问题，但两者都没有通用的解决方案。
- 发言人讨论了理解现实图像中谓词和不变式的重要性，并将其与自然语言处理中语言任务的复杂性进行了比较。
- 均匀收敛是学习统计理论的基本思想，因为它通过确保函数集均匀收敛来保证学习。
- 在统计学和人工智能领域，弱收敛是一个比强收敛更强大的概念，了解弱收敛的特性可以找到闭式解，并开发出人类级别的智能。
- 演讲者讨论了如何寻找比径向基函数更合适的核函数，以便更好地逼近和拟合边界。
- 01:21:13 🧠 智能是启发式方法的集合，哲学在理解生活和寻找解决挑战性问题（如机器学习中的弱收敛性）的方法中发挥作用，它通过分析结构和对称性水平来实现。
- 智能归根结底是启发式方法的集合，推理中的重复性需求尚不明显，但哲学在机器学习中的作用在于实现思想和数学概念。
- 哲学通过分析结构和对称性水平，在理解生活和寻找解决挑战性问题（如机器学习中的弱收敛性）的方法方面发挥作用。
- 巴赫和肖邦的音乐可以通过谓词进行分析，这一概念也可以应用于数字识别，这表明艺术和思想可以相互联系，尽管说话者也在反思自己的死亡和他希望自己能做的事情。
- 演讲者讨论了使用谓词来描述音乐、艺术和其他形式数据的想法，并举例说明一位朋友使用俄罗斯诗歌的图像来描述数字识别。
- 利用特权信息（如图像描述）进行学习可以取得更好的效果，从诗歌描述和音乐中也可能发现抽象的思想，但挑战问题在于如何将这一切与生命的意义和人类社会的不同发展道路联系起来。
- 大公司的经理们经常学习英语语言和文学，因为这有助于他们理解生活和模式。弗拉基米尔-瓦普尼克对他人的辉煌感到谦卑，并认为自己很谦虚。
- 最简单的谓词是函数。
- 谓词用于衡量图像的性质。
- 谓词是普适的。
- 谓词定义可接受函数集。
- 谓词连接理念世界和现实世界。
- 谓词是智能的基础。
详细解释Vladimir Vapnik 所说的谓词（Predicate）
根据Vladimir Vapnik的观点,谓词(Predicate)在人工智能和机器学习中有重要的意义。他对谓词的解释主要有以下几个方面:
Vapnik认为最简单的谓词就是一个函数,输入是X(某种现实输入),输出是对X的测度或判断。
在图像理解中,谓词可以是对图像某些性质的测度函数。例如对称性、结构化程度等。这些函数可以映射出图像的某些抽象属性。
谓词表示的应该不是某一具体问题的特定属性,而是普适的,可以应用于多种问题的概念,如对称性。
通过选择保持某些谓词不变的函数,可以定义一个可接受的函数集合。好的谓词可以最大程度缩小函数集合。
谓词是抽象的理念,将其应用于具体问题可以连接理念世界和现实世界,就像柏拉图的洞穴寓言。
发现正确的谓词是人类智能的基础,也是人工智能追求的目标。
总体来说,在Vapnik看来,谓词是连接抽象理念和具体问题的语句,是知识表达、推理和智能的基础。选择正确的谓词非常重要,可以更好地解决问题。
- 作者:Bayesianovich
- 链接:https://ml.bayesianovich.top//article/4
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。
相关文章