AI术语全解析：今年只需这一本

人工智能正在重塑世界，同时也在创造全新的语言来描述这一过程。如今参加任何产品会议、提案或小组讨论，你都会听到人们频繁使用LLMs、RAG、RLHF等术语，这些术语甚至会让科技领域的专业人士感到困惑。这本术语解析旨在解决这一问题：用通俗易懂的语言解释你最可能遇到的AI术语，无论你是开发相关产品、投资于此领域，还是仅仅通过阅读科技新闻或收听相关播客来保持了解。随着领域的不断发展，我们会定期更新这份术语表，因此可以将其视为一本动态文档，就像它所描述的AI系统一样不断进化。

AGI

通用人工智能(AGI)是一个模糊的概念，但它通常指的是在大多数任务上能力超过普通人类的AI。OpenAI首席执行官山姆·奥特曼曾将AGI描述为”可以雇佣为同事的中等水平人类”。与此同时，OpenAI的宪章将AGI定义为”在大多数具有经济价值的工作上超越人类的高度自主系统”。谷歌DeepMind的理解与前两种定义略有不同；该实验室将AGI视为”在大多数认知任务上至少与人类能力相当的AI”。感到困惑？不必担心——就连处于AI研究前沿的专家们也同样对此感到迷茫。

AI智能体

AI智能体是指使用AI技术代表用户执行一系列任务的工具——这超出了基础AI聊天机器人的能力范围，例如提交费用报销、预订机票或餐厅座位，甚至是编写和维护代码。然而，这个新兴领域有许多变量，因此”AI智能体”对不同人可能有不同含义。实现其设想能力的基础设施仍在构建中。但基本概念指的是一个可能利用多个AI系统来执行多步骤任务的自主系统。

API端点

可以将API端点视为软件背后的”按钮”，其他程序可以按下这些按钮来执行特定功能。开发人员使用这些接口来构建集成——例如，允许一个应用程序从另一个应用程序拉取数据，或使AI智能体直接控制第三方服务，而无需人工操作每个接口。大多数智能家居设备和连接平台都有这些隐藏的按钮，即使普通用户从未见过或与之交互。随着AI智能体能力的增强，它们越来越多地能够自行找到并使用这些端点，为自动化开辟了强大且有时意想不到的可能性。

思维链

面对简单的问题，人类大脑可以不假思索地回答——例如”长颈鹿和猫哪个动物更高？”但在许多情况下，由于需要中间步骤，你可能需要纸笔来得出正确答案。例如，如果一个农民有鸡和牛，它们共有40个头和120条腿，你可能需要写下简单的方程式来得出答案（20只鸡和20头牛）。

在AI领域，大型语言模型的思想链推理意味着将问题分解为更小的中间步骤，以提高最终结果的质量。获得答案通常需要更长时间，但答案更有可能是正确的，特别是在逻辑或编程背景下。推理模型是从传统大型语言模型发展而来的，并通过强化学习优化了思想链思考能力。

编码智能体

这是比”AI智能体”更具体的概念，指的是能够逐步自主行动以完成目标的程序。编码智能体是应用于软件开发的专业版本。它不仅会建议代码供人类审查和粘贴，还能自主编写、测试和调试代码，处理通常消耗开发者大量时间的迭代性试错工作。这些智能体可以在整个代码库中运行，发现错误、运行测试并在最少的人工监督下推送修复。可以想象成雇佣了一个非常快速从不睡觉且从不失去注意力的实习生——但与任何实习生一样，人类仍需审查其工作。

计算能力

尽管这是一个多义词，但计算通常指的是使AI模型运行所需的关键计算能力。这种类型的处理为AI行业提供动力，使其能够训练和部署强大模型。该术语通常是指提供计算能力的硬件的简写，如GPU、CPU、TPU以及构成现代AI行业基础的其他形式基础设施。

深度学习

深度学习是自我改进机器学习的一个子集，其中AI算法采用多层人工神经网络(ANN)结构设计。与简单的基于机器学习的系统（如线性模型或决策树）相比，这使得它们能够做出更复杂的关联。

深度学习算法的结构从人类大脑中神经元的相互关联通路中汲取灵感。

深度学习人工智能模型能够识别数据本身中的重要特征,而不是要求人类工程师来定义这些特征。该结构还支持能够从错误中学习的算法,并通过重复和调整的过程来改进自身的输出。然而,深度学习系统需要大量数据点才能产生良好的效果(数百万甚至更多)。与更简单的机器学习算法相比,它们通常需要更长时间的训练时间,因此开发成本往往更高。

扩散

融合是许多艺术、音乐和文本生成人工智能模型的核心技术。受物理学启发,diffusion systems slowly “destroy” the structure of data扩散系统通过添加噪声,直到仅剩任何内容,逐渐“破坏”数据结构——例如照片、歌曲等。在物理学中,扩散是自发且不可逆的——咖啡中扩散的糖无法恢复到立方体形态。但人工智能中的扩散系统旨在学习一种“反向扩散”过程,以恢复被破坏的数据,从而获得从噪声中恢复数据的能力。

蒸馏

蒸馏是一种用“师生”模型从大型人工智能模型中提取知识的技术。开发者向教师模型发送请求并记录输出结果。答案有时会与数据集进行比较,以查看它们的准确度。然后使用这些输出来训练学生模型,该模型经过训练以近似教师的行为。

蒸馏可用于基于体积较大的模型,以最小的蒸馏损耗,打造更小、更高效的模型。这可能是OpenAI开发GPT-4 Turbo的方式,GPT-4是一款速度较快的版本。

尽管所有人工智能公司都在内部使用蒸馏,但一些人工智能公司也可能利用它来跟上前沿模型的发展。竞争对手的蒸馏通常违反AI API和聊天助手的服务条款。

微调

这指的是对人工智能模型进行进一步培训,以优化其训练中更具体任务或领域的性能,而不是此前的训练重点——通常通过提供新的、专业化的(即面向任务的)数据来提供。

许多人工智能初创公司正以大型语言模型为起点,以构建商业产品,却试图通过基于自身特定领域的知识和专长,通过微调来补充早期培训周期,从而提升目标领域或任务的实用功能。

甘（GAN）

生成式对抗网络(GAN)是一种机器学习框架,在生成式人工智能生成数据(包括但不限于深度伪造工具)方面,是生成式人工智能一些重要发展的基础。伽罗纳利用一对神经网络,其中一个利用其训练数据生成一个输出,该输出传递给另一个模型进行评估。

这两个模型本质上是为了试图超越彼此而编程的。发电机正试图将其输出通过判别器,而判别器则在识别人工生成的数据时进行检测。这场结构化竞赛可以优化人工智能输出,使其更加逼真,而无需额外的人工干预。尽管GAN最适合较窄的应用(例如制作逼真的照片或视频),而不是通用的AI。

幻觉

幻觉是人工智能行业首选的术语,用于制造各种信息——实际上是在生成错误的信息。显然,这对人工智能质量是一个巨大的问题。

幻觉会产生具有误导性的GenAI效应,甚至可能带来现实风险——可能带来危险后果(例如健康查询会提供有害的医疗建议)。

人工智能制造信息的问题被认为是由于训练数据存在不足而产生的。幻觉正推动日益专业化和/或垂直的人工智能模型——即需要更窄专业性的特定领域人工智能——以降低知识空白的可能性并降低虚假信息风险。

推理

推理是运行人工智能模型的过程。它正在设定一个模型,以做出预测或从先前看到的数据中得出结论。需要明确的是,无需训练就能进行推理;模型必须先在一组数据中学习模式,才能有效地从这些训练数据中推断出来。

多种硬件可以执行推理功能,从智能手机处理器到坚固的GPU,再到定制设计的AI加速器。但并非所有模型都能运行同样出色。大型模型需要花费大量时间才能预测笔记本电脑与配备高端AI芯片的云服务器。

大语言模型(LLM)

大型语言模型(LLM)是流行的AI助手(ChatGPTClaudeGoogle’s Gemini如ChatGPT、Claude、Google的Gemini、Meta的AI Llama、Microsoft Copilot或Mistral的Le Chat)所使用的AI模型。与AI助手聊天时,你会与一个大型语言模型进行交互,该模型可直接处理你的请求,或借助不同的可用工具(如网页浏览或代码解说器)来处理。

LLM 是由数十亿个数值参数(或权重,见下文)组成的深度神经网络,它们能够学习单词和短语之间的关系,并生成语言的表征,即语言的多维映射。

这些模型是通过编码数十亿本书、文章和文字记录中的模式而创建的。提示LLM时,模型会生成最符合提示的模式。

内存缓存

内存缓存是指一个促进推理的重要过程(即人工智能通过该过程来生成对用户查询的响应)。本质上,缓存是一种优化技术,旨在提高推理效率。人工智能显然是由高浓度的数学计算驱动的,每次进行这些计算时,它们都会消耗更多的功率。Caching 旨在通过保存特定计算以备将来用户查询和操作,来减少模型可能需要运行的计算次数。内存缓存有多种类型,但其中更为广为人知的是KV(或键值)缓存。KV缓存在基于变压器的模型中工作,可提高效率,通过缩短生成用户问题答案所需的时间(以及算法的工作量)来加快效果。

模型上下文协议(MCP)

模型上下文协议(MCP)是一种开放标准,它允许人工智能模型连接到外部工具和数据——文件、数据库或Slack和Google Drive等应用程序,而无需开发者为每对单个配对构建自定义连接器。把它想象成一个用于人工智能的USB-C接口。Anthropic 于 2024 年推出了 MCP,随后将其移交给 Linux 基金会,此后已被 OpenAI、谷歌和微软采用,使其成为近期人工智能史上传播速度最快的标准之一。
专家混合(MoE)

专家混合是一种模型架构,可将神经网络分割成许多较小的专用子网络或“专家”,并且仅针对任何特定任务激活其中的少数几个。与其将每个请求贯穿整个模型——比如针对每个问题调用整个办公室——而是内置的“路由器”,能够为工作挑选合适的专家。这使得构建能够保持相对快速和低成本运行的庞大模型成为可能,因为网络中只有一小部分在同时进行工作。Mistral AI的Mixtral模型是一个众所周知的例子;目前人们普遍认为,OpenAI的较新GPT模型会采用该方法的某些版本,但该公司尚未正式确认。

神经网络

神经网络是指支撑深度学习的多层算法结构,以及更广泛的生成式人工智能工具在大型语言模型出现后的整体发展。

尽管从人类大脑的密密不可测的路径作为数据处理算法设计结构中汲取灵感,但正是近年来通过视频游戏行业兴起的图形处理硬件(GPU),真正释放了这一理论的力量。这些芯片非常适合训练比早期阶段更多的图层算法,使基于神经网络的人工智能系统能够在语音识别、自主导航和药物发现等多个领域实现更出色的性能。

开源

开源是指软件——或者越来越多的人工智能模型——其中底层代码公开供任何人使用、检查或修改。在人工智能领域,Meta的Llama系列模型就是一个突出的例子;Linux是操作系统中著名的历史并行产品。开源方法使全球的研究人员、开发者和企业能够相互合作,加快进展,实现封闭系统无法轻易提供的独立安全审计。闭源意味着代码是私有的——你可以使用产品,但无法看到它的工作原理,就像OpenAI的GPT模型一样——这一区别已成为人工智能行业中最具代表性的争论之一。

并行化

并行化意味着同时做许多事情,而不是一个接一个地进行,比如让10名员工同时在项目的不同环节工作,而不是让一名员工按顺序完成所有事情。在人工智能中,并行化是训练和推理的基础:现代GPU被专门设计为并行执行数千次计算,这也是它们成为行业硬件支柱的重要原因。随着人工智能系统变得越来越复杂,模型也变得越来越庞大,许多芯片和机器之间并行化工作的能力,已成为决定模型构建和部署速度和成本效益的最重要因素之一。对更优的并行化策略的研究,如今本身就是一个研究领域。

RAMageddon

RAMageddon 是一个充满乐趣的新术语,其新趋势正席卷科技行业:随机存取存储器(RAM 芯片)的短缺日益严重,几乎为我们日常生活中使用的所有科技产品提供动力。随着人工智能行业的发展,最大的科技公司和人工智能实验室——都在争相拥有最强大、最高效的人工智能——正在购买大量运行内存来为其数据中心供电,而我们其他人所剩无几。而这种供应瓶颈意味着剩余部分变得越来越昂贵。

包括游戏行业(主要公司因更难为其设备寻找存储芯片而不得不提高游戏机价格)、消费电子(the biggest dip in smartphone shipments其中内存短缺可能导致智能手机出货量出现十多年来最大降幅),以及大型企业计算(因为这些公司无法为自身数据中心获得足够的内存)。价格的飙升预计只有在可怕的短缺结束后才会停止,但遗憾的是,not really much of a sign短期内几乎没有太大迹象。
递减自我提升

与AGI一样,递归自我提升是智能人工智能如何实现以及它对人类依赖程度的关键。在RSI情景中,人工智能模型在无需人工干预的情况下开始自我提升,从而在能力和自主性方面实现了巨大的加速。在一些案例中,这将是一个类似于奇点的灾难性时刻,即人工智能模型对外部干预产生免疫力的时刻。但RSI还描述了一种基本能力——人工智能模型能否设计出自身的后继能力?——这使得工程师更容易尝试构建它。A number of recent AI startups一些近期的人工智能初创公司已着手构建递归自我提升模型,但大多数公司都摒弃了末日式的影响,将研究领域(RSI)视为研究的下一个前沿。

强化学习

强化学习是一种训练人工智能的方法,即系统通过尝试事物并获得正确答案的奖励来学习——比如用零食来训练你心爱的宠物,只不过这种情况下的“宠物”是神经网络,而“治疗”是一种数学信号,表明成功。与在标记示例的固定数据集上训练模型的监督学习不同,强化学习使模型能够探索其环境,采取行动,并根据接收到的反馈持续更新其行为。这种方法在训练人工智能玩游戏、控制机器人以及最近提升大型语言模型的推理能力方面已被证明尤为强大。通过人类反馈(RLHF)进行强化学习等技术,如今已成为引领人工智能实验室调整模型以更有帮助、更准确和安全性的核心。

代币

在人机交流方面,存在一些明显的挑战——人们使用人类语言进行交流,而人工智能程序则通过数据驱动的复杂算法过程来执行任务。代币弥合了这一空白:它们是人与人工智能通信的基本组成部分,代表由LLM处理或生成的离散数据片段。它们通过一种称为代币化的过程来创建,该过程将原始文本分解为语言模型能够消化的大小单位,类似于编译器将人类语言翻译成计算机能够理解的二进制代码的方式。在企业环境中,代币还决定成本——大多数人工智能公司按每笔代币使用LLM收费,这意味着企业使用越多,支付的费用就越多。

代币吞吐量

因此,代币也是文本中的小部分——通常是文字的一部分,而非整体部分——即人工智能语言模型在处理之前会将语言分解;它们大致类似于理解人工智能工作负载的“词语”。吞吐量是指在给定时间内可以处理多少,因此代币吞吐量本质上是衡量一个系统能够同时处理多少人工智能工作量的指标。高代币吞吐量是人工智能基础设施团队的关键目标,因为它决定了模型可以同时服务的用户数量以及每个用户接收响应的速度。人工智能研究员安德烈·卡帕蒂描述了当他的人工智能订阅服务闲置时感到焦虑——这呼应了他作为研究生时期在昂贵计算机硬件未能得到充分利用时所感受到的感受——这种情绪反映出为何最大化代币吞吐量已成为该领域的一种执着。

训练

开发机器学习人工智能涉及一种称为训练的过程。简单来说,这指的是数据被输入,以便模型能够从模式中学习并生成有用的输出。本质上,系统响应数据特征的过程使其能够将输出结果调整为目标,无论是识别猫的图像,还是按需生成俳句。

训练可能代价高昂,lots因为它需要大量输入,且所需数量也呈上升趋势——因此,混合型方法(例如使用定向数据微调基于规则的人工智能)能够帮助管理成本,而无需完全从零开始。

迁移学习

一种技术,使用先前训练的人工智能模型作为开发新模型的起点,用于开发不同但通常相关的任务——从而重新应用在以往训练周期中积累的知识。

迁移学习可以通过缩短模型开发来提高效率。当模型所开发的任务数据受到一定限制时,它也可能非常有用。但需要注意的是,这种方法存在局限性。依赖迁移学习来获得通用能力的模型可能需要对附加数据进行培训,才能在其重点领域中表现良好。

验证损失

验证丢失是一个能告诉你人工智能模型在训练过程中学习得有多好的数字,而更低越好。研究人员将其密切追踪为一种实时报告卡,用于决定何时停止训练、何时调整超参数,或是否调查潜在问题。它有助于标记的一个关键问题是过度拟合,即模型记住训练数据,而非真正学习模式,而可以将其推广到新情境中。把它看作是真正理解内容的学生与去年考试中唯一记忆的学生之间的区别——验证性的丧失有助于揭示你的模型正在成为哪一个。

权重

权重是人工智能训练的核心,因为它们决定了用于训练系统的数据中对不同特征(或输入变量)的重要性(或权重),从而决定了人工智能模型的输出。

换句话说,权重是数值参数,用于定义给定训练任务数据集中最突出的内容。他们通过将乘法应用于输入来实现其功能。模型训练通常从随机分配的权重开始,但随着过程的展开,权重会随着模型试图达到更接近目标的输出而进行调整。

例如,用于预测房价的人工智能模型,该模型在目标位置的历史房地产数据上进行了培训,可能包括卧室和浴室数量、房产是独立式还是半独立式的,以及是否有停车位、车库等。

最终,模型对每个输入所附加权重,反映了它们根据给定数据集对属性价值的影响程度。

关注微信号：智享开源 ，及时了解更新信息。