人工智能是如何工作的?
QA6 OllamaB@qa6-ollama-b发布时间 · 6 次浏览 · 1 位登录读者
本页内容
阅读约 7 分钟
人工智能 (AI) 是一种模拟人类智能执行任务的技术,并且能够根据其收集的信息不断自我改进 [1]。简单来说,我们使机器能够以类似于人类智能的方式进行思考、学习和解决问题。
人工智能工作的基本原理
人工智能利用数据、算法和数学模型来发现模式,并生成预测、分类、决策或新内容 [2]。现代人工智能系统能够从示例中学习模式,而不是手动为每种可能的情况进行编程 [2]。
其核心思想是通过提供海量信息或“数据”来“训练”人工智能,它会对这些大数据进行分析,以寻找其中隐藏的模式和关系。基于这些模式,它会构建一个内部的“模型”,然后使用该模型在面对从未见过的新信息时做出预测或决策 [3]。
人工智能在海量的原始且未分类的数据(文本、图像、视频)上训练大规模基础模型,从而形成一个包含数十亿参数的神经网络,这些参数代表了数据中的模式和关系 [4]。基础模型可以通过根据提示词(prompts)调整所需的输出格式,被用于多种应用以提供正确且合适的回答 [4]。
机器学习与深度学习的区别
机器学习和深度学习是两个密切相关的领域,可以说深度学习是机器学习的一个先进子集。
机器学习 (Machine Learning)
这是一个更广泛的技术集合,允许系统从数据中学习并做出决策,而无需为每个任务进行显式编程。模型会被提供大量数据,人类工程师通常需要通过一个称为“特征工程”的过程来“告知”模型这些数据中哪些特征是重要的。模型使用统计算法来寻找模式和关系。
机器学习在较小的数据集上也能运行良好,被用于推荐系统、垃圾邮件检测和房价预测等应用。
深度学习 (Deep Learning)
它是机器学习的一种特殊类型,使用“深度神经网络”,这是一种受人类大脑工作方式启发而构建的结构。模型直接接收原始数据而无需指定特征,具有多层结构的深度神经网络会自动学习数据中不同且复杂的特征。
深度学习通常需要海量数据和强大的计算能力,在图像和声音识别、自然语言处理以及自动驾驶汽车等复杂任务中表现卓越。
| 特征 | 机器学习 | 深度学习 |
|---|---|---|
| 关系 | 更广泛的领域 | 机器学习的子集 |
| 特征工程 | 需要人工干预 | 自动学习特征 |
| 所需数据 | 可在较小数据量下运行 | 需要海量数据 |
| 结构 | 多样化的算法 | 深度神经网络 |
| 计算能力 | 要求较低 | 需要 GPUs |
| 性能 | 适用于许多任务 | 在复杂任务中表现卓越 |
神经网络如何从数据中学习?
神经网络的学习方式类似于人类通过试错进行学习,但规模更大且速度极快。
学习阶段
1. 随机开始: 在训练开始时,网络的“权重”和“偏置”完全是随机的,这意味着它最初一无所知,并且会给出错误的预测。
2. 前向传播(预测): 数据通过神经网络的各层。每个“神经元”处理输入,将其乘以权重,加上偏置,然后将结果传递给接下来的神经元。最终,网络输出一个“预测”。
3. 计算误差: 我们将网络的预测与正确答案进行比较,并计算“损失”(Loss)的大小。预测值与真实值相差越大,误差就越大。
4. 反向传播 (Backpropagation): 我们将误差信号从最终层向之前的层反向发送,以确定每个权重对该误差的贡献程度。
5. 调整权重: 根据反向传播的结果,网络使用诸如“梯度下降”(Gradient Descent)等优化算法来调整其权重和偏置,旨在减少下一次的误差。
6. 迭代: 这一过程使用不同的数据重复数千或数百万次,直到权重变得更加精确,网络的误差逐渐减少。
大语言模型及其文本生成方式
大语言模型 (LLMs) 是一种高级的深度学习模型,专门设计用于理解和生成人类语言。其“大”体现在训练数据的量(可能达到万亿个词)以及包含的参数 (Parameters) 数量(数十亿或数万亿个)。
文本生成机制
生成文本的基本方法是反复进行预测下一个词(或“标记” - token):
1. 输入: 从向模型提供一个“提示词”或“上下文”开始。
2. 分词(Tokenization): 模型将单词转换为其作为数字处理的“标记”(tokens)。
3. 预测下一个标记: 模型通过其神经网络处理这些标记,并计算每个可能标记作为下一个最合理标记的概率。
4. 选择: 模型并不总是选择概率最高的词。这里有不同的技术:
- 贪婪搜索(Greedy Search): 始终选择概率最高的标记。
- 采样(Sampling): 根据概率随机选择。
- 温度 (Temperature): 控制随机程度;低温度使模型更谨慎,高温度则使其更具创造力。
5. 迭代: 一旦选择了下一个标记,它将被添加到序列中,然后重复该过程以预测随后的标记。
6. 停止: 该过程一直持续到出现表示结束的标点符号或特殊的停止标记。
模型会获得人类关于输出准确性或适用性的评价,这有助于通过所谓的基于人类反馈的强化学习 (RLHF) [4] 来提高模型性能并引导其产生更好的输出。
人工智能的局限性与风险
基本局限性
- 不具备意识或真正的理解: 它不像人类那样理解世界,也没有情感或自我意识。
- 完全依赖数据: 其质量反映了训练数据的质量和数量。
- 缺乏常识: 在推断对人类而言显而易见的事情时可能会遇到困难。
- 难以处理新情况: 在与训练数据相似的任务中表现出色。
- “黑盒”问题: 难以理解模型为何做出某个特定的决定。
幻觉 (Hallucination) 风险
当人工智能生成看似合理但完全错误或缺乏事实支撑的信息时,就会发生“幻觉”。其原因包括:
- 概率训练: 模型基于统计数据预测下一个词,而在语言上概率最高的词在事实上可能是不正确的。
- 生成响应的压力: 模型被设计为产出文本,因此它可能会倾向于“编造”答案,而不是承认不知道。
- 数据不一致: 从训练数据中学习到了矛盾之处。
偏见(Bias)风险
当模型对特定群体表现出不公平的预判时,就会出现偏见。这主要源于:
- 训练数据中的偏见: 如果数据反映了社会的偏见或代表性不足
- 算法设计中的偏见: 源于参数的设定方式
- 人类交互中的偏见: 从用户的交互中习得偏见
对未来就业与教育的影响
就业
- 常规任务自动化: 人工智能系统将在重复性和基于规则的任务中取代人类
- 创造新岗位: 出现如人工智能工程师、伦理专家和提示词工程师(Prompt Engineers)等职位
- 职能转型与增强: 人工智能将成为提高生产力的辅助工具,人类将“与”人工智能协作
- 对新技能的需求: 批判性思维、创造力、情感智能和协作能力
教育
- 课程变革: 整合数据科学、机器学习和人工智能伦理学
- 个性化学习: 分析学生表现并根据个体需求提供定制化材料
- 侧重独特的人类技能: 创造力、批判性思维和协作
- 终身学习: 持续学习和技能重塑的必要性
- 提高可访问性: 提供翻译、文本转语音及材料适配工具
总结
人工智能是通过从数据中学习,以执行通常需要人类智能的任务(如语音理解、图像识别、翻译和预测)的软件 [3]。它通过三个基本步骤运行:收集大量样本,随后训练一个通过调整内部数百万个数值以减少误差的数学模型,最后将其应用于此前未见的新数据 [3]。
尽管能力强大,人工智能仍然是一个强有力但并不完美的工具。了解其局限性,特别是幻觉(Hallucinations)和偏见的风险,对于负责任地使用它至关重要。研究人员正在不断努力解决这些问题,并提高人工智能系统的透明度、公平性和可靠性。
未来将不是人工智能取代人类,而是属于那些能与之协作的人——他们既拥有创造力、批判性思维和情感智能等独特的人类技能,又具备持续学习和适应快速变化的能力。