generative-ai-for-beginners 第 1 课：生成 AI 与大语言模型（LLM）的工作原理与实战入门

generative-ai-for-beginners 第 1 课生成 AI 与大语言模型LLM的工作原理与实战入门【免费下载链接】generative-ai-for-beginners21 Lessons, Get Started Building with Generative AI项目地址: https://gitcode.com/GitHub_Trending/ge/generative-ai-for-beginners生成 AI 是能够生成文本、图像等内容的 AI 技术它的最大魅力在于“AI 民主化”——无需学习 Java 或 SQL用自然语言写一句话即文本提示词 prompt就能从模型中拿到建议。本文以本仓库第 1 课为核心系统讲解生成 AI 的发展脉络、大语言模型LLM的三大内部机制分词器、下一 token 预测、概率分布与温度参数并结合仓库内的 Python 源码oai-app.py、githubmodels-app.py 等给出可直接运行的实战示例。读完本文你将理解 LLM 为何非确定性、为何会“中途停下来”并能在自己的教育类应用中正确构造 prompt 与调参。本课目标本节课程对应01-introduction-to-genai/目录将覆盖业务场景介绍课程中虚构教育科技创业公司的想法与使命生成 AI 的历史与当前技术格局的形成大语言模型LLM的内部工作方式LLM 的主要能力与实用的教育应用场景。学完本课你将能够说明什么是生成 AI、大语言模型如何工作将大语言模型应用于不同场景尤其是教育场景。场景设定我们的教育科技创业公司生成 AI 代表了 AI 技术的巅峰不断突破曾经被认为不可能实现的边界。本课程通过一个虚构的创业公司来探索生成 AI 如何变革教育领域这家公司被称为“我们的创业公司”其使命是在全球范围内提升学习的可及性确保教育机会公平并根据每位学习者的需求提供个性化学习体验。团队认识到实现这一目标必须借助现代最强大的工具之一——大语言模型LLM。生成 AI 有望彻底改变今天的教与学方式学生可以 24 小时拥有提供海量信息与例子的虚拟教师教师则可以借助创新工具评估学生并给予反馈。生成 AI 是如何诞生的尽管近年生成 AI 模型的发布带来了巨大的关注度但这项技术已经发展了数十年最早的研究可以追溯到 1960 年代。如今 AI 已达到具备人类认知能力的阶段例如基于 GPT 模型实现对话式体验的 ChatGPT 等产品。回顾历史AI 最早的雏形是“打字机式聊天机器人”它依赖从专家群体中提取并以计算机表示的知识库答案由输入文本中出现的关键词触发。但这种依赖关键词触发的方式很快暴露出可扩展性问题知识库难以覆盖所有表达方式无法规模化落地。通往 AI 的统计学路径机器学习转折点出现在 1990 年代——统计方法被应用于文本分析催生了被称为**机器学习Machine Learning**的新算法它能够在不被显式编程的情况下从数据中学习模式。这一路径让机器得以模拟人类语言理解统计模型以“文本-标签”对进行训练从而能够用预定义的标签表示消息意图对未知输入文本进行分类。神经网络与现代虚拟助手近年来能够处理更大量数据和更复杂计算的硬件技术进步推动了 AI 研究催生了被称为神经网络 / 深度学习的高级机器学习算法。特别是**循环神经网络RNN**显著提升了自然语言处理能力使文本含义的表示更有意义并重视单词在句子中的上下文。正是这项技术支撑了 21 世纪头十年诞生的虚拟助手——它们擅长解释人类语言、识别需求并执行满足需求的行动例如按预定义脚本回答或调用第三方服务。现代的生成 AI如今我们所说的生成 AI可以看作是深度学习的子集经过数十年研究一种名为Transformer的新架构克服了 RNN 的局限能够接受更长的文本序列作为输入。Transformer 基于注意力机制attention mechanism为输入分配不同权重无论信息在文本序列中的顺序如何都能“更关注”最相关的信息。现代大多数生成 AI 模型——由于处理文本输入输出也被称为大语言模型LLM——都基于这一架构。这些模型在书籍、文章、网站等多样化来源的海量无标注数据上训练可以适应广泛的任务并生成语法正确、带有一定创造性的文本。这不仅大幅提升了机器“理解”输入文本的能力更赋予了它用人类语言生成原创回复的能力。仓库佐证本仓库的 04-prompt-engineering-fundamentals/README.md 将“分词化Tokenization”“基础 LLMBase LLM”“指令微调 LLMInstruction-Tuned LLM”列为理解提示工程的关键概念可作为本课内容的延伸学习。大语言模型是如何工作的以 OpenAI 的 GPTGenerative Pre-trained Transformer生成式预训练 Transformer模型为例大语言模型的运行机制可拆解为三个核心环节分词器Tokenizer从文本到数字大语言模型接收文本输入并生成文本输出但作为统计模型它处理数字远比处理文本序列更擅长。因此每个输入在进入核心模型前都要经过分词器处理**token词元**是一段由可变数量字符组成的文本块分词器的主要任务是把输入拆分为 token 数组再将每个 token 映射到 token 索引——即原始文本块的整数编码。仓库佐证仓库根目录的 requirements.txt 中显式依赖了tiktoken包这正是 OpenAI 生态中用于统计 token 数量的官方分词库同时依赖openai1.12.0作为模型客户端。这说明本课程的实战练习中token 相关能力是一等公民。预测输出 token一次迭代一个 token给定 n 个 token 作为输入不同模型的最大 n 不同模型会预测输出一个 token。这个 token 会被并入下一轮迭代的输入形成“不断扩展的窗口”模式最终给用户带来得到一整句或几句回答的体验。这也解释了为什么用过 ChatGPT 的人有时会看到它“在一句话中间停下来”——它其实是在继续预测下一个 token。选择过程概率分布与温度参数输出 token 由模型根据其在当前文本序列之后出现的概率来选择。模型基于训练结果对所有可能的“下一个 token”预测一个概率分布。但并非总是选择概率最高的 token——选择过程中加入了随机性使模型以非确定性方式运行同样的输入不一定得到完全相同的输出。这种随机性是为了模拟创造性思维过程可通过名为temperature温度的模型参数来调节。仓库佐证在 06-text-generation-apps/python/githubmodels-app.py 中请求同时显式传入temperature1.、max_tokens1000、top_p1.三个参数而 oai-app-recipe.py 则使用temperature0.1与max_output_tokens600来获得更稳定、更可控的输出。对比可见temperature 越高输出越随机越低越可预测——这正好呼应了本课关于随机性与创造性的论述。我们的创业公司如何利用大语言模型LLM 的核心能力是以自然语言书写的文本输入为起点从零生成文本。输入被称为prompt提示词输出被称为completion补全——该术语指模型为补全当前输入而生成下一个 token 的机制。一个 prompt 可能包含以下内容指令instruction指定期望模型输出的类型有时会内嵌示例或附加数据。例如摘要对文章、书籍、产品评论等进行总结或从非结构化数据中提取洞察创意写作文章、论文、作业等的创意构思与设计问题question以与代理对话的形式提问待补全的文本片段隐含地请求写作协助代码片段要求解释并记录代码或用注释请求生成执行特定任务的代码。以上示例都很简单并不旨在穷尽 LLM 的能力而是展示生成 AI 的潜力——特别是但不限于教育场景。实战示例文本补全应用仓库 06-text-generation-apps/python/oai-app.py 给出了一个最直接的“文本补全”例子——这正是本课“待补全的文本片段”与“下一 token 预测”概念的代码化呈现from openai import OpenAI import os from dotenv import load_dotenv # load environment variables from .env file load_dotenv() # configure OpenAI service client client OpenAI() deployment gpt-4o-mini # add your completion code prompt Complete the following: Once upon a time there was a # make a request using the Responses API response client.responses.create(modeldeployment, inputprompt, storeFalse) # print response print(response.output_text)运行它会得到类似Once upon a time there was a very unhappy mermaid.的补全结果——模型在“Once upon a time there was a”之后按概率分布逐 token 补全了后续文本。可见 LLM 并非“理解”故事而是基于训练统计规律做序列补全。实战示例带参数的聊天补全githubmodels-app.py 展示了通过 Azure AI Inference 客户端ChatCompletionsClient发送 system/user 消息并显式控制温度、token 上限与 top-p 的完整写法response client.complete( messages[ {role: system, content: You are a helpful assistant.}, {role: user, content: prompt}, ], modelmodel_name, # Optional parameters temperature1., max_tokens1000, top_p1. )其中max_tokens限制回答的最大 token 数直接对应“上下文窗口/成本控制”temperature控制随机性对应本课的创造性模拟top_p则通过概率累积阈值做核采样。这三个参数是本课“概率分布选择过程”在实际工程中的标准调参组合。配置客户端环境变量与安全请求仓库 shared/python/api_utils.py 提供了封装好的客户端工厂create_openai_client()从OPENAI_API_KEY环境变量读取密钥并创建 OpenAI 客户端create_azure_openai_client()从AZURE_OPENAI_ENDPOINT/AZURE_OPENAI_API_KEY读取配置拼接{endpoint}/openai/v1/作为base_url创建 Azure OpenAI 客户端make_safe_request()为 HTTP 请求提供超时默认 30 秒与重试默认 3 次保障。对应的单元测试位于 tests/test_api_utils.py验证了“缺少 API key 抛出ValueError”“请求失败重试 3 次后抛出异常”等边界行为——这说明在真实应用中客户端配置与错误处理是需要严格把关的工程环节。实践提示在动手运行前请先完成 00-course-setup/02-setup-local.md 中的本地环境配置API 密钥、Python 环境等。依赖清单可参考 06-text-generation-apps/python/requirements.txt含openai、tiktoken、python-dotenv等。局限性与注意事项生成 AI 并非完美生成 AI 模型的输出并不完美有时模型的“创造性”反而会适得其反可能生成被人类用户解读为“扭曲现实”的词句组合甚至包含冒犯性内容。生成 AI并不智能至少在以批判性/创造性推理、情商定义的全面智能意义上它非确定性、不可信——错误引用、错误内容与正确信息混杂并以极具说服力的自信方式呈现。这就是为什么后续课程第 3 课负责任地使用生成 AI会专门讨论这些限制及其缓解手段。作为开发者必须在应用设计中加入人工复核、内容过滤与幻觉检测机制。课题Assignment关于生成 AI 的资料找出一个当前尚未引入生成 AI、但你愿意引入的领域。思考与“旧方式”相比影响有何不同是能做以前做不到的事还是明显更快了用300 字描述你理想中的 AI 创业公司并包含“问题Problem”“我如何运用 AIHow I would use AI”“影响Impact”等标题可选加入商业计划。知识检查关于大语言模型以下哪项是正确的每次都会得到完全相同的回答。能完美运行擅长数字运算、生成可用代码等。即使用相同提示词回答也可能不同它擅长提供文本或代码的初稿但你仍需要改进结果。答案3。LLM 是非确定性的回答会变动但可以通过temperature 设置控制其变动程度同时不应期待它完美完成一切——它的价值在于替你完成繁重工作通常给你一个需要逐步打磨的优质初稿。下一步继续学习之旅完成本课后可以继续前往第 2 课 探索并比较不同的 LLM 类型了解如何在不同模型之间做选择与对比也可以结合 提示工程基础 深入学习 prompt 的设计方法让本课学到的 prompt 概念真正转化为高质量的输出。【免费下载链接】generative-ai-for-beginners21 Lessons, Get Started Building with Generative AI项目地址: https://gitcode.com/GitHub_Trending/ge/generative-ai-for-beginners创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考