Neurowave
  • 首页
  • 归档
  • 分类
  • 标签
  • 说说
  • 关于
_

重要通知:网站更新计划变更

重要通知:网站更新计划变更 自 2025年4月20日 起,建站内容将全面转向 AI Agent 自动更新。 其他内容聚焦 机器学习(ML)、深度学习(DL)、大语言模型(LLMs) 等领域的核心思考,不再更新建站相关技术分享。 历史文章仍可查阅,感谢支持,未来一起探索 AI 前沿!
2025-04-20 Updated within 7 days
#通知

1.Attention 核心思想

1. Attention 核心思想 1. 动机 灵感:人类处理信息时,会选择性关注关键部分,注意力机制模仿了这一处理方式。 作用:序列模型面对长输入时,注意力机制让模型能分配不同“权重”,聚焦重要信息片段。 实现:为每个输出位置,模型通过查询(query) 和 键(key) 计算相关性分数,对输入各部分进行加权汇聚,生成上下文表示。 2. 非参数注意力池化(Nadaraya-Watson
2025-04-18 Updated within 7 days
Attention
#Deep_Learning #NLP #Attention

1.词嵌入(Word Embedding,Word2Vec)

1. 词嵌入(Word Embedding,Word2Vec) 1. 动机 **独热向量(one-hot)**的问题: 高维稀疏性:独热向量维度极高,且大部分元素为 0。 缺乏语义相似性:无法表达词语间的语义关系(例如,"猫"和"狗"都是动物,但向量点积为 0)。 2. 自监督 Word2Vec 目标:将每个词映射到一个低维稠密向量,使语义相
2025-04-18 Updated within 7 days
NLP
#Deep_Learning #NLP #Embedding

4.长短期记忆网络 LSTM

4. 长短期记忆网络(Long short-term memory, LSTM) 核心思想:LSTM 通过引入“门控”机制,能够选择性地记住有用信息、忘记无用信息,有效缓解RNN在处理长序列时的“梯度消失”和“长期依赖”问题。 1. 门结构与功能 忘记门(Forget Gate)Ft:决定前一时刻记忆 Ct−1 有多少被保留到当前时刻,Ft 取0则完全遗忘,取1则全部保留。 输入门(Inp
2025-04-17 Updated within 7 days
RNN
#RNN #Deep_Learning

3.门控循环单元 GRU

3. 门控循环单元(Gated Recurrent Unit, GRU) 核心思想:GRU 能动态决定当前时刻要“记住”多少过去的信息、要“遗忘”多少无用内容,从而有效缓解传统RNN的长期依赖问题。它通过“更新门”和“重置门”两个机制,灵活调整信息流。 1. 信息处理机制 不是每个历史信息都同等重要,GRU能自动筛选: 更新门(Update Gate)Zt:决定当前隐状态 Ht 有多少来
2025-04-17 Updated within 7 days
RNN
#RNN #Deep_Learning

2.RNN相关基础知识

2. RNN 相关技术 1. 潜变量自回归模型与RNN RNN用潜变量 ht 总结历史信息,适合处理序列数据。 隐藏状态更新公式: ht=ϕ(Whhht−1+Whxxt+bh) ht:当前时间步的隐藏状态(记忆) ht−1:上一个时间步的隐藏状态(过去的记忆) xt:当前输入(如词向量) Whh,Whx:可学习的权重矩阵,用于融合历史和当前输入 b:偏置项 ϕ:激活函数(如 tanh 或
2025-04-17 Updated within 7 days
RNN
#RNN #Deep_Learning

1.文本预处理

1. 文本预处理 1. 序列模型 序列数据(时序结构):音乐,语言,视频,文本 建模方法:利用条件概率分解(Chain Rule)建模联合概率:P(a,b)=P(a)P(b|a)=P(b)P(a|b) 对条件概率的建模主要有两种方案: 马尔科夫假设:只依赖最近 τ 个历史数据点,简化模型复杂度 潜变量模型:用潜变量 ht=f(x1,...,xt−1) 概括历史信息,xt∼p(xt|ht)
2025-04-17 Updated within 7 days
RNN
#RNN #Deep_Learning

李沐《手动深度学习》环境配置问题

包括安装步骤、踩坑提示、适配d2l版本说明,适合写给想要在本地用 Jupyter Notebook 或者 PyCharm 学习这本书的朋友。 使用的环境配置(推荐) 组件 版本 Python 3.8 d2l 0.17.6 torch 1.13+ pandas >=1.2.4 jupyter notebook 看情况安装 版本过高,会导致一系列效果无法呈现
2025-04-16 Updated within 7 days
NLP
#Error #Python #Deep_Learning #配置 #PyTorch #Jupyter

macOS 环境变量

在 macOS 系统中,可以通过以下方式来配置环境变量,查看环境变量。 1. 临时设置(仅对当前终端会话有效) 在终端中直接使用 export 命令可以设置环境变量,这个变量只在当前会话内有效。例如: 1export MY_VAR="my_value" 之后,你可以通过 echo $MY_VAR 来查看变量值。如果关闭终端或启动新的终端窗口,这个设置就会失效。 2. 永
2025-03-01
System
#macOS

Prompt Engineering

1. Prompt 1.1 Prompt 是什么? Prompt 是一种人为构造的输入序列,用于引导 GPT 模型根据先前输入的内容生成相关的输出。简单来说,就是你向模型提供的 “提示词”。 在 ChatGpt 中,我们可以通过设计不同的 prompt,让模型生成与之相关的文本。例如,假设我们想让 ChatGpt 担任英语翻译。我们可以给模型提供以下 prompt: 1234我希望你能担任英语
2025-02-27
LLM
#LLM #Prompt_engineering
123

搜索

Hexo Fluid
小站勉强运行 196 天 20 小时 08 分 08 秒

Copyright © 2025 Artin Tan. All rights reserved.

总访问量 次 总访客数 人