当前位置：首页 > news >正文

HCIA-AI人工智能笔记4：神经网络类型

news 来源：原创 2025/5/20 1:04:59

一、神经网络类型全景图

graph TD
A[神经网络类型] --> B(前馈型)
A --> C(反馈型)
B --> B1[全连接网络FCN]
B --> B2[卷积网络CNN]
B --> B3[Transformer]
C --> C1[循环网络RNN]
C --> C2[长短期记忆LSTM]
C --> C3[脉冲神经网络SNN]

二、基础网络架构深度解析

1. 全连接网络（FCN）

华为MindSpore实现：

import mindspore.nn as nn

class FCN(nn.Cell):
    def __init__(self):
        super().__init__()
        self.fc = nn.SequentialCell(
            nn.Dense(784, 512),  # 输入层→隐层
            nn.ReLU(),
            nn.Dense(512, 10)    # 隐层→输出
        )
    
    def construct(self, x):
        return self.fc(x)

适用场景：
结构化数据分类（如客户流失预测）
浅层特征提取

2. 卷积神经网络（CNN）

核心组件对比：
在这里插入图片描述

三、序列建模网络演进

1. 循环神经网络（RNN）

梯度问题分析：

graph LR
A[长序列输入] --> B{梯度传递}
B --> C[梯度爆炸]
B --> D[梯度消失]

华为优化方案：
梯度裁剪：nn.ClipByNorm()
权重初始化：initializer.XavierUniform()

2. LSTM网络结构

门控机制数学表达：
在这里插入图片描述
MindSpore实现：

class HuaweiLSTM(nn.Cell):
    def __init__(self, input_size, hidden_size):
        super().__init__()
        self.lstm = nn.LSTM(input_size, hidden_size, batch_first=True)
        self.fc = nn.Dense(hidden_size, 10)
    
    def construct(self, x):
        out, _ = self.lstm(x)  # out.shape: (B, T, H)
        return self.fc(out[:, -1, :])