当前位置: 首页 > news >正文

机器学习深度学习基本概念:logistic regression和softmax

逻辑回归用来处理二分类问题

softmax用来处理多分类问题:比如llm在generate的时候,每个batch里面的一个样本的一个一次generate就是softmax生成一个大小为vocab_size的向量的概率分布,然后再采样

逻辑回归(logistic regression)的核心:sigmoid函数

当W·x趋近于负无穷时sigmoid输出接近于0,当趋近于正无穷时,接近于1,来生成分类预测的概率

损失函数:

对数损失作为损失函数

softmax:

softmax函数输出每个类别的概率,概率总和为1

损失函数:

log-softmax

相关文章:

  • VScode 中文符号出现黄色方框的解决方法
  • 通用外设驱动模型(四步法)及配置GPIO步骤
  • 云原生系列之本地k8s环境搭建
  • 【pyqt】(十二)文本框
  • 神经网络中梯度计算求和公式求导问题
  • 2025年渗透测试面试题总结-字某某动-安全研究实习生(一面)(题目+回答)
  • BFS(七)662. 二叉树最大宽度 数组下标模拟存储二叉树
  • “深入浅出”系列之杂谈篇:(8)SQL Server 真的比不上 MySQL 吗?
  • 大模型中的剪枝、蒸馏是什么意思?
  • 【mlops】Cube Studio云原生机器学习平台架构解析
  • unity 让两个物体相遇时候刚体互不影响
  • Python计算程序用时方法大全(基础,高精度,装饰器,无侵入式,格式化时间输出)
  • K8s 1.27.1 实战系列(五)Namespace
  • GEFFEN/GF-SPMS8分布式电源强电控制器
  • 【408考研网络】2024考研原题计算机网络知识点总结(共六题)
  • 维度建模维度表技术基础解析(以电商场景为例)
  • linux上将sh脚本文件打包成二进制程序文件
  • 深入探究LLamaFactory推理DeepSeek蒸馏模型时无法展示<think>思考过程的问题
  • 微电网协调控制器ACCU-100 分布式光伏 光储充一本化
  • 驭码CodeRider 闪电适配阿里QwQ-32B:8小时全栈集成,AI编程效率飞跃!
  • 新加坡公布新内阁名单,黄循财继续担任总理及财政部长
  • 甘肃多地发生旱情,三大骨干工程已累计调水2.45亿立方米
  • 王毅会见阿富汗代理外长穆塔基
  • 吴玉凤获任杭州市政协副秘书长,此前担任富阳区委书记
  • 虎牙传奇杯亮相ACL,创新思维也是电竞赛事的生命力
  • MiniMax发布新一代语音大模型