大模型005
量化
什么是量化？
为什么需要量化？
量化的核心原理
主流量化技术
1 根据是否校准基准
2 根据量化比特数 Based on Bit-width
挑战与权衡
讯飞星火大模型!
讯飞智文
重点：语音识别，语言翻译 数学教育
To G
会议系统
语音识别-》会议纪要生成-》下发具体任务和OA对接。
语音识别开源 OpenAI whisper
三重一大
C端：
讯飞星火APP
AI硬件 AI学习机
B端：
教育
医疗
汽车：智能座舱
星火大模型介绍与使用
讯飞–深度推理X1模型
星火大模型API使用
webSocket的API
双向通信：服务器与客户端可以建立长连接，服务器可以主动推消息过来：
星火大模型定制平台
https://www.iflytek.com/
https://maas.xfyun.cn/modelSquare
提示词小技巧：Prompt：
思维树TOT
Tree of Thought
TOT Tree of Thought
模拟人的思考决策过程-- 决策树
根节点：如何让00后爱上我们的产品
第一层：核心创意
第二次 每一个 创意如何执行
第三次。。。p
评估与剪枝
风险高
超预算
见效快
TOT如何实现：
生成多个核心创意 思想分解
为每个创意构建策略 思想生成
量化评估每个策略 评估器（大模型做裁判）
选择最优路径，并整合 搜索算法
TOT小结：
多阶段生成相关方案，每个阶段对应的模型的角色有差别，这里可以选择调用不同的模型API
–如果是本地部署，可以考虑简单任务用小尺寸模型，复杂任务用大模型
用大模型评估：
–评估的时候，提示词可以写的细致一些，可以把评分考虑的维度，每个维度的权重都告诉模型。
结构化数据：
–使用json数据
树结构的保存：
–通过字典对象代表了树结构上的每一个节点
–节点之间的 关系，通过字典的key-value来保存
适合使用TOT的场景：
–对具有发散思维有需要的场景：
商业计划
产品线路规划
危机公关方案
–关键节点还是要使用最强的模型，保证效果
–可以考虑使用RAG做检索增强
历史成功案例
行业最新报告
为TOT决策加入事实依据
–如果任务比较复杂，需要做持久化，生成的内容可以做好缓存。
LangChain