AI大模型配置项
AI大模型配置项
下文将简述大模型通用的几个配置项。
1.temperature
取值0~2 浮点数值
temperature 翻译成中文是温度的意思,在首次看到这个参数时很困惑,大模型设置温度,很奇怪。通过翻阅说明,解释未数值越高更具创造性,数值越低越保守。对于不同类型应该设置未不同的温度,如下表所示:
根据表格总结为,一些固定的知识、法律条文,就设置较低的温度,避免自己创造。需要创造性的,则设置为高值。
2.maxToken
表示设置token的最大数量,如果超过maxtoken就终端。
在一个对话中,一次问答返回结果,不是一个token。比如这里的给大模型发送你好,返回内容是:你好!😊 有什么可以帮你的吗?,实际上使用了19个token
3.stop
截断你不想输出的内容
比如:
ai:openai:api-key: sk-e78e58b2b203474aaeae24d7d4b60034base-url: https://api.deepseek.comchat:options:model: deepseek-chattemperature: 0.7stop: - "\n"- "###"- "政治"- "最后总结一下"
当返回中包含stop 里设置的关键字,会截取掉该关键字后面的所有内容。