PyGetGPT/doc/clientConfig.md

7 lines
884 B
Markdown
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

# 配置文件说明
{"url": "<此处为api URL>", "userkey": "<此处为你的UserKey>", "context": <此处为1 开启上下位关联功能 默认0关闭>}
注意开启上下文关联会消耗大量的token
# 什么是Token
在大型语言模型中,"token"是指文本中的一个最小单位。 通常一个token可以是一个单词、一个标点符号、一个数字、一个符号等。 在自然语言处理中tokenization是将一个句子或文本分成tokens的过程。 在大型语言模型的训练和应用中模型接收一串tokens作为输入并尝试预测下一个最可能的token。
# 上下文关联
在使用上下文关联时模型除了处理你当前的问题时还需要一并将历史对话的一部分共同处理。所以需要消耗更多的token。在本应用中token消耗平均值大约是不开启上下文功能的300%。