qwen-long可支持最大10,000,000tokens(包含您的问答历史及上传文档的总tokens)的上下文,请参照以下说明选择适合您的使用方式。
为了帮助您选择合适的模型使用方式,我们提供以下几种较为常见的场景及模型的使用方法供您参考。
单文档对话
方法介绍
方法说明
方式1
推荐使用该方法。
方式2
1Mtokens以下的文档可选用该方法。
安装方式:pipinstall--upgrade'openai>=1.0'
检查版本:python-c'importopenai;print("version=",openai.__version__)'
qwen-long支持长文本(文档)对话,文档内容需放在role为system的message中,有以下两种方式可将文档信息输入给模型:
请避免直接将文档内容放在role为user的message中,role为user的message及用于roleplay的systemmessage限制输入最长为9Ktokens。
使用qwen-long时,通过systemmessage提供文档信息时,还必须同时提供一个正常role-play的systemmessage,默认为"Youareahelpfulassistant.",您也可以根据实际需求进行自定义修改,例如“你是一个文本解读专家。”等等。请参照文档中的范例代码作为参考。
类型
默认值
说明
model
string
-
当前模型为qwen-long
messages
list
top_p
(可选)
float
生成过程中的核采样方法概率阈值,例如,取值为0.8时,仅保留概率加起来大于等于0.8的最可能token的最小集合作为候选集。取值范围为(0,1.0),取值越大,生成的随机性越高;取值越低,生成的确定性越高。
temperature(可选)
用于控制模型回复的随机性和多样性。具体来说,temperature值控制了生成文本时对每个候选词的概率分布进行平滑的程度。较高的temperature值会降低概率分布的峰值,使得更多的低概率词被选择,生成结果更加多样化;而较低的temperature值则会增强概率分布的峰值,使得高概率词更容易被选择,生成结果更加确定。
取值范围:[0,2),不建议取值为0,无意义。
max_tokens(可选)
integer
2000
指定模型可生成的最大token个数。例如模型最大输出长度为2k,您可以设置为1k,防止模型输出过长的内容。
不同的模型有不同的输出上限,例如qwen-max输出上限为2k,qwen-plus输出上限为8k。
stream
boolean
False
用于控制是否使用流式输出。当以stream模式输出结果时,接口返回结果为generator,需要通过迭代获取结果,默认每次输出为当前生成的整个序列,最后一次输出为最终全部生成结果。
stop
stringorarray
None
stop参数用于实现内容生成过程的精确控制,在模型生成的内容即将包含指定的字符串或token_id时自动停止。stop可以为string类型或array类型。
您可以通过HTTP接口来调用服务,获得与通过HTTP接口调用OpenAI服务相同结构的返回结果。
需要使用您的API-KEY替换示例中的$DASHSCOPE_API_KEY。
{"error":{"message":"IncorrectAPIkeyprovided.","type":"invalid_request_error","param":null,"code":"invalid_api_key"}}状态码说明错误码
400-Invalidfile[id:xxx].
提供的文件id存在问题
400-Toomanyfilesprovided.
提供的对话文档数量大于等于100
400-File[id:xxx]cannotbefound.
输入的文件已经被删除
400-File[id:xxx]exceedssizelimit.
文档大小超限
400-File[id:xxx]exceedspagelimits(15000pages).
文档页数超限
400-Multipletypesoffilesystempromptdetected,pleasedonotmixfile-idandtextcontentinonerequest.
输入的文件中包含了fileid和文件内容两种方式,当前暂不支持两种方式混用
400-File[id:xxx]formatisnotsupported.
文档格式不支持
400-File[id:xxx]contentblank.
文档内容为空
400-Totalmessagetokenlengthexceedmodellimit(10000000tokens).
输入的messages总token数超过了10M
400-Singleroundfile-contentexceedstokenlimit,pleaseusefileidtosupplylengthyinput.
输入的单条messagetoken数超过了9K
400-Rolespecificationinvalid,pleaserefertoAPIdocumentationforusage.
messages组装格式存在问题,请参考上述参数描述与示例代码进行参考
400-Fileparsinginprogress,pleasetryagainlater.
文档解析中,请稍后再试
400-Inputdatamaycontaininappropriatecontent.
数据检查错误,输入包含疑似敏感内容被绿网拦截
429-Youexceededyourcurrentrequestslist.
您超出了对模型访问的限流值,请稍后再试
500-File[id:xxx]parsingerror.
文档解析失败
500-File[id:xxx]prasingtimeout.
文档解析超时
500-Preprocessorerror.
大模型前处理错误
500-Postprocessorerror.
大模型后处理错误
500-Filecontentconversionerror.
文档message处理错误
500-Anunspecifiedinternalerrorhasoccured.
调用大模型出现异常
500-Responsetimeout.
处理超时,可尝试重试
503-Theengineiscurrentlyoverloaded,pleasetryagainlater.