需求背景:微软调整了缓存逻辑,相同的提示词部分必须单独放一个字段,差异部分放另外一个字段,我们需要兼容缓存逻辑
需求实现:
1、调整5.6以上的实时请求逻辑,根据提示词接口返回的数据做拆分(算法测会增加一个间隔符用来拆分提示词和差异信息)
2、请求的时候将提示词和差异信息放在不同的字段中进行请求,
prompt_cache_key字段组装逻辑:amazon-title-rules:提示词版本
请求示例
{
"model": "gpt-5.6-luna",
"prompt_cache_key": "amazon-title-rules:v1.3",
"input": [
{
"type": "message",
"role": "user",
"content": [
{
"type": "input_text",
"text": "提示词",
"prompt_cache_breakpoint": {
"mode": "explicit"
}
},
{
"type": "input_text",
"text": "差异信息"
}
]
}
],
"include": null,
"max_output_tokens": 4096,
"reasoning": {
"effort": "none",
"summary": null
}
}