需求背景:ChatGPT增加支持flex模式,这个模式虽然增加了一些延迟,但是费用是正常模式的一半,可以用于文案优化使用
需求实现:
1、增加flex模式支持,这个模式延迟较大,等待时间较长,需要架构上支持,不要一直等待(超过10分钟的任务为超时,需要重试,返回错误的数据也需要进行重试)
请求示例:
增加字段:
"service_tier": "flex"

2、在文案优化服务中增加这个支持,按照站点切换,使用的节点与实时的节点保持一致。
3、由于flex模式的价格不一样(正常价格的一半),计费的时候需要区分是否flex模式的请求(统计数据是需要拆分,包括节点维度统计和天维度统计)