需求背景:ChatGPT统计目前没有判断缓存,导致实时费用过高,需要增加缓存判断
需求实现:
https://pm.zhcxkj.com/zentao/story-view-32517.html
1、在原统计表中,增加一个请求缓存token数,取值来自于返回结果中的cached_tokens字段

2、在价格配置中增加缓存价格。
4.1min的缓存价格为 $0.0001
4.1 的缓存价格为$0.0005
3、计算逻辑调整(仅针对实时,异步不适用缓存逻辑),实时的费用=cached_tokens*缓存单价+(prompt_tokens-cached_tokens)*请求单价+ completion_tokens* 返回单价
