任务描述

需求背景

由于目前增加检测敏感词有性能风险,因此需进行分表检测提升性能


需求描述

分表检测需修改的表及服务如下

1. 存储结构改造-Ebay Listing的ES检索库分表改造

2.Ebay检测中间表分表改造

3.Ebay-Listing数据同步到ES库服务

4.Ebay-新增Listing和新增敏感词词的增量检测服务

5.Ebay-侵权词删除服务与状态回写服务

6.Ebay-新增临时服务(从旧表迁移数据到新分表的服务)

需求描述

需求背景

由于目前增加检测敏感词有性能风险,因此需进行分表检测提升性能


需求描述

分表检测需修改的表及服务如下

1. 存储结构改造-Ebay Listing的ES检索库分表改造

2.Ebay检测中间表分表改造

3.Ebay-Listing数据同步到ES库服务

4.Ebay-新增Listing和新增敏感词词的增量检测服务

5.Ebay-侵权词删除服务与状态回写服务

6.Ebay-新增临时服务(从旧表迁移数据到新分表的服务)

验收标准
暂无
历史记录  
  1. 2024-02-01 10:51:02, 由 闫峰 创建。
  2. 2024-02-01 10:51:13, 由 闫峰 添加备注。
  3. 2024-02-01 10:52:48, 由 闫峰 启动。
    修改了 实际开始,旧值为 "0000-00-00 00:00:00",新值为 "2024-02-01 10:52:47"。
    修改了 任务状态,旧值为 "wait",新值为 "doing"。
  4. 2024-02-01 11:15:43, 由 闫峰 添加备注。

    D:\zhcx-service-test\venv\Scripts\python.exe D:\zhcx-service-test\util\es_get_all_data_yield.py 
    es索引=ebay_listing_0遍历数据量14989个 渠道数=27,测试通过
    source_id_all_set={10240, 8960, 20100, 8840, 18060, 20880, 9500, 11300, 5800, 15660, 13620, 7100, 9660, 12220, 15300, 10820, 20940, 7120, 5080, 20440, 20700, 6240, 16100, 7780, 6760, 5480, 10100}
    es索引=ebay_listing_1遍历数据量36248个 渠道数=24,测试通过
    source_id_all_set={8961, 16641, 20101, 7181, 12941, 18061, 9501, 9001, 15661, 19381, 7101, 11581, 7741, 8521, 20941, 10961, 18001, 19801, 20701, 6241, 16101, 10481, 10101, 20341}
    es索引=ebay_listing_2遍历数据量43655个 渠道数=26,测试通过
    source_id_all_set={13062, 8842, 10122, 7182, 12942, 11162, 7962, 9502, 19382, 8502, 7102, 12222, 20542, 9802, 20942, 10962, 13522, 6242, 13542, 13422, 10482, 10102, 17782, 5622, 20342, 15102}
    es索引=ebay_listing_3遍历数据量12313个 渠道数=31,测试通过
    source_id_all_set={10243, 10103, 18063, 13203, 5523, 12823, 15643, 7583, 11303, 6183, 18223, 15283, 19383, 20283, 12223, 7743, 10823, 20943, 13523, 9043, 19543, 11223, 10203, 19803, 12643, 10723, 7783, 13543, 13423, 17783, 15103}
    es索引=ebay_listing_4遍历数据量3801个 渠道数=23,测试通过
    source_id_all_set={15104, 20364, 5524, 10104, 12824, 5784, 15644, 10784, 18224, 15284, 19384, 8504, 12224, 7744, 7104, 6864, 7124, 19544, 11224, 19804, 20064, 13544, 17784}
    es索引=ebay_listing_5遍历数据量11719个 渠道数=20,测试通过
    source_id_all_set={12225, 15105, 16765, 7745, 17225, 13645, 20365, 10385, 7185, 15505, 9685, 5525, 12825, 20065, 17445, 17705, 20265, 10805, 19385, 13245}
    es索引=ebay_listing_6遍历数据量17678个 渠道数=24,测试通过
    source_id_all_set={5386, 7186, 19606, 5526, 11546, 12826, 6946, 10786, 20266, 20786, 10806, 19386, 7746, 17986, 9926, 13646, 12626, 6226, 12646, 15466, 16106, 10486, 8826, 16766}
    es索引=ebay_listing_7遍历数据量17485个 渠道数=21,测试通过
    source_id_all_set={15887, 6227, 15507, 7767, 19607, 5527, 11547, 5787, 14647, 5727, 10787, 16107, 15467, 20267, 9327, 12147, 10227, 20787, 10487, 6587, 19767}
    es索引=ebay_listing_8遍历数据量15918个 渠道数=30,测试通过
    source_id_all_set={10368, 12288, 15888, 5648, 15508, 7188, 5528, 11288, 20768, 10788, 20268, 11308, 20788, 10808, 17208, 5688, 19768, 6588, 7288, 10828, 9688, 7768, 5728, 17888, 7528, 16108, 6768, 20848, 12148, 10488}
    es索引=ebay_listing_9遍历数据量9247个 渠道数=24,测试通过
    source_id_all_set={15889, 5649, 15509, 7189, 13209, 17689, 20769, 10789, 11309, 5169, 19769, 17209, 12609, 10949, 7109, 8389, 16089, 9689, 15969, 10469, 19309, 16109, 6769, 10489}
    es索引=ebay_listing_10遍历数据量7544个 渠道数=19,测试通过
    source_id_all_set={11270, 20170, 15890, 8470, 15510, 13210, 15970, 20450, 10470, 5350, 12650, 5930, 14650, 19310, 11310, 8110, 10810, 19770, 8510}
    es索引=ebay_listing_11遍历数据量11220个 渠道数=15,测试通过
    source_id_all_set={20551, 11271, 20171, 10451, 17811, 5651, 7771, 19711, 10791, 21031, 19311, 15791, 10231, 14651, 9471}
    es索引=ebay_listing_12遍历数据量16867个 渠道数=26,测试通过
    source_id_all_set={19712, 10372, 7172, 8592, 17812, 15772, 6172, 8352, 10792, 21032, 14892, 15792, 8372, 14652, 5692, 9672, 20552, 7112, 20172, 10452, 16232, 10472, 5232, 9072, 19312, 10232}
    es索引=ebay_listing_13遍历数据量12039个 渠道数=21,测试通过
    source_id_all_set={7173, 11913, 19593, 11153, 17813, 20253, 16413, 11293, 16553, 10793, 14893, 5933, 13753, 5693, 14653, 9673, 20173, 7773, 10473, 5613, 10233}
    es索引=ebay_listing_14遍历数据量16134个 渠道数=27,测试通过
    source_id_all_set={9474, 19714, 18054, 11914, 19594, 19854, 20494, 17814, 5654, 5274, 7194, 15774, 20254, 11294, 9634, 20134, 13354, 16554, 6454, 5814, 6074, 14654, 9674, 20694, 19934, 10474, 19834}
    es索引=ebay_listing_15遍历数据量22975个 渠道数=29,测试通过
    source_id_all_set={19715, 18055, 19595, 11275, 20495, 8975, 8335, 5655, 17815, 5275, 11295, 9635, 8355, 20135, 9895, 10795, 13235, 15935, 14655, 20035, 20555, 17875, 19935, 8415, 11235, 6635, 6255, 12535, 10235}
    es索引=ebay_listing_16遍历数据量9134个 渠道数=23,测试通过
    source_id_all_set={19716, 18056, 19596, 8596, 17816, 7836, 9636, 8356, 9896, 10236, 7216, 15936, 20036, 7756, 13776, 17876, 10456, 20056, 20696, 11236, 10476, 10096, 19836}
    es索引=ebay_listing_17遍历数据量12097个 渠道数=28,测试通过
    source_id_all_set={20097, 18057, 11017, 13197, 19597, 12817, 8977, 9497, 11297, 5797, 13737, 13237, 9657, 6457, 11197, 20037, 7757, 13777, 10457, 20057, 20697, 13537, 7777, 11237, 10477, 6257, 13177, 19837}
    es索引=ebay_listing_18遍历数据量7766个 渠道数=27,测试通过
    source_id_all_set={20098, 12678, 18058, 20878, 5518, 19598, 7958, 8478, 7838, 11298, 13238, 6458, 9658, 20038, 20938, 7758, 17878, 10458, 20698, 13538, 11238, 6118, 10478, 6898, 6258, 10098, 10238}
    es索引=ebay_listing_19遍历数据量12283个 渠道数=21,测试通过
    source_id_all_set={20099, 10499, 10819, 10759, 8839, 18059, 20939, 5519, 20439, 9499, 20699, 6239, 8419, 11299, 9639, 5799, 6759, 10479, 10099, 9659, 10239}

    Process finished with exit code 0


  5. 2024-02-01 16:09:39, 由 闫峰 添加备注。

     先执行这个渠道的 "OrderSourceId": 13197  

    {
    "input": {
    "startTime": "2024-01-02 10:00:00",
    "endTime": "2024-01-07 10:10:00",
    "platformId": 3,
    "siteCode": "",
    "riskLevel": 0,
    "pageSize":10000
    }
    }

  6. 2024-02-01 17:18:24, 由 闫峰 添加备注。

    增量listing检测

    新增listing检测
    {
    "query": {
    "bool": {
    "must": [
    {
    "match_phrase": {
    "OrderSourceId": {
    "query": 7757
    }
    }
    },
    {
    "range": {
    "UpdateTime": {
    "from": "2024-01-30T19:17:47.5823465+08:00",
    "to": "2024-01-31T19:17:47.5823465+08:00"
    }
    }
    }
    ]
    }
    }
    }已读


  7. 2024-02-01 19:32:15, 由 闫峰 记录工时,消耗 8 小时。
    修改了 总计消耗,旧值为 "0",新值为 "8"。
    修改了 预计剩余,旧值为 "9",新值为 "1"。
  8. 2024-02-23 09:59:18, 由 闫峰 记录工时,消耗 1 小时。
    修改了 总计消耗,旧值为 "8",新值为 "9"。
    修改了 预计剩余,旧值为 "1",新值为 "0"。
    修改了 任务状态,旧值为 "doing",新值为 "done"。
    修改了 由谁完成,旧值为 "",新值为 "yanfeng"。
    修改了 实际完成,旧值为 "",新值为 "2024-02-23 09:59:18"。
  9. 2024-02-23 09:59:20, 由 闫峰 关闭。
    修改了 任务状态,旧值为 "done",新值为 "closed"。
    修改了 指派给 ,旧值为 "yanfeng",新值为 "closed"。
    修改了 由谁关闭,旧值为 "",新值为 "yanfeng"。
    修改了 关闭时间,旧值为 "0000-00-00 00:00:00",新值为 "2024-02-23 09:59:20"。
    修改了 关闭原因,旧值为 "",新值为 "done"。
所属迭代 智能中心-EBAY直发迭代
所属模块 智能中心-需求池  战略独立项目   EBAY直发
相关需求 ebay敏感词检测改为分表查询
指派给 Closed 于 2024-02-23 09:59:20
任务类型 测试
任务标签 初始
开发组 百货开发组
任务状态 已关闭
进度 100%
优先级 P1
关键词
抄送给
由谁创建 闫峰 于 2024-02-01 10:51:02
由谁完成 闫峰 于 2024-02-23 09:59:18
由谁取消 暂无
由谁关闭 闫峰 于 2024-02-23 09:59:20
关闭原因 已完成
最后编辑 闫峰 于 2024-02-23 09:59:20
团队 最初预计 总计消耗 预计剩余
工时信息
最初预计 9工时
总计消耗 9工时
预计剩余 0工时
预计开始 2024-02-01
实际开始 2024-02-01
截止日期 2024-02-06