需求背景
由于目前增加检测敏感词有性能风险,因此需进行分表检测提升性能
需求描述
分表检测需修改的表及服务如下
1. 存储结构改造-Ebay Listing的ES检索库分表改造
2.Ebay检测中间表分表改造
3.Ebay-Listing数据同步到ES库服务
4.Ebay-新增Listing和新增敏感词词的增量检测服务
5.Ebay-侵权词删除服务与状态回写服务
6.Ebay-新增临时服务(从旧表迁移数据到新分表的服务)
需求背景
由于目前增加检测敏感词有性能风险,因此需进行分表检测提升性能
需求描述
分表检测需修改的表及服务如下
1. 存储结构改造-Ebay Listing的ES检索库分表改造
2.Ebay检测中间表分表改造
3.Ebay-Listing数据同步到ES库服务
4.Ebay-新增Listing和新增敏感词词的增量检测服务
5.Ebay-侵权词删除服务与状态回写服务
6.Ebay-新增临时服务(从旧表迁移数据到新分表的服务)
需求背景
由于目前增加检测敏感词有性能风险,因此需进行分表检测提升性能
需求描述
分表检测需修改的表及服务如下
1. 存储结构改造-Ebay Listing的ES检索库分表改造
2.Ebay检测中间表分表改造
3.Ebay-Listing数据同步到ES库服务
4.Ebay-新增Listing和新增敏感词词的增量检测服务
5.Ebay-侵权词删除服务与状态回写服务
6.Ebay-新增临时服务(从旧表迁移数据到新分表的服务)


D:\zhcx-service-test\venv\Scripts\python.exe D:\zhcx-service-test\util\es_get_all_data_yield.py
es索引=ebay_listing_0遍历数据量14989个 渠道数=27,测试通过
source_id_all_set={10240, 8960, 20100, 8840, 18060, 20880, 9500, 11300, 5800, 15660, 13620, 7100, 9660, 12220, 15300, 10820, 20940, 7120, 5080, 20440, 20700, 6240, 16100, 7780, 6760, 5480, 10100}
es索引=ebay_listing_1遍历数据量36248个 渠道数=24,测试通过
source_id_all_set={8961, 16641, 20101, 7181, 12941, 18061, 9501, 9001, 15661, 19381, 7101, 11581, 7741, 8521, 20941, 10961, 18001, 19801, 20701, 6241, 16101, 10481, 10101, 20341}
es索引=ebay_listing_2遍历数据量43655个 渠道数=26,测试通过
source_id_all_set={13062, 8842, 10122, 7182, 12942, 11162, 7962, 9502, 19382, 8502, 7102, 12222, 20542, 9802, 20942, 10962, 13522, 6242, 13542, 13422, 10482, 10102, 17782, 5622, 20342, 15102}
es索引=ebay_listing_3遍历数据量12313个 渠道数=31,测试通过
source_id_all_set={10243, 10103, 18063, 13203, 5523, 12823, 15643, 7583, 11303, 6183, 18223, 15283, 19383, 20283, 12223, 7743, 10823, 20943, 13523, 9043, 19543, 11223, 10203, 19803, 12643, 10723, 7783, 13543, 13423, 17783, 15103}
es索引=ebay_listing_4遍历数据量3801个 渠道数=23,测试通过
source_id_all_set={15104, 20364, 5524, 10104, 12824, 5784, 15644, 10784, 18224, 15284, 19384, 8504, 12224, 7744, 7104, 6864, 7124, 19544, 11224, 19804, 20064, 13544, 17784}
es索引=ebay_listing_5遍历数据量11719个 渠道数=20,测试通过
source_id_all_set={12225, 15105, 16765, 7745, 17225, 13645, 20365, 10385, 7185, 15505, 9685, 5525, 12825, 20065, 17445, 17705, 20265, 10805, 19385, 13245}
es索引=ebay_listing_6遍历数据量17678个 渠道数=24,测试通过
source_id_all_set={5386, 7186, 19606, 5526, 11546, 12826, 6946, 10786, 20266, 20786, 10806, 19386, 7746, 17986, 9926, 13646, 12626, 6226, 12646, 15466, 16106, 10486, 8826, 16766}
es索引=ebay_listing_7遍历数据量17485个 渠道数=21,测试通过
source_id_all_set={15887, 6227, 15507, 7767, 19607, 5527, 11547, 5787, 14647, 5727, 10787, 16107, 15467, 20267, 9327, 12147, 10227, 20787, 10487, 6587, 19767}
es索引=ebay_listing_8遍历数据量15918个 渠道数=30,测试通过
source_id_all_set={10368, 12288, 15888, 5648, 15508, 7188, 5528, 11288, 20768, 10788, 20268, 11308, 20788, 10808, 17208, 5688, 19768, 6588, 7288, 10828, 9688, 7768, 5728, 17888, 7528, 16108, 6768, 20848, 12148, 10488}
es索引=ebay_listing_9遍历数据量9247个 渠道数=24,测试通过
source_id_all_set={15889, 5649, 15509, 7189, 13209, 17689, 20769, 10789, 11309, 5169, 19769, 17209, 12609, 10949, 7109, 8389, 16089, 9689, 15969, 10469, 19309, 16109, 6769, 10489}
es索引=ebay_listing_10遍历数据量7544个 渠道数=19,测试通过
source_id_all_set={11270, 20170, 15890, 8470, 15510, 13210, 15970, 20450, 10470, 5350, 12650, 5930, 14650, 19310, 11310, 8110, 10810, 19770, 8510}
es索引=ebay_listing_11遍历数据量11220个 渠道数=15,测试通过
source_id_all_set={20551, 11271, 20171, 10451, 17811, 5651, 7771, 19711, 10791, 21031, 19311, 15791, 10231, 14651, 9471}
es索引=ebay_listing_12遍历数据量16867个 渠道数=26,测试通过
source_id_all_set={19712, 10372, 7172, 8592, 17812, 15772, 6172, 8352, 10792, 21032, 14892, 15792, 8372, 14652, 5692, 9672, 20552, 7112, 20172, 10452, 16232, 10472, 5232, 9072, 19312, 10232}
es索引=ebay_listing_13遍历数据量12039个 渠道数=21,测试通过
source_id_all_set={7173, 11913, 19593, 11153, 17813, 20253, 16413, 11293, 16553, 10793, 14893, 5933, 13753, 5693, 14653, 9673, 20173, 7773, 10473, 5613, 10233}
es索引=ebay_listing_14遍历数据量16134个 渠道数=27,测试通过
source_id_all_set={9474, 19714, 18054, 11914, 19594, 19854, 20494, 17814, 5654, 5274, 7194, 15774, 20254, 11294, 9634, 20134, 13354, 16554, 6454, 5814, 6074, 14654, 9674, 20694, 19934, 10474, 19834}
es索引=ebay_listing_15遍历数据量22975个 渠道数=29,测试通过
source_id_all_set={19715, 18055, 19595, 11275, 20495, 8975, 8335, 5655, 17815, 5275, 11295, 9635, 8355, 20135, 9895, 10795, 13235, 15935, 14655, 20035, 20555, 17875, 19935, 8415, 11235, 6635, 6255, 12535, 10235}
es索引=ebay_listing_16遍历数据量9134个 渠道数=23,测试通过
source_id_all_set={19716, 18056, 19596, 8596, 17816, 7836, 9636, 8356, 9896, 10236, 7216, 15936, 20036, 7756, 13776, 17876, 10456, 20056, 20696, 11236, 10476, 10096, 19836}
es索引=ebay_listing_17遍历数据量12097个 渠道数=28,测试通过
source_id_all_set={20097, 18057, 11017, 13197, 19597, 12817, 8977, 9497, 11297, 5797, 13737, 13237, 9657, 6457, 11197, 20037, 7757, 13777, 10457, 20057, 20697, 13537, 7777, 11237, 10477, 6257, 13177, 19837}
es索引=ebay_listing_18遍历数据量7766个 渠道数=27,测试通过
source_id_all_set={20098, 12678, 18058, 20878, 5518, 19598, 7958, 8478, 7838, 11298, 13238, 6458, 9658, 20038, 20938, 7758, 17878, 10458, 20698, 13538, 11238, 6118, 10478, 6898, 6258, 10098, 10238}
es索引=ebay_listing_19遍历数据量12283个 渠道数=21,测试通过
source_id_all_set={20099, 10499, 10819, 10759, 8839, 18059, 20939, 5519, 20439, 9499, 20699, 6239, 8419, 11299, 9639, 5799, 6759, 10479, 10099, 9659, 10239}
Process finished with exit code 0
先执行这个渠道的 "OrderSourceId": 13197
{
"input": {
"startTime": "2024-01-02 10:00:00",
"endTime": "2024-01-07 10:10:00",
"platformId": 3,
"siteCode": "",
"riskLevel": 0,
"pageSize":10000
}
}




增量listing检测
新增listing检测

| 所属迭代 | 智能中心-EBAY直发迭代 |
|---|---|
| 所属模块 | 智能中心-需求池 战略独立项目 EBAY直发 |
| 相关需求 | ebay敏感词检测改为分表查询 |
| 指派给 | Closed 于 2024-02-23 09:59:20 |
| 任务类型 | 测试 |
| 任务标签 | 初始 |
| 开发组 | 百货开发组 |
| 任务状态 | 已关闭 |
| 进度 | 100% |
| 优先级 | P1 |
| 关键词 | |
| 抄送给 |
| 由谁创建 | 闫峰 于 2024-02-01 10:51:02 |
|---|---|
| 由谁完成 | 闫峰 于 2024-02-23 09:59:18 |
| 由谁取消 | 暂无 |
| 由谁关闭 | 闫峰 于 2024-02-23 09:59:20 |
| 关闭原因 | 已完成 |
| 最后编辑 | 闫峰 于 2024-02-23 09:59:20 |
| 团队 | 最初预计 | 总计消耗 | 预计剩余 |
|---|
| 最初预计 | 9工时 |
|---|---|
| 总计消耗 | 9工时 |
| 预计剩余 | 0工时 |
| 预计开始 | 2024-02-01 |
| 实际开始 | 2024-02-01 |
| 截止日期 | 2024-02-06 |