From 54593436cf26cbe8ee49ab2005e8c2b3e1b2449a Mon Sep 17 00:00:00 2001 From: panda <1415243231@qq.com> Date: Wed, 31 Dec 2025 10:49:38 +0800 Subject: [PATCH] =?UTF-8?q?=E9=9D=9E=E6=A0=87=E3=80=81=E7=9C=81=E5=B8=82?= =?UTF-8?q?=E5=8C=BA=E6=9B=B4=E6=96=B0?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .idea/SaaS.iml | 2 +- .idea/misc.xml | 2 +- back_ground_module/logs/error_task.log | 37 ++++++++++++++++ logs/error_task.log | 19 ++++++++ logs/task.log | 46 ++++++++++++++++++++ tasks.csv | 2 +- test/logs/task.log | 60 ++++++++++++++++++++++++++ tools/BI.ipynb | 24 ++++------- 8 files changed, 173 insertions(+), 19 deletions(-) diff --git a/.idea/SaaS.iml b/.idea/SaaS.iml index 8d01993..a4904b4 100644 --- a/.idea/SaaS.iml +++ b/.idea/SaaS.iml @@ -7,7 +7,7 @@ - + \ No newline at end of file diff --git a/.idea/misc.xml b/.idea/misc.xml index be83e9b..3473a56 100644 --- a/.idea/misc.xml +++ b/.idea/misc.xml @@ -3,7 +3,7 @@ - + diff --git a/back_ground_module/logs/error_task.log b/back_ground_module/logs/error_task.log index b3dfc1d..925e296 100644 --- a/back_ground_module/logs/error_task.log +++ b/back_ground_module/logs/error_task.log @@ -104,3 +104,40 @@ Traceback (most recent call last): File "D:\ProgramTools\anaconda3\envs\saas\Lib\site-packages\pandas\core\arrays\datetimes.py", line 1085, in tz_localize raise TypeError("Already tz-aware, use tz_convert to convert.") TypeError: Already tz-aware, use tz_convert to convert. +2025-12-30 16:06:56,642 - log_config.py - error_task_logger - ERROR - 写入数据库时发生错误: No module named 'numpy.rec' +Traceback (most recent call last): + File "D:\Idea Project\SaaS_V1.7\back_ground_module\non_standar_performance_to_BI.py", line 204, in write_to_bi + df = df.replace([None, np.nan, pd.NA, 'nan', 'NaN', 'NAN', ''], None) + File "D:\Program Files\anaconda3\envs\SaaS\Lib\site-packages\pandas\core\generic.py", line 8125, in replace + new_data = self._mgr.replace_list( + src_list=to_replace, + ...<2 lines>... + regex=regex, + ) + File "D:\Program Files\anaconda3\envs\SaaS\Lib\site-packages\pandas\core\internals\base.py", line 278, in replace_list + bm = self.apply_with_block( + "replace_list", + ...<5 lines>... + already_warned=_AlreadyWarned(), + ) + File "D:\Program Files\anaconda3\envs\SaaS\Lib\site-packages\pandas\core\internals\managers.py", line 363, in apply + applied = getattr(b, f)(**kwargs) + File "D:\Program Files\anaconda3\envs\SaaS\Lib\site-packages\pandas\core\internals\blocks.py", line 1160, in replace_list + for i, ((src, dest), mask) in enumerate(zip(pairs, masks)): + ~~~~~~~~~^^^^^^^^^^^^^^^^^^^ + File "D:\Program Files\anaconda3\envs\SaaS\Lib\site-packages\pandas\core\internals\blocks.py", line 1132, in + masks = (missing.mask_missing(values, s[0]) for s in pairs) + ~~~~~~~~~~~~~~~~~~~~^^^^^^^^^^^^^^ + File "D:\Program Files\anaconda3\envs\SaaS\Lib\site-packages\pandas\core\missing.py", line 99, in mask_missing + na_mask = isna(values_to_mask) + File "D:\Program Files\anaconda3\envs\SaaS\Lib\site-packages\pandas\core\dtypes\missing.py", line 178, in isna + return _isna(obj) + File "D:\Program Files\anaconda3\envs\SaaS\Lib\site-packages\pandas\core\dtypes\missing.py", line 207, in _isna + return _isna_array(obj, inf_as_na=inf_as_na) + File "D:\Program Files\anaconda3\envs\SaaS\Lib\site-packages\pandas\core\dtypes\missing.py", line 288, in _isna_array + elif isinstance(values, np.rec.recarray): + ^^^^^^ + File "D:\Program Files\anaconda3\envs\SaaS\Lib\site-packages\numpy\__init__.py", line 758, in __getattr__ + import numpy.typing as typing + ^^^^^^^^^^^^^^^^^^^^^^^ +ModuleNotFoundError: No module named 'numpy.rec' diff --git a/logs/error_task.log b/logs/error_task.log index 7de3079..30f2e0e 100644 --- a/logs/error_task.log +++ b/logs/error_task.log @@ -2515,3 +2515,22 @@ 2025-12-25 16:00:55,968 - log_config.py - error_task_logger - ERROR - 任务 经销商新签服务单转BI 超过执行窗口5分钟以上,标记为过期。 2025-12-25 16:00:55,969 - log_config.py - error_task_logger - ERROR - 任务 高德匹配手机号 超过执行窗口5分钟以上,标记为过期。 2025-12-25 16:00:55,969 - log_config.py - error_task_logger - ERROR - 任务 省市区人员关系表转BI 超过执行窗口5分钟以上,标记为过期。 +2025-12-31 10:05:48,066 - log_config.py - error_task_logger - ERROR - 任务 NGV新增数据 超过执行窗口5分钟以上,标记为过期。 +2025-12-31 10:05:48,077 - log_config.py - error_task_logger - ERROR - 任务 新签客户回访 超过执行窗口5分钟以上,标记为过期。 +2025-12-31 10:05:48,078 - log_config.py - error_task_logger - ERROR - 任务 续约客户回访 超过执行窗口5分钟以上,标记为过期。 +2025-12-31 10:05:48,079 - log_config.py - error_task_logger - ERROR - 任务 接车宝日常派发 超过执行窗口5分钟以上,标记为过期。 +2025-12-31 10:05:48,080 - log_config.py - error_task_logger - ERROR - 任务 私域小程序数据支撑 超过执行窗口5分钟以上,标记为过期。 +2025-12-31 10:05:48,080 - log_config.py - error_task_logger - ERROR - 任务 小六提成数据支撑 超过执行窗口5分钟以上,标记为过期。 +2025-12-31 10:05:48,081 - log_config.py - error_task_logger - ERROR - 任务 异业合作数据支撑 超过执行窗口5分钟以上,标记为过期。 +2025-12-31 10:05:48,082 - log_config.py - error_task_logger - ERROR - 任务 短信数据支撑 超过执行窗口5分钟以上,标记为过期。 +2025-12-31 10:05:48,083 - log_config.py - error_task_logger - ERROR - 任务 海外邮件推送 超过执行窗口5分钟以上,标记为过期。 +2025-12-31 10:05:48,083 - log_config.py - error_task_logger - ERROR - 任务 异常服务待办派发 超过执行窗口5分钟以上,标记为过期。 +2025-12-31 10:05:48,084 - log_config.py - error_task_logger - ERROR - 任务 简道云海外项目CRM客户档案迁移BI 超过执行窗口5分钟以上,标记为过期。 +2025-12-31 10:05:48,085 - log_config.py - error_task_logger - ERROR - 任务 安装服务历史派发 超过执行窗口5分钟以上,标记为过期。 +2025-12-31 10:05:48,085 - log_config.py - error_task_logger - ERROR - 任务 分母报备调整 超过执行窗口5分钟以上,标记为过期。 +2025-12-31 10:05:48,086 - log_config.py - error_task_logger - ERROR - 任务 分子报备调整 超过执行窗口5分钟以上,标记为过期。 +2025-12-31 10:05:48,087 - log_config.py - error_task_logger - ERROR - 任务 履约表数据支撑 超过执行窗口5分钟以上,标记为过期。 +2025-12-31 10:05:48,087 - log_config.py - error_task_logger - ERROR - 任务 字段监控 超过执行窗口5分钟以上,标记为过期。 +2025-12-31 10:05:48,088 - log_config.py - error_task_logger - ERROR - 任务 经销商新签服务单转BI 超过执行窗口5分钟以上,标记为过期。 +2025-12-31 10:05:48,088 - log_config.py - error_task_logger - ERROR - 任务 高德匹配手机号 超过执行窗口5分钟以上,标记为过期。 +2025-12-31 10:05:48,089 - log_config.py - error_task_logger - ERROR - 任务 省市区人员关系表转BI 超过执行窗口5分钟以上,标记为过期。 diff --git a/logs/task.log b/logs/task.log index f18b73b..9e07a56 100644 --- a/logs/task.log +++ b/logs/task.log @@ -141,3 +141,49 @@ 2025-12-25 16:00:55,970 - utils.py - task_logger - INFO - 任务 省市区人员关系表转BI 状态已更新为 过期。 2025-12-25 16:00:55,970 - utils.py - task_logger - INFO - 启动任务加载完成。 2025-12-25 16:00:55,970 - main.py - task_logger - INFO - 程序已启动... +2025-12-31 10:05:46,803 - utils.py - task_logger - INFO - 任务队列已从磁盘加载。 +2025-12-31 10:05:48,062 - api.py - task_logger - INFO - 获取了34条数据 +2025-12-31 10:05:48,065 - sample_cloud_modules.py - task_logger - INFO - 任务已从云端获取并保存到 tasks.csv 文件。 +2025-12-31 10:05:48,065 - main.py - task_logger - INFO - 任务列表已保存到 csv 文件中。 +2025-12-31 10:05:48,065 - utils.py - task_logger - INFO - 启动时加载并执行任务... +2025-12-31 10:05:48,066 - utils.py - task_logger - INFO - 任务已从磁盘加载到全局任务字典。 +2025-12-31 10:05:48,077 - utils.py - task_logger - INFO - 所有任务状态已保存到磁盘。 +2025-12-31 10:05:48,077 - utils.py - task_logger - INFO - 任务 NGV新增数据 状态已更新为 过期。 +2025-12-31 10:05:48,078 - utils.py - task_logger - INFO - 所有任务状态已保存到磁盘。 +2025-12-31 10:05:48,078 - utils.py - task_logger - INFO - 任务 新签客户回访 状态已更新为 过期。 +2025-12-31 10:05:48,079 - utils.py - task_logger - INFO - 所有任务状态已保存到磁盘。 +2025-12-31 10:05:48,079 - utils.py - task_logger - INFO - 任务 续约客户回访 状态已更新为 过期。 +2025-12-31 10:05:48,079 - utils.py - task_logger - INFO - 所有任务状态已保存到磁盘。 +2025-12-31 10:05:48,079 - utils.py - task_logger - INFO - 任务 接车宝日常派发 状态已更新为 过期。 +2025-12-31 10:05:48,080 - utils.py - task_logger - INFO - 所有任务状态已保存到磁盘。 +2025-12-31 10:05:48,080 - utils.py - task_logger - INFO - 任务 私域小程序数据支撑 状态已更新为 过期。 +2025-12-31 10:05:48,081 - utils.py - task_logger - INFO - 所有任务状态已保存到磁盘。 +2025-12-31 10:05:48,081 - utils.py - task_logger - INFO - 任务 小六提成数据支撑 状态已更新为 过期。 +2025-12-31 10:05:48,082 - utils.py - task_logger - INFO - 所有任务状态已保存到磁盘。 +2025-12-31 10:05:48,082 - utils.py - task_logger - INFO - 任务 异业合作数据支撑 状态已更新为 过期。 +2025-12-31 10:05:48,082 - utils.py - task_logger - INFO - 所有任务状态已保存到磁盘。 +2025-12-31 10:05:48,083 - utils.py - task_logger - INFO - 任务 短信数据支撑 状态已更新为 过期。 +2025-12-31 10:05:48,083 - utils.py - task_logger - INFO - 所有任务状态已保存到磁盘。 +2025-12-31 10:05:48,083 - utils.py - task_logger - INFO - 任务 海外邮件推送 状态已更新为 过期。 +2025-12-31 10:05:48,084 - utils.py - task_logger - INFO - 所有任务状态已保存到磁盘。 +2025-12-31 10:05:48,084 - utils.py - task_logger - INFO - 任务 异常服务待办派发 状态已更新为 过期。 +2025-12-31 10:05:48,085 - utils.py - task_logger - INFO - 所有任务状态已保存到磁盘。 +2025-12-31 10:05:48,085 - utils.py - task_logger - INFO - 任务 简道云海外项目CRM客户档案迁移BI 状态已更新为 过期。 +2025-12-31 10:05:48,085 - utils.py - task_logger - INFO - 所有任务状态已保存到磁盘。 +2025-12-31 10:05:48,085 - utils.py - task_logger - INFO - 任务 安装服务历史派发 状态已更新为 过期。 +2025-12-31 10:05:48,086 - utils.py - task_logger - INFO - 所有任务状态已保存到磁盘。 +2025-12-31 10:05:48,086 - utils.py - task_logger - INFO - 任务 分母报备调整 状态已更新为 过期。 +2025-12-31 10:05:48,086 - utils.py - task_logger - INFO - 所有任务状态已保存到磁盘。 +2025-12-31 10:05:48,086 - utils.py - task_logger - INFO - 任务 分子报备调整 状态已更新为 过期。 +2025-12-31 10:05:48,087 - utils.py - task_logger - INFO - 所有任务状态已保存到磁盘。 +2025-12-31 10:05:48,087 - utils.py - task_logger - INFO - 任务 履约表数据支撑 状态已更新为 过期。 +2025-12-31 10:05:48,088 - utils.py - task_logger - INFO - 所有任务状态已保存到磁盘。 +2025-12-31 10:05:48,088 - utils.py - task_logger - INFO - 任务 字段监控 状态已更新为 过期。 +2025-12-31 10:05:48,088 - utils.py - task_logger - INFO - 所有任务状态已保存到磁盘。 +2025-12-31 10:05:48,088 - utils.py - task_logger - INFO - 任务 经销商新签服务单转BI 状态已更新为 过期。 +2025-12-31 10:05:48,089 - utils.py - task_logger - INFO - 所有任务状态已保存到磁盘。 +2025-12-31 10:05:48,089 - utils.py - task_logger - INFO - 任务 高德匹配手机号 状态已更新为 过期。 +2025-12-31 10:05:48,090 - utils.py - task_logger - INFO - 所有任务状态已保存到磁盘。 +2025-12-31 10:05:48,090 - utils.py - task_logger - INFO - 任务 省市区人员关系表转BI 状态已更新为 过期。 +2025-12-31 10:05:48,090 - utils.py - task_logger - INFO - 启动任务加载完成。 +2025-12-31 10:05:48,090 - main.py - task_logger - INFO - 程序已启动... diff --git a/tasks.csv b/tasks.csv index 5c0b23f..d22b120 100644 --- a/tasks.csv +++ b/tasks.csv @@ -1,6 +1,6 @@ unique_id,exec_time,is_switch_on,status NGV新增数据,09:00,True,过期 -NGV更新数据,12:30,True,过期 +NGV更新数据,12:30,True,待执行 新签客户回访,09:05,True,过期 续约客户回访,09:08,True,过期 大客户回访,08:55,False,已禁用 diff --git a/test/logs/task.log b/test/logs/task.log index e326611..7122bb4 100644 --- a/test/logs/task.log +++ b/test/logs/task.log @@ -9250,3 +9250,63 @@ 2025-12-29 15:41:00,091 - 借车宝异常待办(已改完待上线).py - task_logger - INFO - 过期7天客服回访完成 2025-12-29 15:41:00,222 - common_module.py - task_logger - INFO - 任务状态发送成功: {'data': {'_id': '6952308cdd1c15a5ad21ce07', 'creator': {'name': 'F6汽车科技', 'username': '#admin', 'status': 1, 'type': 0}, 'updater': {'name': 'F6汽车科技', 'username': '#admin', 'status': 1, 'type': 0}, 'deleter': None, 'createTime': '2025-12-29T07:41:00.761Z', 'updateTime': '2025-12-29T07:41:00.761Z', 'deleteTime': None, '_widget_1744873387500': '2025-12-29T00:00:00.000Z', '_widget_1743644977694': '接车宝日常派发', '_widget_1744873387501': '2025-12-29T07:40:39.000Z', '_widget_1744873387502': '2025-12-29T07:41:00.000Z', '_widget_1744873387504': '21', 'appId': '6694d3c4fcb69ca9a111a6c4', 'entryId': '67ede908eb9c22261016466e'}} 2025-12-29 15:41:00,222 - 借车宝异常待办(已改完待上线).py - task_logger - INFO - 接车宝日常派发执行完成 +2025-12-31 09:35:15,051 - 省市同步到bi.py - task_logger - INFO - 任务开始 +2025-12-31 09:35:32,774 - api.py - task_logger - INFO - 获取了3670条数据 +2025-12-31 09:35:32,775 - 省市同步到bi.py - task_logger - INFO - 加载数据完成 +2025-12-31 09:35:32,806 - 省市同步到bi.py - task_logger - INFO - 数据处理完成 +2025-12-31 09:35:33,041 - 省市同步到bi.py - task_logger - INFO - 成功清空表 province_city_person_relation_to_bi 中的所有数据 +2025-12-31 09:35:33,054 - 省市同步到bi.py - task_logger - INFO - 数据库连接已关闭 +2025-12-31 09:35:33,054 - 省市同步到bi.py - task_logger - INFO - 目标数据库已清空 +2025-12-31 09:35:33,233 - 省市同步到bi.py - task_logger - INFO - 成功写入 370 条记录到 province_city_person_relation_to_bi 表中（分 1 批）。 +2025-12-31 09:35:33,234 - 省市同步到bi.py - task_logger - INFO - 数据已写入数据库中 +2025-12-31 09:35:33,645 - common_module.py - task_logger - INFO - 任务状态发送成功: {'data': {'_id': '69547de53e55543310b1dec0', 'creator': {'name': 'F6汽车科技', 'username': '#admin', 'status': 1, 'type': 0}, 'updater': {'name': 'F6汽车科技', 'username': '#admin', 'status': 1, 'type': 0}, 'deleter': None, 'createTime': '2025-12-31T01:35:33.570Z', 'updateTime': '2025-12-31T01:35:33.570Z', 'deleteTime': None, '_widget_1744873387500': '2025-12-31T00:00:00.000Z', '_widget_1743644977694': '省市区人员关系表转BI', '_widget_1744873387501': '2025-12-31T01:35:15.000Z', '_widget_1744873387502': '2025-12-31T01:35:33.000Z', '_widget_1744873387504': '18', 'appId': '6694d3c4fcb69ca9a111a6c4', 'entryId': '67ede908eb9c22261016466e'}} +2025-12-31 10:05:10,254 - 非标业绩提报根据拆分做复制.py - task_logger - INFO - 任务开始 +2025-12-31 10:05:11,800 - api.py - task_logger - INFO - 获取了70条数据 +2025-12-31 10:05:11,802 - 非标业绩提报根据拆分做复制.py - task_logger - INFO - 加载数据完成 +2025-12-31 10:05:11,952 - 非标业绩提报根据拆分做复制.py - task_logger - INFO - 数据处理完成 +2025-12-31 10:05:12,158 - 非标业绩提报根据拆分做复制.py - task_logger - INFO - 成功清空表 non_standard_performance_to_BI 中的所有数据 +2025-12-31 10:05:12,170 - 非标业绩提报根据拆分做复制.py - task_logger - INFO - 数据库连接已关闭 +2025-12-31 10:05:12,171 - 非标业绩提报根据拆分做复制.py - task_logger - INFO - 目标数据库已清空 +2025-12-31 10:05:13,394 - 非标业绩提报根据拆分做复制.py - task_logger - INFO - 成功写入 69 条记录到 non_standard_performance_to_BI 表中。 +2025-12-31 10:05:13,395 - 非标业绩提报根据拆分做复制.py - task_logger - INFO - 数据已写入数据库中 +2025-12-31 10:05:13,808 - common_module.py - task_logger - INFO - 任务状态发送成功: {'data': {'_id': '695484d91a99e40ee12291fd', 'creator': {'name': 'F6汽车科技', 'username': '#admin', 'status': 1, 'type': 0}, 'updater': {'name': 'F6汽车科技', 'username': '#admin', 'status': 1, 'type': 0}, 'deleter': None, 'createTime': '2025-12-31T02:05:13.718Z', 'updateTime': '2025-12-31T02:05:13.718Z', 'deleteTime': None, '_widget_1744873387500': '2025-12-31T00:00:00.000Z', '_widget_1743644977694': '非标业绩提报转BI', '_widget_1744873387501': '2025-12-31T02:05:10.000Z', '_widget_1744873387502': '2025-12-31T02:05:13.000Z', '_widget_1744873387504': '3', 'appId': '6694d3c4fcb69ca9a111a6c4', 'entryId': '67ede908eb9c22261016466e'}} +2025-12-31 10:36:31,991 - 非标业绩提报根据拆分做复制.py - task_logger - INFO - 任务开始 +2025-12-31 10:36:32,888 - api.py - task_logger - INFO - 获取了70条数据 +2025-12-31 10:36:32,890 - 非标业绩提报根据拆分做复制.py - task_logger - INFO - 加载数据完成 +2025-12-31 10:36:32,977 - 非标业绩提报根据拆分做复制.py - task_logger - INFO - 数据处理完成 +2025-12-31 10:36:33,203 - 非标业绩提报根据拆分做复制.py - task_logger - INFO - 成功清空表 non_standard_performance_to_BI 中的所有数据 +2025-12-31 10:36:33,218 - 非标业绩提报根据拆分做复制.py - task_logger - INFO - 数据库连接已关闭 +2025-12-31 10:36:33,218 - 非标业绩提报根据拆分做复制.py - task_logger - INFO - 目标数据库已清空 +2025-12-31 10:36:34,739 - 非标业绩提报根据拆分做复制.py - task_logger - INFO - 成功写入 70 条记录到 non_standard_performance_to_BI 表中。 +2025-12-31 10:36:34,739 - 非标业绩提报根据拆分做复制.py - task_logger - INFO - 数据已写入数据库中 +2025-12-31 10:36:35,171 - common_module.py - task_logger - INFO - 任务状态发送成功: {'data': {'_id': '69548c33aee7ef2352c04e31', 'creator': {'name': 'F6汽车科技', 'username': '#admin', 'status': 1, 'type': 0}, 'updater': {'name': 'F6汽车科技', 'username': '#admin', 'status': 1, 'type': 0}, 'deleter': None, 'createTime': '2025-12-31T02:36:35.084Z', 'updateTime': '2025-12-31T02:36:35.084Z', 'deleteTime': None, '_widget_1744873387500': '2025-12-31T00:00:00.000Z', '_widget_1743644977694': '非标业绩提报转BI', '_widget_1744873387501': '2025-12-31T02:36:31.000Z', '_widget_1744873387502': '2025-12-31T02:36:34.000Z', '_widget_1744873387504': '3', 'appId': '6694d3c4fcb69ca9a111a6c4', 'entryId': '67ede908eb9c22261016466e'}} +2025-12-31 10:40:02,642 - 非标业绩提报根据拆分做复制.py - task_logger - INFO - 任务开始 +2025-12-31 10:40:03,586 - api.py - task_logger - INFO - 获取了70条数据 +2025-12-31 10:40:03,587 - 非标业绩提报根据拆分做复制.py - task_logger - INFO - 加载数据完成 +2025-12-31 10:40:03,679 - 非标业绩提报根据拆分做复制.py - task_logger - INFO - 数据处理完成 +2025-12-31 10:40:03,885 - 非标业绩提报根据拆分做复制.py - task_logger - INFO - 成功清空表 non_standard_performance_to_BI 中的所有数据 +2025-12-31 10:40:03,898 - 非标业绩提报根据拆分做复制.py - task_logger - INFO - 数据库连接已关闭 +2025-12-31 10:40:03,898 - 非标业绩提报根据拆分做复制.py - task_logger - INFO - 目标数据库已清空 +2025-12-31 10:40:05,091 - 非标业绩提报根据拆分做复制.py - task_logger - INFO - 成功写入 70 条记录到 non_standard_performance_to_BI 表中。 +2025-12-31 10:40:05,092 - 非标业绩提报根据拆分做复制.py - task_logger - INFO - 数据已写入数据库中 +2025-12-31 10:40:05,503 - common_module.py - task_logger - INFO - 任务状态发送成功: {'data': {'_id': '69548d0546073ea10b53b34f', 'creator': {'name': 'F6汽车科技', 'username': '#admin', 'status': 1, 'type': 0}, 'updater': {'name': 'F6汽车科技', 'username': '#admin', 'status': 1, 'type': 0}, 'deleter': None, 'createTime': '2025-12-31T02:40:05.427Z', 'updateTime': '2025-12-31T02:40:05.427Z', 'deleteTime': None, '_widget_1744873387500': '2025-12-31T00:00:00.000Z', '_widget_1743644977694': '非标业绩提报转BI', '_widget_1744873387501': '2025-12-31T02:40:02.000Z', '_widget_1744873387502': '2025-12-31T02:40:05.000Z', '_widget_1744873387504': '3', 'appId': '6694d3c4fcb69ca9a111a6c4', 'entryId': '67ede908eb9c22261016466e'}} +2025-12-31 10:40:24,634 - 非标业绩提报根据拆分做复制.py - task_logger - INFO - 任务开始 +2025-12-31 10:40:25,615 - api.py - task_logger - INFO - 获取了70条数据 +2025-12-31 10:40:25,616 - 非标业绩提报根据拆分做复制.py - task_logger - INFO - 加载数据完成 +2025-12-31 10:40:25,708 - 非标业绩提报根据拆分做复制.py - task_logger - INFO - 数据处理完成 +2025-12-31 10:40:25,904 - 非标业绩提报根据拆分做复制.py - task_logger - INFO - 成功清空表 non_standard_performance_to_BI 中的所有数据 +2025-12-31 10:40:25,919 - 非标业绩提报根据拆分做复制.py - task_logger - INFO - 数据库连接已关闭 +2025-12-31 10:40:25,919 - 非标业绩提报根据拆分做复制.py - task_logger - INFO - 目标数据库已清空 +2025-12-31 10:40:27,153 - 非标业绩提报根据拆分做复制.py - task_logger - INFO - 成功写入 70 条记录到 non_standard_performance_to_BI 表中。 +2025-12-31 10:40:27,153 - 非标业绩提报根据拆分做复制.py - task_logger - INFO - 数据已写入数据库中 +2025-12-31 10:40:27,618 - common_module.py - task_logger - INFO - 任务状态发送成功: {'data': {'_id': '69548d1b7135bdd82e892fce', 'creator': {'name': 'F6汽车科技', 'username': '#admin', 'status': 1, 'type': 0}, 'updater': {'name': 'F6汽车科技', 'username': '#admin', 'status': 1, 'type': 0}, 'deleter': None, 'createTime': '2025-12-31T02:40:27.521Z', 'updateTime': '2025-12-31T02:40:27.521Z', 'deleteTime': None, '_widget_1744873387500': '2025-12-31T00:00:00.000Z', '_widget_1743644977694': '非标业绩提报转BI', '_widget_1744873387501': '2025-12-31T02:40:24.000Z', '_widget_1744873387502': '2025-12-31T02:40:27.000Z', '_widget_1744873387504': '3', 'appId': '6694d3c4fcb69ca9a111a6c4', 'entryId': '67ede908eb9c22261016466e'}} +2025-12-31 10:41:48,134 - 非标业绩提报根据拆分做复制.py - task_logger - INFO - 任务开始 +2025-12-31 10:41:49,015 - api.py - task_logger - INFO - 获取了70条数据 +2025-12-31 10:41:49,016 - 非标业绩提报根据拆分做复制.py - task_logger - INFO - 加载数据完成 +2025-12-31 10:41:49,149 - 非标业绩提报根据拆分做复制.py - task_logger - INFO - 数据处理完成 +2025-12-31 10:41:49,365 - 非标业绩提报根据拆分做复制.py - task_logger - INFO - 成功清空表 non_standard_performance_to_BI 中的所有数据 +2025-12-31 10:41:49,380 - 非标业绩提报根据拆分做复制.py - task_logger - INFO - 数据库连接已关闭 +2025-12-31 10:41:49,380 - 非标业绩提报根据拆分做复制.py - task_logger - INFO - 目标数据库已清空 +2025-12-31 10:41:50,620 - 非标业绩提报根据拆分做复制.py - task_logger - INFO - 成功写入 76 条记录到 non_standard_performance_to_BI 表中。 +2025-12-31 10:41:50,620 - 非标业绩提报根据拆分做复制.py - task_logger - INFO - 数据已写入数据库中 +2025-12-31 10:41:51,044 - common_module.py - task_logger - INFO - 任务状态发送成功: {'data': {'_id': '69548d6e5e1d5d72dc8e4cab', 'creator': {'name': 'F6汽车科技', 'username': '#admin', 'status': 1, 'type': 0}, 'updater': {'name': 'F6汽车科技', 'username': '#admin', 'status': 1, 'type': 0}, 'deleter': None, 'createTime': '2025-12-31T02:41:50.961Z', 'updateTime': '2025-12-31T02:41:50.961Z', 'deleteTime': None, '_widget_1744873387500': '2025-12-31T00:00:00.000Z', '_widget_1743644977694': '非标业绩提报转BI', '_widget_1744873387501': '2025-12-31T02:41:48.000Z', '_widget_1744873387502': '2025-12-31T02:41:50.000Z', '_widget_1744873387504': '2', 'appId': '6694d3c4fcb69ca9a111a6c4', 'entryId': '67ede908eb9c22261016466e'}} diff --git a/tools/BI.ipynb b/tools/BI.ipynb index 0dbd8cc..5b159c0 100644 --- a/tools/BI.ipynb +++ b/tools/BI.ipynb @@ -12,8 +12,8 @@ "metadata": { "collapsed": true, "ExecuteTime": { - "end_time": "2025-12-25T07:53:32.248169100Z", - "start_time": "2025-12-25T07:53:32.063693500Z" + "end_time": "2025-12-30T07:08:51.322208600Z", + "start_time": "2025-12-30T07:08:51.133171800Z" } }, "source": [ @@ -26,17 +26,9 @@ " \"\"\"创建数据表\"\"\"\n", " create_table_query = f\"\"\"\n", " CREATE TABLE IF NOT EXISTS {table_name} (\n", - " `省` VARCHAR(255) COMMENT '省',\n", - " `市` VARCHAR(255) COMMENT '市',\n", - " `区` VARCHAR(255) COMMENT '区',\n", - " `运营顾问` VARCHAR(255) COMMENT '运营顾问',\n", - " `区域经理` VARCHAR(255) COMMENT '区域经理',\n", - " `运营专家` VARCHAR(255) COMMENT '运营专家',\n", - " `战区` VARCHAR(255) COMMENT '战区',\n", - " `新签回访客服` VARCHAR(255) COMMENT '新签回访客服',\n", - " `续约回访客服` VARCHAR(255) COMMENT '续约回访客服',\n", - " `异常待办客服` VARCHAR(255) COMMENT '异常待办客服',\n", - " `日常回访客服` VARCHAR(255) COMMENT '日常回访客服'\n", + " `userid` VARCHAR(255) COMMENT '员工id',\n", + " `job_number` VARCHAR(255) COMMENT '员工工号',\n", + " `name` VARCHAR(255) COMMENT '姓名'\n", " ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 ;\n", " \"\"\"\n", " cursor.execute(create_table_query)\n", @@ -52,7 +44,7 @@ "} # 衡时数据库链接配置-mysql\n", "\n", "# 表名\n", - "table_name = \"province_city_person_relation_to_bi\" # 请替换为实际的表名\n", + "table_name = \"dingding_job_number_table\" # 请替换为实际的表名\n", "\n", "# 连接数据库\n", "connection = mysql.connector.connect(\n", @@ -76,11 +68,11 @@ "name": "stdout", "output_type": "stream", "text": [ - "成功创建表 province_city_person_relation_to_bi\n" + "成功创建表 dingding_job_number_table\n" ] } ], - "execution_count": 26 + "execution_count": 2 }, { "metadata": {},