parent
0f9cb15225
commit
75b6be6555
|
After Width: | Height: | Size: 42 KiB |
|
After Width: | Height: | Size: 20 KiB |
|
After Width: | Height: | Size: 46 KiB |
@ -0,0 +1 @@
|
||||
[Gobrs-Async](https://async.sizegang.cn/)
|
||||
@ -0,0 +1,5 @@
|
||||
# 一、 镜像加速
|
||||
```shell
|
||||
# 添加 -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com
|
||||
pip install 'acryl-datahub[oracle]' -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com
|
||||
```
|
||||
@ -1,107 +0,0 @@
|
||||
* 显示前N个
|
||||
|
||||
```
|
||||
ll -lht|head -n 20
|
||||
```
|
||||
|
||||
* 压缩命令过长
|
||||
|
||||
```shell
|
||||
find ./ -name '*' -print |zip files -@
|
||||
```
|
||||
|
||||
* 合并文件
|
||||
|
||||
```sql
|
||||
cat *.txt > target.txt
|
||||
```
|
||||
|
||||
* 配置定时任务
|
||||
|
||||
```sql
|
||||
root 用户
|
||||
vim /etc/crontab
|
||||
|
||||
SHELL=/bin/bash
|
||||
PATH=/sbin:/bin:/usr/sbin:/usr/bin
|
||||
MAILTO=root
|
||||
|
||||
# For details see man 4 crontabs
|
||||
|
||||
# Example of job definition:
|
||||
# .---------------- minute (0 - 59)
|
||||
# | .------------- hour (0 - 23)
|
||||
# | | .---------- day of month (1 - 31)
|
||||
# | | | .------- month (1 - 12) OR jan,feb,mar,apr ...
|
||||
# | | | | .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat
|
||||
# | | | | |
|
||||
# * * * * * user-name command to be executed
|
||||
20 04 * * * root reboot
|
||||
|
||||
# 加载配置
|
||||
crontab /etc/crontab
|
||||
|
||||
# 重启crontab服务
|
||||
systemctl restart crond.service
|
||||
```
|
||||
|
||||
* 查看上一次启动
|
||||
|
||||
```sql
|
||||
who -b
|
||||
```
|
||||
|
||||
* 切分文件
|
||||
|
||||
```sql
|
||||
# 按大小切分
|
||||
split -b 100m xxxx
|
||||
# 按行切分
|
||||
split -l xxxx
|
||||
# 设置拆分后文件名,指定数字后缀
|
||||
split -b 100m -d xxxx xxxx_part_
|
||||
```
|
||||
|
||||
* 显示文件大小
|
||||
|
||||
```sql
|
||||
du -sh xxxx
|
||||
```
|
||||
|
||||
* grep
|
||||
|
||||
```sql
|
||||
# 高亮查找结果
|
||||
grep --color "test" catalina.out
|
||||
# 显示在第几行
|
||||
grep -n test catalina.out
|
||||
```
|
||||
|
||||
* zip
|
||||
|
||||
```shell
|
||||
# 压缩
|
||||
zip -r ./xxx.zip ./*
|
||||
# 解压
|
||||
unzip xxx.zip
|
||||
# 查看压缩文件内容
|
||||
unzip -v xxx.zip
|
||||
# 从zip中删除xxx.txt文件
|
||||
zip xxx.zip -d xxx.txt
|
||||
```
|
||||
* 软链接
|
||||
|
||||
```shell
|
||||
ln -s 源文件名 软链接文件名
|
||||
```
|
||||
|
||||
* 查看端口占用情况
|
||||
|
||||
```shell
|
||||
# 查看所有
|
||||
lsof -i
|
||||
# 查看指定端口
|
||||
lsof -i:8080
|
||||
# 查看文件进程
|
||||
lsof xxx.txt
|
||||
```
|
||||
@ -0,0 +1,3 @@
|
||||
1. 了解计量支付前期数据前期方案及工作,整理方案中存在的问题
|
||||
2. 整理新版数据前期思路并与董工讨论
|
||||
3. 编写SqlServer数据量统计代码对旧库数据统计并输出文档
|
||||
@ -0,0 +1,11 @@
|
||||
计划:
|
||||
- [ ] 搭建dataX、dataX-web测试环境
|
||||
- [x] 测试大表range分页方案
|
||||
- [x] 数据一致性校验工具设计
|
||||
- [x] 完成第一版数据迁移方案编写
|
||||
|
||||
工作日志:
|
||||
一、数据迁移方案
|
||||
1. 对分表策略进行测试,分别测试视图、索引视图分表。
|
||||
2. 完善方案,新增质量要求、决策依据、未来规划模块
|
||||
3. 虚拟机搭建dataX测试环境
|
||||
@ -0,0 +1,10 @@
|
||||
计划:
|
||||
一、计量支付、投融资系统数据迁移
|
||||
- [ ] 梳理任务清单
|
||||
- [ ] 填写风险评估
|
||||
- [ ] 数据探查工具开发
|
||||
|
||||
工作日志:
|
||||
1. 数据迁移方案评审(参与人:公司领导)
|
||||
2. 数据探查工具开发
|
||||
3. 协助罗丹排查源表及汇总表同步问题,发现存储过程执行异常,但是无法排查异常原因。
|
||||
@ -0,0 +1,9 @@
|
||||
计划:
|
||||
上午:
|
||||
- [x] 根据已梳理ODS表使用pdManer工具绘制ER图
|
||||
- [x] 整理ODS表重建视图思路
|
||||
下午:
|
||||
- [ ] 数据血缘工具功能点及流程图
|
||||
- [ ] 测试Neo4j 节点查询,学习并整理常用查询语句
|
||||
|
||||
工作日志:
|
||||
@ -0,0 +1,66 @@
|
||||
数据迁移:
|
||||
- [ ] 梳理RoadInfoMgrYNJT表结构
|
||||
|
||||
工作日志:
|
||||
一、事权
|
||||
1. 新增环水保多项目及单项目汇总、详情统计接口共4个
|
||||
2. 质量安全->风险分级管控->危大工程分级管控情况、各项目危大工程管控情况增加已评审专项、未评审专项统计字段
|
||||
3. 清理质量安全数据
|
||||
```sql
|
||||
-- 物理表
|
||||
-- 红线问题隐患排查治理情况(过程问题隐患排查)
|
||||
create table ODS_SAFETY_PROBLEM_RED_DETAIL_bak_20230412 as select * from ODS_SAFETY_PROBLEM_RED_DETAIL;
|
||||
truncate table ODS_SAFETY_PROBLEM_RED_DETAIL;
|
||||
|
||||
-- ODS_SAFETY_TRAIN_DETIAL 安全教育培训(明细表)
|
||||
create table ODS_SAFETY_TRAIN_DETIAL_bak_20230412 as select * from ODS_SAFETY_TRAIN_DETIAL;
|
||||
truncate table ODS_SAFETY_TRAIN_DETIAL;
|
||||
|
||||
-- ODS_SAFETY_DRILL_DETAIL 应急预案与演练
|
||||
create table ODS_SAFETY_DRILL_DETAIL_bak_20230412 as select * from ODS_SAFETY_DRILL_DETAIL;
|
||||
truncate table ODS_SAFETY_DRILL_DETAIL;
|
||||
|
||||
|
||||
-- ODS_SAFETY_PROBLEM_DETAIL 非红线问题隐患排查治理情况(过程问题隐患排查)
|
||||
create table ODS_SAFETY_PROBLEM_DETAIL_bak_20230412 as select * from ODS_SAFETY_PROBLEM_DETAIL;
|
||||
truncate table ODS_SAFETY_PROBLEM_DETAIL;
|
||||
|
||||
|
||||
-- ODS_SAFETY_RISK_LEVEL_DETAIL 安全风险分级管控情况(风险分级管控)
|
||||
create table ODS_SAFETY_RISK_LEVEL_DETAIL_bak_20230412 as select * from ODS_SAFETY_RISK_LEVEL_DETAIL;
|
||||
truncate table ODS_SAFETY_RISK_LEVEL_DETAIL;
|
||||
|
||||
|
||||
-- ODS_SAFETY_RISK_LARG_DETAIL 危险性较大工程风险管控情况
|
||||
create table ODS_SAFETY_RISK_LARG_DETAIL_bak_20230412 as select * from ODS_SAFETY_RISK_LARG_DETAIL;
|
||||
truncate table ODS_SAFETY_RISK_LARG_DETAIL;
|
||||
|
||||
-- ODS_SAFETY_CONTR_DETAIL 平安工地考核
|
||||
create table ODS_SAFETY_CONTR_DETAIL_bak_20230412 as select * from ODS_SAFETY_CONTR_DETAIL;
|
||||
truncate table ODS_SAFETY_CONTR_DETAIL;
|
||||
|
||||
-- ODS_SAFETY_FEE_COST_DETAIL 安全生产费投入情况(安全生产费用)
|
||||
create table ODS_SAFETY_FEE_COST_DETAIL_bak_20230412 as select * from ODS_SAFETY_FEE_COST_DETAIL;
|
||||
truncate table ODS_SAFETY_FEE_COST_DETAIL;
|
||||
|
||||
-- 交工检测
|
||||
create table ODS_HANDOVER_INSPECTION_bak_20230412 as select * from ODS_HANDOVER_INSPECTION;
|
||||
truncate table ODS_HANDOVER_INSPECTION;
|
||||
|
||||
create table ODS_HANDOVER_INSPECTION_DETAIL_bak_20230412 as select * from ODS_HANDOVER_INSPECTION_DETAIL;
|
||||
truncate table ODS_HANDOVER_INSPECTION_DETAIL;
|
||||
|
||||
-- 质量问题排查
|
||||
create table ODS_QUALITY_PROBLEM_RED_DETAIL_bak_20230412 as select * from ODS_QUALITY_PROBLEM_RED_DETAIL;
|
||||
truncate table ODS_QUALITY_PROBLEM_RED_DETAIL;
|
||||
|
||||
create table ODS_QUALITY_PROBLEM_NO_RED_DETAIL_bak_20230412 as select * from ODS_QUALITY_PROBLEM_NO_RED_DETAIL;
|
||||
truncate table ODS_QUALITY_PROBLEM_NO_RED_DETAIL;
|
||||
|
||||
-- 中间表
|
||||
truncate table HZ_AQ_ZTXX;
|
||||
truncate table HZ_AQ_PAGDZT;
|
||||
truncate table HZ_AQ_PAGDZT;
|
||||
truncate table HZ_AQ_SCF;
|
||||
truncate table HZ_ZL_ZTQK;
|
||||
```
|
||||
@ -0,0 +1,9 @@
|
||||
计划:
|
||||
一、数据迁移
|
||||
- [ ] 梳理RoadInfoMgrYNJT表结构
|
||||
- [ ] 对照计量支付界面梳理新表
|
||||
|
||||
工作日志:
|
||||
事权:
|
||||
1. 对接段,讨论事权中间表处理方式
|
||||
2. 梳理目前统计层接口使用到的汇总表
|
||||
@ -0,0 +1,9 @@
|
||||
计划:
|
||||
一、事权
|
||||
- [x] 完成统计层接口使用到的汇总表梳理
|
||||
|
||||
工作日志:
|
||||
一、事权:
|
||||
1. 新增环水保多项目明细跳转单项目明细查询接口
|
||||
2. 完成统计层接口使用到的汇总表梳理
|
||||
3. 环水保多项目排序规则修改
|
||||
@ -0,0 +1,4 @@
|
||||
计划:
|
||||
一、事权
|
||||
- [ ] bugfix
|
||||
- [ ] 梳理事权统计表与ODS表数据流向
|
||||
@ -0,0 +1,11 @@
|
||||
计划:
|
||||
一、事权
|
||||
- [x] 梳理征地拆迁、合同管理、质量安全环水保汇总表与原始表关系
|
||||
- [ ] 存储过程执行语句分析功能开发
|
||||
|
||||
工作日志:
|
||||
一、事权:
|
||||
1. 完成项目进度、质量安全环水保、合同管理、征地拆迁、工程变更汇总表与原始表关系梳理
|
||||
2. 单项目-->征地拆迁问题明细去重
|
||||
3. 单项目-->环水保落实情况接口新增OID
|
||||
4. 多项目-->质量安全环水保-->风险分级管控-->危大工程分级管控情况、各项目危大工程管控情况新增未评审方案占比数
|
||||
@ -0,0 +1,9 @@
|
||||
计划:
|
||||
一、事权:
|
||||
- [x] 完成总体概况、基建程序、筹融资及资金使用汇总表与原始表关系梳理
|
||||
|
||||
工作日志:
|
||||
一、事权
|
||||
1. 完成汇总表数据血缘关系梳理
|
||||
2. 整理梳理过程中发现的问题
|
||||
3. 编写征地拆迁、质量安全汇总表数据清理脚本
|
||||
@ -0,0 +1,9 @@
|
||||
计划:
|
||||
一、事权
|
||||
- [ ] 汇总表问题梳理及改造评审
|
||||
- [ ] 梳理昭通高速企业智慧办公系统中HR部分设计及字段不合理情况
|
||||
|
||||
工作日志:
|
||||
一、昭通OA
|
||||
1. 梳理昭通OA-HR管理模块问题点
|
||||
2. 梳理HR管理模块-人员管理流程图并进行评审
|
||||
@ -0,0 +1,13 @@
|
||||
计划:
|
||||
一、昭通OA
|
||||
- [x] 根据19号评审结果对HR-人员管理流程进行细化
|
||||
- [x] 组织二次评审
|
||||
|
||||
工作日志
|
||||
一、昭通OA
|
||||
1. HR-人员管理流程细化
|
||||
2. 增加人员合同管理模块
|
||||
3. 根据评审意见进行修改:
|
||||
1. 修改退休及返聘流程
|
||||
2. 增加终止合同流程
|
||||
3. 加入合同状态变化
|
||||
@ -0,0 +1,9 @@
|
||||
计划:
|
||||
一、事权
|
||||
- [ ] 使用pdman 梳理DW表到ODS表字段级别血缘关系
|
||||
|
||||
|
||||
工作日志:
|
||||
一、事权
|
||||
1. 搭建事权ODS-DW表同步框架
|
||||
2. 编写周报
|
||||
@ -0,0 +1,9 @@
|
||||
计划:
|
||||
一、事权
|
||||
- [x] 项目进度-->合理性分析ODS到DW层数据同步
|
||||
|
||||
工作日志:
|
||||
一、事权
|
||||
1. 项目进度-->控制性工程进度重写DW_RE_PROGRESS_DETAIL表
|
||||
二、其他
|
||||
1. 茶话会
|
||||
@ -0,0 +1,7 @@
|
||||
计划:
|
||||
一、昭通OA
|
||||
1. 对照需求及第三方OA梳理车辆管理表结构
|
||||
|
||||
工作日志:
|
||||
一、昭通OA
|
||||
1. 新建车辆管理模块11张表并进行评审
|
||||
@ -0,0 +1,7 @@
|
||||
计划:
|
||||
一、昭通OA
|
||||
- [ ] 完成车辆模块建表,并输出表结构文档提交昭通团队二次评审
|
||||
- [ ] 确定代码集定义及需新增的字段
|
||||
|
||||
二、事权
|
||||
1.
|
||||
@ -0,0 +1,17 @@
|
||||
## 一、第一阶段
|
||||
### 1. 视图、存储过程逆向分析并构建关系图
|
||||
已完成
|
||||
### 2. 定时构建
|
||||
1. 通过apscheduler实现定时任务
|
||||
|
||||
## 二、第二阶段
|
||||
### 1. 数据库版本差异扫描及版本管理
|
||||
### 2. 数据比对工具
|
||||
### 3. 数据探查
|
||||
### 4. 表结构生成(支持不同类型数据库互转)
|
||||
### 5. FastApi 开发http查询接口
|
||||
|
||||
## 三、第三阶段
|
||||
### 1. 元查询、展示
|
||||
### 2. 字段级别血缘关系分析实现
|
||||
### 3. 字段级别、表级别血缘关系展示
|
||||
@ -0,0 +1,6 @@
|
||||
# 一、安装
|
||||
1. 需要先安装datax
|
||||
|
||||
# 二、测试及使用
|
||||
|
||||
# 三、节点扩容(集群搭建)
|
||||
@ -0,0 +1,4 @@
|
||||
{
|
||||
"nodes":[],
|
||||
"edges":[]
|
||||
}
|
||||
@ -1,4 +1,12 @@
|
||||
+ PG12
|
||||
localhost:5432 postgres:root@123
|
||||
+ redis
|
||||
localhost:6379 redispw
|
||||
localhost:6379 redispw
|
||||
+ oracle
|
||||
localhost:1521 zr:root@123
|
||||
+ neo4j
|
||||
docker 安装:
|
||||
1.docker pull neo4j
|
||||
2. docker run -d --name container_name -p 7474:7474 -p 7687:7687 --env NEO4J_AUTH=neo4j/root@12345 neo4j
|
||||
http://localhost:7474/ neo4j/clone-formula-shelf-hair-neptune-3446
|
||||
修改密码::server change-password
|
||||
Loading…
Reference in new issue