diff --git a/Pasted image 20240926165648.png b/Pasted image 20240926165648.png new file mode 100644 index 0000000..f9fd853 Binary files /dev/null and b/Pasted image 20240926165648.png differ diff --git a/Pasted image 20240926172157.png b/Pasted image 20240926172157.png new file mode 100644 index 0000000..adf89af Binary files /dev/null and b/Pasted image 20240926172157.png differ diff --git a/Pasted image 20240926172216.png b/Pasted image 20240926172216.png new file mode 100644 index 0000000..9ebcfd7 Binary files /dev/null and b/Pasted image 20240926172216.png differ diff --git a/Pasted image 20240926172306.png b/Pasted image 20240926172306.png new file mode 100644 index 0000000..387eab6 Binary files /dev/null and b/Pasted image 20240926172306.png differ diff --git a/Pasted image 20241015092207.png b/Pasted image 20241015092207.png new file mode 100644 index 0000000..78cdeb0 Binary files /dev/null and b/Pasted image 20241015092207.png differ diff --git a/work常用/linux/Linux命令.md b/work常用/linux/Linux命令.md index ce290e1..763a639 100644 --- a/work常用/linux/Linux命令.md +++ b/work常用/linux/Linux命令.md @@ -28,9 +28,12 @@ tar -czf jpg.tar.gz *.jpg + 压缩命令过长 ```shell -find ./ -name '*' -print |zip files -@ +find ./ '*'|xargs -i zip xxxx.zip {} +``` ++ 删除命令过长(删除当前目录下所有文件) +```shell +find . -name "*"|xargs rm -rf ``` - ## 1.2 文件合并及切分 + 合并 ```shell diff --git a/work常用/linux/常用脚本.md b/work常用/linux/常用脚本.md new file mode 100644 index 0000000..cc7490d --- /dev/null +++ b/work常用/linux/常用脚本.md @@ -0,0 +1,4 @@ +## 一、后台运行java +```shell +nohup java -jar -Dspring.profiles.active=prod dcm-dataIntegration.jar >/dev/null 2>&1 & +``` diff --git a/work常用/数据库/PG-UUID函数.md b/work常用/数据库/PG-UUID函数.md new file mode 100644 index 0000000..90a696f --- /dev/null +++ b/work常用/数据库/PG-UUID函数.md @@ -0,0 +1,17 @@ +```sql +CREATE OR REPLACE FUNCTION "public"."uuid_generate_v4"() +RETURNS "pg_catalog"."uuid" AS '$libdir/uuid-ossp', 'uuid_generate_v4' +LANGUAGE c VOLATILE STRICT +COST 1; +``` + +openGauss写法 +```sql +CREATE OR REPLACE FUNCTION "public"."uuid_generate_v4"() returns varchar +LANGUAGE plpgsql +NOT FENCED NOT SHIPPABLE +AS $function$ DECLARE +BEGIN +RETURN (select upper(md5(random()::text || clock_timestamp()::text) :: varchar)); +END$function$; +``` \ No newline at end of file diff --git a/work常用/数据库/PG-雪花ID.md b/work常用/数据库/PG-雪花ID.md index 425b853..efc35b9 100644 --- a/work常用/数据库/PG-雪花ID.md +++ b/work常用/数据库/PG-雪花ID.md @@ -22,3 +22,6 @@ END; $BODY$ LANGUAGE plpgsql VOLATILE COST 100 + + + diff --git a/work常用/数据库/Postgresql 常用SQL.md b/work常用/数据库/Postgresql 常用SQL.md index 5ac94f5..5628c57 100644 --- a/work常用/数据库/Postgresql 常用SQL.md +++ b/work常用/数据库/Postgresql 常用SQL.md @@ -20,7 +20,7 @@ select * from pg_locks where granted='f' 8.结束死锁进程 select pg_terminate_backend(pid) from (select pid from pg_locks where granted='f') 9.查看表结构 -SELECT +SELECT a.attname as column_name, format_type(a.atttypid,a.atttypmod) as data_type, col_description(a.attrelid,a.attnum) as comment diff --git a/work常用/数据库/mysql 常用.md b/work常用/数据库/mysql 常用.md index b105e25..57c4a42 100644 --- a/work常用/数据库/mysql 常用.md +++ b/work常用/数据库/mysql 常用.md @@ -35,6 +35,17 @@ mysql> source 导出的文件名.sql; desc table show create table xxxx ``` ++ 查看表占用情况 +```sql +-- 查看表的数据大小 +SELECT + table_schema AS '数据库名', + table_name AS '表名', + round(((data_length) / 1024 / 1024), 2) AS '数据大小(MB)', + round(sum(index_length) / 1024 / 1024, 2) AS '索引大小(MB)' +FROM information_schema.TABLES +WHERE table_schema = '您的数据库名'; -- 替换为您的数据库名 +``` ## 三、常用函数 ### 1.字符串 + 连接 @@ -303,4 +314,15 @@ utf8mb4_general_ci 和 utf8mb4_0900_ai_ci 不兼容,关联查询报错,需 concat(a.io_first,'--',a.io_last) -- 修改 ifnull(concat(a.io_first,'--',a.io_last),a.io_first) -``` \ No newline at end of file +``` +### 9.3 删除数据后空间未释放 +| | INNODB | MyISAM | +| ----------------------- | ------ | ------ | +| drop table | 立即释放 | 立即释放 | +| truncate table | 立即释放 | 立即释放 | +| delete from table | 不释放 | 立即释放 | +| delete from table where | 不释放 | 不释放 | +如果innodb引擎使用delete语句想要立即释放空间需要执行 +```sql +optimize table 表名; +``` diff --git a/公司环境/武汉数据中台开发环境.md b/公司环境/武汉数据中台开发环境.md new file mode 100644 index 0000000..4022ae7 --- /dev/null +++ b/公司环境/武汉数据中台开发环境.md @@ -0,0 +1,14 @@ + +[172.31.51.160](http://172.31.51.160):root/maxvision@123 +[172.31.51.161](http://172.31.51.161):root/maxvision@123 +[172.31.51.162](http://172.31.51.162):root/maxvision@123 +[172.31.51.163](http://172.31.51.163):root/maxvision@123 +[172.31.51.164](http://172.31.51.164):root/maxvision@123 +[172.31.51.165](http://172.31.51.165):root/maxvision@123 +[172.31.51.163](http://172.31.51.163)上的doris-manager 账号 admin/1234abcd +doris3.0.2 root账户密码maxvision@123(webui也是这个) +MySQL 协议 [172.31.51.162:9030](http://172.31.51.162:9030) admin -PoMVE6uZ4TNs +[172.31.51.163:9030](http://172.31.51.163:9030) admin -PoMVE6uZ4TNs + +Http 协议 [172.31.51.162:8030](http://172.31.51.162:8030) admin -PoMVE6uZ4TNs +[172.31.51.163:8030](http://172.31.51.163:8030) admin -PoMVE6uZ4TNs \ No newline at end of file diff --git a/工作日志/2024/2024-10-21 星期一.md b/工作日志/2024/2024-10-21 星期一.md new file mode 100644 index 0000000..8948edd --- /dev/null +++ b/工作日志/2024/2024-10-21 星期一.md @@ -0,0 +1,4 @@ +今日计划: +1. 梳理数据集成逻辑及画图 +2. 协调口岸服务器扩容 +3. 梳理数据集成开发计划 \ No newline at end of file diff --git a/工作日志/2024/2024-10-22 星期二.md b/工作日志/2024/2024-10-22 星期二.md new file mode 100644 index 0000000..f998ff4 --- /dev/null +++ b/工作日志/2024/2024-10-22 星期二.md @@ -0,0 +1 @@ +1. 实现建表模版生成器、 SQL生成器 \ No newline at end of file diff --git a/工作日志/2024/2024-11-13 星期三.md b/工作日志/2024/2024-11-13 星期三.md new file mode 100644 index 0000000..e73b6cc --- /dev/null +++ b/工作日志/2024/2024-11-13 星期三.md @@ -0,0 +1,3 @@ ++ 整理南溪河AR前端需求任务 ++ 梳理数据集成-离线集成后端流程及开发任务 ++ 边检统计SQL编写 \ No newline at end of file diff --git a/工作日志/2024/2024-12-09 星期一.md b/工作日志/2024/2024-12-09 星期一.md new file mode 100644 index 0000000..01246f6 --- /dev/null +++ b/工作日志/2024/2024-12-09 星期一.md @@ -0,0 +1,13 @@ +本周任务: +### 海关侧 +1. 排查北卡口14、16号道相机车牌识别问题(完成) +2. 正常的核辐射事件不生成告警(完成) +3. 对接华为沟通海关侧货场数据推送问题 + +### 边检侧 +1. 升级人员核查4.0版本 +2. 排查定位服务内存溢出问题 +3. 人员出入境信息分区表构建 + +### 数据中台 +1. 单表离线工作流模版开发 diff --git a/工作日志/2024/2024-12-10 星期二.md b/工作日志/2024/2024-12-10 星期二.md new file mode 100644 index 0000000..0f67338 --- /dev/null +++ b/工作日志/2024/2024-12-10 星期二.md @@ -0,0 +1,5 @@ +1.排查人员高温告警点击跳转融合指挥平台实效问题 +2.口岸AR海康平台对接代码编写 +3.更新边检人员定位服务(测试后有问题,待修复) +4.对接华为沟通数据申请事项 +5.郑州项目投标文件流程图修改(完成) \ No newline at end of file diff --git a/工作日志/2024/2024-12-16 星期一.md b/工作日志/2024/2024-12-16 星期一.md new file mode 100644 index 0000000..0569e23 --- /dev/null +++ b/工作日志/2024/2024-12-16 星期一.md @@ -0,0 +1,5 @@ +本周任务: +1. 解决口岸AR 服务器2节点宕机问题 +2. 协调华为处理图片上传失败问题 +3. 海关AR测试人员高温告警推送后不显示问题 +4. 协调星网开发告警处置回调接口 \ No newline at end of file diff --git a/工作日志/2024/2024-12-23 星期一.md b/工作日志/2024/2024-12-23 星期一.md new file mode 100644 index 0000000..73aad0f --- /dev/null +++ b/工作日志/2024/2024-12-23 星期一.md @@ -0,0 +1,4 @@ +本周任务: +1. 边检算法升级 +2. 口岸AR新增南溪河场景及临时发版(临时发版,因为相机没有接通) +3. 海关AR事件回调接口开发 \ No newline at end of file diff --git a/工作日志/2024/2025-01-06 星期一.md b/工作日志/2024/2025-01-06 星期一.md new file mode 100644 index 0000000..755ba12 --- /dev/null +++ b/工作日志/2024/2025-01-06 星期一.md @@ -0,0 +1,4 @@ +本周任务: +1. 边检勤务平台升级(周一) +2. 数据集成增加 HTTP 回调节点(临时解决) +3. 协调海康对接南溪河5楼人流数据,并进行表结构设计 \ No newline at end of file diff --git a/工作日志/2024/2025-01-13 星期一.md b/工作日志/2024/2025-01-13 星期一.md new file mode 100644 index 0000000..f9fea0c --- /dev/null +++ b/工作日志/2024/2025-01-13 星期一.md @@ -0,0 +1,2 @@ +一、数据中台 +1. 单表集成测试及bug修复 diff --git a/问题排查/踩坑记录/seatunnel 踩坑.md b/问题排查/踩坑记录/seatunnel 踩坑.md new file mode 100644 index 0000000..d9f704a --- /dev/null +++ b/问题排查/踩坑记录/seatunnel 踩坑.md @@ -0,0 +1,43 @@ +# V2.3.5 +### 1.doris自动建表错误 (不要使用自动建表功能) +配置如下 +```hocon +env { +execution.parallelism = 1 +job.mode = "BATCH" +} +source { +Jdbc { +url = "jdbc:mysql://172.31.51.134:3306/dcm_zhongshan?characterEncoding=UTF-8&connectTimeout=5000&useSSL=false&allowPublicKeyRetrieval=true&zeroDateTimeBehavior=convertToNull" +driver = "com.mysql.cj.jdbc.Driver" +user = "root" +password = "Admin123" +query = "select * from acc_d_sjzd" +connection_check_timeout_sec = 100 +result_table_name = "source_result" +} +} +transform{ + +} +sink { +jdbc { +url = "jdbc:mysql://172.31.51.142:9030/bjbj" +driver = "com.mysql.cj.jdbc.Driver" +user = "admin" +password = "6G_FahdUxAh@K" +database="bjbj" +table="bjbj.test_acc_d_sjzd" +generate_sink_sql="true" +schema_save_mode="CREATE_SCHEMA_WHEN_NOT_EXIST" +} +} +``` +使用了自动建表功能,从mysql导入数据到doris报错,查看日志发现生成的建表语句字段类型映射有问题,doris没有TEXT和LONGTEXT类型并且没有指定分桶键 +![[Pasted image 20240926165648.png]] + +### 2.日期时间格式参数替换问题(-i 传递的参数不能带空格) +官方文档写的变量替换方式,传入日期时间自动替换后时间丢失 +![[Pasted image 20240926172216.png]] +![[Pasted image 20240926172157.png]] +![[Pasted image 20240926172306.png]] \ No newline at end of file diff --git a/项目/盛视科技/中山港数据中台.md b/项目/盛视科技/中山港数据中台.md index 5d8d05c..78a7950 100644 --- a/项目/盛视科技/中山港数据中台.md +++ b/项目/盛视科技/中山港数据中台.md @@ -6,5 +6,17 @@ doris2.1.0 mysql协议: 172.31.51.142:9030 admin/6G_FahdUxAh@K http协议:17 http://172.31.51.150:7001/access/login 登录账号:admin 1234abcd +系统访问地址(新): +http://172.31.51.165:7001/access/login +登录账号:admin 1234abcd + + 本机获取token -[10.2.0.2:8096/dataintegration/auth/accessToken](http://10.2.0.2:8096/dataintegration/auth/accessToken) \ No newline at end of file +[10.2.0.2:8096/dataintegration/auth/accessToken](http://10.2.0.2:8096/dataintegration/auth/accessToken) + + +启动数据集成连接检测工具 +```shell +nohup /home/jdk-11.0.20/bin/java -jar -Dspring.profiles.active=prod dcm-dataIntegration.jar >/dev/null 2>&1 & +``` + diff --git a/项目/盛视科技/河口口岸AR.md b/项目/盛视科技/河口口岸AR.md new file mode 100644 index 0000000..488a65d --- /dev/null +++ b/项目/盛视科技/河口口岸AR.md @@ -0,0 +1,9 @@ ++ 开发环境 +admin/Hkka@6699! + ++ 生产环境 +https://183.224.169.105/#/login +商务局用户 ynswt01 密码 Maxvision@123!! +能投用户 yanjiang1 密码 Max@123 +自用 huawei1 密码 HW@123456 +单点用户(不对外提供) ssoAdmin \ No newline at end of file diff --git a/项目/盛视科技/河口海关AR.md b/项目/盛视科技/河口海关AR.md new file mode 100644 index 0000000..3805199 --- /dev/null +++ b/项目/盛视科技/河口海关AR.md @@ -0,0 +1,56 @@ +海关侧NTP 10.85.92.114 + +## 2024-09-24 +1. 融合指挥告警过滤,可以选择推送哪些告警以及告警等级(客户目的就是为了不要触发的太频繁) +2. 车辆拥堵最好能在地图上显示拥堵区域以及用颜色显示拥堵程度(待讨论) +3. 按照海关给出的文件修改区域名称及相机名称 + +国门→河口红河公路大桥前置拦截作业区 +中方国门-面向国门球机→河口红河公路大桥国门 +中方国门高点→河口红河公路大桥桥面左侧全景 +中方国门AI算法→河口红河公路大桥桥面右侧 +中方国门AI算法0102→河口红河公路大桥桥面右侧全景 +中方国门入境1→河口红河公路大桥入境1号通道 +中方国门入境2→河口红河公路大桥入境2号通道 +中方国门入境摄像头中→河口红河公路大桥入境核辐射通道中 +中方国门入境摄像头右→河口红河公路大桥入境核辐射通道右 +中方国门入境摄像头左→河口红河公路大桥入境核辐射通道左 +中方国门出境1→河口红河公路大桥出境1 +中方国门出境2→河口红河公路大桥出境2 +中方国门出境摄像头左→河口红河公路大桥出境1号通道 +中方国门出境摄像头右→河口红河公路大桥出境2号通道 +北山货场森林公园制高点→河口北山国际货场全景 +南卡口高点1→河口北山国际货场南卡口出境全景1 +南卡口高点2→河口北山国际货场南卡口出境全景2 +南卡口高点3→河口北山国际货场南卡入境全景1 +南卡口AI算法2→河口北山国际货场南卡出境近景 +南卡口AI算法20102→河口北山国际货场南卡口出境全景广角 +南卡口AI算法识别摄像机→河口北山国际货场南卡口入境近景 +南卡口AI算法识别摄像机20102→河口北山国际货场南卡口入境全景广角 +能投大厦高点1→河口北山国际货场北卡口俯视全景 +北卡口AI摄像头全景→ +北口口AI摄像头细节→ +北卡口出口道路监控→河口北山国际货场北卡口出口场外道路 + +## 2024-10-08 +根据客户9月30号反馈内容梳理,海关AR待处理问题如下: +1. 告警声问题,没有告警提示也会响(完成) +2. 监测点查询新增区域筛选 (完成) +3. 车牌识别数据给的时间和图片时间对不上,导致录像回放不准确。排查NTP (完成) +4. 数据入库慢问题,排查 鲁PAC232 (完成) +5. 监测点查询精确查询车牌无结果(实际有数据)(完成) + +## 2024-10-09 +1、取消摄像头上线和离线提示。 +2、体温异常预警、核辐射异常预警、中控车辆预警都自动推送到融合指挥进行处置。(中控车辆预警已推送) + +## 2024-10-15 +![[Pasted image 20241015092207.png]] + +## 2024-12-11 +1. 核辐射正常检测事件未处理 +2. 融合指挥跳转报错 +3. 监测点查询(数据滞后) +4. 相机掉线问题 +5. 视频回放进度条 +6. 中控车辆(如果在融合指挥处置过,需要按照时间自动处置在这之前的中控告警) \ No newline at end of file diff --git a/项目/盛视科技/河口海关融合指挥.md b/项目/盛视科技/河口海关融合指挥.md new file mode 100644 index 0000000..d41222a --- /dev/null +++ b/项目/盛视科技/河口海关融合指挥.md @@ -0,0 +1,7 @@ +# 问题排查 + +1. 海关AR跳转融合指挥出现时间戳异常处理 +解决办法:登陆 ssh 到192.168.153.52 paas/Image0@Huawei123 (登陆后切换root用户密码不变) 执行 +```shell +ntpdate -u 10.85.92.114 +```