下面是一个简单的小例子
1 | drop table test.t1; |
和有趣的人做尽有趣的事
下面是一个简单的小例子
1 | drop table test.t1; |
FOC(FLIGHT OPERATION CONTROL)即航空公司主要的航班运行控制系统。
AFTN(Aeronautical Fixed Telecommunication Network)用于民航空管各类工作报文的网络和规范,通常传输有航班的动态信息报文,比如起飞落地报文、天气报文、情报报文、取消报文等等。
SITA 国际电讯协会,和AFTN一样也是民航一种电报规范,主要用于商务报文传输,比如货运、客运报文、离港订座报文等;
ACARS(Aircraft Addressing and Reporting System)地空通信的链路,是飞机在空中和地面进行数字化报文传输主要的方式;
MCC(Maintenance Control Center)工程维修处的一个处室,是AOC值班的重要岗位,是负责每日航班运行的飞机的故障维修保障岗位;
ADSB (Automatic Dependent Surveillance – Broadcast)通过飞机上的机载GPS等系统,获得飞机自身的位置信息,再通过飞机上的通信设备,将飞机自身的位置信息发送出来,地面人员可以利用通信设备,接收到飞机发送出来的这些信息,从而实现对飞机的监视
CDM (Collaborative Decision-Making 协同决策)是空管和航空公司以及机场协同运作的一个终端流量控制系统;俗称,飞机跑道排队系统;
ACDM(Airport Collaborative Decision-Making 机场协同决策)是机场和航空公司协同运作的一个机场协同指挥系统;
GANTT 条状图(Bar chart)。其通过条状图来显示项目,进度,和其他时间相关的系统进展的内在关系随着时间进展的情况;
HORAM (HO吉祥的二字码,RAM RISK ANALYSIS MANAGEMENT)吉祥的航班风险分析管理系统
CI执行率监控 Cost index成本指数,节油中会针对每条特定航线根据经验给出CI指导政策,系统会根据历史数据分析飞行员节油情况和CI对比
EFB (ELECTRIC FLIGHT BAG)电子飞行包,IPAD代替原来的纸箱,里面可以安装各种电子航图、手册、气象APP、性能计算APP等;
HCC (Hub Control Center)吉祥的地面保障系统,主要是场站,虹桥、浦东有关地面保障单位调度的系统;
SMS (Safety Management System)公司安全风险检查系统,涉及公司任何方面的隐患提报以及整改闭环管理
QAR (Quick Access Recorder)就是黑盒子数据,记录了每个飞行航班的飞机的全部抽样参数
SOP(Standard Operation Procedure)标准作业程序,吉祥航空公司的飞行员SOP手册就是飞机标准操作手册;
开源地址:https://github.com/datahub-project/datahub
DataHub是由Linkedin开源的,官方Slogan:The Metadata Platform for the Modern Data Stack - 为现代数据栈而生的元数据平台。目的就是为了解决多种多样数据生态系统的元数据管理问题,它提供元数据检索、数据发现、数据监测和数据监管能力,帮助大家解决数据管理的复杂性。
DataHub基于Apache License 2开源,采用基于推送的数据收集架构(当然也支持pull拉取的方式),能够持续收集变化的元数据。当前版本已经集成了大部分流行数据生态系统接入能力,包括但不限于:Kafka, Airflow, MySQL, SQL Server, Postgres, LDAP, Snowflake, Hive, BigQuery。
Datahub的优点:
Datahub的不足:
相关介绍:
https://mp.weixin.qq.com/s/74gK3hTt7-j1lTbKFagbTQ
https://mp.weixin.qq.com/s/iP6sc2DzPaeAKpSWNmf8hQ
选型建议:
1)如果有至少半个前端开发人员+后台开发人员;
2)如果需要用户体验较好的数据资产管理平台;
3)如果有需要扩展支持各种平台、系统的元数据。请把Datahub列为最高选择。
尽管列举了一些不足,但是开源产品中Datahub目前是相对最好的选择。笔者也在生产中使用,有问题的可以随时沟通交流。
商用版本: Metaphor(https://metaphor.io/)是Datahub的SaaS版本。
1 | python3 -m pip install --upgrade pip wheel setuptools |
⚠️注: 在我们执行安装前,可以创建python虚拟环境
1 | datahub docker quickstart |
⚠️注: 如果你的网络不佳,或者是国内网络,过程会特别的漫长,我就是等了一天才好
成功后terminal中展示:
下面我们登陆:
http://localhost:9002/login?redirect_uri=%2F
user/pass: datahub/datahub
部署细节不懂的,可以参考: https://datahubproject.io/docs/quickstart
下一章我们结合Datahub API + 血缘解析工具,简单说一下怎么构建企业知识图谱
开源地址:https://github.com/MarquezProject/marquez
Marquez的优点:
Marquez的不足:
相关介绍:https://mp.weixin.qq.com/s/OMm6QEk9-1bFdYKuimdxCw
1 | git clone git@github-hoey94:hoey94/marquez.git |
1 | DOCKER_BUILDKIT=1 ./docker/up.sh --seed |
创建namespace
1 | curl -X POST http://localhost:5000/api/v1/lineage \ |
创建input和output
1 | curl -X POST http://localhost:5000/api/v1/lineage \ |
更多细节可以参考一下下面文章:https://blog.csdn.net/weixin_43947468/article/details/129593234
下面是一些ES日常操作,记录下来方便查询
1 | #查看集群的健康情况 |
在使用processFunction实现两张事实表的JOIN操作时,接触到了Timer,下面对Flink定时器的核心知识做一个简单总结:
因为 Timer 是基于每个键即 key 注册并触发,所以 KeyedStream 是 Timer 在 Flink 中使用的先决条件
1 | ctx.timerService.deleteEventTimeTimer(timeStamp) |
TimerService 会自动消除计时器的重复数据,始终保持每个键 key 最多只有一个计时器,当一个键 key 注册多个 Timer 计时器时,onTimer 方法只会调用一次,重复注册会覆盖之前的 timer 注册
ValueState 可以通过 checkpoint 进行检查点保存和恢复,同理 Timer 也可以由 checkpoint 托管,从 Flink checkpoint 检查点恢复任务时,将立即启动恢复前应启动的处于恢复状态的每个已注册计时器,这也提高了 Timer 的容错性
从 Flink 1.6.x 开始,计时器可以暂停和删除,提供更便捷的 Timer 处理方式
文章发布自:[Flink Timer 与 TimerService 源码分析与详解](https://it.cha138.com/ios/show-36808.html#2.1 注册 Timer)
写的十分好,推荐阅读,除此之外推荐阅读:
SDK可以帮助我们维护mac下的程序包,比如想安装jdk1.8、又想安装jdk11,比如想安装maven等等,它都可以通过指令进行安装和管理。下面是一些常用的指令:
1 | # 安装 |
前段时间618新入手了几块硬盘,买回来组一个NAS,下面是家里的网络拓扑逻辑图
在其中完成了以下内容:
得到的好处:
CUAdmin32216618
自己手里有很多私有服务,并且域名还都不一样,例如下面这些:
应用 | ip |
---|---|
NAS | 192.168.30.5:5000 |
Jellyfin | 192.168.30.5:8096 |
私人笔记 | hoey94.github.io |
私人网盘 | 192.168.30.5:9000 |
chatgpt | chat.github.io |
… | … |
这些应用管理起来十分不方便,于是就想将这些网站整合在一起,并且对外提供统一域名访问方式。我自身是有一个免费的顶级域名的hoey.tk,那现在的需求就很明确了,其实就是想得到下面这样的效果:
应用 | ip |
---|---|
NAS | nas.hoey.tk |
Jellyfin | jellyfin.hoey.tk |
私人笔记 | notes.hoey.tk |
私人网盘 | pan.hoey.tk |
chatgpt | chat.hoey.tk |
… | … |
最近找到了一款挺不错的软件Nginx Project Manager,并且还能提供免费的SSL,虽然3个月到期以后还要手动续期,不过白嫖的东西还要什么自行车。它的页面像这样:
配置完以后,访问的时候只需要使用二级域名访问即可,十分方便,维护起来也十分傻瓜。
下面这个是结合自己家庭网络拓扑图和已有的一些服务的网络拓扑图,用这个实现二级域名访问+SSL。
从最右边开始一层一层解释所做的事情:
首先联系联通宽带,给到公网IP,将自己内网服务,在软路由内部通过端口映射的方式开放到外网。如果没有公网IP,也可以用frp等工具实现内网穿透。
接下来要解决公网IP变动的问题(联通给的公网IP是动态的,每隔一段时间就会变)。DNS服务商我选择的是Cloudflare,实现DDNS这块是参考开源项目,改写了一个脚本,其主要功能是:以轮训的方式,动态监测公网IP变更,将A记录通过API的方式更新到Cloudflare以实现DNS解析,具体脚本参考cloudflare-api-dns,当然网上也有很多类似以封装好的工具实现DDNS,比如ddns-go
在自己的VPS上搭建好Nginx Project Manager(后面我们简称NPM),用来整合自己所有的服务,并添加SSL认证。
在Cloudflare创建记录将tk域名映射到VPS上,反向代理接受到请求,转发到4块钱买的域名(hoey.asia)上,哈哈哈。
1 | # docker |
1 | mkdir -p /data/docker_data/npm |
1 | cd /root/data/docker_data/npm |
1 | cd /root/data/docker_data/npm |
NPM默认账号密码: admin@example.com/changeme,登录后修改
登录Cloudflare,到自己的域名中添加A记录,指向VPS服务器(我的VPS是110.123.11.1,域名是hoey.tk)
在NPM中添加对应的反向代理配置,并打开SSL,(下图是以nas这条记录为例,描述NPM的配置)
之后开启SSL认证
点击保存即可。
配置完成以后,就可以使用nas.hoey.tk访问nas服务了,当用户访问nas.hoey.tk时,在网络中它的链路应该如下图所示:
以上
最近使用Jellyfin搭建家庭影音出现中文乱码问题,下面是我搜到的一些方案,我用的是扩展中文字体库
下面是一些指令,针对小白用的,大佬无视
1 | # 远程登录到NAS并切换最高权限 |
链接:https://share.weiyun.com/5Wg55FF5 密码:nhqe76
视频已经传到B站,欢迎观看Jellyfin中文字幕乱码解决_哔哩哔哩_bilibili