大數(shù)據(jù)線上問診實時數(shù)倉項目
尚硅谷線上問診實時數(shù)倉項目延續(xù)了離線數(shù)倉的業(yè)務邏輯,以線上問診開處方為基礎業(yè)務邏輯,真實表現(xiàn)了線上問診數(shù)據(jù)的實時分析統(tǒng)計。
線上問診實時數(shù)倉項目共分三大部分:實時數(shù)倉架構介紹、數(shù)倉模型搭建、Suger可視化大屏展示。項目以線上問診采集項目為前置基礎,使用采集項目中搭建的虛擬機環(huán)境,讀取采集項目實時監(jiān)控的業(yè)務數(shù)據(jù),對數(shù)據(jù)進行實時的分析計算,最終得到指標需求結果。

項目中使用的框架包括:Hadoop、Kafka、Flume、Maxwell、Flink、Phoenix、HBase、Redis、Doris、Suger等。教程通過精煉的業(yè)務體系邏輯,帶你快速掌握實時數(shù)倉所使用的技術手段!
教程目錄
01.線上問診實時數(shù)倉教程介紹
02.采集項目數(shù)據(jù)采集回顧
03.線上問診實時數(shù)倉概念介紹
04.線上問診實時數(shù)倉核心架構介紹
05.實時數(shù)倉架構的具體操作流程
06.數(shù)倉建模ER模型介紹
07.數(shù)倉建模ER模型三范式介紹
08.數(shù)倉建模維度模型介紹
09.維度建模事實表簡單概述
10.維度建模事務型事實表介紹
11.維度建模周期快照事實表
12.維度建模累積快照事實表
13.維度建模維度表設計流程
14.維度表設計規(guī)范化和反規(guī)范化
15.維度表設計維度變化的選擇
16.維度表設計多值維度和多值屬性
17.數(shù)倉分層規(guī)劃
18.數(shù)倉構建流程簡單介紹
19.數(shù)倉數(shù)據(jù)調研介紹
20.數(shù)倉分配數(shù)據(jù)域
21.數(shù)倉構建業(yè)務總線矩陣及維度模型設計
22.數(shù)倉指標體系分析
23.IDEA開發(fā)環(huán)境準備
24.Flink的環(huán)境準備
25.HBase的環(huán)境部署
26.Redis的環(huán)境部署
27.Doris的FE部署
28.Doris的BE集群安裝部署
29.Doris的BE集群bug解決
30.ODS_使用Kafka存儲原始數(shù)據(jù)
31.DIM_實時監(jiān)控實現(xiàn)動態(tài)配置維度表元數(shù)據(jù)信息原理介紹
32.FlinkCDC測試代碼編寫
33.DIM_整體代碼結構介紹
34.DIM_流式環(huán)境創(chuàng)建的方法封裝
35.DIM_讀取Kafka主流ODS層數(shù)據(jù)
36.DIM_讀取配置表數(shù)據(jù)
37.DIM_封裝HBase獲取同步連接
38.DIM_創(chuàng)建HBase中的維度表
39.DIM_處理合并流完成主流過濾維度表的操作
40.DIM_寫出維度表數(shù)據(jù)到HBase
41.DIM_維度表代碼測試及整體邏輯回顧
42.DWD_FlinkSQL的使用方法
43.DWD_使用FlinkSQL讀取ODS層數(shù)據(jù)
44.DWD_問診事實表篩選數(shù)據(jù)
45.DWD_問診事務事實表數(shù)據(jù)寫出
46.DWD_問診支付成功事實表代碼編寫及演示
47.DWD_處方事實表代碼編寫
48.DWD_處方事實表數(shù)據(jù)測試
49.DWD_interval_Join的原理介紹
50.DWD_處方開單支付事務事實表編寫及測試
51.DWD_用戶注冊事務事實表
52.DWD_新增患者事務事實表
53.DWD_醫(yī)生注冊事務事實表
54.DWS_醫(yī)院性別年齡粒度問診聚合需求介紹
55.DWS_讀取DWD層數(shù)據(jù)并轉換結構
56.DWS_使用異步連接優(yōu)化維度關聯(lián)
57.DWS_旁路緩存優(yōu)化介紹
58.DWS_實現(xiàn)維度關聯(lián)的抽象類設計
59.DWS_實現(xiàn)醫(yī)院id和患者信息的維度關聯(lián)
60.DWS_開窗聚合問診次數(shù)及問診金額代碼及演示
61.DWS_修復補全維度信息
62.DWS_將JavaBean保留需要的字段轉換為JsonString
63.DWS_Doris寫出工具類編寫
64.DWS_寫出數(shù)據(jù)到Doris演示
65.DWS_問診支付成功窗口聚合
66.DWS_處方開單窗口聚合
67.DWS_處方開單支付窗口聚合
68.DWS_用戶注冊的窗口聚合
69.DWS_患者添加窗口聚合
70.DWS_醫(yī)生注冊窗口匯總
71.DWS_醫(yī)院粒度評價表使用狀態(tài)找出新增評價
72.DWS_醫(yī)院粒度評價導出數(shù)據(jù)
73.大屏可視化流程介紹
74.大屏可視化內網穿透展示
75.SugerBI實現(xiàn)可視化展示