[大数据]ETL实训

目录

第一章 安装sakila数据库

1.1 运行sakila-schema.sql

1.2运行sakila-data.sql导入数据

第二章 创建

第三章 生成dim_data表

3.1生成十年日期记录

3.2增加序列

3.3生成日期属性

3.4生成各个属性

3.5 加载数据到日期维度表

第四章 生成dim_time表

4.1生成时数据

4.2生成分秒的数据、进行时分秒的笛卡尔积关联输出

4.3生成时间属性、加载时间维度表数据

第五章 加载dim_staff表

5.1获取员工维度表上次更新的时间

5.2从员工表中加载最新数据、字段选择、值映射

5.3加载SCD2的员工维度表数据

第六章 加载dim_customer表

第七章 加载dim_store表

第八章加载dim_actor表

第九章加载dim_film表

第十章 加载fact_rental表

• 安装sakila数据库

1.1 运行sakila-schema.sql

1.2运行sakila-data.sql导入数据

• ?创建

2.1 运行sakila_dwh_schema.sql 创建数据库与表

• 生成dim_data表

3.1生成十年日期记录

3.2增加序列

3.3生成日期属性

3.4生成各个属性

3.5 加载数据到日期维度表

第四章 生成dim_time表

4.1生成时数据

4.2生成分秒的数据、进行时分秒的笛卡尔积关联输出

4.3生成时间属性、加载时间维度表数据

第五章 加载dim_staff表

5.1获取员工维度表上次更新的时间

5.2从员工表中加载最新数据、字段选择、值映射

5.3加载SCD2的员工维度表数据

第六章 加载dim_customer表

6.1获取上次更新的时间、从customer表中加载最新的数据

6.2构建映射、查询Address、City、Country表，判断是否有第二地址、地址链接、字段选择、值映射、加载到最新用户维度数据

?第七章.加载dim_store表

7.1加载商店维度数据

第八章加载dim_actor表

8.1加载最新的演员维度数据

?

第九章加载dim_film表

9.1获取上次更新时间和最新表数据

9.2查询语言和评级字段映射

9.3将special_features列拆分成多行、添加常量Yes和No、将special_feature列转行

9.4将special_features的null进行替换

9.5获取电影分类的id和电影分类的名称

9.6增加Yes常量、将category进行列转行

9.7将category的null替换成no

9.8加载处理好的数据到电影维度表

9.9计算演员的权重因子、更新dim_film_actor_bridge维度表

• 加载fact_rental表

10.1加载租聘事实表数据、字段选择

10.2处理租聘周期

10.3获取film_key、customer_key、stuff_key、store_key

10.4添加常量count_rentals、加载事实表数据