20210724
=> 等号 箭头相当于 函数的冒号
偏移量可以理解为索引
本地模式:想什么时候用就什么时候用
开发环境：用一次就没有了？
配置高可用 (HA)
独立模式和yarn 模式
独立只需要spark自己不需要其他第三方框架
yarn模式需要第三方比如hadoop等
集群模式和客户端模式的区别?
集群模式在控制台看不到结果客户端模式可以看到结果
driver 在集群里面运行的就是集群模型,在集群之外为客户端模式
yarn 属于hadoop
driver 和 executor 是和计算相关的组件
master 和 worker 是和资源相关的组件
driver 通过 application master 和master 交互
executor 是进程
core 是cpu核
有向无环图：依赖关系 A 用到了B 表示 A依赖于B
有环的话就是死循环
driver 和 executor 都是进程
网络编程就是socket 编程
https://www.zhihu.com/question/62807679/answer/548195113
class 是类
object 是实例
网络中不能传对象,但是可以把对象序列化
普通的java类不能序列化必须 extends（扩展） serializible (抽象接口)
scala 中所有java的接口都是叫特质
scala var 和 val 的区别
RDD 最小的计算单元
多个RDD（各种复杂的操作）联合起来形成完整的计算
数据结构:组织和存储数据的结构
字节流和字符流不同
字节流:一个字节一个字节地读
bufferedinputstream 缓存流 批处理
一行一行读 是字符流 而不是字节流
bufferdreader 是字符流
bufferedinputstream 是字节流
字节转字符
装饰者设计模式 :在原来的功能上扩展更丰富的功能 （包装就相当于 参数传入）
真正读取的还是最里层的fileinputstream
RDD 中途不保存数据，IO 要缓存
utf8或者其他编码模式 所需的字节数不一样
各种new 只是设计的功能模块
真正触发执行地是 in.readline() 延迟执行的感觉
函数中的this 相当于就是调用者自身
弹性就是可变的 不是固定的
分片 等于 分区
子类重写抽象类的方法
先分区后可并行计算
option 可有可没有
executor 在不同的节点中?
driver 做调度
scala中var 和val的区别
Scala有两种变量，val和var。val就不能再赋值了。与之对应的，var可以在它生命周期中被多次赋值。
相对路径 以当前根目录为基准
从文件中构建RDD是一行一行读取 是字符 类型为string
从内存中构建RDD是一个字符一个字符的读取？ 如果是列表里面数字 则类型为int？
scala 类型推断
- 通配符 可以有可以没有
分布式存储系统路径 HDFS
crc 校验和状态文件
抽象的方法 在特质（trait）当中 不能直接运行
真正用的是具体执行的类 ctrl+H
taskscheduleimpl
035 035.尚硅谷_SparkCore - 核心编程 - RDD - 集合数据源 - 分区的设定
8分钟左右的追踪可以借鉴学习
0 until numslice 左闭右开
i=> xxx 对i进行右边的操作