[大数据]Spark 通过standalone模式访问s3a: |文件

一、前言

已申请云存储服务或完成minio服务搭建，minio集群搭建可参照：https://gaoming.blog.csdn.net/article/details/119033903

二、环境安装

2. 1 Spack standalone模式安装

2.1.1 下载

下载地址：https://archive.apache.org/dist/spark/spark-2.4.6/spark-2.4.6-bin-without-hadoop.tgz

2.1.2 解压

tar -zxvf spark-2.4.6-bin-without-hadoop.tgz

2.1.3 编辑conf/spark-env.sh

新增以下内容：

export SPARK_MASTER_HOST

了解本专栏 订阅专栏 解锁全文