[大数据]【瑞吉外卖】项目优化Day2

黑马程序员视频笔记

读写分离

问题说明

?

Mysql主从复制

• 介绍
• 配置
• 测试

介绍

MySQL主从复制是一个异步的复制过程，底层是基于Mysql数据库自带的二进制日志功能。就是一台或多台AysQL数据库(slave，即从库）从另一台MySQL数据库(master，即主库）进行日志的复制然后再解析日志并应用到自身，最终实现从库的数据和主库的数据保持一致。MySQL主从复制是MySQL数据库自带功能，无需借助第三方工具。

MySQL复制过程分成三步:

• master将改变记录到二进制日志（ binary log)
• slave将master的binary log拷贝到它的中继日志（relay log）
• slave重做中继日志中的事件，将改变应用到自己的数据库中

配置

?配置-前置条件

提前准备好两台服务器，分别安装Mysql并启动服务成功

• 主库Master 192.168.23.133
• 从库Slave 192.168.23.134

注：服务器ip自己定义，克隆出来的虚拟机需要修改uuid，操作如下

1.在从库登入mysql，查询uuid，复制查询出来的uuid，quit退出mysql

select uuid();

2.修改auto.cnf文件，保存

vi /var/lib/mysql/auto.cnf

3.重启mysql

service mysqld restart

配置-主库Master

第一步：修改Mysql数据库的配置文件/etc/my.cnf

[mysqld]
log-bin=mysql-bin #[必须]启用二进制日志
server-id=133 #[必须]服务器唯一ID (该id不固定,只要保证唯一即可)

第二步：重启Mysql服务

systemctl restart mysqld

第三步：登录Mysql数据库，执行下面的SQL

grant replication slave on *.* to 'xiaohong'@'%' identified by 'Root@123456';

注：上面SQL的作用是创建一个用户xiaoming,密码为Root@123456,并且给xiaoming用户授予REPLICATION SLAVE权限。常用于建立复制时所需要用到的用户权限，也就是slave必须被master授权具有该权限的用户，才能通过该用户复制。

注2：该sql在mysql8行不通，mysql8需要分开执行，先创建用户，再授权。
参考：MYSQL8.0新建用户并授予权限流程 - 哔哩哔哩

第四步：登录mysql数据库，执行下面SQL，记录下结果中File和Position的值

show master status;

注：上面SQL的作用是查看Master的状态，执行完此SQL后不要再执行任何操作

配置-从库Slave

第一步：修改Mysql数据库的配置文件/etc/my.cnf

[mysqld]
server-id=134 #[必须]服务器唯一ID (该id不固定,只要保证唯一即可)

第二步：重启Mysql服务

systemctl restart mysqld

第三步：登录Mysql数据库，执行下面SQL

change master to master_host='192.168.23.133',master_user='xiaoming',master_password='Root@123456',master_log_file='mysql-bin.000003',master_log_pos=43836,get_master_public_key=1;

• master_host：Master的地址，指的是容器的独立IP
• master_port： Master的端口，指的是容器的端口号，不是映射端口
• master_user：用于数据同步的用户
• master_password：用户同步的用户的密码
• master_log_file：指定Slave从哪个日志文件开始复制数据，即上文中提到的File字段的值
• master_log_pos：指从哪个Position开始读，即上文中提到的Position字段的值
• master_connect_retry：如果连接失败，重试的时间间隔，单位是秒，默认是60秒

注：之所以设置get_master_public_key=1，是因为开启主从复制的时候可能会报出下方的异常。原因是mysql8默认使用插件caching_sha2_password，有些client连接报这个错误，需要拿到server的public key来加密password

start slave;

这里更改出错是因为我已经启动过该线程，它让我们关闭再尝试。正常第一次做是不会出现的。可以使用stop slave;来停止

第四步：登录Mysql数据库，执行下面SQL，查看从库的状态

show slave status\G;

注：如果没有\G会显示的特别乱

注： 如果从库uuid更改好了，并且启动了slave，那么这两个都会是Yes

测试

用Navicat连接主从两个数据库

在主库新建数据库test，刷新从库，如果从库也出现了test数据库，说明主从复制是正常的，其他插入、更新、删除数据可以自己试一试。

读写分离案例

背景

面对日益增加的系统访问量，数据库的吞吐量面临着巨大瓶颈。对于同一时刻有大量并发读操作和较少写操作类型的应用系统来说，将数据库拆分为主库和从库，主库负责处理事务性的增删改操作，从库负责处理查询操作，能够有效的避免由数据更新导致的行锁，使得整个系统的查询性能得到极大的改善。

Sharding-JDBC介绍

Sharding-JDBC定位为轻量级java框架，在java的JDBC层提供的额外服务。它使用客户端直连数据库，以jar包形式提供服务，无需额外部署和依赖，可理解为增强版的JDBC驱动，完全兼容JDBC和各种ORM框架。
使用Sharding-JDBC可以在程序中轻松的实现数据库读写分离。

• 适用于任何基于DBC的ORM框架，如：JPA,Hibernate,Mybatis,Spring JDBC Template或直接使用JDBC。
• 支持任何第三方的数据库连接池，如：DBCP,C3PO,BoneCP,Druid,HikariCP等。
• 支持任意实现JDBC规范的数据库。目前支持MySQL,Oracle,SQLServer,PostgreSQL以及任何遵循SQL92标准的数据库。

<dependency>
    <groupId>org.apache.shardingsphere</groupId>
    <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
    <version>4.0.0-RC1</version>
</dependency>

入门案例

使用Sharding-JDBC实现读写分离步骤：
1、导入maven坐标
2、在配置文件中配置读写分离规则

spring:
  application:
    #应用名称
    name: reggie_take_out
  shardingsphere:
    datasource:
      names:
        master,slave
      # 主数据源
      master:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.cj.jdbc.Driver
        url: jdbc:mysql://192.168.23.133:3306/rw?characterEncoding=utf-8
        username: root
        password: 123456
      # 从数据源
      slave:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.cj.jdbc.Driver
        url: jdbc:mysql://192.168.23.134:3306/rw?characterEncoding=utf-8
        username: root
        password: 123456
    masterslave:
      # 读写分离配置
      load-balance-algorithm-type: round_robin #轮询
      # 最终的数据源名称
      name: dataSource
      # 主库数据源名称
      master-data-source-name: master
      # 从库数据源名称列表，多个逗号分隔
      slave-data-source-names: slave
    props:
      sql:
        show: true #开启SQL显示，默认false

3、在配置文件中配置允许bean定义覆盖配置项

spring:
  main:
    allow-bean-definition-overriding: true # 允许bean定义覆盖

案例测试

1.启动项目后，用测试工具发送一个get请求，查询

?

?在控制台中能看到是从库执行的

2.发送一个post请求，存入数据

控制台中能看到是主库执行的?，数据库中也有数据，并且主从库同步

项目实现读写分离

数据库环境准备（主从复制）
直接使用我们前面在虚拟机中搭建的主从复制的数据库环境即可。
在主库中创建瑞吉外卖项目的业务数据库reggie并导入相关表结构和数据。

代码改造

使用Sharding-JDBC实现读写分离步骤：

1. 导入maven坐标
2. 在配置文件中配置读写分离规则
3. 在配置文件中配置允许bean定义覆盖配置项

Nginx

Nginx概述

Nginx是一款轻量级的web服务器/反向代理服务器及电子邮件（IMAP/POP3）代理服务器。其特点是占有内存少，并发能力强，事实上nginx的并发能力在同类型的网页服务器中表现较好，中国大陆使用nginx的网站有:百度、京东、新浪、网易、腾讯、淘宝等。

Nginx是由伊戈尔·赛索耶夫为俄罗斯访问量第二的Rambler .ru站点（俄文: Paw6nep)开发的，第一个公开版本0.1.e发布于2004年10月4日。

官网:?nginx news

Nginx下载与安装

可以到Nginx官方网站下载Nginx的安装包，地址为:?nginx: download

安装过程:
1、安装依赖包yum -y install gcc pcre-devel zlib-devel openssl openssl-devel

2、下载Nginx安装包c'd需要先yum install wget)

如果linux内下载失败，可以在windows下载好通过sftp传到linux

?

3、解压tar -zxvf nginx-1.16.1.tar.gz

4、cd nginx-1.16.1

5、./configure --prefix=/usr/local/nginx

6、make && make install

Nginx目录结构

安装完Nginx后，先熟悉一下Nginx的目录结构，如图：

查看树目录，先安装tree，

1、yum install tree

3、cd?/usr/local/nginx

2、tree

?

重点目录/文件:

Nginx命令

查看Nginx版本可以使用命令：

./nginx -v

检查配置文件正确性
在启动Nginx服务之前，可以先检查一下conf/nginx.conf文件配置的是否有错误，命令如下：
./nginx -t

启动和停止

在sbin目录下

启动Nginx服务使用如下命令:??

./nginx

停止Nginx服务使用如下命令:??

./nginx -s stop

启动完成后可以查看Nginx进程:??

ps -ef | grep nginx

可以从网页访问(需要关闭防火墙)

修改运行的进程数目：
vim usr/local/nginx/conf/nginx.conf

worker_processes 2;

重新加载配置文件：

./nginx -s reload or?/usr/local/nginx/sbin/nginx -s reload

vim /etc/profile

追加在PATH=$JAVA_HOME/bin:$PATH里

PATH=/usr/local/nginx/sbin:$JAVA_HOME/bin:$PATH

使它生效

source /etc/profile

Nginx配置文件结构

整体结构介绍

Nginx配置文件(conf/nginx.conf)整体分为三部分：

• 全局块?? ? ? ? ? ? ? ?和Nginx运行相关的全局配置
• events块? ? ? ? ? ? 和网络连接相关的配置
• http块? ? ? ? ? ? ? ? ?代理、缓存、日志记录、虚拟主机配置
  • http全局块
  • Server块
    • Server全局块
    • location块

注意：http块中可以配置多个Server块，每个Server块中可以配置多个location块。

Nginx具体应用

• 部署静态资源
• 反向代理
• 负载均衡

部署静态资源
Nginx可以作为静态wb服务器来部署静态资源。静态资源指在服务端真实存在并且能够直接展示的一些文件，比如常见的html页面、css文件、js文件、图片、视频等资源。
相对于Tomcat,Nginx处理静态资源的能力更加高效，所以在生产环境下，一般都会将静态资源部署到Nginx中。
将静态资源部署到Nginx非常简单，只需要将文件复制到Nginx安装目录下的html目录中即可。

server{
  listen 80;             #监听端口
  server_name localhost; #服务器名称
  location / {           #匹配客户端请求url
    root html;           #指定静态资源根目录
    index index.html;    #指定默认首页
  }
}

Nginx具体应用

●正向代理
是一个位于客户端和原始服务器(origin server)之间的服务器，为了从原始服务器取得内容，客户端向代理发送一个请求并指定目标（原始服务器），然后代理向原始服务器转交请求并将获得的内容返回给客户端。
正向代理的典型用途是为在防火墙内的局域网客户端提供访问Internet的途径。
正向代理一般是在客户端设置代理服务器，通过代理服务器转发请求，最终访问到目标服务器。

●反向代理

反向代理服务器位于用户与目标服务器之间，但是对于用户而言，反向代理服务器就相当于目标服务器，即用户直接访问反向代理服务器就可以获得目标服务器的资源，反向代理服务器负责将请求转发给目标服务器。
用户不需要知道目标服务器的地址，也无须在用户端作任何设定。?

?●配置反向代理

server{
  listen 82;
  server_name localhost;
  location / {
    proxy_pass http://192.168.23.134:8080; #反向代理配置，将请求转发到指定服务
  }
}

●负载均衡

早期的网站流量和业务功能都比较简单，单台服务器就可以满足基本需求，但是随着互联网的发展，业务流量越来越大并且业务逻辑也越来越复杂，单台服务器的性能及单点故障问题就凸显出来了，因此需要多台服务器组成应用集群进行性能的水平扩展以及避免单点故障出现。
●应用集群：将同一应用部署到多台机器上，组成应用集群，接收负载均衡器分发的请求，进行业务处理并返回响应数据
●负载均衡器：将用户请求根据对应的负载均衡算法分发到应用集群中的一台服务器进行处理

配置负载均衡

upstream targetserver{ #upstream指令可以定义一组服务器
    server 192.168.188.101:8080;
    server 192.168.188.101:8081;
} 
server {
    listen 8080;
    server_name localhost;
    location / {
    proxy_pass http://targetserver;
    } 
}

负载均衡策略：