python第十一课

发布时间：2019-09-15 10:00:08编辑：auto阅读（2031）

一、Cluster概念
1、系统扩展方式：
Scale UP：向上扩展，增强
Scale Out：向外扩展，增加设备，调度分配问题，Cluster
2、Cluster：集群，为解决某个特定问题将多台计算机组合起来形成的单个系统
3、Linux Cluster类型
LB：Load Balacing，负载均衡
HA：High Availability，高可用，SPOF（single Point Of failure）
MTBF:Mean Time Between Failure 平均无故障时间
MTTR:Mean Time To Restoration（ repair）平均恢复前时间
A=MTBF/（MTBF+MTTR）
(0,1)：99%, 99.5%, 99.9%, 99.99%, 99.999%, 99.9999%
HPC：High-performance computing，高性能 www.top500.org
4、分布式系统：
分布式存储：云盘
分布式计算：hadoop，Spark
二、Cluster分类
基于工作的协议层次划分：
传输层（通用）：DPORT
LVS：
nginx：stream
haproxy：mode tcp
应用层（专用）：针对特定协议，自定义的请求模型分类
proxy server：
http：nginx, httpd, haproxy(mode http), ...
fastcgi：nginx, httpd, ...
mysql：mysql-proxy, ...
三、Cluster相关
会话保持：负载均衡
(1) session sticky：同一用户调度固定服务器
Source IP：LVS sh算法（对某一特定服务而言）
Cookie
(2) session replication：每台服务器拥有全部session
session multicast cluster
(3) session server：专门的session服务器
Memcached，Redis
HA集群实现方案
keepalived:vrrp协议
ais:应用接口规范
heartbeat
cman+rgmanager(RHCS)
coresync_pacemaker
四：LVS介绍
LVS：Linux Virtual Server，负载调度器，集成内核 章文嵩 阿里官网：http://www.linuxvirtualserver.org/
VS: Virtual Server，负责调度
RS: Real Server，负责真正提供服务
L4：四层路由器或交换机
工作原理：VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS，根据调度算法来挑选RS
iptables/netfilter：
iptables：用户空间的管理工具
netfilter：内核空间上的框架
流入：PREROUTING --> INPUT
流出：OUTPUT --> POSTROUTING
转发：PREROUTING --> FORWARD --> POSTROUTING
DNAT：目标地址转换； PREROUTING

五、LVS概念
lvs集群类型中的术语：
VS：Virtual Server，Director Server(DS)
Dispatcher(调度器)，Load Balancer
RS：Real Server(lvs), upstream server(nginx)
backend server(haproxy)
CIP：Client IP
VIP: Virtual serve IP VS外网的IP
DIP: Director IP VS内网的IP
RIP: Real server IP
访问流程：CIP <--> VIP == DIP <--> RIP
六、LVS集群的类型
lvs: ipvsadm/ipvs
ipvsadm：用户空间的命令行工具，规则管理器用于管理集群服务及RealServer
ipvs：工作于内核空间netfilter的INPUT钩子上的框架
lvs集群的类型：
lvs-nat：修改请求报文的目标IP,多目标IP的DNAT
lvs-dr：操纵封装新的MAC地址
lvs-tun：在原请求IP报文之外新加一个IP首部
lvs-fullnat：修改请求报文的源和目标IP

lvs-nat
    本质是多目标IP的DNAT，通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RTP和PORT实现转发
    （1）RIP和DIP必须在同一个IP网络，且应该使用私网地址，RS的网关要指向DIP
    （2）请求报文和响应报文都必须经由Director转发，Director易于成为系统瓶颈
    （3）支持端口映射，可修改请求报文的目标PORT
    （4）VS必须是Linux系统，RS可以是任意OS系统
NAT模式IP包调度过程

2、LVS-DR模式
    LVS-DR：Direct Routing，直接路由，LVS默认模式,应用最广泛,通过为请求报文重新封装一个MAC首部进行转发，源MAC是DIP所在的接口的MAC，目标MAC是某挑选出的RS的RIP所在接口的MAC地址；源IP/PORT，以及目标IP/PORT均保持不变
Director和各RS都配置有VIP  
    (1) 确保前端路由器将目标IP为VIP的请求报文发往Director
        在前端网关做静态绑定VIP和Director的MAC地址  
        在RS上使用arptables工具
            arptables -A IN -d $VIP -j DROP
            arptables -A OUT -s $VIP -j mangle --mangle-ip-s $RIP
        在RS上修改内核参数以限制arp通告及应答级别
            arp_announce
            arp_ignore
    (2) RS的RIP可以使用私网地址，也可以是公网地址；RIP与DIP在同一IP网络；RIP的网关不能指向DIP，以确保响应报文不会经由Director
    (3) RS和Director要在同一个物理网络
    (4) 请求报文要经由Director，但响应报文不经由Director，而由RS直接发往Client
    (5) 不支持端口映射（端口不能修败）
    (6) RS可使用大多数OS系统
3、LVS-TUN模式
    lvs-tun：
        转发方式：不修改请求报文的IP首部（源IP为CIP，目标IP为VIP），而在原IP报文之外再封装一个IP首部（源IP是DIP，目标IP是RIP），将报文发往挑选出的目标RS；RS直接响应给客户端（源IP是VIP，目标IP是CIP）
        (1) DIP, VIP, RIP都应该是公网地址
        (2) RS的网关不能，也不可能指向DIP
        (3) 请求报文要经由Director，但响应不能经由Director
        (4) 不支持端口映射
        (5) RS的OS须支持隧道功能

4、lvs-fullnat模式
        lvs-fullnat：通过同时修改请求报文的源IP地址和目标IP地址进行转发
            CIP --> DIP
            VIP --> RIP
        (1) VIP是公网地址，RIP和DIP是私网地址，且通常不在同一IP网络；因此，RIP的网关一般不会指向DIP
        (2) RS收到的请求报文源地址是DIP，因此，只需响应给DIP；但Director还要将其发往Client
    (3) 请求和响应报文都经由Director
    (4) 支持端口映射；
    注意：此类型kernel默认不支持

Nginx

注意防火墙开关 iptables -F 一次关闭 iptables
一、Nginx配置
1、etc目录下的yum.repos.d，touch一个base.repo文件
2、vim base.repo：
name=CentOS
baseurl=file:///misc/cd
gpgcheck=0
[epel]
name=EPEL
#baseurl=http://mirrors.aliyun.com/epel/$releaserver/$basearch 阿里云
baseurl=http://172.16.0.1/fedora-epel/6/x86_64/ # 内网配置
gpgcheck=0
enabled=1 # 打开状态
3、yum repolist一下
4、yum install nginx 安装
5、rpm -qi nginx 看下nginx介绍，pl看
6、ss -ntl看下http80有没有打开，不能和apache冲突
7、systemctl start nginx（centos7）或者nginx启动，但是不能混用
8、systemctl stop nginx（centos7）或者nginx -s stop关闭
9、输入之后，就可以看到网站了
10、ps aux观看进程，可以看到nginx 的worker进程或者pstree -p|grep nginx
11、nginx模块：
核心模块：core module
标准模块：
HTTP 模块 外部网站，外部服务器
核心模块
格外指令的功能
mail模块 邮件功能
stream模块 tcp协议的转发
第三方模块
12、Nginx：默认为启动nginx
-h 查看帮助选项
-V 查看版本和配置选项
-t 测试nginx语法错误
-c filename 指定配置文件(default: /etc/nginx/nginx.conf)
-s signal 发送信号给master进程，signal可为：stop, quit,reopen, reload 示例：-s stop 停止nginx -s reload 加载配置文件
-g directives 在命令行中指明全局指令
13、nginx配置
1、配置文件的组成部分：
主配置文件：nginx.conf
子配置文件 include conf.d/*.conf
2、fastcgi， uwsgi，scgi等协议相关的配置文件
3、mime.types：支持的mime类型
4、主配置文件的配置指令：
1、directive value [value2 ...];
2、注意：
(1) 指令必须以分号结尾
(2) 支持使用配置变量
内建变量：由Nginx模块引入，可直接引用
自定义变量：由用户使用set命令定义
set variable_name value;
引用变量：$variable_name

二、Nginx配置文件
1、etc下的nginx下的nginx.conf文件
主配置文件结构：四部
main block：主配置段，即全局配置段，对http,mail都有效
event {
...
} 事件驱动相关的配置
http {
...
} http/https 协议相关配置段
mail {
...
} mail 协议相关配置段
stream {
...
} stream 服务器相关配置段
2、修改配置
修改server，root行是访问路径
3、其他服务器上访问nginx服务，进入/etc/nginx/conf.d/
先在nginx服务器上进入etc/nginx/conf.d然后写下面的配置
vim vhosts.conf
server {
listen 80:
server_name www.a.com
root /app/web1/;

    }
    一个网站的基本配置

在/app中，创建web1，web2，web3的dir，echo三个网站进去
echo www.a.com > web1/index.html
echo www.b.com > web2/index.html
echo www.c.com > web3/index.html

echo hello > /usr/share/nginx/html/index.html  这个是默认的，访问这个服务nginx结果
去另一个服务器，映射一下/etc/hosts，关联起来
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.157.138 www.a.com www.b.com www.c.com
这样就把nginx的ip地址绑定在了三个地址上

在另一个服务器 curl www.a.com

MySQL
关系----对象

一、数据库系统的架构
单机架构
大型主机/终端架构
主从式架构（C/S）专门的服务器，客户端，（qq客户端，服务器在腾讯）
分布式架构
二、关系型数据库
1、关系：二维表，且满足如下性质:
表中行、列次序并不重要
2、行row：表中的每一行，又称为一条记录
3、列column：表中的每一列，称为属性，字段
4、主键（Primary key）：用于唯一确定一个记录的字段
5、域domain：属性的取值范围，如，性别只能取男女两个值

三、关系数据库
RDBMS
MySQL：MySQL，MariaDB，Percona Server
PostgreSQL：pgsql，现在EnterpriseDB
Pracle
MSSQL
DB2
事务transaction：多个操作被当作一个整体对待
ACID：
A：原子性（如果是5个步骤，故障后rollback回滚，重新开始，undo，redo）
C：一致性
I：隔离性（类wiki操作，同一page多操作，中间状态不被看到，脏数据）
D：持久性

四、联系类型
1、一对一关系（不一定在两个表一样的位置，但1：1）
2、一对多关系（1：n）员工表和部门表
3、多对多关系（m：n）学员表（主键表）课程表，避免信息重复，再开一张表（外建表），用ID对应关系，这张表和另两张分别构成一对多的关系
主键表，字段的值，必须唯一，不允许为空（学员姓名）只能有一个主键
唯一键，必须为一，允许为空（学员手机号）可以有多个唯一键，×××，手机号
复合主键，都叫张伟，一个上海，一个北京，那么name+city就是复合主键（pk）
五、数据三要素
1、数据结构
2、数据操作：增删改查
3、约束条件：实体（行）完整、域（列）完整，参考完整性

六、简易数据规划流程
1、收集数据，得到字段
必要且完整的数据项、转换成数据表字段
2、字段分类，归入表，建立表关联
关联：表和表间的关系
分割数据表并建立关联的有点
节省空间
减少输入错误（年龄限制，性别限制）
方便数据修改
3、规范化
六种范式，第一范式（1NF）巴德斯科范式（）
1NF：无重复列，数据不可分割，不能重复
2NF：属性完全依赖于主键，满足第一范式，每行可以被唯一区分

    3、第三范式：属性不依赖于其他非主属性，满足第三必须先满足第二
    上图前面加一个主键员工ID，city和name就不是复合主键，这时候如果还有citycode，就违反了，还是在外面加一个city和code的表

一般满足这三个就可以了
但是如果为了性能，放一张表会违反第二第三，也可以

七、基本概念
1、索引：将表中一个或多个字段中的数据复制一份另存，拿出来按次序排序后，找需要的数据，避免全表扫描
2、关系运算
选择：挑选出符合条件的行
投影：挑选出需要的字段
连接：表间字段的关联

八、数据模型

九、安装MySQL
yum info mariadb Centos7
yum info mysql Centos6

cd /etc/yum/yum.repos.d
yum list mariadb-server
yum install mariadb-server

centos安装5.58
224.4M那个文件
十、基础命令
装完查看一下rpm -ql mariadb-server
sysytemctl start mariadb
systemctl enable mariadb开机启动mariadb
ss-ntl----看启动
输入mysql默认连接
show databases；看有哪些数据库
select user（）看是谁进入访问的，默认下的管理员root没有账号密码
use test就会进入test数据库，不再是None
show tables 查看有哪些表
use mysql 系统库
show tables
#drop database test；可以删除这个库
exit退出/quit
mysql -uroot -h192.168.8.10通过root去进入谁的数据库，默认不允许
mysql -uxxx 默认随便输入账号都能进去，匿名账号，权限不大
mysql的表里，有一个user
desc user 可以查看表user
select * host，user，password from user查询这三个字段来显示

输入mysql_查看
mysql_secure_installation 设置root口令，新口令，匿名账户是否删除，禁止root远程登录与否，是否删除test测试数据库，是否加载特权表，就是重新加载生效

再次进入mysql，就进不去了
mysql -uroot -p
输入密码
select * host，user，password from mysql.user

十一、下午3点前十五分钟课程，看下，补全
vim /etc/my.cnf
这里面有一个datadir，是数据库表目录，可以修改位置
但是改完要改权限，然后重启
cd

忘记密码，修改
update user set password=password('centos') where user='root' 修改密码
；

十二、创建操作
create database mydb创建db

#ps aux/pstree

十三、创建表及操作
先use进入一个数据库
create table students (sid tinyint unsigned，name char(30)，sex enum('m','f'))括号内表示字段，数据类型（课件47页）
字符串：char（n）固定长度，n自己写，不够的补，速度快，形式一样
varchar（n）可变长度，超的不要，不够的也不补，省空间
dese students 去看一下结构

加入主键
create table students (sid tinyint unsigned primary key，name char(30)，sex enum('m','f'))

1、表内查询
show tables
1、查看内容
select * from students；
2、加入内容
insert students (sid,name,sex ) value (1,'Jim','m' )；按顺序，可以不用写(sid,name,sex )
再查看内容
2、部分赋值
insert students (sid,name ) value (2,'tom')；
3、修改内容
update students set sex='f'；不写条件，全部修改
update students set sex='f' name='lili' where name='tom'；
4、删除内容
delete from students where sid=3；不加条件，全部删除
truncate table students 删除内容，没有日志，不能还原，跑路了，老铁

十四、索引
show table status like 'students'\G；
desc students
create index Idx_Name on students (Name)
再desc一下
select from students
explain select from students；
explain select from students where id=3\G；这样就用到了主键进行搜索，效率高
explain select from students where name='tom'\G；加了索引就1次查完，不然全表
十五、DQL语句
select * from students where gender is null，查询某个字段值是否为空，空白未见是空
insert students（name，age，gender） value （'tom'，1，'F'）；不符合定义的gender
这样就能找到null

十六、SELECT
select name，age from students where gender='M'；
查找男生
select avg(age) from students
查询平均年龄
select gender，avg（age） from students group by gender；
查询男女各自平均，group用了之后，select后，只能用by的字段和汇总的内容
select gender，max(age) from students group by gender；
按男女查询最大年龄
select max(age) from students group by gender having gender='M'；
查找M的最大年龄
select from students order by age；
查询年龄desc倒序，asc 正序，写在age后面
select from students where calssid=1 limit 2；
查询前两个，如果是1，2，就是跳过第一个，显示前两个

十七、多表查询
1、交叉查询：笛卡尔乘积
字段叠加3+4

    select * from coc cross join teachers     （coc和teachers表交叉）
2、内连接（交集）
    select st.name，sc.score from students as st，scores as sc where st.stuid=sc.stuid
    select st.name，sc.score from students as st inner join scores as sc on st.stuid=sc.stuid
    这俩都是取stuid一样的交集
3、外连接（左、右）
    select st.name，sc.score from students as st left outer  join scores as sc on st.stuid=sc.stuid   左

4、多表查询
5、自连接
    select s1.name,s2.name from students as s1 inner join students as s2 on s1.teacher=s2.stuid

十八、用户账号
1、创建用户带授权一般一起
grant all/select，delete on hellodb. to wang@'192.168.8.%' identified by 'centos' %是任意，all是全部权限，后面是查询删除，.是所有表

    mysql -uwang -pcentos -h192.168.8.100 

十九、MariaDB日志
1、show processlist 可以列出所有进程，总是存在的，说明比较慢或大量用
2、show variables like ‘%slow%’查慢连接
【set global log_slow_queries=ON】
3、

关键字：