初学Apache

初学Apache

TCP/IP协议

跨网络的主机间通讯
在建立通信连接的每一端，进程间的传输要有两个标志：

IP地址和端口号，合称为套接字地址 socket address
客户机套接字地址定义了一个唯一的客户进程
服务器套接字地址定义了一个唯一的服务器进程
tcp/ip协议运行在内核空间，用户空间需要通信则需通过系统调用
运行在用户空间的各种进程，端口标识主机之上的进程
应用通过内核注册使用端口，独占性
进程监听套接字

Socket套接字

• Socket:套接字，进程间通信IPC的一种实现，允许位于不同主机（或同一主机上不同进程之间进行通信和数据交换，SocketAPI出现于1983年，4.2 BSD实现
• Socket API：封装了内核中所提供的socket通信相关的系统调用

• Socket Domain：根据其所使用的地址

  AF_INET：Address Family，IPv4
  AF_INET6：IPv6
  AF_UNIX：同一主机上不同进程之间通信时使用

• Socket Type：根据使用的传输层协议

  SOCK_STREAM：流，tcp套接字，可靠地传递、面向连接
  SOCK_DGRAM：数据报，udp套接字，不可靠地传递、无连接
  SOCK_RAW: 裸套接字,无须tcp或udp,APP直接通过IP包通信

套接字类型：

IPv6:Port
IPv4:Port
Unix Socket File
IPC:shm,semerphor,queue 本地通信 

系统调用

套接字相关的系统调用：

socket(): 创建一个套接字，请求分配套接字
bind()： 绑定IP和端口
listen()： 监听
accept()： 接收请求，监听到以后阻塞
connect()： 请求连接建立
write()： 发送
read()： 接收
close(): 关闭连接，四次挥手

HTTP相关术语

http: Hyper Text Transfer Protocol, 80/tcp
超文本传输协议，应用tcp协议的应用协议
层层封装，层层拆封
各种系统对HTTP协议的依赖越来越重
html: Hyper Text Markup Language 超文本标记语言，编程语言
网页：Web Resources 众多资源组成一个网页，每个资源都要当独请求、当独标识(URI)

资源分类

动态资源：服务端对客户端的请求内容(一段代码)运行之后，把运行结果给客户端。在执行时可以通过链接中的信息请求客户端的要求，根据客户端的要求做出对应的处理。
静态资源：服务端对客户端的请求内容从磁盘上读取之后直接就发给用户，不用处理

前端开发：用户界面，js
后端开发：运行在服务器上的

SaaS，Brower/Server  

MIME： Multipurpose Internet Mail Extensions 多用途互联网邮件扩展 /etc/mime.types

base64 把二进制转化为文本，这样二进制就可以用http传输
格式：major/minor 大类型/小类型
text/plain 
text/html 
text/css
image/jpeg 
image/png
video/mp4 
application/javascript

参考：http://www.w3school/media/media_mimeref.asp

HTTP协议介绍

http/0.9：1991，原型版本，功能简陋，只有一个命令GET。GET/index.html ,服务器只能回应HTML格式字符串，不能回应别的格式
http/1.0: 1996年5月,支持cache, MIME, method

• 每个TCP连接只能发送一个请求，发送数据完毕，连接就关闭，如果还要请求其他资源，就必须再新建一个连接
• 引入了POST命令和HEAD命令
• 头信息是 ASCII 码，后面数据可为任何格式。服务器回应时会告诉客户端，数据是什么格式，即Content-Type字段的作用。这些数据类型总称为MIME 多
  用途互联网邮件扩展，每个值包括一级类型和二级类型，预定义的类型，也可自定义类型, 常见Content-Type值：text/xml image/jpeg audio/mp3

http/1.1：1997年1月

• 引入了持久连接（persistent connection），即TCP连接默认不关闭，可以被多个请求复用，不用声明Connection: keep-alive。对于同一个域名，大多数浏览器允许同时建立6个持久连接
• 引入了管道机制（pipelining），即在同一个TCP连接里，客户端可以同时发送多个请求，进一步改进了HTTP协议的效率
• 新增方法：PUT、PATCH、OPTIONS、DELETE
• 同一个TCP连接里，所有的数据通信是按次序进行的。服务器只能顺序处理回应，前面的回应慢，会有许多请求排队，造成"队头堵塞"（Head-of-line blocking）
• 为避免上述问题，两种方法：一是减少请求数，二是同时多开持久连接。网页优化技巧，如合并脚本和样式表、将图片嵌入CSS代码、域名分片（domain sharding）等
• HTTP 协议不带有状态，每次请求都必须附上所有信息。请求的很多字段都是重复的，浪费带宽，影响速度

Spdy：2009年,谷歌研发,解决 HTTP/1.1 效率不高问题
http/2.0：2015年

• 头信息和数据体都是二进制，称为头信息帧和数据帧
• 复用TCP连接，在一个连接里，客户端和浏览器都可以同时发送多个请求或回应，且不用按顺序一一对应，避免了“队头堵塞“,此双向的实时通信称为多工（Multiplexing）
• 引入头信息压缩机制（header compression）,头信息使用gzip或compress压缩后再发送；客户端和服务器同时维护一张头信息表，所有字段都会存入这个表，生成一个索引号，不发送同样字段，只发送索引号，提高速度
• HTTP/2 允许服务器未经请求，主动向客户端发送资源，即服务器推送（server push）

HTTP工作机制

工作机制：

http请求：http request
http响应：http response
一次http事务：请求<-->响应

Web资源：web resource
一个网页由多个资源构成，打开一个页面，会有多个资源展示出来，但是每个资源都要单独请求。因此，一个“Web 页面”通常并不是单个资源，而是一组资源的集合

静态文件：无需服务端做出额外处理
    文件后缀：.html, .txt, .jpg, .js, .css, .mp3, .avi
动态文件：服务端执行程序，返回执行的结果
    文件后缀：.php, .jsp ,.asp

提高HTTP连接性能

并行连接：通过多条TCP连接发起并发的HTTP请求
持久连接：keep-alive,长连接，重用TCP连接，以消除连接和关闭的时延,以事务个数和时间来决定是否关闭连接
管道化连接：通过共享TCP连接发起并发的HTTP请求
复用的连接：交替传送请求和响应报文（实验阶段）

HTTP连接请求
串行和并行连接
串行,持久连接和管道

URI

URI: Uniform Resource Identifier 统一资源标识，分为URL和URN
URN: Uniform Resource Naming，统一资源命名

示例： P2P下载使用的磁力链接是URN的一种实现
magnet:?xt=urn:btih:660557A6890EF888666

URL: Uniform Resorce Locator，统一资源定位符，用于描述某服务器某特定资源位置
两者区别：URN如同一个人的名称，而URL代表一个人的住址。换言之，URN定义某事物的身份，而URL提供查找该事物的方法。URN仅用于命名，而不指定地址

URL组成

<scheme>://<user>:<password>@<host>:<port>/<path>;<params>?<query>#<frag>
scheme:方案，访问服务器以获取资源时要使用哪种协议
user:用户，某些方案访问资源时需要的用户名
password:密码，用户对应的密码，中间用：分隔
Host:主机，资源宿主服务器的主机名或IP地址
port:端口,资源宿主服务器正在监听的端口号，很多方案有默认端口号
path:路径,服务器资源的本地名，由一个/将其与前面的URL组件分隔 文档根(/) 
params:参数，指定输入的参数，参数为名/值对，多个参数，用;分隔,客户端把参数传递给服务端，
query:查询，传递参数给程序，如数据库，用？分隔,多个查询用&分隔
frag:片段,一小片或一部分资源的名字，此组件在客户端使用，用#分隔

URL示例

http://www.magedu:8080/images/logo.jpg
ftp://mage:password@172.16.0.1/pub/linux.ppt
rtsp://videoserver/video_demo/
Real Time Streaming Protocol
http://www.magedu/bbs/hello;gender=f/send;type=title
https://list.jd/list.html?cat=670,671,672&ev=149_2992&sort=sort_t
otalsales15_desc&trans=1
http://apache/index.html#projects-list

网站访问量

• IP(独立IP)：即Internet Protocol,指独立IP数。一天内来自相同客户机IP地址只计算一次，记录远程客户机IP地址的计算机访问网站的次数，是衡量网站流量的重要指标
• PV(访问量)： 即Page View, 页面浏览量或点击量，用户每次刷新即被计算一次，PV反映的是浏览某网站的页面数，PV与来访者的数量成正比，PV并不是页面的来访者数量，而是网站被访问的页面数量
• UV(独立访客)：即Unique Visitor,访问网站的一台电脑为一个访客。一天内相同的客户端只被计算一次。可以理解成访问某网站的电脑的数量。网站判断来访电脑的身份是通过来访电脑的cookies实现的。如果更换了IP后但不清除cookies，再访问相同网站，该网站的统计中UV数是不变的

网站统计：http://www.alexa/rank/
网站访问统计示例

示例：

甲乙丙三人在同一台通过ADSL上网的电脑上（中间没有断网），分别访问www.magedu网站，并且每人各浏览了2个页面，那么网站的流量统计是：IP: 1 PV:6 UV：1
若三人都是ADSL重新拨号后,各浏览了2个页面，则IP: 3 PV:6 UV：1

网站访问量

QPS：request per second，每秒请求数
PV，QPS,并发连接数换算公式
QPS= PV* 页⾯衍⽣连接次数/ 统计时间（86400）
并发连接数 =QPS * http平均响应时间
峰值时间：每天80%的访问集中在20%的时间里，这20%时间为峰值时间
峰值时间每秒请求数(QPS)=( 总PV数 *页⾯衍⽣连接次数）*80% ) / ( 每天秒数*20% ) 
云计算，弹性计算：根据系统荷载调整机器性能

Web服务请求处理步骤

一次完整的http请求处理过程

1、建立连接：接收或拒绝连接请求    
2、接收请求：接收客户端请求报文中对某资源的一次请求的过程
    Web访问响应模型（Web I/O）
    单进程I/O模型：启动一个进程处理用户请求，而且一次只处理一个，多个请求被串行响应
    多进程I/O模型：并行启动多个进程,每个进程响应一个连接请求
    复用I/O结构：启动一个进程，同时响应N个连接请求
    实现方法：多线程模型和事件驱动
    多线程模型：一个进程生成N个线程，每线程响应一个连接请求
    事件驱动：一个进程处理N个请求
    复用的多进程I/O模型：启动M个进程，每个进程响应N个连接请求，同时接收M*N个请求
    最大并行处理度取决于：1.系统资源量 2.每个进程需要的资源量

3、处理请求：服务器对请求报文进行解析，并获取请求的资源及请求方法等相关信息，根据方法，资源，首部和可选的主体部分对请求进行处理
    元数据：请求报文首部

    <method> <URL> <VERSION>   start line 
    HEADERS 格式 name:value    
    <request body>   

    示例：
    Host: www.magedu 请求的主机名称  
    Server: Apache/2.4.7  

HTTP常用请求方式，Method、GET、POST、HEAD、PUT、DELETE、TRACE、OPTIONS

4、访问资源：服务器获取请求报文中请求的资源web服务器，即存放了web资源的服务器，负责向请求者提供对方请求的静态资源，或动态运行后生成的资源
磁盘I/O成了此步骤主要的关注点，也是整个服务的一个瓶颈
资源放置于本地文件系统特定的路径：DocRoot
    DocRoot  /var/www/html  
    /var/www/html/images/logo.jpg  
web服务器资源路径映射方式：
    (a) docroot
    (b) alias
    (c) 虚拟主机docroot
    (d) 用户家目录docroot  

5、构建响应报文：
一旦Web服务器识别除了资源，就执行请求方法中描述的动作，并返回响应报文。响应报文中 包含有响应状态码、响应首部，如果生成了响应主体的话，还包 括响应主体

1）响应实体：如果事务处理产生了响应主体，就将内容放在响应报文中回送过去。响应报文中通常包括：
    描述了响应主体MIME类型的Content-Type首部
    描述了响应主体长度的Content-Length
    实际报文的主体内容

2）URL重定向：web服务构建的响应并非客户端请求的资源，而是资源另外一个访问路径
    永久重定向：http://www.360buy
    临时重定向：http://www.taobao

3）MIME类型：Web服务器要负责确定响应主体的MIME类型。多种配置服务器的方法可将MIME类型与资源管理起来
    魔法分类：Apache web服务器可以扫描每个资源的内容，并将其与一个已知模式表(被称为魔法文件)进行匹配，以决定每个文件的MIME类型。这样做可能比较慢，但很方便，尤其是文件没有标准扩展名时
    显式分类：可以对Web服务器进行配置，使其不考虑文件的扩展名或内容，强制特定文件或目录内容拥有某个MIME类型
    类型协商： 有些Web服务器经过配置，可以以多种文档格式来存储资源。在这种情况下，可以配置Web服务器，使其可以通过与用户的协商来决定使用哪种格式(及相关的MIME类型)"最好"

6、发送响应报文
    Web服务器通过连接发送数据时也会面临与接收数据一样的问题。服务器可能有很多条到各个客户端的连接，有些是空闲的，有些在向服务器发送数据，还有一些在向客户端回送响应数据。服务器要记录连接的状态，还要特别注意对持久连接的处理。对非持久连接而言，服务器应该在发送了整条报文之后，关闭自己这一端的连接。对持久连接来说，连接可能仍保持打开状态，在这种情况下，服务器要正确地计算Content-Length首部，不然客户端就无法知道响应什么时候结束了

7、记录日志
    最后，当事务结束时，Web服务器会在日志文件中添加一个条目，来描述执行的事务

HTTP服务器应用

http服务器程序

httpd apache
nginx      luar 脚本
lighttpd

应用程序服务器

IIS .asp
tomcat .jsp
jetty 开源的servlet容器，基于Java的web容器
Resin CAUCHO公司，支持servlets和jsp的引擎
webshpere(IBM), weblogic(BEA), jboss,oc4j(Oracle)

市场占有率统计wwwcraft

Httpd介绍
d--> daemon 守护进程

20世纪90年代初，国家超级计算机应用中心NCSA开发1995年开源社区发布apache（a patchy server）

ASF: apache software foundation
FSF：Free Software Foundation

特性：

高度模块化：core + modules
DSO: Dynamic Shared Object 动态加/卸载  加入模块不需要重启服务
MPM：multi-processing module多路处理模块   

MPM工作模式

• prefork：多进程I/O模型，每个进程响应一个请求，默认模型一个主进程：生成和回收n个子进程，创建套接字，不响应请求多个子进程：工作work进程，每个子进程处理一个请求；系统初始时，预先生成多个空闲进程，等待请求，最大不超过1024个
• worker：复用的多进程I/O模型,多进程多线程，IIS使用此模型一个主进程：生成m个子进程，每个子进程负责生个n个线程，每个线程响应一个请求，并发响应请求：m*n

• event：事件驱动模型（worker模型的变种)一个主进程：生成m个子进程，每个进程直接响应n个请求，并发响应请求：m*n，有专门的线程来管理这些keep-alive类型的线程，当有真实请求时，将请求传递给服务线程，执行完毕后，又允许释放。这样增强了高并发场景下的请求处理能力

  httpd-2.2: event 测试版，centos6默认
  httpd-2.4：event 稳定版，centos7默认

httpd功能特性

虚拟主机    
    IP、Port、FQDN 
CGI：Common Gateway Interface，通用网关接口。让本身作为静态资源服务器的httpd和后端服务进行交互，从而完成动态资源的交互。 通用，各种语言都可以
反向代理，也是http协议的重要功能
负载均衡
路径别名
丰富的用户认证机制
    basic：
    digest：
支持第三方模块，通过apxs模块挂载其他功能模块。

一个应用程序：可执行程序、库文件、配置文件、帮助文档

Httpd安装

版本:CentOS 6: 2.2  
     CentOS 7: 2.4  

安装方式：

rpm：centos发行版，稳定，建议使用
编译：定制或特殊需求

CentOS 6程序环境：httpd-2.2

配置文件：

/etc/httpd/conf/httpd.conf 
/etc/httpd/conf.d/*.conf 

检查配置语法：

httpd –t
service httpd configtest

CentOS 6 httpd程序环境

服务脚本：/etc/rc.d/init.d/httpd
脚本配置文件：/etc/sysconfig/httpd

服务控制和启动：
    chkconfig httpd on|off
    service {start|stop|restart|status|configtest|reload} httpd

站点网页文档根目录：
    /var/www/html

模块文件路径：
    /etc/httpd/modules
    /usr/lib64/httpd/modules

主程序文件：
    /usr/sbin/httpd
    /usr/sbin/httpd.worker
    /usr/sbin/httpd.event
    /etc/httpd/run/httpd.pid

日志文件目录：
    /var/log/httpd
    access_log: 访问日志
    error_log：错误日志

帮助文档包：
    httpd-manual
    Httpd 2.2常见配置

httpd配置文件的组成：

# grep "Section" /etc/httpd/conf/httpd.conf
### Section 1: Global Environment
### Section 2: 'Main' server configuration
### Section 3: Virtual Hosts
配置格式：directive value
directive: 不区分字符大小写
value: 为路径时，是否区分大小写，取决于文件系统

Httpd 2.2常见配置

1、显示服务器版本信息

ServerTokens Major|Minor|Min[imal]|Prod[uctOnly]|OS|Full
ServerTokens Prod[uctOnly] ：Server: Apache
ServerTokens Major: Server: Apache/2
ServerTokens Minor: Server: Apache/2.0
ServerTokens Min[imal]: Server: Apache/2.0.41
ServerTokens OS: Server: Apache/2.0.41 (Unix)
ServerTokens Full (or not specified): Server: Apache/2.0.41 (Unix) 
PHP/4.2.2 MyMod/1.2
This setting applies to the entire server and cannot be enabled or disabled 
on a virtualhost-by-virtualhost basis.
After version 2.0.44, this directive also controls the information presented 
by the ServerSignature directive.
建议使用：ServerTokens Prod

2、修改监听的IP和Port

Listen [IP:]PORT
(1) 省略IP表示为本机所有IP
(2) Listen指令至少一个，可重复出现多次
Listen 80
Listen 8080
示例：
Listen 192.168.1.100:8080
Lsten 80

3、持久连接

Persistent Connection：连接建立，每个资源获取完成后不会断开连接，而是继续等待其它的请求完成，默认关闭持久连接断开条件： 
1）数量限制：100
2）时间限制：以秒为单位， httpd-2.4 支持毫秒级
副作用：对并发访问量较大的服务器，持久连接会使有些请求得不到响应
折衷：使用较短的持久连接时间
设置：KeepAlive On|Off   并发量小的时候打开，并发量大的时候不建议打开
KeepAliveTimeout 15   保持连接最长时间
MaxKeepAliveRequests 100   保持连接最大数量
测试：telnet WEB_SERVER_IP PORT
GET /URL HTTP/1.1
Host: WEB_SERVER_IP

4、MPM（ Multi-Processing Module）多路处理模块

prefork, worker, event（试验阶段）
httpd-2.2不支持同时编译多个模块，所以只能编译时选定一个；rpm安装的包提供三个二进制程序文件，分别用于实现对不同MPM机制的支持
确认方法：
    ps aux | grep httpd
默认为/usr/sbin/httpd, 即prefork模式
查看模块列表
查看静态编译的模块
httpd -l

查看静态编译及动态装载的模块
httpd –M

动态模块加载：不需重启即生效

动态模块路径
/usr/lib64/httpd/modules/

更换使用的httpd程序：
    /etc/sysconfig/httpd
    HTTPD=/usr/sbin/httpd.worker

重启服务生效
pstree -p|grep httpd 查看进程和线程

Httpd 2.4 与之不同

    以动态模块方式提供
    配置文件：/etc/httpd/conf.modules.d/00-mpm.conf

httpd –M |grep mpm
重启服务生效
pstree -p|grep httpd 查看进程和线程

prefork的默认配置：

<IfModule prefork.c>
StartServers 8      起始进程数
MinSpareServers 5   最少空闲进程数
MaxSpareServers 20  最多空闲进程数
ServerLimit 256 最多进程数,最大20000
MaxClients 256 最大并发
MaxRequestsPerChild 4000 子进程最多能处理的请求数量。在处理MaxRequestsPerChild 个请求之后,子进程将会被父进程终止，这时候子进程占用的内存就会释放(为0时永远不释放）

worker的默认配置：

<IfModule worker.c>
StartServers 4
MaxClients 300
MinSpareThreads 25
MaxSpareThreads 75
ThreadsPerChild 25 每个子进程可以生成线程的数量
MaxRequestsPerChild 0 无限制

5、DSO： Dynamic Shared Object

加载动态模块配置
/etc/httpd/conf/httpd.conf 

配置指定实现模块加载格式：
LoadModule <mod_name> <mod_path>

模块文件路径可使用相对路径：
相对于ServerRoot（默认/etc/httpd）

示例：
    LoadModule auth_basic_module modules/mod_auth_basic.so

6、定义'Main' server的文档页面路径

DocumentRoot “/path”
文档路径映射：
DocumentRoot指向的路径为URL路径的起始位置
示例：
DocumentRoot "/app/data“
http://HOST:PORT/test/index.html --> /app/data/test/index.html
注意：SELinux和iptables的状态

7、定义站点主页面

DirectoryIndex index.html index.html.var

8、站点访问控制常见机制

可基于两种机制指明对哪些资源进行何种访问控制访问控制机制有两种：客户端来源地址，用户账号

文件系统路径：
    <Directory “/path">
    ...
    </Directory>
    <File “/path/file”> 
    ...
    </File>
    <FileMatch "PATTERN">
    ...
    </FileMatch>

URL路径：
    <Location "">
    ...
    </Location>
    <LocationMatch "">
    ...
    </LocationMatch>

示例：
    <FilesMatch "\.(gif|jpe?g|png)$">
    <Files “?at.*”> 通配符
    <Location /status>
    <LocationMatch "/(extra|special)/data">

9、<Directory>中“基于源地址”实现访问控制

(1) Options：后跟1个或多个以空白字符分隔的选项列表在选项前的+，- 表示增加或删除指定选项

常见选项：
Indexes：指明的URL路径下不存在与定义的主页面资源相符的资源文件时，返回索引列表给用户
FollowSymLinks：允许访问符号链接文件所指向的源文件
None：全部禁用
All： 全部允许

示例：

    <Directory /web/docs>
    Options Indexes FollowSymLinks
    </Directory>
    <Directory /web/docs/spec>
    Options FollowSymLinks
    </Directory>
    <Directory /web/docs>
    Options Indexes FollowSymLinks
    </Directory>
    <Directory /web/docs/spec>
    Options +Includes -Indexes
    </Directory>

(2) AllowOverride

    与访问控制相关的哪些指令可以放在指定目录下的.htaccess（由AccessFileName指定）文件中，覆盖之前的配置指令只对<directory>语句有效
    AllowOverride All: .htaccess中所有指令都有效
    AllowOverride None： .htaccess 文件无效
    AllowOverride AuthConfig Indexes 除了AuthConfig 和Indexes的其它指令都无法覆盖

(3) order和allow、deny

放在directory, .htaccess中

    order：定义生效次序；写在后面的表示默认法则
    Order allow,deny
    Order deny,allow
    Allow from和Deny from：定义客户端地址

    客户端地址：
        IP
        网络: 172.16
        172.16.0.0
        172.16.0.0/16
        172.16.0.0/255.255.0.0

    示例：

        <files "*.txt">
        order deny,allow
        deny from 172.16. 100.100
        allow from 172.16 
        </files>
        <filematch “.*\.(conf|ini)$">
        order allow,deny
        deny from 172.16.100.100
        allow from 172.16 
        </filematch>

10、日志设定

日志类型：
    访问日志
    错误日志

错误日志：
ErrorLog logs/error_log
LogLevel warn
LogLevel 可选值: debug, info, notice, warn,error, crit, alert, emerg

访问日志：
定义日志格式：LogFormat format strings 
    LogFormat "%h %l %u %{%Y-%m-%d %H:%M:%S}t \"%r\" %>s %b 
    \"%{Referer}i\" \"%{User-Agent}i\"" testlog

使用日志格式：
    CustomLog logs/access_log testlog
参考帮助：
http://httpd.apache/docs/2.2/mod/mod_log_config.html#formats
    %h 客户端IP地址
    %l 远程用户,启用mod_ident才有效，通常为减号“-”
    %u 验证（basic，digest）远程用户,非登录访问时，为一个减号“-”
    %t 服务器收到请求时的时间
    %r First line of request，即表示请求报文的首行；记录了此次请求的“方法”，“URL”以及协议版本
    %>s 响应状态码
    %b 响应报文的大小，单位是字节；不包括响应报文http首部
    %{Referer}i 请求报文中首部“referer”的值；即从哪个页面中的超链接跳转至当前页面的
    %{User-Agent}i 请求报文中首部“User-Agent”的值；即发出请求的应用程序

11、设定默认字符集

AddDefaultCharset UTF-8 此为默认值
中文字符集：GBK, GB2312, GB18030

12、定义路径别名

格式：Alias /URL/ "/PATH/"  优先级最高
DocumentRoot "/www/htdocs"
http://www.magedu/download/bash.rpm  ==>/www/htdocs/download/bash.rpm

Alias /download/ "/rpms/pub/"
http://www.magedu/download/bash.rpm  ==>/rpms/pub/bash.rpm
http://www.magedu/images/logo.png  ==>/www/htdocs/images/logo.png 

实例：
Alias "/image" "/ftp/pub/image"
<Directory "/ftp/pub/image">
    Require all granted
</Directory>

13、基于用户的访问控制

认证质询：WWW-Authenticate：响应码为401，拒绝客户端请求，并说明要求客户端提供账号和密码    
认证：Authorization：客户端用户填入账号和密码后再次发送请求报文；认证通过时，则服务器发送响应的资源
认证方式两种：
    basic：明文，不安全的，基于https才安全，不能使用系统账号，使用虚拟账号
    digest：消息摘要认证,兼容性差
    表单认证：不是https认证，而是通过一个独立的应用程序来验证的。

安全域：需要用户认证后方能访问的路径；应该通过名称对其进行标识，以便于告知用户认证的原因用户的账号和密码
虚拟账号：仅用于访问某服务时用到的认证标识
存储：文本文件，SQL数据库，ldap目录存储，nis等

basic认证配置示例：

(1) 定义安全域
<Directory “/path">
Options None             Options +Indexes  除了父目录的Option，还要加上Indexes   
AllowOverride None
AuthType Basic
AuthName "String“
AuthUserFile "/PATH/HTTPD_USER_PASSWD_FILE"
Require user username1 username2 ...
</Directory>

允许账号文件中的所有用户登录访问：Require valid-user

(2) 提供账号和密码存储（文本文件）
使用专用命令完成此类文件的创建及用户管理
htpasswd [options] /PATH/HTTPD_PASSWD_FILE username 
-c 自动创建文件，仅应该在文件不存在时使用
-p 明文密码
-d CRYPT格式加密，默认
-m md5格式加密
-s sha格式加密
-D 删除指定用户
账号密码文件最好放在ServerRoot下，不然httpd会因为无权限而读取不了文件

基于组账号进行认证

(1) 定义安全域
<Directory “/path">
AuthType Basic
AuthName "String“
AuthUserFile "/PATH/HTTPD_USER_PASSWD_FILE"
AuthGroupFile "/PATH/HTTPD_GROUP_FILE"
Require group grpname1 grpname2 ...
</Directory>

(2) 创建用户账号和组账号文件
组文件：每一行定义一个组
GRP_NAME: username1 username2 ...
示例：
<Directory "/www/htdocs/admin">
Options None
AllowOverride None
AuthType Basic
AuthName "Administator private"
AuthUserFile "/etc/httpd/conf.d/.htpasswd"
AuthGroupFile "/etc/httpd/conf.d/.htgroup"
Require group webadmins
</Directory>

vim /etc/httpd/conf.d/.htgroup
webadmins:wang mage  一个组一行

远程客户端和用户验证的控制
Satisfy ALL|Any
ALL 客户机IP和用户验证都需要通过才可以
Any客户机IP和用户验证,有一个满足即可
示例：
    Require valid-user
    Order allow,deny
    Allow from 192.168.1
    Satisfy Any

14、实现用户家目录的http共享

基于模块mod_userdir.so实现
SELinux: http_enable_homedirs
相关设置：
    vim /etc/httpd/conf/httpd.conf
    <IfModule mod_userdir.c>
    #UserDir disabled
    UserDir public_html #指定共享目录的名称
    </IfModule>
准备目录
    su – wang;mkdir ~/public_html
    setfacl –m u:apache:x ~wang
访问
http://localhost/~wang/index.html

15、ServerSignature On | Off | EMail

当客户请求的网页并不存在时，服务器将产生错误文档，缺省情况下由于打开了 ServerSignature选项，错误文档的最后一行将包含服务器的名字、Apache的版本等信息如果不对外显示这些信息，就可以将这个参数设置为Off
设置为Email，将显示ServerAdmin 的Email提示

16、ServerType inetd | standalone.

standalone 独立服务模式
inetd 非独立服务模式
只适用于Unix平台

17、status页面

LoadModule status_module modules/mod_status.so
<Location /server-status>
SetHandler server-status  激活某个内部的处理器
Order allow,deny
Allow from 172.16
</Location>

ExtendedStatus On 显示扩展信息

18、虚拟主机

站点标识： socket
    IP相同，但端口不同
    IP不同，但端口均为默认端口
    FQDN不同：请求报文中首部保留了 Host: www.magedu 

有三种实现方案：
    基于ip：为每个虚拟主机准备至少一个ip地址
    基于port：为每个虚拟主机使用至少一个独立的port
    基于FQDN：为每个虚拟主机使用至少一个FQDN

注意：一般虚拟机不要与main主机混用；因此，要使用虚拟主机，一般先禁用main主机
禁用方法：注释中心主机的DocumentRoot指令即可

虚拟主机的配置方法：
    <VirtualHost IP:PORT>
    ServerName FQDN
    DocumentRoot “/path"
    </VirtualHost>
建议：上述配置存放在独立的配置文件中

其它可用指令：
ServerAlias：虚拟主机的别名；可多次使用
ErrorLog： 错误日志
CustomLog：访问日志
<Directory “/path"> </Directory>
Alias

基于IP的虚拟主机示例：
    <VirtualHost 172.16.100.6:80>
    ServerName www.a
    DocumentRoot "/www/a/htdocs"
    </VirtualHost>
    <VirtualHost 172.16.100.7:80>
    ServerName www.b
    DocumentRoot "/www/b/htdocs"
    </VirtualHost>
    <VirtualHost 172.16.100.8:80>
    ServerName www.c
    DocumentRoot "/www/c/htdocs"
    </VirtualHost>

基于端口的虚拟主机：可和基于IP的虚拟主机混和使用
    listen 80
    listen 8080
    <VirtualHost 172.16.100.6:80>
    ServerName www.a
    DocumentRoot "/www/a/htdocs"
    </VirtualHost>
    <VirtualHost 172.16.100.6:808>
    ServerName www.b
    DocumentRoot "/www/b/htdocs"
    </VirtualHost>
    <VirtualHost 172.16.100.6:8080>
    ServerName www.c
    DocumentRoot "/www/c/htdocs"
    </VirtualHost>

基于FQDN的虚拟主机：
    NameVirtualHost *:80   
    httpd2.4不需要此指令
    <VirtualHost *:80>
    ServerName www.a
    DocumentRoot "/www/a/htdocs"
    </VirtualHost>
    <VirtualHost *:80>
    ServerName www.b
    DocumentRoot "/www/b/htdocs"
    </VirtualHost>
    <VirtualHost *:80>
    ServerName www.c
    DocumentRoot "/www/c/htdocs"
    </VirtualHost>

httpd-2.4

新特性

MPM支持运行为DSO机制；以模块形式按需加载
event MPM生产环境可用
异步读写机制
支持每模块及每目录的单独日志级别定义
每请求相关的专用配置
增强版的表达式分析式
毫秒级持久连接时长定义
基于FQDN的虚拟主机不需要NameVirutalHost指令
新指令，AllowOverrideList
支持用户自定义变量
更低的内存消耗

修改了一些配置机制

    不再支持使用Order, Deny, Allow来做基于IP的访问控制

新模块

    (1) mod_proxy_fcgi
    支持FastCGI Protocol
    (2) mod_remoteip
    用反向代理的IP地址代替远程客户机的IP
    (3) mod_ratelimit
    提供带宽控制

CentOS 7 httpd程序环境

CentOS 7：httpd-2.4
安装方法：rpm，编译安装
Rpm安装程序环境：
配置文件：
    /etc/httpd/conf/httpd.conf  
    /etc/httpd/conf.d/*.conf 
配置文件模块化，方便模块化管理

模块相关的配置文件：
/etc/httpd/conf.modules.d/*.conf

/etc/httpd/conf/
magic文档 定义了各种控制字符
httpd.conf 配置文件
    Listen 指定端口，可以有多个Listen
    ServerRoot 设定应用程序所有文件的起始位置
    Include 指定装载的模块文件
    User 以某用户运行，面向互联网开放的服务都应该以普通用户来运行
         在linux中0-1023特权端口只有root有权限运行，所以httpd的父进程是以root来启动的
    Group 组

各种参数应该以压测结果为准的配置
模块参数配置在模块名称下面
Directive Value 指令/值 闭合  首字母大写
ServerName
DocumentRoot  文档根  
<Directory> 基于文档根
<DirectoryMatch> 应用正则表达式，尽量避免正则表达式的使用
<File>  基于文档根
<Location> 基于本地路径
Require 访问控制指令 2.4 独有
认证逻辑控制访问

systemd unit file：
    /usr/lib/systemd/system/httpd.service

主程序文件：
    /usr/sbin/httpd

httpd-2.4支持MPM的动态切换

日志文件：
    /var/log/httpd
    access_log：访问日志
    error_log：错误日志

站点文档：
    /var/www/html

模块文件路径：
/usr/lib64/httpd/modules

服务控制：
systemctl enable|disable httpd.service
systemctl {start|stop|restart|status} httpd.service

配置应用：

(1) 切换使用的MPM
    Centos 7:/etc/httpd/conf.modules.d/00-mpm.conf
    启用要启用的MPM相关的LoadModule指令即可

centos6编译安装:
    vim /etc/httpd24/httpd.conf
    Include /etc/httpd24/extra/httpd-mpm.conf
    LoadModule mpm_event_module modules/mod_mpm_event.so
(2)主目录：
    DocumentRoot /path

(3) 基于IP的访问控制:
无明确授权的目录，默认拒绝
允许所有主机访问：Require all granted
拒绝所有主机访问：Require all denied
控制特定的IP访问：
    Require ip IPADDR：授权指定来源的IP访问
    Require not ip IPADDR：拒绝特定的IP访问

控制特定的主机访问：
    Require host HOSTNAME：授权特定主机访问
    Require not host HOSTNAME：拒绝
    HOSTNAME：
    FQDN：特定主机
    domin.tld：指定域名下的所有主机

不能有失败，至少有一个成功匹配才成功，即失败优先
    <RequireAll> 
    Require all granted
    Require not ip 172.16.1.1 拒绝特定IP
    </RequireAll>

多个语句有一个成功，则成功，即成功优先
    <RequireAny>
    Require all denied
    require ip 172.16.1.1 允许特定IP
    </RequireAny>

(4) 虚拟主机

基于FQDN的虚拟主机不再需要NameVirutalHost指令
    <VirtualHost *:80>
    ServerName www.b
    DocumentRoot "/apps/b/htdocs"
    <Directory "/apps/b/htdocs">
    Options None
    AllowOverride None
    Require all granted
    </Directory>
    </VirtualHost>
    注意：任意目录下的页面只有显式授权才能被访问

(4) KeepAlive on

KeepAliveTimeout #ms
MaxKeepAliveRequests 100
毫秒级持久连接时长定义

mod_deflate模块

使用mod_deflate模块压缩页面优化传输速度
适用场景：
(1) 节约带宽，额外消耗CPU；同时，可能有些较老浏览器不支持
(2) 压缩适于压缩的资源，例如文本文件

LoadModule deflate_module modules/mod_deflate.so SetOutputFilter DEFLATE
SetOutputFilter DEFLATE  设定deflate过滤器
# Restrict compression to these MIME types
AddOutputFilterByType DEFLATE text/plain 
AddOutputFilterByType DEFLATE text/html
AddOutputFilterByType DEFLATE application/xhtml+xml
AddOutputFilterByType DEFLATE text/xml
AddOutputFilterByType DEFLATE application/xml
AddOutputFilterByType DEFLATE application/x-javascript
AddOutputFilterByType DEFLATE text/javascript
AddOutputFilterByType DEFLATE text/css

mod_deflate模块

Level of compression (Highest 9 - Lowest 1)
DeflateCompressionLevel 9
排除特定旧版本的浏览器，不支持压缩
Netscape 4.x 只压缩text/html
BrowserMatch ^Mozilla/4 gzip-only-text/html
Netscape 4.06-08三个版本 不压缩
BrowserMatch ^Mozilla/4\.0[678] no-gzip
Internet Explorer标识本身为“Mozilla / 4”，但实际上是能够处理请求的压缩。如果用户代理首部匹配字符串“MSIE”（“B”为单词边界”），就关闭之前定义的限制
BrowserMatch \bMSI[E] !no-gzip !gzip-only-text/html

https

https：http over ssl

SSL会话的简化过程
(1) 客户端发送可供选择的加密方式，并向服务器请求证书
(2) 服务器端发送证书以及选定的加密方式给客户端
(3) 客户端取得证书并进行证书验证如果信任给其发证书的CA
    (a) 验证证书来源的合法性；用CA的公钥解密证书上数字签名
    (b) 验证证书的内容的合法性：完整性验证
    (c) 检查证书的有效期限
    (d) 检查证书是否被吊销
    (e) 证书中拥有者的名字，与访问的目标主机要一致
(4) 客户端生成临时会话密钥（对称密钥），并使用服务器端的公钥加密此数据发送给服务器，完成密钥交换
(5) 服务用此密钥加密用户请求的资源，响应给客户端
注意：SSL是基于IP地址实现,单IP的主机仅可以使用一个https虚拟主机

https实现

(1) 为服务器申请数字证书测试：通过私建CA发证书
    (a) 创建私有CA
    (b) 在服务器创建证书签署请求
    (c) CA签证

(2) 配置httpd支持使用ssl，及使用的证书
    yum -y install mod_ssl
    配置文件：/etc/httpd/conf.d/ssl.conf
    DocumentRoot  
    ServerName
    SSLCertificateFile
    SSLCertificateKeyFile
    openssl req -new -x509 -key ./httpd.key -out httpd.crt -subj "/CN=bbs.nxdw/O=nxdw" -days 3650

(3) 测试基于https访问相应的主机
    openssl s_client [-connect host:port] [-cert filename] [-CApath directory] [-CAfile filename]

http重定向https

将http请求转发至https的URL

重定向
    Redirect [status] URL-path URL

status状态：
    Permanent： 返回永久重定向状态码 301
    Temp：返回临时重定向状态码302. 此为默认值

示例：
    Redirect temp / https://www.magedu/

HSTS

HSTS:HTTP Strict Transport Security

服务器端配置支持HSTS后，会在给浏览器返回的HTTP首部中携带HSTS字段。
浏览器获取到该信息后，会将所有HTTP访问请求在内部做307跳转到HTTPS。
而无需任何网络过程

HSTS preload list

是Chrome浏览器中的HSTS预载入列表，在该列表中的网站，使用Chrome浏览器访问时，会自动转换成HTTPS。Firefox、Safari、Edge浏览器也会采用这个列表

实现HSTS示例：
    vim /etc/httpd/conf/httpd.conf
    Header always set Strict-Transport-Security "max-age=31536000"
    RewriteEngine on
    RewriteRule ^(/.*)$ https://%{HTTP_HOST}$1 [redirect=302]

反向代理功能

启用反向代理

    ProxyPass "/" "http://www.example/"
    ProxyPa***everse "/" "http://www.example/"

特定URL反向代理

    ProxyPass "/images" "http://www.example/"
    ProxyPa***everse "/images" http://www.example/
示例：

    <VirtualHost *>
    ServerName www.magedu
    ProxyPass / http://localhost:8080/
    ProxyPa***everse / http://localhost:8080/
    </VirtualHost>

Sendfile机制

不用 sendfile 的传统网络传输过程：
    read(file, tmp_buf, len)
    write(socket, tmp_buf, len)

硬盘 >> kernel buffer >> user buffer >> kernel socket buffer >> 协议栈
一般网络应用通过读硬盘数据，写数据到 socket 来完成网络传输,底层执行过程：
    1 系统调用 read() 产生一个上下文切换：从 user mode 切换到 kernel mode，然后DMA 执行拷贝，把文件数据从硬盘读到一个 kernel buffer 里。
    2 数据从 kernel buffer 拷贝到 user buffer，然后系统调用 read() 返回，这时又产生一个上下文切换：从kernel mode 切换到 user mode
    3 系统调用 write() 产生一个上下文切换：从 user mode 切换到 kernel mode，然后把步骤2读到 user buffer 的数据拷贝到 kernel buffer（数据第2次拷贝到 kernel buffer），不过这次是个不同的 kernel buffer，这个 buffer和 socket 相关联。
    4 系统调用 write() 返回，产生一个上下文切换：从 kernel mode 切换到 user mode(第4次切换),然后DMA从 kernel buffer 拷贝数据到协议栈（第4次拷贝）

磁盘I/O成了整个系统的一个显著瓶颈
上面4个步骤有4次上下文切换，有4次拷贝，如能减少切换次数和拷贝次数将会有效提升性能

Sendfile机制

在kernel 2.0+ 版本中，系统调用 sendfile() 就是用来简化上面步骤提升性能的。sendfile() 不但能减少切换次数而且还能减少拷贝次数
用 sendfile() 来进行网络传输的过程：
    sendfile(socket, file, len);
    硬盘 >> kernel buffer (快速拷贝到kernel socket buffer) >> 协议栈

1 系统调用 sendfile() 通过 DMA 把硬盘数据拷贝到 kernel buffer，然后数据被kernel 直接拷贝到另外一个与 socket 相关的 kernel buffer。这里没有 user mode 和 kernel mode 之间的切换，在 kernel 中直接完成了从一个 buffer 到另一个 buffer 的拷贝
2 DMA 把数据从 kernel buffer 直接拷贝给协议栈，没有切换，也不需要数据从user mode 拷贝到 kernel mode，因为数据就在 kernel 里

http协议

http/0.9, http/1.0, http/1.1, http/2.0

http协议：stateless 无状态

有状态 stateful  服务器的回复受到之前连接请求 mysql中的insert和select
无状态 stateless 请求和回复之间无任何关联性，一个请求一个回复 http 
服务器无法持续追踪访问者来源

解决http协议无状态方法

cookie 客户端存放，服务器端在响应首部发送Set-Cookie，客户端发送Cookie
session 服务端存放

http事务：一次访问的过程

请求：request 
响应：response
HTTP请求报文
HTTP响应报文

http协议

报文语法格式：

request报文
    <method> <request-URL> <version>
    <headers>
    <entity-body>

response报文
    <version> <status> <reason-phrase>
    <headers>
    <entity-body>

method: 请求方法，标明客户端希望服务器对资源执行的动作
    GET、HEAD、POST等

version:
    HTTP/<major>.<minor>

status:
    三位数字，如200，301, 302, 404, 502; 标记请求处理过程中发生的情况

reason-phrase：
    状态码所标记的状态的简要描述

headers：
    每个请求或响应报文可包含任意个首部；每个首部都有首部名称，后面跟一个冒号，而后跟一个可选空格，接着是一个值

entity-body：请求时附加的数据或响应时附加的数据

Method 方法：
    GET： 从服务器获取一个资源
    HEAD： 只从服务器获取文档的响应首部
    POST： 向服务器输入数据，通常会再由网关程序继续处理
    PUT： 将请求的主体部分存储在服务器中，如上传文件
    DELETE： 请求删除服务器上指定的文档
    TRACE： 追踪请求到达服务器中间经过的代理服务器
    OPTIONS：请求服务器返回对指定资源支持使用的请求方法

协议查看或分析的工具：
tcpdump, wireshark,tshark

http协议状态码分类

status(状态码)：

    1xx：100-101 信息提示
    2xx：200-206 成功
    3xx：300-305 重定向
    4xx：400-415 错误类信息，客户端错误
    5xx：500-505 错误类信息，服务器端错误

http协议常用的状态码

    200： 成功，请求数据通过响应报文的entity-body部分发送;OK
    301： 请求的URL指向的资源已经被删除；但在响应报文中通过首部Location指明了资源现在所处的新位置；Moved Permanently
    302： 响应报文Location指明资源临时新位置 Moved Temporarily
    304： 客户端发出了条件式请求，但服务器上的资源未曾发生改变，则通过响应此响应状态码通知客户端；Not Modified
    401： 需要输入账号和密码认证方能访问资源；Unauthorized
    403： 请求被禁止；Forbidden
    404： 服务器无法找到客户端请求的资源；Not Found
    500： 服务器内部错误；Internal Server Error
    502： 代理服务器从后端服务器收到了一条伪响应，如无法连接到网关；Bad Gateway
    503： 服务不可用，临时服务器维护或过载，服务器无法处理请求
    504： 网关超时

http协议

headers：
格式：
Name: Value
    Request URL:http://www.magedu/
    Request Method:GET
    Status Code:200 OK
    Remote Address:101.200.188.230:80

    Response Headers
    view source
    Connection:keep-alive
    Content-Encoding:gzip
    Content-Type:text/html; charset=UTF-8
    Date:Sun, 29 Jan 2017 14:32:30 GMT
    Server:Tengine
    Transfer-Encoding:chunked
    Vary:Accept-Encoding
    X-Pingback:http://www.magedu/xmlrpc.php

Request Headers
    view source
    Accept:text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8
    Accept-Encoding:gzip, deflate, sdch
    Accept-Language:zh-CN,zh;q=0.8
    Cache-Control:max-age=0
    Connection:keep-alive
    Cookie:53gid2=10104634518015; 53gid0=10104634518015; 53gid1=10104634518015; 53revisit=1485699843851; 53uvid=1; 
    onliner_zdfq72145423=0; CNZZDATA1260642320=1664910013-1485697454-%7C1485697454; visitor_type=old; 53kf_72145423_keyword=; kf_72145423_keyword_ok=1; Hm_lvt_4a78dc1643884da1c990c4c878832e70=1485699844; Hm_lpvt_4a78dc1643884da1c990c4c878832e70=1485700088
    Host:www.magedu
    Upgrade-Insecure-Requests:1
    User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.76Safari/537.36

HTTP 首部字段

HTTP 首部字段包含的信息最为丰富。首部字段同时存在于请求和响应报文内，并涵盖HTTP 报文相关的内容信息。使用首部字段是为了给客服端和服务器端提供报文主体大小、所使用的语言、认证信息等内容
首部字段结构HTTP 首部字段是由首部字段名和字段值构成的，中间用冒号“：”分隔
字段值对应单个 HTTP 首部字段可以有多个值
报文首部中出现了两个或以上具有相同首部字段名的首部字段时，在规范内尚未明确，根据浏览器内部处理逻辑的不同，优先处理的顺序可能不同，结果可能并不一致

http协议首部

首部的分类：
    通用首部:请求报文和响应报文两方都会使用的首部
    请求首部:从客户端向服务器端发送请求报文时使用的首部。补充了请求的附加内容、客户端信息、请求内容相关优先级等信息
    响应首部：从服务器端向客户端返回响应报文时使用的首部。补充了响应的附加内容，也会要求客户端附加额外的内容信息
    实体首部：针对请求报文和响应报文的实体部分使用的首部。补充了资源内容更新时间等与实体有关的的信息

扩展首部

通用首部：
    Date: 报文的创建时间
    Connection：连接状态，如keep-alive, close
    Via：显示报文经过的中间节点（代理，网关）
    Cache-Control：控制缓存，如缓存时长
    MIME-Version:发送端使用的MIME版本
    Warning：错误通知

请求首部：
    Accept：通知服务器自己可接受的媒体类型
    Accept-Charset： 客户端可接受的字符集
    Accept-Encoding：客户端可接受编码格式，如gzip
    Accept-Language：客户端可接受的语言
    Client-IP: 请求的客户端IP
    Host: 请求的服务器名称和端口号
    Referer：跳转至当前URI的前一个URL
    User-Agent：客户端代理，浏览器版本

条件式请求首部：
    Expect：允许客户端列出某请求所要求的服务器行为
    If-Modified-Since：自从指定的时间之后，请求的资源是否发生过修改
    If-Unmodified-Since：与上面相反
    If-None-Match：本地缓存中存储的文档的ETag标签是否与服务器文档的
    Etag不匹配
    If-Match：与上面相反

安全请求首部：
    Authorization：向服务器发送认证信息，如账号和密码
    Cookie: 客户端向服务器发送cookie

代理请求首部：
    roxy-Authorization: 向代理服务器认证

响应首部：
    信息性：
    Age：从最初创建开始，响应持续时长
    Server：服务器程序软件名称和版本

    协商首部：某资源有多种表示方法时使用
    Accept-Ranges：服务器可接受的请求范围类型
    Vary：服务器查看的其它首部列表

    安全响应首部：
    Set-Cookie：向客户端设置cookie
    WWW-Authenticate：来自服务器对客户端的质询列表

实体首部：
    Allow: 列出对此资源实体可使用的请求方法
    Location：告诉客户端真正的实体位于何处
    Content-Encoding:对主体执行的编码
    Content-Language:理解主体时最适合的语言
    Content-Length: 主体的长度
    Content-Location: 实体真正所处位置
    Content-Type：主体的对象类型，如text
    缓存相关：
    ETag：实体的扩展标签
    Expires：实体的过期时间
    Last-Modified：最后一次修改的时间

Cookie
HTTP 是一种无状态协议。协议自身不对请求和响应之间的通信状态进行保存。也就是说在 HTTP 这个级别，协议对于发送过的请求或响应都不做持久化处理。这是为了更快地处理大量事务，确保协议的可伸缩性，而特意把 HTTP 协议设计成如此简单的。可是随着 Web 的不断发展，很多业务都需要对通信状态进行保存。于是引入了 Cookie 技术。使用 Cookie 的状态管理Cookie 技术通过在请求和响应报文中写入 Cookie 信息来控制客户端的状态。Cookie 会根据从服务器端发送的响应报文内的一个叫做 Set-Cookie 的首部字段信息，通知客户端保存Cookie。当下次客户端再往该服务器发送请求时，客户端会自动在请求报文中加入 Cookie 值后发送出去。服务器端发现客户端发送过来的 Cookie 后，会去检查究竟是从哪一个客户端发来的连接请求，然后对比服务器上的记录，最后得到之前的状态信息

Set-Cookie首部字段

Set-cookie首部字段示例：
    Set-Cookie: status=enable; expires=Fri, 24 Nov 2017 20:30:02 GMT;path=/;
    NAME=VALUE 赋予 Cookie 的名称和其值,此为必需项
    expires=DATE Cookie 的有效期，若不明确指定则默认为浏览器关闭前为止
    path=PATH 将服务器上的文件目录作为Cookie的适用对象，若不指定则默认为文档所在的文件目录
    domain=域名 作为 Cookie 适用对象的域名，若不指定则默认为创建Cookie的服务器的域名
    Secure 仅在 HTTPS 安全通信时才会发送 Cookie
    HttpOnly 加以限制使 Cookie 不能被 JavaScript 脚本访问

curl工具
curl是基于URL语法在命令行方式下工作的文件传输工具，它支持FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE及LDAP等协议。curl支持HTTPS认证，并且支持HTTP的POST、PUT等方法， FTP上传， kerberos认证，HTTP上传，代理服务器，cookies，用户名/密码认证， 下载文件断点续传，上载文件断点续传, http代理服务器管道（ proxy tunneling），还支持IPv6，socks5代理服务器，通过http代理服务器上传文件到FTP服务器等，功能十分强大

curl [options] [URL...]
    -A/--user-agent <string> 设置用户代理发送给服务器
    -e/--referer <URL> 来源网址
    --cacert <file> CA证书 (SSL)
    -k/--insecure 允许忽略证书进行 SSL 连接
    --compressed 要求返回是压缩的格式
    -H/--header <line>自定义首部信息传递给服务器
    -i 显示页面内容，包括报文首部信息
    -I/--head 只显示响应报文首部信息
    -D/--dump-header <file>将url的header信息存放在指定文件中
    --basic 使用HTTP基本认证
    -u/--user <user[:password]>设置服务器的用户和密码
    -L 如果有3xx响应码，重新发请求到新位置
    -O 使用URL中默认的文件名保存文件到本地
    -o <file> 将网络文件保存为指定的文件中
    --limit-rate <rate> 设置传输速度
    -0/--http1.0 数字0，使用HTTP 1.0
    -v/--verbose 更详细
    -C 选项可对文件使用断点续传功能
    -c/--cookie-jar <file name> 将url中cookie存放在指定文件中
    -x/--proxy <proxyhost[:port]> 指定代理服务器地址
    -X/--request <command> 向服务器发送指定请求方法
    -U/--proxy-user <user:password> 代理服务器用户和密码
    -T 选项可将指定的本地文件上传到FTP服务器上
    --data/-d 方式指定使用POST方式传递数据
    -b name=data 从服务器响应set-cookie得到值，返回给服务器

elinks工具：

elinks [OPTION]... [URL]...
    -dump: 非交互式模式，将URL的内容输出至标准输出
    -source:打印源码

httpd自带的工具程序

htpasswd：basic认证基于文件实现时，用到的账号密码文件生成工具
apachectl：httpd自带的服务控制脚本，支持start和stop
rotatelogs：日志滚动工具，日常对外持久的服务日志都应该滚动，以便每一个日志文件都不是很大，便于管理和查看。日志滚动有两个维度：时间、文件大小
access.log -->
access.log, access.1.log -->
access.log, acccess.1.log, access.2.log

httpd的压力测试工具

ab, webbench, http_load, seige
Jmeter 开源
Loadrunner 商业，有相关认证
tcpcopy：网易，复制生产环境中的真实请求，并将之保存。将tcp连接保存到本地，用词文件对主机发起请求，模拟真实测试
ab [OPTIONS] URL 
    来自httpd-tools包
    -n：总请求数
    -c：模拟的并行数
    -k：以持久连接模式测试
    ulimit –n # 调整能打开的文件数
    ab -c 10 -n 10000 http://www.nxdw/

最少测3次，去平均值
跨多个并发

APR

APR(Apache portable Run-time libraries，Apache可移植运行库) 主要为上层的应用程序提供一个可以跨越多操作系统平台使用的底层支持接口库。在早期的Apache版本中，应用程序本身必须能够处理各种具体操作系统平台的细节，并针对不同的平台调用不同的处理函数随着Apache的进一步开发，Apache组织决定将这些通用的函数独立出来并发展成为一个新的项目。这样，APR的开发就从Apache中独立出来，Apache仅仅是使用 APR而已。目前APR主要还是由Apache使用，由于APR的较好的移植性，因此一些需要进行移植的C程序也开始使用APR，开源项目比如用于服务器压力测试的Flood loader tester，该项目不仅仅适用于Apache，
http://httpd.apache/test/flood

在centos6编译安装httpd-2.4

安装httpd-2.4
    依赖于apr-1.4+, apr-util-1.4+, [apr-iconv]
    apr： apache portable runtime，解决跨平台实现
    CentOS 6：默认：apr-1.3.9, apr-util-1.3.9

安装前准备开发包：
    开发环境包：
    包组：Development Tools
    相关包：pcre-devel，openssl-devel expat-devel
下载源代码并解压缩：
    httpd-2.4.27.tar.bz2
    apr-1.6.2.tar.bz2
    apr-util-1.6.0.tar.bz2

centos6 编译安装httpd-2.4方法一

安装apr-1.4+
    cd apr-1.6.2
    ./configure --prefix=/app/apr
    make && make install

安装apr-util-1.4+
    cd ../apr-util-1.6.0
    ./configure --prefix=/app/apr-util --with-apr=/app/apr/
    make -j 2 && make install

编译安装httpd-2.4
    cd ../httpd-2.4.27
    ./configure --prefix=/app/httpd24 \
    --enable-so \
    --enable-ssl \
    --enable-cgi \
    --enable-rewrite \
    --with-zlib \
    --with-pcre \
    --with-apr=/app/apr/ \
    --with-apr-util=/app/apr-util/ \
    --enable-modules=most \
    --enable-mpms-shared=all \
    --with-mpm=prefork
    make -j 4 && make install

centos6 编译安装httpd-2.4方法二

cp -r apr-1.6.3 httpd-2.4.34/srclib/apr
cp -r apr-util-1.6.1 httpd-2.4.34/srclib/apr-util
cd httpd-2.4.34/
./configure \
    --prefix=/app/httpd24 \
    --enable-so \
    --enable-ssl \
    --enable-cgi \
    --enable-rewrite \
    --with-zlib \
    --with-pcre \
    --with-included-apr \
    --enable-modules=most \
    --enable-mpms-shared=all \
    --with-mpm=prefork
make && make install
Httpd编译过程：/app/httpd24/build/config.nice 
自带的服务控制脚本：/app/httpd24/bin/apachectl

在centos6 编译安装httpd-2.4

vim /etc/profile.d/httpd24.sh
    export PATH=/app/http24/bin:$PATH

vim /etc/man.config
    MANPATH /app/httpd24/man

自定义启动脚本(参考httpd-2.2的服务脚本)
cp /etc/rc.d/init.d/httpd /etc/rc.d/init.d/httpd24
vim /etc/rc.d/init.d/httpd24
apachectl=/app/httpd24/bin/apachectl
httpd=${HTTPD-/app/httpd24/bin/httpd}
pidfile=${PIDFILE-/app/httpd24/logs/httpd.pid}
lockfile=${LOCKFILE-/var/lock/subsys/httpd24}

chkconfig –add httpd24 ;chkconfig –list httpd24

转载于:https://blog.51cto/8031757/2311415