安全基础知识：防火墙、WAF、IPS、IDS
1 防火墙 （Firewall）别名防护墙，于1993发明并引入国际互联网。他是一项信息安全的防护系统，依照特定的规则，允许或是限制传输的数据通过。在网络中，所谓的防火墙是指一种将内网和外网分开的方法，他实际上是一种隔离技术防火墙对流经它的网络通信进行扫描， 这样就能够过滤掉一些攻击，以免其在目标计算机上执行。通常的防火墙主要工作第二到第四层，重心是在网络层，用于过滤IP和协议类型。
2 WAF (Web Application Firewall) Web应用防火墙Web应用防火墙是通过执行一系列针对HTTP/HTTPS的安全策略还专门为Web应用提供保护的一款产品。与传统防火钱不同，WAF工作在应用层。
3 IDS (Intrusion Detection System) 入侵检测系统依照一定的安全策略，通过软件、硬件、对网络、系统的运行状况进行监视尽可能的发现各种攻击企图、攻击行为或者攻击结果，以保证网络系统资源的机密性、完整性和可用性。入侵检测检测可分为实时入侵检测和事后入侵检测。
4 IPS (Intrusion Prevention System) 入侵预防系统IPS是对防病毒软件和防火墙的补充，入侵预防系统是一部能够监视网络或网络设备的网络资料传输行为的计算机网络安全设备，能够即时的中断、调整或隔离一些不正常或是具有伤害性的网络资料传输行为。
产生原因
A：串行部署的防火墙可以拦截低层攻击行为，但对应用层的深层攻击行为无能为力。
B：旁路部署的IDS可以及时发现那些穿透防火墙的深层攻击行为，作为防火墙的有益补充，但很可惜的是无法实时的阻断。
C：IDS和防火墙联动：通过IDS来发现，通过防火墙来阻断。但由于迄今为止没有统一的接口规范，加上越来越频发的“瞬间攻击”（一个会话就可以达成攻击效果，如SQL注入、溢出攻击等），使得IDS与防火墙联动在实际应用中的效果不显著。
这就是IPS产品的起源：一种能防御防火墙所不能防御的深层入侵威胁（入侵检测技术）的在线部署（防火墙方式）安全产品。由于用户发现了一些无法控制的入侵威胁行为，这也正是IDS的作用。 入侵检测系统（IDS）对那些异常的、可能是入侵行为的数据进行检测和报警，告知使用者网络中的实时状况，并提供相应的解决、处理方法，是一种侧重于风险管理的安全产品。
入侵防御系统（IPS）对那些被明确判断为攻击行为，会对网络、数据造成危害的恶意行为进行检测和防御，降低或是减免使用者对异常状况的处理资源开销，是一种侧重于风险控制的安全产品。 这也解释了IDS和IPS的关系，并非取代和互斥，而是相互协作：没有部署IDS的时候，只能是凭感觉判断，应该在什么地方部署什么样的安全产品，通过IDS的广泛部署，了解了网络的当前实时状况，据此状况可进一步判断应该在何处部署何类安全产品（IPS等）。
FW/IDS/IPS/WAF等安全设备部署方式及优缺点
现在市场上的主流网络安全产品可以分为以下几个大类：1.基础防火墙FW/NGFW类
主要是可实现基本包过滤策略的防火墙，这类是有硬件处理、软件处理等，其主要功能实现是限制对IP:port的访问。基本上的实现都是默认情况下关闭所有的通过型访问，只开放允许访问的策略。FW可以拦截低层攻击行为，但对应用层的深层攻击行为无能为力。 FW部署位置一般为外联出口或者区域性出口位置，对内外流量进行安全隔离。部署方式常见如下
2.IDS类
此类产品基本上以旁路为主，特点是不阻断任何网络访问，主要以提供报告和事后监督为主，少量的类似产品还提供TCP阻断等功能，但少有使用。
3.IPS类
解决了IDS无法阻断的问题，基本上以在线模式为主，系统提供多个端口，以透明模式工作。在一些传统防火墙的新产品中也提供了类似功能，其特点是可以分析到数据包的内容，解决传统防火墙只能工作在4层以下的问题。和IDS一样，IPS也要像防病毒系统定义N种已知的攻击模式，并主要通过模式匹配去阻断非法访问,致命缺点在于不能主动的学习攻击方式，对于模式库中不能识别出来的攻击，默认策略是允许访问的！ IPS类设备，常被串接在主干路上，对内外网异常流量进行监控处理，部署位置常见如下
4.UTM类安全设备
是以上三者的结合体，按照IDC提出“统一威胁管理”的概念来看，UTM是将防病毒、入侵检测和防火墙安全设备划归到一起“统一管理”的新类别。 IDC将防病毒、防火墙和入侵检测等概念融合到被称为统一威胁管理的新类别中，该概念引起了业界的广泛重视，并推动了以整合式安全设备为代表的市场细分的诞生。由IDC提出的UTM是指由硬件、软件和网络技术组成的具有专门用途的设备，它主要提供一项或多项安全功能，将多种安全特性集成于一个硬设备里，构成一个标准的统一管理平台。 由于性能要求出众，导致造价一般比较高，目前一般只有大型企业会有使用。 UTM的优点主要有以下几条 1.整合所带来的成本降低（一身兼多职嘛！） 2.降低信息安全工作强度 （减轻管理员负担） 3.降低技术复杂度 UTM也不能一劳永逸的解决所有安全问题，总结下来，有如下缺点 1.网关防御的弊端 网关防御在防范外部威胁的时候非常有效，但是在面对内部威胁的时候就无法发挥作用了。有很多资料表明造成组织信息资产损失的威胁大部分来自于组织内部，所以以网关型防御为主的UTM设备目前尚不是解决安全问题的万灵药。 2.过度集成带来的风险 3.性能和稳定性5.主动安全类
和前面的产品均不同，主动安全产品的特点是协议针对性非常强，比如WAF就是专门负责HTTP协议的安全处理，DAF就是专门负责数据库Sql 查询类的安全处理。在主动安全产品中通常会处理到应用级的访问流程。对于不认识的业务访问全部隔离(以下以WAF为重点说明这一类安全设备)。 WAF:Web应用防护系统（Web Application Firewall, 简称：WAF）代表了一类新兴的信息安全技术，用以解决诸如防火墙一类传统设备束手无策的Web应用安全问题。与传统防火墙不同，WAF工作在应用层，因此对Web应用防护具有先天的技术优势。基于对Web应用业务和逻辑的深刻理解，WAF对来自Web应用程序客户端的各类请求进行内容检测和验证，确保其安全性与合法性，对非法的请求予以实时阻断，从而对各类网站站点进行有效防护。 5.1 WAF部署位置 通常情况下，WAF放在企业对外提供网站服务的DMZ区域或者放在数据中心服务区域，也可以与防火墙或IPS等网关设备串联在一起（这种情况较少）。总之，决定WAF部署位置的是WEB服务器的位置。因为WEB服务器是WAF所保护的对象。部署时当然要使WAF尽量靠近WEB服务器。 5.2 WAF部署模式及优缺点 透明代理模式、反向代理模式、路由代理模式及端口镜像模式。前三种模式也被统称为在线模式，通常需要将WAF串行部署在WEB服务器前端，用于检测并阻断异常流量。端口镜像模式也称为离线模式，部署也相对简单，只需要将WAF旁路接在WEB服务器上游的交换机上，用于只检测异常流量。
部署模式1 透明代理模式（也称网桥代理模式） 透明代理模式的工作原理是，当WEB客户端对服务器有连接请求时，TCP连接请求被WAF截取和监控。WAF偷偷的代理了WEB客户端和服务器之间的会话，将会话分成了两段，并基于桥模式进行转发。从WEB客户端的角度看，WEB客户端仍然是直接访问服务器，感知不到WAF的存在；从WAF工作转发原理看和透明网桥转发一样，因而称之为透明代理模式，又称之为透明桥模式。 这种部署模式对网络的改动最小，可以实现零配置部署。另外通过WAF的硬件Bypass功能在设备出现故障或者掉电时可以不影响原有网络流量，只是WAF自身功能失效。缺点是网络的所有流量（HTTP和非HTTP）都经过WAF对WAF的处理性能有一定要求，采用该工作模式无法实现服务器负载均衡功能。
部署模式2 反向代理模式 反向代理模式是指将真实服务器的地址映射到反向代理服务器上。此时代理服务器对外就表现为一个真实服务器。由于客户端访问的就是WAF，因此在WAF无需像其它模式（如透明和路由代理模式）一样需要采用特殊处理去劫持客户端与服务器的会话然后为其做透明代理。当代理服务器收到HTTP的请求报文后，将该请求转发给其对应的真实服务器。后台服务器接收到请求后将响应先发送给WAF设备，由WAF设备再将应答发送给客户端。这个过程和前面介绍的透明代理其工作原理类似，唯一区别就是透明代理客户端发出的请求的目的地址就直接是后台的服务器，所以透明代理工作方式不需要在WAF上配置IP映射关系。 这种部署模式需要对网络进行改动，配置相对复杂，除了要配置WAF设备自身的地址和路由外，还需要在WAF上配置后台真实WEB服务器的地址和虚地址的映射关系。另外如果原来服务器地址就是全局地址的话（没经过NAT转换）那么通常还需要改变原有服务器的IP地址以及改变原有服务器的DNS解析地址。采用该模式的优点是可以在WAF上同时实现负载均衡。
部署模式3 路由代理模式 路由代理模式，它与网桥透明代理的唯一区别就是该代理工作在路由转发模式而非网桥模式，其它工作原理都一样。由于工作在路由（网关）模式因此需要为WAF的转发接口配置IP地址以及路由。 这种部署模式需要对网络进行简单改动，要设置该设备内网口和外网口的IP地址以及对应的路由。工作在路由代理模式时，可以直接作为WEB服务器的网关，但是存在单点故障问题，同时也要负责转发所有的流量。该种工作模式也不支持服务器负载均衡功能。
部署模式4 端口镜像模式 端口镜像模式工作时，WAF只对HTTP流量进行监控和报警，不进行拦截阻断。该模式需要使用交换机的端口镜像功能，也就是将交换机端口上的HTTP流量镜像一份给WAF。对于WAF而言，流量只进不出。 这种部署模式不需要对网络进行改动，但是它仅对流量进行分析和告警记录，并不会对恶意的流量进行拦截和阻断，适合于刚开始部署WAF时，用于收集和了解服务器被访问和被攻击的信息，为后续在线部署提供优化配置参考。这种部署工作模式，对原有网络不会有任何影响。
WAF与IPS的区别总结
Web应用防护无疑是一个热门话题。由于技术的发展成熟和人们对便利性的期望越来越高，Web应用成为主流的业务系统载体。在Web上“安家”的关键业务系统中蕴藏的数据价值引起攻击者的青睐，网上流传的Web漏洞挖掘和攻击工具让攻击的门槛降低，也使得很多攻击带有盲目和随机性。比如利用GoogleHacking原理的批量查找具有已知漏洞的应用程序，还有SQL批量注入和挂马等。但对于重要的Web应用（比如运营商或金融），始终有受利益驱动的黑客进行持续的跟踪。
如果说传统的“大而全”安全防护产品能抵御大多数由工具产生的攻击行为，那么对于有针对性的攻击行为则力不从心。而WAF正是应需求而生的一款高端专业安全产品，这也是市场需求细化的必然趋势。但由于其部署和功能方面与IPS有类似，有人提出疑问，为什么不能用IPS，或者说WAF与IPS有什么异同？谁更适合保护Web服务器？
这些疑问其实是有道理的，差异化的产生在于高端需求是不同的，从而需要细化功能贴合具体需求和符合应用现状的产品，这也是用户需求是随着业务自身的发展所决定的。
保镖和保安
为了更好的理解两款产品差异性，我们先用这个保镖（WAF）和保安（IPS）比喻来描述。
大楼保安需要对所有进出大楼人员进行检查，一旦发现可疑人员则禁止他入内，但如果混进“貌似忠良”的坏人去撬保险柜等破坏行为，大楼保安是无能为力的。
私人保镖则是指高级别、更“贴身”的保护。他通常只保护特定的人员，所以事先需要理解被保护人的身份、习惯、喜好、作息、弱点等，因为被保护人的工作是需要去面对不同的人，去不同的场合，保镖的职责不能因为危险就阻止、改变他的行为，只能去预见可能的风险，然后量身定做合适的保护方案。
这两种角色的区别在于保安保护的是整个大楼，他不需要也无法知道谁是最需要保护的人，保镖则是明确了被保护对象名单，需要深刻理解被保护人的个性特点。
图 1.1 保镖和保安
通过上面的比喻，大家应该明白两者的之所以会感觉相似是因为职责都是去保护，但差异在于职能定位的不同。从技术原理上则会根据定位来实现。下面通过几个层面来分析WAF和IPS的异同。
事件的时间轴
对于安全事件的发生，有三个时间点：事前、事中、事后。传统的IPS通常只对事中有效，也就是检查和防护攻击事件，其他两个时间点是WAF独有的。
图 1.2 事件时间轴
如上图所示，事前是指能在事件发生之前通过主动扫描检测Web服务器来发现漏洞，通过修复Web服务器漏洞或在前端的防护设备上添加防护规则等积极主动手段来预防事件发生。事后则是指即使Web服务器被攻击了，也必须有网页防篡改功能，让攻击者不能破坏网站数据。
为什么不能具备事中的100%防护能力？其实从以下几个方面就知道对于事中只能做到相对最佳防护而不能绝对，因为：
1. 软件先天是有缺陷的，包括应用到第三方的组件和函数库无法控制其安全性；
2. 应用程序在更新，业务是持续发展的、动态的，如果不持续监控和调整安全策略，也是会有疏漏的；
3. 攻击者永远在暗处，可以对业务系统跟踪研究，查找漏洞和防护缺陷，用各种变形繁杂的手法来探测，并用于攻击；
4. 任何防护设备都难以100%做到没有任何缺陷，无论是各种算法还是规则，都是把攻击影响降低到最小化。
所以需要用一个可闭环又可循环的方式去降低潜在的威胁，对于事中疏漏的攻击，可用事前的预发现和事后的弥补，形成环环相扣的动态安全防护。事前是用扫描方式主动检查网站并把结果形成新的防护规则增加到事中的防护策略中，而事后的防篡改可以保证即使疏漏也让攻击的步伐止于此，不能进一步修改和损坏网站文件，对于要信誉高和完整性的用户来说，这是尤为重要的环节。
图 1.3 WAF安全闭环
如果仅仅是对于事件的时间轴有区别，那么还是可以采用其他产品来进行辅助，但关键的是事中的防护也是有深度的差异，那么下面我们来谈谈对于事中的差异。
事中，也就是实时防护，两者的区别在于一个是纵横度，一个是深度。IPS凸显的优势在于纵横度，也就是对于网络中的所有流量进行监管，它面对的是海量数据，下图的TCP/IP模型中网络流量从物理层到应用层是逐层递交，IPS主要定位在分析传输层和网络层的数据，而再往上则是复杂的各种应用层协议报文，WAF则仅提供对Web应用流量全部层面的监管。
图 1.4 数据结构图
监管层面不同，如果面对同样的攻击，比如SQL注入，它们都是可以防护的，但防护的原理有区别，IPS基本是依靠静态的签名进行识别，也就是攻击特征，这只是一种被动安全模型。如下是一个Snort的告警规则：
alert tcp $EXTERNAL_NET any -> $HTTP_SERVERS $HTTP_PORTS （msg:“SQL Injection - Paranoid”; flow:to_server,established;uricontent:“.asp”;pcre:“/（\%27）|（\‘）|（\-\-）|（%23）|（#）/i”; classtype:Web-application-attack; sid:9099; rev:5;）这里主要是检查在SQL注入中提交的元字符，包括单引号（ ’ ）和双横（ – ），从而避免注入’1 or 1=1— 之类的攻击发生，但同时又要考虑这些元字符转换成Hex值来逃脱过滤检查，于是又在规则里增加了其对应的十六进制编码后的字符串。
当然，要从签名特征来识别攻击要考虑的东西还很多，不仅元字符还有SQL关键字，包括：select insert update等，以及这些关键字的大小写变形和拼接，利用注释逃脱过滤，如下所示例：
使用大小写混杂的字符 ：SeLecT fRom“
把空格符替换为TAB符或回车符 ：select
关键词之间使用多个空格 ：select from
字符串的数值编码 ：0×414141414141 或 0×41004100410041004100
插入被数据库忽略的注释串 ：sel/**/ect fr/**/om select/**/ from
使用数据库支持的一些字符串转换功能 ：char（65） 或 chr（65）
使用数据支持的字符串拼接操作 ：’sel’+'ect ’+'fr’+'om’” 、“‘sel’||’ect ’||’fr’||’om’可以设想一下，如果要检测以上的变形字符后的攻击则需要增加相应的签名特征，但更重要的是要充分考虑转换编码的种类，上面示例的snort的规则把可疑字符以及其转换后的Hex值放入同一条规则里检查，如果对于变形后繁多的攻击种类，这是滞后的并且会造成签名臃肿。
对于比较粗浅的攻击方式两者都能防护，但市面上大多数IPS是无法对报文编码做多重转换的，所以这将导致攻击者只需构建诸如转换编码、拼接攻击语句、大小写变换等数据包就可绕过输入检查而直接提交给应用程序。
而这恰恰又是WAF的优势，能对不同的编码方式做强制多重转换还原成攻击明文，把变形后的字符组合后在分析。那为什么IPS不能做到这个程度？同样还有对于HTTPS的加密和解密，这些我们在下节的产品架构中会解释。
产品架构
大家知道IPS和WAF通常是串联部署在Web服务器前端，对于服务器和客户端都是透明的，不需要做任何配置，似乎都是一样的组网方式，其实有很大差异。首先我们看看市面主流WAF支持的部署方式：
1、 桥模式
2、 路由模式
3、反向代理
4、旁路模式（非串联）
这两者串联部署在Web服务器前端时，市面上的大多数IPS均采用桥模式，而WAF是采用反向代理模式，IPS需要处理网络中所有的流量，而WAF仅处理与Web应用相关的协议，其他的给予转发，如下图：
图 1.5 多协议图
桥模式和反向代理模式的差异在于：桥模式是基于网络层的包转发，基本都没有协议栈，或只能简单的模拟部分协议栈，分析网络报文流量是基于单包的方式，所以要处理分片报文、数据流重组、乱序报文、报文重传、丢包都不具备优势。同时网络流量中包括的协议种类是非常多的，每种应用层协议都有自身独特的协议特征和格式要求，比如Ftp、SSH、Telnet、SMTP等，无法把各种应用流量放到应用层协议栈来处理。
绿盟科技WAF系统内嵌的协议栈是经过修改和优化的，能完全支持Http应用协议的处理，这意味着必须遵循RFC标准（Internet Requests For Comments）来处理Http报文，包括如下主要RFC：
◆ RFC 2616 HTTP协议语法的定义
◆ RFC 2396 URL语法的定义
◆ RFC 2109 Cookie是怎样工作的
◆ RFC 1867 HTTP如何POST，以及POST的格式
RFC中对Http的request行长度、URL长度、协议名称长度、头部值长度等都是有严格要求的，以及传输顺序和应用格式，比如Html参数的要求、Cookie的版本和格式、文件上传的编码 multipart/form-data encoding等，这些应用层内容只能在具有完整应用层协议栈的前提下才可正确识别和控制，对于不完整的丢包，重传包以及伪造的畸形包都会通过协议校验机制来处理。
上一节提到的WAF对Https的加解密和多重编码方式的解码正是由于报文必须经过应用层协议栈处理。反之，IPS为什么做不到？是由于其自身的桥模式架构，把Http会话”打碎“成多个数据包在网络层分析，而不能完整地从应用层角度来处理和组合多个报文，并且应用层协议繁多，全部去支持也是不现实的，产品的定位并不需要这样。下一节的学习模式更是两者的截然不同的防护机制，而这一机制也是有赖于WAF的产品架构。
基于学习的主动模式
在前面谈到IPS的安全模型是应用了静态签名的被动模式，那么反之就是主动模式。WAF的防御模型是两者都支持的，所谓主动模式在于WAF是一个有效验证输入的设备，所有数据流都被校验后再转发给服务器，能增加应用层逻辑组合的规则，更重要的是具备对Web应用程序的主动学习功能。
学习功能包括：
1. 监控和学习进出的Web流量，学习链接参数类型和长度、form参数类型和长度等；
2. 爬虫功能，爬虫主动去分析整个Web站点，并建立正常状态模型；
3. 扫描功能，主动去扫描并根据结果生成防护规则。
基于学习的主动模式目的是为了建立一个安全防护模型，一旦行为有差异则可以发现，比如隐藏的表单、限制型的Listbox值是否被篡改、输入的参数类型不合法等，这样在面对多变的攻击手法和未知的攻击类型时能依靠安全防护模型动态调整防护策略。
结尾
WAF更多的特性，包括安全交付能力、基于cache的应用加速、挂马检查、抗DDOS攻击、符合PCIDSS的防泄密要求等都表明这是一款不仅能攻击防护，同时又必须在满足客户体验和机密数据防护的高度集成的专业产品。本文仅从产品特征的对比角度来分析了WAF的部分技术原理，但没否定IPS的价值，毕竟两者在部署场景和功能上具有很大差异。