【Linux】HTTPS协议

一. 概念

• HTTPS 也是⼀个应⽤层协议. 是在 HTTP 协议的基础上引⼊了⼀个加密层.
  HTTP 协议内容都是按照⽂本的⽅式明⽂传输的. 这就导致在传输过程中出现⼀些被篡改的情况.
  

加密和解密

• 加密就是把明文 (要传输的信息)进行一系列变换, 生成密文 . 解密就是把密文再进行⼀系列变换, 还原成明文.
  在这个加密和解密的过程中, 往往需要⼀个或者多个中间的数据, 辅助进行这个过程, 这样的数据称为密钥
• 为什么要加密？
  存在运营商劫持的情况，其他的⿊客也可以⽤类似的⼿段进⾏劫持, 来窃取⽤⼾隐私信息, 或者篡改内容.
  
• 因为http的内容是明⽂传输的，明⽂数据会经过路由器、wifi热点、通信服务运营商、代理服务器等多个物理节点，如果信息在传输过程中被劫持，传输的内容就完全暴露了。劫持者还可以篡改传输的信息且不被双⽅察觉，这就是 中间⼈攻击 ，所以我们才需要对信息进⾏加密

二. 常见的加密方式

对称加密

• 采用单钥密码系统的加密方法，同⼀个密钥可以同时用作信息的加密和解密，这种加密方法称为对称加密，也称为单密钥加密，特征：加密和解密所用的密钥是相同的
  • 常见对称加密算法(了解)：DES、3DES、AES、TDEA、Blowfish、RC2等
  • 特点：算法公开、计算量小、加密速度快、加密效率高
  对称加密其实就是通过同⼀个 “密钥” , 把明文加密成密文, 并且也能把密文解密成明文
• 一个简单的例子理解，按位异或

假设 明⽂ a = 1234, 密钥 key = 8888，则加密 a ^ key 得到的密⽂ b 为 9834.
然后针对密⽂ 9834 再次进⾏运算 b ^ key, 得到的就是原来的明⽂ 1234.(对于字符串的对称加密也是同理, 每⼀个字符都可以表⽰成⼀个数字)

非对称加密

• 需要两个密钥来进⾏加密和解密，这两个密钥是公开密钥（public key，简称公钥）和私有密钥（private key，简称私钥）。
  • 常⻅⾮对称加密算法(了解)：RSA，DSA，ECDSA
  • 特点：算法强度复杂、安全性依赖于算法与密钥但是由于其算法复杂，⽽使得加密解密速度没有对称加密解密的速度快。
• 公钥和私钥是配对使用的，通过私钥加密，公钥可以解开，但是通过公钥加密，只能由拥有私钥的人来解密

数据摘要&&数据指纹

• 区分：
  所有数据指纹都是数据摘要，但不是所有数据摘要都是数据指纹—— 只有当数据摘要被用于 “标识数据身份、唯一性识别” 时，才被称为数据指纹。
• 数字指纹(数据摘要),其基本原理是利用单向散列函数(Hash函数)对信息进行运算,生成⼀串固定长度的数字摘要。数字指纹并不是⼀种加密机制,但可以用来判断数据有没有被窜改。
  • 摘要常见算法：有MD5、SHA1、SHA256、SHA512等，算法把无限的映射成有限，因此可能会有碰撞（两个不同的信息，算出的摘要相同，但是概率非常低）
  • 摘要特征：和加密算法的区别是，摘要严格意义不是加密，因为没有解密，只不过从摘要很难反推原信息，通常用来进行数据对比
• 应用场景：
  平时将文件上传到网盘时，有时候会很快有时又很慢，实际上网盘很多人用，不会允许重复的文件上传，所以每上传一个新的文件都会将其管理起来形成一个数据指纹，以后用户只要拥有相同的数据指纹就可以获取相应资源。有时候上传慢就是因为第一次将文件上传，上传快就是因为该资源已经存在于网盘中，你拥有相同的数据指纹就可以直接访问。

三. HTTPS的工作过程探究

1.只使用对称加密

• 服务器同⼀时刻其实是给很多客户端提供服务的. 这么多客户端, 每个⼈用的秘钥都必须是不同的(如果是相同那密钥就太容易扩散了, 黑客就也能拿到了). 因此服务器就需要维护每个客户端和每个密钥之间的关联关系
  
  理想情况是通信双方格子持有同一个密钥并且没有其他人知道，通信安全当然可以保证，问题是在客户端与服务器建立连接时需要双方协商确定这次的密钥是什么，所以需要传输密钥，如果是明文传输那么黑客也能获得密钥，所以密钥的传输需要加密，但是要想对密钥进行对称加密, 就仍然需要先协商确定⼀个 “密钥的密钥”. 这就成了 “先有鸡还是先有蛋” 的问题了，所以单独是用对称加密是行不通的。

2.只使用非对称加密

3. 双方都使用非对称加密

• 服务端拥有公钥S与对应的私钥S’，客户端拥有公钥C与对应的私钥C’
• 客户和服务端交换公钥
• 客户端给服务端发信息：先用S对数据加密，再发送，只能由服务器解密，因为只有服务器有私钥S’
• 服务端给客户端发信息：先用C对数据加密，在发送，只能由客户端解密，因为只有客户端有私钥C’
  这样貌似也行啊，但是效率太低，依旧有安全问题，下文第5点会讲到

4. 非对称+对称加密

这种方式很好的解决了双方都使用非对称加密的方式

服务端具有非对称公钥S和私钥S’
1.客户端发起https请求，获取服务端公钥S
2.客户端在本地生成对称密钥C, 通过公钥S加密, 发送给服务器.
3.由于中间的网络设备没有私钥, 即使截获了数据, 也无法还原出内部的原文, 也就无法获取到对称密钥(真的吗？)
4.服务器通过私钥S’解密, 还原出客户端发送的对称密钥C. 并且使用这个对称密钥加密给客户端返回的响应数据
5.后续客户端和服务器的通信都只用对称加密即可. 由于该密钥只有客户端和服务器两个主机知道, 其他主机/设备不知道密钥即使截获数据也没有意义.

• 该过程只在双方第一次通信时使用非对称通信，目的是給后续要使用的对称通信的密钥加密传输，这样既解决了安全问题也解决了效率问题。这种方式看起来挺完美的了，实际上并不安全。

5. 中间人攻击

• Man-in-the-MiddleAttack，简称“MITM攻击”
在⽅案2/3/4中，客户端获取到公钥S之后，对客户端形成的对称秘钥X用服务端给客户端的公钥S进行加密，中间人即使窃取到了数据，此时中间人确实无法解出客户端形成的密钥X，因为只有服务器有私钥S’。但是中间人的攻击，如果在最开始握手协商的时候就进行了，那就不一定了，假设hacker已经成功成为中间人

• 服务器具有非对称加密算法的公钥S，私钥S’
• 中间⼈具有非对称加密算法的公钥M，私钥M’
• 客户端向服务器发起请求，服务器明文传送公钥S给客户端
• 中间人劫持数据报文，提取公钥S并保存好，然后将被劫持报文中的公钥S替换成为自己的公钥M，并将伪造报文发给客户端(先单独与客户端进行一次完整通信来获取对称密钥x)
• 客户端收到报文，提取公钥M(自己当然不知道公钥被更换过了)，自己形成对称秘钥X，用公钥M加密X，形成报文发送给服务器
• 中间人劫持后，直接用自己的私钥M’进行解密，得到通信秘钥X，再用曾经保存的服务端公钥S加密后，将报文推送给服务器
• 服务器拿到报文，用自己的私钥S’解密，得到通信秘钥X
• 双方开始采用X进行对称加密，进行通信。但是⼀切都在中间人的掌握中，劫持数据，进行窃听甚至修改，都是可以的
• 问题出在，客户端与服务端第一次通信时，客户端无法确定收到含公钥的数据报文就是目标服务器发送过来的，通过引入证书可以解决

四. 证书

CA认证

• CA 机构的全称是Certificate Authority（证书授权中心），它是负责管理和签发数字证书的权威机构，核心作用是保障网络通信中的身份认证与数据安全。通过一级CA机构认证的二级机构也被认可，就好比中央政府与地方政府的关系
• 服务端在使⽤HTTPS前，需要向CA机构申领⼀份数字证书，数字证书⾥含有证书申请者信息、公钥信息等。服务器把证书传输给浏览器，浏览器从证书⾥获取公钥就⾏了，证书就如⾝份证，证明服务端公钥的权威性
  
• 这个证书可以理解成是⼀个结构化的字符串
• 需要注意的是：申请证书的时候，需要在特定平台生成查，会同时生成⼀对儿密钥对儿，即公钥和私钥。这对密钥对儿就是用来在网络通信中进行明文加密以及数字签名的。其中公钥会随着CSR文件，⼀起发给CA进行权威认证，私钥服务端自己保留，用来后续进行通信（其实主要就是用来交换对称秘钥）

数据签名

有了证书以后，客户端向服务器发送请求时，服务端响应回去的不再是公钥而是证书，客户从证书中获取公钥，所以之前验证来自服务端公钥合法性的问题就变成了判断证书合法性的问题，需要用到数据签名

• 理解数据签名：
  首先要明白，CA机构有自己的公钥和私钥，和https中的公钥和私钥没有关系
  
  签名的形成是基于非对称加密算法的，确定谁有私钥谁就有权利

非对称加密 + 对称加密 + 证书认证

这是一套HTTPS中较为成熟的方案，在客户端和服务器刚⼀建立连接的时候, 服务器给客户端返回⼀个证书，证书包含了之前服务端的公钥, 也包含了网站的身份信息.其余整体步骤与非对称+对称加密方式一样，就是多了个证书

• 客户端对证书进行认证：
  当客户端获取到这个证书之后, 会对证书进行校验(防止证书是伪造的).
  1.判定证书的有效期是否过期
  2.判定证书的发布机构是否受信任(操作系统中已内置的受信任的证书发布机构).
  3.验证证书是否被篡改: 从系统中拿到该证书发布机构的公钥, 对签名解密, 得到⼀个 hash 值(称为数据摘要), 设为 hash1. 然后计算整个证书的 hash 值, 设为 hash2. 对比hash1 和 hash2 是否相等. 如果相等, 则说明证书是没有被篡改过的
  4.注意是用CA机构的公钥对签名进行解密，客户端在出厂时就内置了权威的CA机构给公钥，所以客户端只认CA的公钥，连服务器的都不认更别说黑客进行掉包，这就意味着只有CA能够进行证书的签发，因为只有CA自己具有私钥！
• 查看浏览器的受信任证书发布机构
  在浏览器的右上角点三个点选择 “设置”, 搜索 “证书管理” , 即可看到证书管理界面. (如果没有，在隐私设置和安全性->安全里面找找)
• 模拟中间人攻击的情况
• 篡改证书？
  中间⼈篡改了证书的明⽂。由于他没有CA机构的私钥，所以无法hash之后用私钥加密形成签名，那么也就没法办法对篡改后的证书形成匹配的签名。如果强行篡改，客户端收到该证书后会发现明⽂和签名解密后的值不⼀致，则说明证书已被篡改，证书不可信，从而终止向服务器传输信息，防止信息泄露给中间⼈
• 掉包证书？
  因为中间人没有CA私钥，所以无法制作假的证书。所以中间人只能向CA申请真证书，然后用自己申请的证书进行掉包。这个确实能做到证书的整体掉包，但是别忘记，证书明文中包含了域名等服务端认证信息，如果整体掉包，客户端依旧能够识别出来。永远记住：中间⼈没有CA私钥，所以对任何证书都无法进行合法修改，包括自己的
• 若中间人自己作为客户端，模拟将原客户端的公钥信息全部内置，自己和服务器进行通信，那么需要增加更多的安全措施和检查客户端的合法性。
• 为什么签名不直接加密，而是要先hash形成摘要?
  利用哈希的 “高效、不可逆、定长” 特性解决非对称加密的 “低效、可逆、长度限制” 问题，最终实现 “高效验证身份 + 保证数据完整性 + 保护原始数据隐私” 的多重目标。
  如果不形成摘要，直接是原数据用CA私钥加密，那么中间人拿到了CA公钥，一样无法保证安全
• 如何成为中间人
  1.ARP欺骗：在局域网中，hacker经过收到ARP Request⼴播包，能够偷听到其它节点的 (IP, MAC)地址。例， 黑客收到两个主机A, B的地址，告诉B (受害者) ，自己是A，使得B在发送给A 的数据包都被黑客截取
  2.ICMP攻击：由于ICMP协议中有重定向的报文类型，那么我们就可以伪造⼀个ICMP信息然后发送给局域网中的客户端，并伪装自己是⼀个更好的路由通路。从而导致目标所有的上网流量都会发送到我们指定的接口上，达到和ARP欺骗同样的效果
  3.假wifi && 假网站等

完整流程

• HTTPS 工作过程中涉及到的密钥有三组.
  第⼀组(非对称加密):
  用于校验证书是否被篡改. 服务器持有私钥(私钥在形成CSR文件与申请证书时获得，CA的私钥), 客户端持有公钥(操作系统包含了可信任的 CA 认证机构有哪些, 同时持有对应的公钥). 服务器在客户端请求的响应是，返回携带签名的证书. 客户端通过这个公钥进行证书验证, 保证证书的合法性，进⼀步保证证书中携带的服务端公钥权威性。
  第⼆组(非对称加密):
  用于协商生成对称加密的密钥. 客户端用收到的CA证书中的公钥(是可被信任的，是服务器的)给随机生成的对称加密的密钥加密, 传输给服务器, 服务器通过私钥解密获取到对称加密密钥.
  第三组(对称加密):
  客户端和服务器后续传输的数据都通过这个对称密钥加密解密.
• 其实⼀切的关键都是围绕这个对称加密的密钥. 其他的机制都是辅助这个密钥工作的.
  第⼀组非对称加密的密钥是为了让客户端拿到第⼆组非对称加密的公钥
  第⼆组非对称加密的密钥是为了让客户端把这个对称密钥传给服务器.