2021年2月24日高并发

高并发程序设计(一)：基本概念

本篇为高并发程序设计系列第一篇，主要内容为： 1. 高并发程序设计相关概念 2. 高并发与高吞吐率讨论一：基本概念 1.并发与并行并发（concurrency）: 逻辑上具备同时处理多个任务的能力并行（parallesim）：物理上在同一时刻执行多个并发任务我们通常会说程序是并发设计的，也

高并发

本篇为高并发程序设计系列第一篇，主要内容为：

高并发程序设计相关概念
高并发与高吞吐率讨论

一：基本概念

1.并发与并行

并发（concurrency）:

逻辑上具备同时处理多个任务的能力

并行（parallesim）：

物理上在同一时刻执行多个并发任务

我们通常会说程序是并发设计的，也就是说它允许多个任务同时执行，但实际上并不一定真在同一时刻发生。在单核处理器上，它们能以间隔方式切换执行。而并行则依赖多核处理器等物理设备，让多个任务真正在同一时刻执行，它代表了当前程序运行状态。简单点说，并行是并发设计的理想执行模式。《Go语言学习笔记》

并发示例：

多道程序设计中，CPU划分时间片，轮流执行每个请求任务，时间片到期后，换到下一个

并行示例：

在多核服务器上，每个CPU内核执行一个任务，是真正的并行

2.吞吐率

吞吐率:

单位时间内网络上传输的数据量，也可以指单位时间内处理客户请求数量。它是衡量网络性能的重要指标。通常情况下，吞吐率可以用“字节数/秒”(byte/s) 来衡量。当然你也可以用 “请求数/秒”（RPS：req/s）和 “页面数/秒” （PPS：page/s）来衡量。

其它相关概念：

QPS:

每秒查询数（QPS）是衡量信息检索系统（例如搜索引擎或数据库）在一秒钟内接收到的搜索流量的常用量度。该术语在任何请求-响应系统中都得到更广泛的使用，更正确地称为每秒请求数（RPS）。
高流量的系统必须注意其QPS，才能知道何时扩展系统以处理更多负载。

TPS:

在非常普通的意义上，术语每秒事务是指每秒由某些实体执行的原子动作的数量。从更严格的角度来看，DBMS供应商和用户社区通常使用该术语来表示每秒执行的数据库事务数。
最近，该术语已用于描述加密货币的交易率，例如运行比特币区块链的分布式网络。能够适应实际交易量的交易速率的发展是加密货币技术研究的重要领域。

举例：

假设 https://zhizhi123.com 每个请求的latency为100ms，服务器总共有40个workers处理客户请求，理论吞吐量上限为：1000/100*40 = 400rps，理论每日处理动态请求上限3456万。

3.I/O

I/O（英语：Input/Output），即输入／输出，通常指数据在存储器（内部和外部）或其他周边设备之间的输入和输出，是信息处理系统（例如计算机）与外部世界（可能是人类或另一信息处理系统）之间的通信。输入是系统接收的信号或数据，输出则是从其发送的信号或数据。

常见I/O类型:

磁盘I/O、网络I/O

4.CPU密集型与IO密集型应用

“图2-38中有一件值得注意的事，即某些进程（图2-38a的进程）花费了绝大多数时间在计算上，而其他进程（图2-38b的进程）则在等待I/O上花费了绝大多数时间。前者称为计算密集型（compute-bound），后者称为I/O密集型（I/O-bound）。典型的计算密集型进程具有较长时间的CPU集中使用和较小频度的I/O等待。I/O密集型进程具有较短时间的CPU集中使用和频繁的I/O等待。它是I/O类的，因为这种进程在I/O请求之间较少进行计算，并不是因为它们有特别长的I/O请求。在I/O开始后无论处理数据是多还是少，它们都花费同样的时间提出硬件请求读取磁盘块。
“有必要指出，随着CPU变得越来越快，更多的进程倾向为I/O密集型。这种现象之所以发生是因为CPU的改进比磁盘的改进快得多，其结果是，未来对I/O密集型进程的调度处理似乎更为重要。这里的基本思想是，如果需要运行I/O密集型进程，那么就应该让它尽快得到机会，以便发出磁盘请求并保持磁盘始终忙碌。”
摘录来自: Andrews Tanenbaum. “现代操作系统（原书第3版） (计算机科学丛书)。