当前位置: 首页 > news >正文

python的异步、并发开发

今天要给模块添加异步和并发。之前封装的logging库不支持异步操作,搞了半天还是回到了文件写+硬编码的方式了。

异步和并发,之前没有搞过,属于是现学,记录一下。

并发是指多个任务在同一时间段内交替执行,但并不一定在同一时刻真正同时发生。它是一种逻辑上的“同时”,通过任务切换和调度实现,例如在单核处理器上通过时间片轮转技术让多个任务交替运行。

并行是指多个任务在物理上同时执行,通常需要多个处理器或核心支持。它是真正的“同时”执行,通过硬件资源分配实现任务的高效处理。

在传统的同步模型中,当发起请求后,程序会立刻停下来,阻塞在这里,什么也不做,直到下载完成。在这期间,cpu无法处理其他任何任务。

asyncawait 的出现,就是为了解决这个问题。它们的核心思想是:当一个任务需要等待(I/O 操作)时,不要阻塞,而是主动“让出” CPU 的控制权,让 CPU 去执行其他已经准备好的任务。 等待完成后,再“切换”回来继续执行。

一个被 async 修饰的函数,它定义的不是一个普通的函数,而是一个协程对象。这个对象本身不执行任何代码,它更像是一个“任务蓝图”或“一个可以稍后执行的任务”。

await是暂停当前协程,等待另一个协程完成。

在一个函数内部,如果你想调用另一个async def函数并等待它的结果,那么:

  1. 调用方函数本身也必须被声明为async def
  2. 在调用async def函数时,必须使用await关键字。

对于第三方HTTP请求,使用httpx库进行异步实现。

对于文件读写,使用aiofiles库进行异步实现。

FastAPI应用通常结合GunicornUvicorn来部署,以支持并发处理。Gunicorn作为WSGI HTTP服务器,可以管理多个worker进程,而Uvicorn则负责处理异步请求。

gunicorn启动:

   gunicorn -w 4 -k uvicorn.workers.UvicornWorker app:app

此时,会产生一个Master和四个worker进程。Master进程管理这worker进程,如果worker进程挂了,Master会再产生相应的worker进行。

形象来说:gunicorn是资源经理,uvicorn是技术工人(uvicorn.workers。经理负责将任务给工人,工人完成任务。

如果要停止这个服务,只需要杀掉Master进程。

  1. 查找Master pid

    ps aux | grep gunicorn # 找到pid最小的(一般是
    
  2. 杀死pid

    kill Master-Pid
    

在app.py文件中:

# -- fastapi示例
if __name__ == '__main__':uvicorn.run(...)

使用python app.py调用的是文件里面的uvicorn服务器。

使用gunicorn -w 4 -k uvicorn.workers.UvicornWorker app:app是调用的里面的fastapi示例,而不调用if __name__里面的方法。

http://www.dtcms.com/a/307279.html

相关文章:

  • 聊下多线程查询数据库
  • YOLO---01目标检测基础
  • C++从入门到起飞之——智能指针!
  • day 40 打卡-装饰器
  • Vulnhub Thales靶机复现详解
  • 02 基于sklearn的机械学习-KNN算法、模型选择与调优(交叉验证、朴素贝叶斯算法、拉普拉斯平滑)、决策树(信息增益、基尼指数)、随机森林
  • 【JEECG】JVxeTable表格拖拽排序功能
  • C语言:逆序输出0到9的数组元素
  • LeetCode Hot 100 搜索旋转排序数组
  • 腾讯云市场排名
  • 借助 Wisdom SSH 的 AI 助手构建 Linux 开发环境
  • 2419.按位与最大的最长子数组
  • duiLib 自定义资源目录
  • 限流算法详解:固定窗口、滑动窗口、令牌桶与漏桶算法全面对比
  • P1036 [NOIP 2002 普及组] 选数
  • 结合C++红黑树与AI人工智能的应用
  • Linux 系统日志管理与时钟同步实用指南
  • TCP和UDP编程的主要区别
  • 当人生低谷无人帮助时,如何独自奏响人生乐章
  • Linux系统编程Day1-- Linux系统的概念,主要内容
  • 查看遥控器6通道(以及其他通道)的实际PWM值
  • 洛谷 P1601 A+B Problem(高精)普及-
  • Datawhale AI夏令营 大模型技术task3 稍稍提分
  • 密码学安全性简介
  • LLM—— 基于 MCP 协议(Stdio 模式)的工具调用实践
  • 从一开始的网络攻防(十三):WAF入门到上手
  • 疏老师-python训练营-Day30模块和库的导入
  • Mysql事务基础
  • 通俗易懂的解释G1垃圾收集器
  • 学习Markdown