【研发类-后端开发Skills】async-python-patterns 技能

使用asyncio、并发编程模式和async/await实现异步Python应用程序的综合指南用于构建高性能、非阻塞系统。技能概述async-python-patterns 技能是一个专门用于指导开发者实现异步Python应用程序的综合技能。它涵盖了使用asyncio、并发编程模式和async/await语法构建高性能、非阻塞系统的最佳实践。该技能适用于I/O密集型工作负载帮助开发者充分利用Python的异步编程能力。下载地址https://github.com/sickn33/antigravity-awesome-skills/tree/main/skills/async-python-patterns触发条件使用此技能构建异步Web APIFastAPI、aiohttp、Sanic实现并发I/O操作数据库、文件、网络创建具有并发请求的Web爬虫开发实时应用程序WebSocket服务器、聊天系统同时处理多个独立任务构建具有异步通信的微服务优化I/O密集型工作负载实现异步后台任务和队列不要使用此技能工作负载是CPU密集型且I/O很少简单的同步脚本就足够了运行时环境无法支持asyncio/事件循环使用核心概念异步编程优势I/O密集型工作负载异步编程特别适合I/O密集型应用如网络请求、数据库查询、文件操作等。通过非阻塞操作可以在等待I/O完成时执行其他任务显著提高并发性能。事件循环asyncio的核心是事件循环它负责调度和执行协程、处理I/O事件和系统事件。理解事件循环的工作原理对于编写高效的异步代码至关重要。协程与任务协程是使用async def定义的函数任务是对协程的封装可以在事件循环中调度执行。正确使用协程和任务是异步编程的基础。处理步骤1. 明确工作负载特征分析工作负载是I/O密集型还是CPU密集型确定性能目标和运行时约束识别可以并行化的独立任务2. 选择并发模式Tasks用于并发执行多个协程gather用于等待多个协程完成Queues用于生产者-消费者模式Pools用于限制并发数量3. 实现错误处理添加超时机制防止无限等待实现背压控制避免资源耗尽使用结构化错误处理确保健壮性正确处理取消操作4. 测试与调试为异步代码路径编写测试使用调试工具检测常见问题监控异步应用程序的性能常用异步框架框架用途特点FastAPIWeb API开发现代、高性能、自动文档aiohttpHTTP客户端/服务器灵活、功能丰富SanicWeb框架快速、轻量级asyncpgPostgreSQL驱动高性能异步数据库访问motorMongoDB驱动异步MongoDB客户端并发模式示例并发执行多个任务使用asyncio.gatherimport asyncioasync def fetch_data(url):# 模拟异步I/O操作await asyncio.sleep(1)return fData from {url}async def main():urls [url1, url2, url3]# 并发执行所有任务results await asyncio.gather(*[fetch_data(url) for url in urls])print(results)asyncio.run(main())使用队列的生产者-消费者模式import asyncioasync def producer(queue, items):for item in items:await queue.put(item)print(fProduced: {item})async def consumer(queue, name):while True:item await queue.get()print(fConsumer {name} processing: {item})await asyncio.sleep(0.5)queue.task_done()async def main():queue asyncio.Queue()# 启动消费者consumers [asyncio.create_task(consumer(queue, fC{i}))for i in range(3)]# 生产数据await producer(queue, range(10))await queue.join()# 取消消费者for c in consumers:c.cancel()asyncio.run(main())用正常的格式来展示代码你只是负责格式化代码不需要解释代码。最佳实践避免阻塞调用不要在异步代码中使用阻塞I/O操作正确处理异常使用try-except捕获协程中的异常设置超时使用asyncio.wait_for防止无限等待限制并发使用信号量或队列限制并发任务数量优雅关闭正确处理取消和清理资源避免CPU密集型任务将CPU密集型任务移到线程池或进程池常见陷阱阻塞事件循环在异步函数中调用阻塞操作会阻塞整个事件循环忘记await调用协程时忘记await会导致协程不执行过度并发创建过多并发任务可能导致资源耗尽不正确的取消处理未正确处理任务取消可能导致资源泄漏混合同步和异步代码不当混合可能导致性能问题或死锁性能优化技巧使用连接池管理数据库连接实现适当的重试机制使用缓存减少重复I/O操作监控事件循环的性能指标使用uvloop提高性能Linux/macOS资源文件implementation-playbook.md该技能包含详细的实现手册提供更多模式和示例。如需详细示例请参考resources/implementation-playbook.md。使用限制仅当任务明确符合上述范围时使用此技能不要将输出视为环境特定验证、测试或专家审查的替代品如果缺少所需的输入、权限、安全边界或成功标准请停止并要求澄清