文章目录

- 1. 写在最前面
- 2. Python 语法
- - 2.1 yield
  - - 2.1.1 yield 和 return 的区别
    - 2.1.2 golang 中实现 yield 语法
- 3. aiohttp 库
- - 3.1 原始写法
  - 3.2 修改写法
  - 3.2 耗时对比分析
- 4. 碎碎念
- 5. 参考资料

1. 写在最前面

最近加了很多 Python Coding 的任务，虽然在 AI 加持下能够顺利完成，但是还是觉得心理不踏实，觉得很多代码 AI 写完自己不是很懂，不喜欢这种感觉。

刚好周日上午没事，抽空记录在 Python 开发中遇到的神奇语法和库。

2. Python 语法

2.1 yield

修改的代码中，函数的返回很多处用了 Yield 而不是 return ，这引起了我的好奇。

2.1.1 yield 和 return 的区别

在 Python 中，yield 和 return 都用于从函数中返回值，但它们之间有一些重要的区别：

返回类型
- return:
  - return 语句用于结束函数的执行，并将一个值返回给调用者。函数在执行到 return 时会立即退出。
  - 每次调用函数时，都是从头开始执行，直到遇到 return。
- yield:
  - yield 语句用于定义生成器函数。生成器函数在执行时不会立即返回值，而是返回一个生成器对象。
  - 当生成器函数被调用时，它不会立即执行，而是返回一个生成器对象。可以通过迭代这个生成器对象来逐步执行函数的代码，每次遇到 yield 时返回一个值，并在下一次迭代时从上次停止的地方继续执行。
内存使用
- return:
  - 返回一个完整的结果（例如一个列表），可能会占用较多内存，特别是当结果很大时。
- yield:
  - 生成器按需生成值，通常会更节省内存，特别是在处理大型数据集时，因为它不会一次性生成所有结果。
yield 的使用场景：
- 内存效率：适合处理大数据集，避免一次性加载。
- 无限序列：可生成无限序列，按需计算。
- 状态保持：在函数中保持状态，适合需要维护状态的场景。
- 协程：在异步编程中用于协作式多任务。
- 管道处理：构建数据处理管道，方便数据流动。

示例

使用 return 的函数:

def get_squares(n):return [x*x for x in range(n)]squares = get_squares(5)
print(squares)  # 输出: [0, 1, 4, 9, 16]

使用 yield 的生成器:

def get_squares(n):for x in range(n):yield x*xsquares_gen = get_squares(5)
for square in squares_gen:print(square)  # 输出: 0, 1, 4, 9, 16

2.1.2 golang 中实现 yield 语法

之前写的是 golang ，为了用类比法更好的理解 yield ，可以在 golang 中实现一个类似能力的示例。

package mainimport ("fmt"
)// 生成器函数，返回一个通道
func getSquares(n int) <-chan int {ch := make(chan int) // 创建一个通道go func() {for x := 0; x < n; x++ {ch <- x * x // 将计算结果发送到通道}close(ch) // 关闭通道，表示没有更多值}()return ch // 返回通道
}func main() {squares := getSquares(5) // 获取生成器通道for square := range squares { // 迭代通道中的值fmt.Println(square) // 输出: 0, 1, 4, 9, 16}
}

函数说明：

通道：在 getSquares 函数中，我们创建了一个通道 ch，用于发送计算结果。
goroutine：我们使用 go 关键字启动了一个 goroutine，在这个 goroutine 中计算平方并将结果发送到通道。
关闭通道：当所有值都发送完后，我们关闭通道，以便接收方知道没有更多值可供接收。
迭代通道：在 main 函数中，我们使用 range 迭代通道，从中接收值。

3. aiohttp 库

需求是需要在客户请求大模型前，提前发送一次请求大模型，确保在客户请求的时候，就可以节省掉 tls 握手和 tcp 建立连接的时间，简称之为预热。

3.1 原始写法

async def analyze_backend_consistency(num_requests: int = 5, delay: float = 0.5, concurrent: bool = False):# 顺序发送请求results = []for i in range(num_requests):try:connector = aiohttp.TCPConnector(ssl=True)async with aiohttp.ClientSession(connector=connector) as session:result = await make_request(session, i + 1)results.append(result)if i < num_requests - 1:await asyncio.sleep(delay)except Exception as e:print(f"请求 {i + 1} 失败: {str(e)}")# 打印每个请求的结果for result in results:print(f"\n请求 {result['request_id']} 结果:")print(f"远程IP:端口 = {result['remote_ip']}:{result['remote_port']}")print(f"请求ID = {result['x_request_id']}")print(f"处理时间 = {result['upstream_time']}ms")print(f"总响应时间 = {result['response_time']}ms")print("-" * 50)# 分析结果print("\n分析结果:")unique_ips = set(r['remote_ip'] for r in results)print(f"使用的不同IP数量: {len(unique_ips)}")print(f"IP列表: {', '.join(str(ip) for ip in unique_ips)}")# 计算平均响应时间avg_response_time = sum(float(r['response_time']) for r in results) / len(results)print(f"平均响应时间: {avg_response_time:.2f}ms")# 检查是否所有请求都使用了同一个连接print(f"所有请求是否使用同一个连接: {len(unique_ips) == 1}")# 分析处理时间upstream_times = [float(r['upstream_time']) for r in results]print(f"后端处理时间范围: {min(upstream_times):.2f}ms - {max(upstream_times):.2f}ms")print(f"后端处理时间平均值: {sum(upstream_times)/len(upstream_times):.2f}ms")

测试结果：

在这里插入图片描述

3.2 修改写法

async def analyze_backend_consistency(num_requests: int = 5, delay: float = 0.5, concurrent: bool = False):connector = aiohttp.TCPConnector(ssl=True)async with aiohttp.ClientSession(connector=connector) as session:results = []if concurrent:# 并发发送所有请求tasks = [make_request(session, i + 1) for i in range(num_requests)]results = await asyncio.gather(*tasks)else:# 顺序发送请求for i in range(num_requests):try:result = await make_request(session, i + 1)results.append(result)if i < num_requests - 1:await asyncio.sleep(delay)except Exception as e:print(f"请求 {i + 1} 失败: {str(e)}")# 打印每个请求的结果for result in results:print(f"\n请求 {result['request_id']} 结果:")print(f"远程IP:端口 = {result['remote_ip']}:{result['remote_port']}")print(f"请求ID = {result['x_request_id']}")print(f"处理时间 = {result['upstream_time']}ms")print(f"总响应时间 = {result['response_time']}ms")print("-" * 50)# 分析结果print("\n分析结果:")unique_ips = set(r['remote_ip'] for r in results)print(f"使用的不同IP数量: {len(unique_ips)}")print(f"IP列表: {', '.join(str(ip) for ip in unique_ips)}")# 计算平均响应时间avg_response_time = sum(float(r['response_time']) for r in results) / len(results)print(f"平均响应时间: {avg_response_time:.2f}ms")# 检查是否所有请求都使用了同一个连接print(f"所有请求是否使用同一个连接: {len(unique_ips) == 1}")# 分析处理时间upstream_times = [float(r['upstream_time']) for r in results]print(f"后端处理时间范围: {min(upstream_times):.2f}ms - {max(upstream_times):.2f}ms")print(f"后端处理时间平均值: {sum(upstream_times)/len(upstream_times):.2f}ms")

测试结果：
在这里插入图片描述

3.2 耗时对比分析

	原始写法	修改写法
特点	每个请求都创建新的 TCPConnector 和 ClientSession 每次请求都要重新建立 TCP 连接和 TLS 握手不复用 HTTP/2 连接每个请求的耗时 = TCP建立(~40ms) + TLS握手(~200ms) + 请求处理时间	只创建一次 TCPConnector 和 ClientSession TCP 连接和 TLS 握手只进行一次复用 HTTP/2 连接第一个请求耗时 = TCP建立 + TLS握手 + 请求处理时间后续请求耗时 = 请求处理时间