参数规模

apt update && apt install -y libgomp1 libssl-dev zlib1g-dev

apt install -y python3.12 python3-pip

       

curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py
python3.12 get-pip.py --force-reinstall
python3.12 -m pip install --upgrade setuptools

python3.12 -m pip install paddlepaddle-gpu==3.1.0 -i
https://www.paddlepaddle.org.cn/packages/stable/cu126/

python3.12 -c "import paddle; print(paddle.__version__)"

python3.12 -m pip install fastdeploy-gpu -i
https://www.paddlepaddle.org.cn/packages/stable/fastdeploy-gpu-80_90/ --extraindex-url https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple

apt remove -y python3-urllib3
python3.12 -m pip install urllib3==1.26.15 six --force-reinstall
python3.10 -m pip install urllib3

 启动API服务：

python3.12 -m fastdeploy.entrypoints.openai.api_server \
--model baidu/ERNIE-4.5-0.3B-Paddle \
--port 8180 \
--host 0.0.0.0 \
--max-model-len 32768 \
--max-num-seqs 32

def get_benchmark_tasks():
"""性能基准测试⽤例（中文理解、多轮对话、⻓文本、跨模态）"""
return [
# 1. 中文理解{
"type": "中文理解-情感分析",
"prompt": "判断这句话的情感（正⾯/负⾯）：这家店的服务态度差，菜品还不新
鲜",
"expected": "负⾯"},{
"type": "中文理解-隐喻理解",
"prompt": "解释"亡⽺补牢"的含义",
"expected": "事后补救"}]
def evaluate_result(task_type, output, expected):
"""根据任务类型评估结果"""
if task_type.endswith("情感分析"):
return expected in output
elif task_type.endswith("隐喻理解"):
return expected in output or "事后" in output

{
"task_type": "中文理解-隐喻理解",
"prompt": "解释"亡⽺补牢"的含义",
"output": ""亡⽺补牢"是⼀个汉语成语，出⾃《战国策·楚策》。这个成语的字⾯意思是：⽺丢
失了之后去修补⽺圈。它的寓意是：出了问题以后想办法补救，可以防⽌继续受损失...",
"latency": 23393.23,
"output_tokens": 445,
"cost": 0.00894
}

多轮对话能⼒直接影响模型在实际应⽤中的表现。我设计了包括订票、问诊、技术咨询等多个场景的测试⽤例。以下是多轮对话的测试代码：

# 多轮对话测试⽤例
{
"type": "多轮对话-上下文连贯",
"prompt": "我想换成靠窗的座位",
"expected": ["靠窗座位", "已记录"],
"history": [
{"role": "user", "content": "我预订了明天的⾼铁票"},
{"role": "assistant", "content": "好的，您需要修改⻋次还是座位？"}
]
}

在实际测试中，文⼼⼀⾔4.5在多轮对话⽅⾯的表现不太理想。当⽤户在第三轮对话中提出"想换靠窗座位"时，模型未能很好地关联前两轮的上下文：

{
"task_type": "多轮对话-上下文连贯",
"prompt": "我想换成靠窗的座位",
"output": "如果您想换成靠窗的座位，可以通过以下步骤操作：\n1. 登录12306官⽹或
APP...",
"accuracy": false,
"latency": 7447.23,
"input_tokens": 52,
"output_tokens": 164
}

⻓文本⽣成能⼒是⼤语⾔模型的重要应⽤场景。我测试了故事续写、文章扩写等多个任务。以下是⻓文本续写的测试代码和实际结果：

# ⻓文本续写测试
{
"type": "⻓文本续写-逻辑连贯",
"prompt": "续写故事：在⼀个宁静的⼭村，住着⼀位老⽊匠，他的⼿艺非常精湛。有⼀天，村
⾥来了⼀位陌⽣⼈，说要定做⼀个特别的⽊盒...",
"expected_length": 300 # 期望续写⻓度
}
# 评估函数
def evaluate_long_text(output, expected_length):
actual_length = len(output)
return actual_length >= expected_length * 0.8 # 允许20%误差

文⼼⼀⾔4.5在⻓文本续写⽅⾯表现出⾊。实际测试结果显⽰，模型⽣成了436个token的⾼质量续写：

{
"task_type": "⻓文本续写-逻辑连贯",
"output": "陌⽣⼈⾝着⼀袭⿊衣，⾯容清瘦，眼神中透着⼀种说不出的忧郁。他对老⽊匠
说：'我需要⼀个能够锁住时间的⽊盒。'老⽊匠虽然⼿艺精湛，但从未听说过这样的要求...[省略部
分内容]...最终，老⽊匠⽤⼀⽣的技艺，打造出了⼀个精美绝伦的⽊盒，上⾯雕刻着岁⽉的痕迹。",
"accuracy": true,
"latency": 16737.58,
"output_tokens": 436,
"cost": 0.008875
}

虽然文⼼⼀⾔4.5主要是语⾔模型，但百度也在积极探索跨模态能⼒。我设计了图文转换测试来评估这⼀能⼒：

# 跨模态测试⽤例
{
"type": "跨模态-图文转换",
"prompt": "描述⼀张图片：秋天的森林⾥，⼀条⼩溪流过，落叶飘在⽔⾯上，远处有⼏只松鼠
在树上",
"expected": ["秋天", "森林", "⼩溪", "落叶", "松鼠"]
}
# 评估函数检查所有关键要素
def evaluate_cross_modal(output, expected_keywords):
return all(keyword in output for keyword in expected_keywords)

实际测试结果显⽰，模型⽣成了260个token的描述，但未能覆盖所有要素：

{
"task_type": "跨模态-图文转换",
"output": "在这幅宁静的秋⽇画卷中，⾦黄⾊的阳光透过层层叠叠的树叶洒向⼤地。森林深
处，⼀条清澈的⼩溪蜿蜒流淌，溪⽔潺潺作响。片片枫叶如彩蝶般飘落，轻轻地落在⽔⾯上，随波逐
流...",
"accuracy": false,
"latency": 11034.53,
"output_tokens": 260,
"expected": ["秋天", "森林", "⼩溪", "落叶", "松鼠"]
}

通过完整的测试流程和数据分析，我们可以得出以下结论：

# 测试结果汇总代码
def generate_report(results):
"""⽣成测试报告"""
total = len(results)
success = sum(1 for r in results if r["success"])
accuracy = sum(1 for r in results if r["accuracy"]) / total * 100
print(f"总测试任务：{total} 个")
print(f"成功执⾏：{success} 个（成功率：{success/total*100:.2f}%）")
print(f"任务准确率：{accuracy:.2f}%")

测试脚本⽰例：

def test_customer_service():
prompts = [
"我昨天买的商品还没发货，想退款",
"有什么适合送给程序员男朋友的礼物推荐吗",
"收到的商品有质量问题，如何申请售后"
]
for prompt in prompts:
response = client.call(
prompt=prompt,
system="你是⼀个专业的电商客服，请⽤友好专业的语⽓回答⽤户问题"
)
evaluate_response(response)

 

# ⽣成的代码⽰例
import pandas as pd
import matplotlib.pyplot as plt
# 读取销售数据
df = pd.read_excel('销售数据.xlsx')
# 数据清洗：去除空值
df = df.dropna()
# 筛选销售额⼤于1000的记录
high_sales = df[df['销售额'] > 1000]
# 按产品类别分组统计
category_stats = high_sales.groupby('产品类别')['销售额'].agg(['sum', 'mean',
'count'])
# ⽣成可视化图表
plt.figure(figsize=(10, 6))
category_stats['sum'].plot(kind='bar')
plt.title('各类别产品销售总额')
plt.xlabel('产品类别')b.md 2025-07-14
17 / 18
plt.ylabel('销售额（元）')
plt.xticks(rotation=45)
plt.tight_layout()
plt.show()

⽤户请求 → API⽹关 → 请求分类器 → 
├─ 简单任务 → 文⼼3.5（低成本）
├─ 中等任务 → 文⼼4.0（平衡型）
└─ 复杂任务 → 文⼼4.5（⾼质量）↓
结果缓存 → 响应返回