本地大模型越跑越慢？这份性能优化命令清单直接照着用

发布人：慈云数据-客服中心发布时间：10小时前阅读量：4

AI工具性能优化教程｜附完整命令

在日常使用 AI 工具时，很多人会遇到类似问题：模型响应慢、显存不够、CPU 占用过高、并发一上来就卡死、RAG 检索速度慢、部署后接口延迟不稳定等。
这些问题并不一定是模型本身不行，更多时候是运行环境、推理框架、参数配置、硬件利用率、缓存策略和部署方式没有优化好。

本文将从 本地环境优化、GPU 加速、模型量化、推理框架选择、API 服务优化、RAG 检索优化、系统监控与排错 等多个角度，系统讲解 AI 工具性能优化方法，并附上完整命令，适合本地大模型、AI 编程助手、知识库问答、文本生成服务、私有化部署等场景参考。

一、性能优化前先明确目标

在开始优化之前，需要先明确你想提升的是什么。AI 工具的性能通常可以拆成以下几个指标：

指标	含义	优化方向
首 Token 延迟	用户发起请求到模型输出第一个字的时间	加快模型加载、优化 KV Cache、减少 Prompt 长度
Tokens/s	每秒生成 Token 数	使用 GPU、量化模型、优化推理框架
并发能力	同时处理多个请求的能力	批处理、队列、异步接口、vLLM
显存占用	模型运行时使用的 GPU 显存	量化、减少上下文长度、模型裁剪
CPU 占用	CPU 计算与调度压力	使用 GPU 推理、减少线程争用
检索延迟	RAG 向量数据库查询速度	建索引、减少 TopK、使用高性能向量库
稳定性	长时间运行是否崩溃	守护进程、日志监控、资源限制

性能优化不是盲目调参数，而是要先找到瓶颈：
是 显卡不够，还是 模型太大？
是 Prompt 太长，还是 推理框架效率低？
是 单请求慢，还是 并发能力弱？

二、检查硬件与系统环境

1. 查看 CPU、内存、系统信息

lscpu
free -h
uname -a
df -h

如果你使用的是服务器，还可以查看 NUMA 架构：

numactl --hardware

2. 查看 GPU 信息

NVIDIA 显卡使用：

nvidia-smi

实时刷新查看：

watch -n 1 nvidia-smi

查看 CUDA 版本：

nvcc --version

如果没有安装 nvcc，也可以通过 PyTorch 查看：

python -c "import torch; print(torch.version.cuda); print(torch.cuda.is_available())"

3. 查看磁盘 I/O 性能

模型加载慢有时候不是显卡问题，而是磁盘读取速度太慢。可以使用：

sudo apt install fio -y
fio --name=test --filename=./testfile --size=2G --bs=1M --rw=read --direct=1

如果模型文件放在机械硬盘或网络盘上，首次加载会非常慢。建议将常用模型放在 NVMe SSD 上。

三、创建干净的 Python 环境

AI 工具性能优化的第一步，是避免混乱环境。不同版本的 CUDA、PyTorch、Transformers、vLLM、bitsandbytes 之间可能存在兼容问题。

推荐使用 Conda 或 venv 创建独立环境。

1. 使用 Conda 创建环境

conda create -n ai-opt python=3.10 -y
conda activate ai-opt

2. 升级基础工具

python -m pip install --upgrade pip setuptools wheel

3. 安装常用依赖

pip install numpy scipy pandas tqdm requests fastapi uvicorn

四、安装 GPU 版本 PyTorch

如果你使用 NVIDIA GPU，必须安装正确的 PyTorch CUDA 版本，否则模型可能跑在 CPU 上，速度会非常慢。

1. 安装 CUDA 12.1 对应版本

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

2. 验证 GPU 是否可用

python - << 'EOF'
import torch
print("PyTorch版本:", torch.__version__)
print("CUDA版本:", torch.version.cuda)
print("GPU是否可用:", torch.cuda.is_available())
if torch.cuda.is_available():
    print("GPU数量:", torch.cuda.device_count())
    print("GPU名称:", torch.cuda.get_device_name(0))
EOF

如果输出 GPU是否可用: True，说明安装成功。

五、优化 Transformers 推理性能

很多 AI 工具基于 Hugging Face Transformers 运行模型。默认参数并不一定最优，需要针对推理场景进行配置。

1. 安装 Transformers 相关依赖

pip install transformers accelerate sentencepiece protobuf

如果需要量化：

pip install bitsandbytes

2. 使用半精度加载模型

FP32 精度显存占用高，推理速度也慢。对于大多数文本生成场景，FP16 或 BF16 更合适。

示例命令：

python - << 'EOF'
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "Qwen/Qwen2.5-7B-Instruct"

tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.float16,
    device_map="auto",
    trust_remote_code=True
)

prompt = "请用中文介绍一下AI工具性能优化的核心思路。"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=256,
        do_sample=False
    )

print(tokenizer.decode(outputs[0], skip_special_tokens=True))
EOF

3. 使用 BF16

如果你的显卡支持 BF16，例如 A100、H100、部分 30/40 系列显卡，可以使用：

torch_dtype=torch.bfloat16

完整示例：

python - << 'EOF'
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "Qwen/Qwen2.5-7B-Instruct"

tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True
)

print("模型加载完成")
EOF

六、使用 4bit / 8bit 量化降低显存占用

如果显存不够，可以使用 bitsandbytes 进行 4bit 或 8bit 量化。量化后显存占用会明显降低，通常可以让更大的模型跑在消费级显卡上。

1. 安装 bitsandbytes

pip install bitsandbytes accelerate

2. 4bit 量化加载模型

python - << 'EOF'
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig

model_name = "Qwen/Qwen2.5-7B-Instruct"

quant_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_compute_dtype=torch.float16,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_use_double_quant=True
)

tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    quantization_config=quant_config,
    device_map="auto",
    trust_remote_code=True
)

prompt = "请总结AI模型量化的优缺点。"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=200,
        temperature=0.7,
        top_p=0.9
    )

print(tokenizer.decode(outputs[0], skip_special_tokens=True))
EOF

3. 8bit 量化加载模型

python - << 'EOF'
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig

model_name = "Qwen/Qwen2.5-7B-Instruct"

quant_config = BitsAndBytesConfig(
    load_in_8bit=True
)

tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    quantization_config=quant_config,
    device_map="auto",
    trust_remote_code=True
)

print("8bit模型加载完成")
EOF

一般来说：

FP16：质量较好，显存占用较高；
8bit：质量损失较小，显存降低明显；
4bit：显存占用最低，适合本地部署，但可能有轻微质量损失。

七、使用 llama.cpp 优化 CPU / 低显存推理

如果你的设备显存较小，或者想在 CPU、Mac、低配机器上运行模型，可以考虑使用 llama.cpp。它支持 GGUF 格式模型，并且可以使用多种量化方式，例如 Q4_K_M、Q5_K_M、Q8_0 等。

1. 安装编译依赖

Ubuntu / Debian：

sudo apt update
sudo apt install git build-essential cmake -y

2. 克隆 llama.cpp

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp

3. 编译 CPU 版本

cmake -B build
cmake --build build --config Release -j$(nproc)

4. 编译 CUDA 版本

如果你有 NVIDIA GPU：

cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release -j$(nproc)

5. 运行 GGUF 模型

假设模型路径为：

models/qwen2.5-7b-instruct-q4_k_m.gguf

运行命令：

./build/bin/llama-cli \
  -m models/qwen2.5-7b-instruct-q4_k_m.gguf \
  -p "请用中文解释AI工具性能优化的关键步骤。" \
  -n 512 \
  -t $(nproc) \
  -c 4096

参数说明：

参数	作用
`-m`	模型路径
`-p`	输入提示词
`-n`	最大生成 Token 数
`-t`	CPU 线程数
`-c`	上下文长度
`-ngl`	放入 GPU 的层数

如果使用 GPU 加速，可以增加：

-ngl 99

完整命令：

./build/bin/llama-cli \
  -m models/qwen2.5-7b-instruct-q4_k_m.gguf \
  -p "写一份AI工具性能优化清单。" \
  -n 512 \
  -t $(nproc) \
  -c 4096 \
  -ngl 99

八、使用 Ollama 快速部署本地模型

Ollama 适合快速运行本地 AI 工具，使用简单，适合个人电脑、开发机和轻量服务器。

1. 安装 Ollama

Linux：

curl -fsSL https://ollama.com/install.sh | sh

2. 启动服务

ollama serve

如果已经作为系统服务运行，可以查看状态：

systemctl status ollama

3. 下载并运行模型

ollama pull qwen2.5:7b
ollama run qwen2.5:7b

4. 使用 API 调用

curl http://localhost:11434/api/generate \
  -d '{
    "model": "qwen2.5:7b",
    "prompt": "请介绍AI工具性能优化方法。",
    "stream": false
  }'

5. 设置上下文长度

创建自定义模型文件：

cat > Modelfile << 'EOF'
FROM qwen2.5:7b
PARAMETER num_ctx 4096
PARAMETER temperature 0.7
PARAMETER top_p 0.9
EOF

创建模型：

ollama create qwen2.5-7b-opt -f Modelfile

运行：

ollama run qwen2.5-7b-opt

注意：上下文越长，显存和内存占用越高。不要盲目把 num_ctx 调到很大。

九、使用 vLLM 提升高并发推理性能

如果你的 AI 工具需要对外提供 API，并且有较高并发需求，推荐使用 vLLM。
vLLM 的核心优势是 PagedAttention，可以更高效地管理 KV Cache，适合多用户并发推理。

1. 安装 vLLM

pip install vllm

2. 启动 OpenAI 兼容接口

python -m vllm.entrypoints.openai.api_server \
  --model Qwen/Qwen2.5-7B-Instruct \
  --host 0.0.0.0 \
  --port 8000 \
  --dtype float16 \
  --max-model-len 4096 \
  --gpu-memory-utilization 0.9

3. 使用 curl 测试接口

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen/Qwen2.5-7B-Instruct",
    "messages": [
      {"role": "user", "content": "请说明vLLM为什么适合高并发推理。"}
    ],
    "temperature": 0.7,
    "max_tokens": 300
  }'

4. 常用优化参数

python -m vllm.entrypoints.openai.api_server \
  --model Qwen/Qwen2.5-7B-Instruct \
  --host 0.0.0.0 \
  --port 8000 \
  --dtype float16 \
  --max-model-len 4096 \
  --gpu-memory-utilization 0.92 \
  --max-num-seqs 128 \
  --max-num-batched-tokens 8192

参数说明：

参数	说明
`--gpu-memory-utilization`	控制 vLLM 使用多少 GPU 显存
`--max-model-len`	最大上下文长度
`--max-num-seqs`	最大并发序列数
`--max-num-batched-tokens`	批处理 Token 上限
`--dtype`	推理精度

如果出现 OOM，可以降低：

--gpu-memory-utilization 0.8
--max-model-len 2048
--max-num-seqs 32

十、优化 Prompt，减少无效 Token

很多 AI 工具变慢，并不是模型慢，而是 Prompt 太长。尤其是知识库问答、Agent、代码助手，经常会把大量无关上下文塞给模型。

1. 控制系统提示词长度

不推荐写几千字的系统提示词。应该把规则整理成精简条目，例如：

你是一个中文AI助手。
要求：
1. 回答准确、简洁；
2. 不确定时说明不确定；
3. 优先使用用户提供的资料；
4. 使用Markdown格式输出。

2. 控制历史对话长度

如果每次请求都携带完整聊天记录，延迟会越来越高。可以只保留最近几轮：

MAX_HISTORY = 6
messages = messages[-MAX_HISTORY:]

3. 对长历史做摘要

可以定期将历史消息压缩成摘要：

以下是之前对话摘要：
用户正在搭建本地AI知识库，使用Qwen模型、FAISS向量库和FastAPI接口。
当前目标是降低推理延迟和显存占用。

这样可以显著减少 Token 数量。

十一、RAG 知识库检索性能优化

如果你的 AI 工具包含知识库问答，性能瓶颈可能在向量化、检索和重排序阶段。

1. 安装 FAISS

CPU 版本：

pip install faiss-cpu

GPU 版本：

pip install faiss-gpu

2. 安装 Embedding 依赖

pip install sentence-transformers

3. 构建 FAISS 索引示例

python - << 'EOF'
import faiss
import numpy as np

dim = 768
vectors = np.random.random((10000, dim)).astype("float32")

index = faiss.IndexFlatIP(dim)
faiss.normalize_L2(vectors)
index.add(vectors)

faiss.write_index(index, "demo.index")
print("索引构建完成，向量数量:", index.ntotal)
EOF

4. 检索示例

python - << 'EOF'
import faiss
import numpy as np

index = faiss.read_index("demo.index")

query = np.random.random((1, 768)).astype("float32")
faiss.normalize_L2(query)

scores, ids = index.search(query, 5)
print("IDs:", ids)
print("Scores:", scores)
EOF

5. RAG 优化建议

文档切块不要太大，推荐 300～800 中文字；
TopK 不要过高，通常 3～8 足够；
先召回再重排，避免对大量文档直接重排；
热门问题可以缓存答案；
向量库索引要持久化，不要每次启动重新构建；
对 PDF、Word、网页内容先清洗，减少无效文本。

十二、FastAPI 接口服务优化

很多 AI 工具最终会封装为 API 服务。接口层如果写得不好，也会拖慢整体速度。

1. 安装 FastAPI

pip install fastapi uvicorn

2. 示例服务

创建 app.py：

cat > app.py << 'EOF'
from fastapi import FastAPI
from pydantic import BaseModel
import time

app = FastAPI()

class ChatRequest(BaseModel):
    prompt: str

@app.post("/chat")
async def chat(req: ChatRequest):
    start = time.time()
    # 这里替换为实际模型调用
    answer = f"收到你的问题：{req.prompt}"
    return {
        "answer": answer,
        "latency": round(time.time() - start, 3)
    }
EOF

启动：

uvicorn app:app --host 0.0.0.0 --port 9000

3. 使用多 Worker

uvicorn app:app \
  --host 0.0.0.0 \
  --port 9000 \
  --workers 4

注意：如果每个 Worker 都加载一份大模型，会占用多份显存或内存。对于大模型服务，通常更推荐单独使用 vLLM、TGI 或 Ollama 管理模型，FastAPI 只做业务转发。

4. 使用 Gunicorn 管理

pip install gunicorn

启动命令：

gunicorn app:app \
  -k uvicorn.workers.UvicornWorker \
  -w 4 \
  -b 0.0.0.0:9000 \
  --timeout 120

十三、增加缓存减少重复计算

AI 工具中有大量可缓存内容，例如：

相同问题的回答；
相同文本的 Embedding；
用户会话摘要；
检索结果；
工具调用结果。

1. 安装 Redis

sudo apt update
sudo apt install redis-server -y

启动 Redis：

sudo systemctl enable redis-server
sudo systemctl start redis-server

测试：

redis-cli ping

PONG

2. Python 使用 Redis 缓存

pip install redis

示例：

python - << 'EOF'
import redis
import hashlib

r = redis.Redis(host="localhost", port=6379, db=0, decode_responses=True)

question = "AI工具如何优化性能？"
key = "qa:" + hashlib.md5(question.encode()).hexdigest()

cached = r.get(key)
if cached:
    print("命中缓存:", cached)
else:
    answer = "可以从模型量化、GPU加速、Prompt压缩、RAG优化等方面入手。"
    r.setex(key, 3600, answer)
    print("写入缓存:", answer)
EOF

缓存可以显著降低重复请求带来的压力，尤其适合客服机器人、文档问答、固定场景助手。

十四、使用流式输出改善用户体验

即使总耗时不变，流式输出也能显著改善用户感知。
用户不需要等待完整答案生成结束，而是可以边生成边阅读。

OpenAI 兼容接口流式请求示例：

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen/Qwen2.5-7B-Instruct",
    "messages": [
      {"role": "user", "content": "请写一份AI工具性能优化清单。"}
    ],
    "stream": true,
    "max_tokens": 500
  }'

在产品体验上，流式输出通常比单纯压缩 1～2 秒延迟更有效。

十五、系统级优化建议

1. 设置最大文件句柄数

高并发服务可能遇到文件句柄不足问题。

查看：

ulimit -n

临时设置：

ulimit -n 65535

永久配置可编辑：

sudo nano /etc/security/limits.conf

加入：

* soft nofile 65535
* hard nofile 65535

2. 设置交换分区

如果内存较小，可以设置 Swap，避免进程直接崩溃。但 Swap 不是性能优化手段，只是兜底。

sudo fallocate -l 16G /swapfile
sudo chmod 600 /swapfile
sudo mkswap /swapfile
sudo swapon /swapfile

查看：

free -h

永久生效：

echo '/swapfile none swap sw 0 0' | sudo tee -a /etc/fstab

3. 后台运行服务

使用 nohup：

nohup python -m vllm.entrypoints.openai.api_server \
  --model Qwen/Qwen2.5-7B-Instruct \
  --host 0.0.0.0 \
  --port 8000 \
  --dtype float16 \
  > vllm.log 2>&1 &

查看日志：

tail -f vllm.log

查看进程：

ps aux | grep vllm

停止进程：

pkill -f vllm

十六、性能压测方法

优化必须有数据支撑。不要只凭感觉判断“快了”或“慢了”。

1. 安装 wrk

sudo apt install wrk -y

2. 编写压测脚本

创建 post.lua：

cat > post.lua << 'EOF'
wrk.method = "POST"
wrk.body = '{"model":"Qwen/Qwen2.5-7B-Instruct","messages":[{"role":"user","content":"请用一句话介绍AI性能优化。"}],"max_tokens":100}'
wrk.headers["Content-Type"] = "application/json"
EOF

3. 压测接口

wrk -t4 -c16 -d30s -s post.lua http://localhost:8000/v1/chat/completions

参数说明：

参数	说明
`-t4`	4 个线程
`-c16`	16 个并发连接
`-d30s`	持续 30 秒
`-s post.lua`	使用 Lua 请求脚本

重点关注：

平均延迟；
P95 / P99 延迟；
请求失败率；
GPU 显存；
GPU 利用率；
Tokens/s。

十七、常见问题与解决方案

1. 显存不足 OOM

解决方向：

# 降低上下文长度
--max-model-len 2048

# 降低显存利用率
--gpu-memory-utilization 0.8

# 使用4bit量化
load_in_4bit=True

# 换更小模型
7B -> 3B -> 1.5B

2. GPU 利用率低

可能原因：

模型实际跑在 CPU；
batch 太小；
Prompt 太短且请求太少；
数据预处理太慢；
CPU 到 GPU 数据传输成为瓶颈。

检查命令：

watch -n 1 nvidia-smi

3. 首次响应特别慢

可能原因：

模型首次加载；
CUDA kernel 初始化；
磁盘读取慢；
没有预热。

可以在服务启动后进行预热：

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen/Qwen2.5-7B-Instruct",
    "messages": [{"role": "user", "content": "你好"}],
    "max_tokens": 10
  }'

4. RAG 回答慢

优化方向：

减少 TopK；
缩短文档切块；
缓存 Embedding；
使用 FAISS / Milvus / Qdrant；
避免每次请求重新加载索引；
对检索结果做去重。

十八、推荐优化顺序

如果你不知道从哪里开始，可以按以下顺序优化：

确认模型是否跑在 GPU 上；
使用 FP16 / BF16 替代 FP32；
显存不够时使用 4bit / 8bit 量化；
减少 Prompt 和历史消息长度；
使用 vLLM 提升并发性能；
RAG 场景优化向量索引和 TopK；
增加 Redis 缓存；
启用流式输出改善体验；
使用 wrk 或真实流量压测；
持续监控 GPU、CPU、内存和接口延迟。

十九、总结

AI 工具性能优化并不是单一技巧，而是一套系统工程。
对于个人本地使用，重点通常是 模型量化、上下文控制、llama.cpp 或 Ollama 加速；
对于企业级 API 服务，重点则是 vLLM 高并发推理、缓存、监控、RAG 检索优化和服务治理。

最关键的原则是：
先定位瓶颈，再选择优化手段；先做低成本优化，再考虑升级硬件。

如果只是显存不足，不一定要马上换显卡，可以先尝试 4bit 量化；
如果是并发不足，不一定要换更大模型，可以先使用 vLLM；
如果是回答慢，不一定是模型问题，可能是 Prompt 太长或知识库检索效率低。

只要按照本文提供的命令和思路逐步排查，大多数 AI 工具的运行速度、资源占用和稳定性都能得到明显改善。

文章标签： AI工具性能优化 GPU加速模型量化 RAG检索优化

上一篇：本地部署AI太慢？一文搞定模型推理、显存、API与服务器优化命令

下一篇：AI工具跑得慢又烧钱？这套优化方案和源码直接拿去用

更多栏目

新闻动态

文档中心

下载中心

目录结构

全文

产品与服务

新闻帮助

生态合作

了解我们

本地大模型越跑越慢？这份性能优化命令清单直接照着用

AI工具 性能优化教程｜附完整命令

一、性能优化前先明确目标

二、检查硬件与系统环境

1. 查看 CPU、内存、系统信息

2. 查看 GPU 信息

3. 查看磁盘 I/O 性能

三、创建干净的 Python 环境

1. 使用 Conda 创建环境

2. 升级基础工具

3. 安装常用依赖

四、安装 GPU 版本 PyTorch

1. 安装 CUDA 12.1 对应版本

2. 验证 GPU 是否可用

五、优化 Transformers 推理性能

1. 安装 Transformers 相关依赖

2. 使用半精度加载模型

3. 使用 BF16

六、使用 4bit / 8bit 量化降低显存占用

1. 安装 bitsandbytes

2. 4bit 量化加载模型

3. 8bit 量化加载模型

七、使用 llama.cpp 优化 CPU / 低显存推理

1. 安装编译依赖

2. 克隆 llama.cpp

3. 编译 CPU 版本

4. 编译 CUDA 版本

5. 运行 GGUF 模型

八、使用 Ollama 快速部署本地模型

1. 安装 Ollama

2. 启动服务

3. 下载并运行模型

4. 使用 API 调用

5. 设置上下文长度

九、使用 vLLM 提升高并发推理性能

1. 安装 vLLM

2. 启动 OpenAI 兼容接口

3. 使用 curl 测试接口

4. 常用优化参数

十、优化 Prompt，减少无效 Token

1. 控制系统提示词长度

2. 控制历史对话长度

3. 对长历史做摘要

十一、RAG 知识库检索性能优化

1. 安装 FAISS

2. 安装 Embedding 依赖

3. 构建 FAISS 索引示例

4. 检索示例

5. RAG 优化建议

十二、FastAPI 接口服务优化

1. 安装 FastAPI

2. 示例服务

3. 使用多 Worker

4. 使用 Gunicorn 管理

十三、增加缓存减少重复计算

1. 安装 Redis

2. Python 使用 Redis 缓存

十四、使用流式输出改善用户体验

十五、系统级优化建议

1. 设置最大文件句柄数

2. 设置交换分区

3. 后台运行服务

十六、性能压测方法

1. 安装 wrk

2. 编写压测脚本

3. 压测接口

十七、常见问题与解决方案

1. 显存不足 OOM

2. GPU 利用率低

3. 首次响应特别慢

4. RAG 回答慢

十八、推荐优化顺序

十九、总结

AI工具性能优化教程｜附完整命令