Qwen3-4B-Thinking部署教程：Windows Subsystem for Linux（WSL2）完整环境搭建

Qwen3-4B-Thinking部署教程Windows Subsystem for LinuxWSL2完整环境搭建1. 环境准备与WSL2安装在Windows系统上部署AI模型WSL2提供了一个接近原生Linux性能的解决方案。以下是搭建环境的完整步骤启用Windows功能打开控制面板→程序→启用或关闭Windows功能勾选适用于Linux的Windows子系统和虚拟机平台重启计算机使更改生效安装WSL2 以管理员身份打开PowerShell执行wsl --install这会自动安装默认的Ubuntu发行版设置WSL版本wsl --set-default-version 2验证安装wsl -l -v应显示类似NAME STATE VERSION * Ubuntu Running 22. 基础环境配置2.1 系统更新与依赖安装在WSL终端中执行sudo apt update sudo apt upgrade -y sudo apt install -y python3-pip python3-venv git curl2.2 CUDA驱动安装可选如需GPU加速wget https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/cuda-wsl-ubuntu.pin sudo mv cuda-wsl-ubuntu.pin /etc/apt/preferences.d/cuda-repository-pin-600 wget https://developer.download.nvidia.com/compute/cuda/12.4.0/local_installers/cuda-repo-wsl-ubuntu-12-4-local_12.4.0-1_amd64.deb sudo dpkg -i cuda-repo-wsl-ubuntu-12-4-local_12.4.0-1_amd64.deb sudo cp /var/cuda-repo-wsl-ubuntu-12-4-local/cuda-*-keyring.gpg /usr/share/keyrings/ sudo apt-get update sudo apt-get -y install cuda3. 模型部署与验证3.1 创建Python虚拟环境python3 -m venv qwen_env source qwen_env/bin/activate3.2 安装依赖库pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 pip install vllm chainlit3.3 下载模型git clone https://huggingface.co/unsloth/Qwen3-4B-Thinking-25073.4 使用vLLM启动服务python -m vllm.entrypoints.api_server \ --model unsloth/Qwen3-4B-Thinking-2507 \ --trust-remote-code \ --port 80003.5 验证服务状态curl http://localhost:8000/v1/models应返回类似{ object: list, data: [ { id: unsloth/Qwen3-4B-Thinking-2507, object: model, created: 1686935002, owned_by: organization-owner } ] }4. Chainlit前端集成4.1 创建Chainlit应用新建app.py文件import chainlit as cl from openai import OpenAI client OpenAI(base_urlhttp://localhost:8000/v1, api_keynone) cl.on_message async def main(message: cl.Message): response client.chat.completions.create( modelunsloth/Qwen3-4B-Thinking-2507, messages[{role: user, content: message.content}], temperature0.7, ) await cl.Message(contentresponse.choices[0].message.content).send()4.2 启动Chainlit界面chainlit run app.py -w访问http://localhost:8000即可开始交互5. 常见问题解决端口冲突如果8000端口被占用可在启动命令中添加--port 新端口号模型加载失败确保有足够显存至少8GB尝试添加--dtype float16参数减少显存占用WSL2性能优化sudo nano /etc/wsl.conf添加[wsl2] memory16GB processors8Chainlit连接问题确保vLLM服务已启动检查app.py中的端口配置与vLLM一致6. 总结通过本教程我们完成了WSL2环境的完整配置Qwen3-4B-Thinking模型的vLLM部署Chainlit交互界面的集成常见问题的解决方案这套方案特别适合Windows系统下的AI开发需要本地化部署的场景对数据隐私有要求的应用对于性能要求更高的场景可以考虑使用更强大的GPU硬件调整vLLM的worker数量尝试模型量化技术获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。