工具指南

大模型API服务

通过API调用云端大模型，无需自建算力，适合快速验证和中小规模应用。

主流平台

• OpenAI API - GPT系列模型，生态成熟，文档完善
• Anthropic API - Claude系列，长上下文能力突出
• Google AI - Gemini系列，多模态原生支持
• 国内大模型API - 文心、通义、DeepSeek等，满足数据本地化需求

选型建议

开发阶段可选用多平台并行测试；生产环境需评估SLA、数据出境合规和成本预算。敏感数据场景优先考虑私有化部署或国内合规API。

AI应用开发框架

简化AI应用开发流程，提供Prompt管理、链式调用、记忆存储等能力。

常用框架

• LangChain - 最流行的LLM应用框架，组件丰富，适合复杂工作流
• LlamaIndex - 专注数据索引与RAG场景，文档检索能力强
• Semantic Kernel - 微软出品，与.NET生态集成良好
• Dify - 低代码AI应用平台，支持可视化工作流编排

选型建议

Python技术栈首选LangChain或LlamaIndex；需要可视化搭建选Dify；企业.NET环境考虑Semantic Kernel。

模型训练与微调

在通用模型基础上针对特定领域数据进行微调，提升垂直场景表现。

常用工具

• PyTorch - 深度学习基础框架，学术界和工业界广泛使用
• Hugging Face Transformers - 预训练模型库与微调工具集
• LLaMA-Factory - 一站式大模型微调框架，支持多种微调方法
• Axolotl - 轻量级微调工具，配置简单

选型建议

大多数场景通过Prompt工程和RAG即可满足需求，仅在领域术语密集或风格要求严格时考虑微调。微调需要高质量标注数据和GPU算力投入。

模型部署与推理

将训练好的模型部署为可服务的推理端点，支持生产环境调用。

常用方案

• vLLM - 高性能LLM推理引擎，支持PagedAttention加速
• Ollama - 本地运行开源模型的简易方案，适合开发测试
• TGI (Text Generation Inference) - Hugging Face出品的推理服务
• Triton Inference Server - NVIDIA出品，支持多框架统一部署

选型建议

生产环境高并发场景推荐vLLM；本地开发测试用Ollama；需要同时服务多种模型类型选Triton。