搜索“inference-engine”
搜索累计收录的项目，找到适合你当前任务的工具。
19个项目
GitHub 项目AI 开发与基础设施
ds4
在本地运行 DeepSeek 4 Flash 和 PRO 模型推理
解决本地部署 DeepSeek 4 模型的推理需求，支持 Metal、CUDA 和 ROCm 三种硬件后端，可在 macOS 和不同 GPU 环境下运行。
GitHub 项目AI Agent 与自动化
PageIndex
无向量推理型文档索引与 RAG 方案
针对传统 RAG 依赖向量数据库的局限，通过推理驱动的方式实现文档索引与检索，支持 agentic AI 场景下的上下文工程与信息检索。
GitHub 项目AI 开发与基础设施
Model-Optimizer
统一压缩深度学习模型以加速推理部署
整合量化、蒸馏、剪枝、神经架构搜索、投机解码等 SOTA 优化技术，将模型压缩后导出至 TensorRT-LLM、TensorRT、vLLM 等推理框架。
GitHub 项目AI 应用与创作
stable-diffusion.cpp
纯 C/C ++ 实现多类扩散模型本地推理
解决 Python 依赖重、部署复杂的问题，基于 ggml 在纯 C/C ++ 中完成 SD、Flux、Wan、Qwen Image 等模型的文生图与图生图推理。
GitHub 项目AI 开发与基础设施
FreeToken
在本地桌面运行数据中心级大模型推理
解决个人设备难以高效运行大规模模型的问题，支持 MoE 架构与多种主流模型系列，通过 Apache-2.0 协议开源。
GitHub 项目AI Agent 与自动化
WeKnora
将原始文档转化为可查询的 RAG、自主推理 Agent 与自维护 Wiki
解决企业知识管理分散、LLM 应用落地难的问题，支持多租户架构，集成文档向量化、自主 Agent 推理与 Wiki 自动维护能力。
GitHub 项目AI 开发与基础设施
transformers
定义和运行文本、视觉、音频及多模态机器学习模型
为 NLP、计算机视觉、语音和多模态任务提供统一的模型定义框架，支持预训练模型的推理与训练，覆盖从 BERT 到 GPT 等主流架构。
GitHub 项目AI Agent 与自动化
sie
为 Agent 提供多模型推理服务与生产集群
解决 Agent 应用需要统一托管多种模型推理的问题，支持 BGE、ColBERT 等嵌入模型与信息检索场景，Apache-2.0 协议开源。
GitHub 项目AI 开发与基础设施
MTPLX
在 Apple Silicon 上实现原生 MTP 投机解码加速推理
解决 Apple Silicon 设备本地运行大模型推理速度慢的问题，通过原生 MTP（Multi-Token Prediction）投机解码无需外部 drafter 即可提升 3 倍速度，兼容 MLX 并支持 Qwen 3.8 27B。
GitHub 项目AI 应用与创作
ODS
将个人电脑转为本地 AI 服务器的部署方案
解决 AI 服务依赖云端的问题，集成 LLM 推理、聊天界面、语音、Agent、工作流、RAG 及图像生成，支持 AMD 和 NVIDIA 硬件。
GitHub 项目AI 模型与研究
onnxruntime
跨平台加速 ONNX 模型的推理与训练
解决机器学习模型在不同硬件上部署性能不一致的问题。支持 PyTorch、TensorFlow 等框架导出的 ONNX 格式，提供跨平台硬件加速。适合需要将训练好的模型高效部署到 CPU、GPU 或边缘设备的工程师。
GitHub 项目AI 开发与基础设施
modular
提供 AI 编程语言与推理平台
为 AI 和机器学习工作负载提供统一运行环境。基于 Mojo 语言和 MAX 引擎构建，适合需要高性能 AI 计算基础设施的开发者与研究人员。
GitHub 项目AI Agent 与自动化
adhd
为编码 Agent 提供发散思维与自动剪枝的推理能力
解决 AI 编码 Agent 在复杂任务中陷入单一思维路径、难以处理跨学科创意工作的问题。基于 Claude 和 Codex Agent SDK 构建，通过树状思维发散并行探索多种认知框架，自动评分并剪枝低质量分支，深化有效路径。适合需要 Agent 进行头脑风暴、创意编码或跨领域问题求解的开发者。
GitHub 项目AI 开发与基础设施
omlx
在 Apple Silicon 上本地部署 LLM 推理服务
解决 macOS 端侧运行大模型的显存与效率问题，通过连续批处理和 SSD 缓存优化推理性能，支持从菜单栏直接管理。适合需要在 Mac 上私有化部署 LLM 的开发者。
GitHub 项目AI 开发与基础设施
LTX-2
LTX-2 音视频生成模型的官方推理与 LoRA 训练工具包
解决开发者难以获取官方 LTX-2 模型推理与微调工具的问题，由 Lightricks 官方维护，适合需要基于 LTX-2 进行音视频生成实验或定制化训练的 AI 研究者与工程师。