深度介绍
TextGen详细介绍
🖥桌面应用与便携构建:解压即用
官方当前主打的是原生桌面应用:从 releases 页下载便携包解压后双击启动即可打开窗口,官方为 Linux、Windows 与 macOS 分别提供 CUDA、Vulkan、ROCm 与纯 CPU 版本,依赖全部打包在内,兼容 GGUF(llama.cpp)模型——把模型文件放进 user_data/models 目录就会被自动识别。如果不想用桌面窗口,可以加参数改用浏览器里的 Web UI。需要更多后端、训练、图像生成与扩展时,则要走完整安装:官方提供一键脚本(对应三个系统的启动脚本会引导选择显卡厂商)、Conda 手工安装与 Docker 编排三条路径,完成后浏览器访问本地 7860 端口。
🔀多后端,切换不必重启
官方支持在多个推理后端之间切换:llama.cpp、ik_llama.cpp、Transformers、ExLlamaV3 与 TensorRT-LLM。官方特别说明可以「不重启就切换后端与模型」,这对需要对比不同量化格式与后端性能的使用者很实用。不同后端对应的模型格式也不同:GGUF 走 llama.cpp 系,EXL3 与 16 位 Transformers 模型是多文件目录,需要放进模型目录的子文件夹里,并要求完整安装而非便携包。选型时的经验是:GGUF 兼容性最好、生态最广;ExLlamaV3 在 NVIDIA 卡上通常更快;Transformers 适合试验新架构,但显存占用更高。
💬对话模式、分支与 Notebook
对话侧提供三种模式:面向指令跟随的 instruct、与自定义角色对话的 chat-instruct 与 chat,提示词会按 Jinja2 模板自动格式化。消息可以编辑、在多个版本之间前后导航,也能在任意位置把对话分叉出去另开一条线,便于对比不同回复的走向;另有一个 Notebook 标签页用于脱离对话轮次的自由文本生成。这些功能对写作用户与提示词调试者比参数面板更常用——尤其是版本导航与分支,等于把「重答」变成可回溯的实验,而不是覆盖历史。
🖼视觉与文件附件
多模态支持包括把图片附加到消息里做视觉理解,以及上传文本文件、PDF 与 docx 文档并就其内容提问。对本地部署而言,这条链路的价值在于资料不必经过外部服务:合同、报告与内部文档可以直接投喂给本机模型。实际使用要注意两点:上下文长度会被文档体积迅速吃掉,长文档更适合先切分或摘要;图片与文档的处理依赖所选模型与后端的能力,切换模型后需要重新验证是否仍支持。官方 Wiki 里有多模态教程可供对照。
🔌OpenAI 与 Anthropic 双兼容接口
除了界面,它也是本地的模型服务:官方提供 OpenAI 与 Anthropic 兼容的接口,覆盖对话(Chat)、补全(Completions)与消息(Messages)端点,并支持工具调用,官方把这条路径描述为可在本地替代对应的云端接口。启用方式是在启动参数里打开 API(也可写进 user_data 的启动参数文件持久化),并可进一步配置监听地址、端口、API Key 与公开访问等选项。对已有应用,迁移动作为改基址与模型名;对外暴露时务必设置密钥与访问控制,因为默认配置面向本机使用。
🧰工具调用与 MCP
工具调用是近几个版本的重点:模型可以在对话中调用自定义函数,官方举例包括联网搜索、抓取网页与数学计算,每个工具就是一个单独的 Python 文件,便于自己写;同时也支持模型上下文协议(MCP)服务器。4.9 版本进一步改进了联网搜索——搜索结果现在带摘要片段,常常不必再额外抓取页面;抓取输出也去掉了链接的 Markdown 格式以显著减少 token 消耗,并在界面上给出调用中的转圈提示与生成速度显示。想让本地模型「会查、会算、会取网页」,这条路径的改造成本很低。
🎓内置微调与图像生成
除推理外,官方还内置训练与图像生成两个标签页。训练侧支持在多轮对话数据或原始文本数据集上微调 LoRA,并支持中断后续训,适合做小规模定制;图像生成侧面向 diffusers 模型(官方举例 Z-Image-Turbo),提供 4 位与 8 位量化,以及带图像元数据的持久化图库。把微调与推理放在同一个应用里,省去了在脚本与界面之间来回搬运的麻烦;代价是训练仍需足够的显存,且不同后端的训练支持程度不一致,开工前建议先确认当前后端与显卡组合是否被支持。
🔒隐私、许可与扩展生态
官方对隐私的表述很直接:完全离线、零遥测,不加载外部资源、也不发起远程更新请求,这对内网与受限环境是关键卖点。许可证是 AGPL-3.0——比 MIT 更严格,若把修改后的版本作为网络服务对外提供,需要按该许可开放相应源码,商用集成前应仔细评估。界面上提供深色与浅色主题、代码块语法高亮与 LaTeX 公式渲染;扩展方面既有内置的语音合成、语音输入与翻译等,也有社区维护的扩展目录。需要注意的是项目仓库已从原来的 text-generation-webui 更名为 textgen,旧链接会跳转,找文档时以新仓库为准。
产品特点
核心功能与独有价值
01多后端可切换且无需重启
支持 llama.cpp、ik_llama.cpp、Transformers、ExLlamaV3 与 TensorRT-LLM,官方说明可在不重启的情况下切换后端与模型,便于对比量化格式与性能差异。
02界面与双协议 API 并行
既是桌面应用,也是本地服务:提供 OpenAI 与 Anthropic 兼容的对话、补全与消息端点并支持工具调用,应用侧通常只需改基址与模型名即可接入。
03同一个应用里做推理、微调与图像生成
除对话外还有训练标签页(在多轮对话或原始文本上微调 LoRA,支持断点续训)与图像生成标签页(diffusers 模型、4/8 位量化、带元数据的持久图库)。
04强调完全离线与零遥测
官方明确说明不加载外部资源、不发起远程更新请求、不收集遥测,适合内网与受限环境;许可证为 AGPL-3.0,对外提供修改版服务时需按该许可开放源码。
最近动态
重要更新
v4.9:MTP 推测解码与联网搜索改进
v4.9 加入 MTP 推测解码支持,新增 draft-mtp 作为推测类型选项,并在加载带 MTP 的 GGUF 时自动启用;联网搜索侧加入结果摘要片段,常在搜索结果里就能得到答案而不必再抓取页面,抓取输出去掉 Markdown 链接格式以显著减少 token 消耗,界面还增加了调用中的转圈提示、搜索框说明与实时生成速度显示。
v4.8:输入区重做与桌面端改进
v4.8 重做了聊天输入区:输入框更高,附件与消息操作按钮固定在底部;发送新消息时加入平滑滚动动画;桌面端(Electron)会记住窗口位置与最大化状态,并新增参数可在浏览器里使用界面而不打开桌面窗口;接口侧支持在工具与助手消息里使用列表格式的内容。
v4.7.3:原生桌面应用与界面大改
v4.7.3 让便携构建开始自带桌面运行时并以原生窗口打开,启动方式改为运行 textgen 可执行文件(也可加参数直接起服务而不开窗口);同版本做了较大幅度的界面调整,包括更换默认字体与图标体系、把对话模式选择器改成三段式控件、重做输入区与标签页指示样式,并补充了张量并行等能力。
v4.6 与 v4.6.2:春季的版本节点
发布记录显示 4 月 15 日为 v4.6、4 月 23 日为 v4.6.2。核验时最新的版本记录为 v4.9(2026 年 5 月),此后未见新的发布条目;具体每版的变更条目以官方发布说明为准,升级前建议先在独立目录或虚拟环境中验证后端与模型兼容性。
产品总结
TextGen 是 oobabooga 维护的本地大模型应用,前身是广泛使用的 text-generation-webui,仓库与产品名已统一为 textgen;官方把它描述为「本地大模型的开源桌面应用」,强调文本、视觉与工具调用齐备,同时提供界面与 API 两条入口,并且完全离线、不收集遥测。项目以 AGPL-3.0 许可开源,核验时仓库约有 4.8 万 star,最新版本记录为 v4.9(2026 年 5 月),此前的 4.7.3 版本起便携构建已自带桌面运行时、可直接以原生窗口启动。 能力上它分四块。推理侧支持在 llama.cpp、ik_llama.cpp、Transformers、ExLlamaV3 与 TensorRT-LLM 之间切换,官方说明切换后端与模型不必重启;模型格式涵盖 GGUF 以及需要多文件目录的 EXL3 与 16 位 Transformers 模型。对话侧提供 instruct、chat-instruct 与 chat 三种模式,提示词按 Jinja2 模板格式化,支持消息编辑、版本导航与在任意位置分叉对话,另有脱离对话轮次的 Notebook 标签页。多模态侧可附加图片、上传文本与 PDF、docx 文件并就其内容提问。接口侧提供 OpenAI 与 Anthropic 兼容的对话、补全与消息端点并支持工具调用,官方把它视为可在本地替代对应云端接口的方案。 此外还有两组能力:工具调用允许模型在对话中调用自定义函数(联网搜索、网页抓取、数学计算等,每个工具就是一个 Python 文件),并支持模型上下文协议服务器;训练与图像生成则分别提供 LoRA 微调(可在多轮对话或原始文本数据上训练、支持断点续训)与基于 diffusers 的图像生成(含 4 位与 8 位量化、带元数据的持久图库)。安装方式包括便携构建、一键脚本、Conda 手工安装与针对四种显卡配置的 Docker 编排,完整安装约需 10GB 磁盘空间并会下载 PyTorch。 使用前需要注意:许可证是 AGPL-3.0,若把修改版作为网络服务对外提供需开放相应源码,商用前应评估合规;默认接口面向本机使用,对外暴露要自行配置密钥、监听地址与访问控制;不同后端与模型格式的能力不一致,切换后要重新验证视觉、工具调用与训练是否可用;长文档会快速消耗上下文,建议先切分或摘要;仓库更名后旧链接会跳转到新仓库,查找文档与教程时以 textgen 为准;核验时最新发布记录停留在 2026 年 5 月,跟进新硬件与新模型前建议确认维护状态。
- 产品类型
- 本地大模型桌面应用与推理前端
- 支持平台
- 原生桌面应用(Electron) / 浏览器 Web UI(默认 7860 端口) / 便携构建(Windows、Linux、macOS / OpenAI 兼容 API / Anthropic 兼容 API / Docker(NVIDIA、AMD、Intel、 / Conda 完整安装 / 扩展目录(TTS、语音输入、翻译等)
- 资费模式
- AGPL-3.0 许可免费开源;官方强调离线运行与零遥测,成本只来自自备硬件。
用户体验调查
TextGen介绍页面对您是否有帮助?