AI 导入案例
「想在业务中使用 ChatGPT。但又不能把客户数据和自家代码发送给外部的 AI 服务」——这是在许多企业都能听到的烦恼。这次要讲的,是把一台在仓库里沉睡的退役自加密货币挖矿的二手 PC改造成全体员工都能使用的「企业专属 ChatGPT」的实录。额外的硬件投入几乎为零。搭建工作由 AI 智能体(Claude)主导,实际工时 2 天。
素材是「4 张过时的二手 GPU」。
所使用的,是数年前挖矿热潮中完成使命、就此退役的 PC。搭载的 GPU 是 4 张 AMD Radeon Vega 56/64——既不是最新的 AI 专用 GPU,甚至都不是 NVIDIA 出品。这是一份完全偏离世人对「AI 服务器」常识的素材。
但 4 张显卡合计的显存有 32GB。AI 智能体正是着眼于此,设计出一套用开放的图形与计算 API「Vulkan」来绕开无法使用 AI 标准手段(CUDA)这一限制的架构。可与 2024 年的 GPT-4o 相媲美,成功让包含一款该级别开放模型(300 亿参数级)在内、按用途划分的 3 个 AI 模型同时运行。
- 日常聊天用(7B):每秒 43 个 token——体感速度与 ChatGPT 相当
- 高级代码生成与设计咨询用(30B 级):每秒 30 个 token——GPT-4o(2024)级别的聪明程度
- 编辑器内代码补全用(1.5B):每秒 127 个 token——如同 GitHub Copilot 般的输入补全
界面是与 ChatGPT 极为相似的 Web UI。员工只需打开浏览器,就能一边切换模型一边使用。工程师还在 VS Code 中引入了 Copilot 风格的自动补全。所有处理都在公司内部完成,数据一个字节都不会流向外部。
搭建的主角是 AI 智能体,人则专注于做判断。
这次的搭建,正是本公司所践行的「AI 驱动开发」本身。操作系统的安装、推理引擎的构建、网络隔离设计、故障排查——动手的都是 AI 智能体。人所承担的,只有关键节点的决策,以及物理操作(如重新插拔线缆等)。
尤其值得一提的是故障处理。搭建过程中,其中一张老 GPU 出现异常,反复中断通信。AI 智能体从内核日志中定位出故障部位,并通过风扇转速来指示「是哪个物理插槽上的卡」,引导人去更换。不仅如此,它还进一步做好了即便 GPU 今后再发生故障、网络也不会中断的设计(固定 MAC 地址),以及每 5 分钟检测一次异常并自动恢复的监控。如今这台服务器已处于只需通电、全部服务便自动启动的「可以撒手不管」的状态。
安全设计以「被入侵为前提」。
为了在公司外也能使用,我们将其对互联网公开,但设计上以「万一被入侵也不让损害扩大」为前提。服务器被隔离在专用网络(DMZ)中,构成上完全无法触及公司内的其他系统。账号采用管理员审批制,通信全部加密。对攻击者而言是一台「进来了也一无所获」的服务器。
花了多少钱,又得到了什么。
- 硬件额外投入:几乎为零(复用了现有的闲置矿机 PC)
- 搭建周期:实际工时 2 天(含故障处理与安全设计)
- 运行成本:仅电费(已通过 GPU 功耗限制实现省电)。API 使用费固定为零日元、且不限量
- 所得到的:全体员工都能使用的企业专属 AI 聊天,外加面向开发者的代码补全平台
即便不是最新的 GPU、即便不是 NVIDIA,只要方法得当,也能打造出「达到实用级别的企业 AI 平台」。而其本质,其实在于面对处处受限的硬件时,能否迅速找出正确的架构,并把跌倒了也能重新爬起来的机制一并做扎实——而这,恰恰是 AI 智能体最擅长的工作。
「我们那台闲置的机器」,说不定也能变成 AI 平台。
「因为数据不能外流,只好放弃 AI 应用」「云端 AI 的 API 费用捉摸不定」「手上有闲置的服务器或游戏 PC」——只要有一条对得上,那么企业 AI 平台离你比想象中要近得多。
本公司提供利用您手边闲置硬件搭建「企业专属 AI 平台」的支持服务。
对现有设备的适用性诊断免费。可与遗留系统的革新(AI Re: Platform/简称:AIR Platform)一并,欢迎立即咨询。
咨询表单(请注明「希望咨询企业 AI 平台」)/ info@flagship-ai.jp
系列「Legacy to AI 实录」
- 总集篇:一台 PC 打造 22 套系统、24.6 万行 ― AI 开发 3.5 个月的实测记录
- 实录①:约一周将 20 年老 Java 系统彻底革新
- 实录②:不改动现有代码一行,为核心系统打造全新入口
- 实录③:将一个月级别的架构评估,用 2 天原型+实测搞定
- 实录④:旧矿机 PC 2 天变身「企业专属 ChatGPT」(本文)
※本文中的数据为截至 2026 年 8 月的实测值。搭建成果因硬件状态与需求而异。