# 龙辉起重 U盘数据采集器 · 全流程与模型方案

> 分类：方案说明 | 日期：2026-10-18
> 状态：采集器已在U盘实装，推送接口实测可用（192.168.2.193:18790）

---

## 一、采集流程（员工电脑上会发生什么）

```
插U盘 → 双击【★点我-开始采集★.bat】 → 浏览器自动弹出界面
    → 操作员填：姓名 / 电话 / 电脑编号
    → 点【开始采集】
    → 扫描本机全部固定盘（C/D/E…），跳过系统目录
    → 按 24 种扩展名筛选（文档/表格/PPT/PDF/CAD/压缩包/邮件）
    → SHA256 去重 + 大小过滤（100字节 ~ 200MB）
    → 网络探测 192.168.2.193:18790
        ├─ 可达 → 直推（init → chunk → complete 分块上传）
        └─ 不可达 → 复制到 U盘\待补传\（回内网自动补传）
    → 中继服务 :18790 → 知识库服务 :18791 → 后续分析
```

**界面上实时显示**：状态大字、进度条百分比、已用时间、预计剩余、处理进度（X/Y）、当前文件路径、已采集/已推送/落U盘统计、网络状态（内网可达·直推 / 内网不通·落U盘）。

## 二、采什么文件（24 种扩展名）

| 类别 | 扩展名 | 说明 |
|---|---|---|
| 文档 | .doc .docx .wps .rtf .ofd | Word/WPS/富文本/电子公文 |
| 表格 | .xls .xlsx .et .csv | Excel/WPS表格/数据 |
| 演示 | .ppt .pptx .dps | PPT/WPS演示 |
| PDF/文本 | .pdf .txt .md | 扫描件/说明书/笔记 |
| CAD二维 | .dwg .dxf .dwf .plt | 图纸（保留，重要） |
| 压缩包 | .zip .rar .7z | 打包的图纸/合同 |
| 邮件 | .msg .eml | Outlook往来报价 |

**不采**：图片、视频、exe/dll/系统文件、Windows/Program Files/AppData/回收站等系统目录。

## 三、采集量参考

| 电脑类型 | 预计文件数 | 预计容量 |
|---|---|---|
| 文员/办公机 | 50 ~ 300 个 | 0.1 ~ 2 GB |
| 技术/图纸岗 | 200 ~ 2000 个 | 1 ~ 20 GB |
| 单文件上限 | 200 MB | 超出跳过 |

按SHA256去重后实际更少；468GB U盘足够装几十台机器待补传数据。

## 四、需要跑模型吗？用什么模型？

**员工电脑上不用跑任何模型**——采集器只负责收集文件，不分析内容。

数据收回来后，**要不要模型取决于用途**：

| 用途 | 要不要模型 | 做法 |
|---|---|---|
| 只存档、按文件名检索 | 不要 | 直接建索引即可 |
| 要"问文档内容"（标书问答/资料查询/自动总结） | 要 | RAG 检索增强生成 |

**推荐方案（成本最低）**：

```
采集文档 → 解析（PDF/Word/CAD文字） → 切片 → 嵌入向量（bge-m3，本地跑）
→ 向量库（自建） → 用户提问 → 检索TopK → 拼上下文 → 云端大模型回答
```

| 环节 | 模型 | 大小 | 部署方式 |
|---|---|---|---|
| 嵌入（文档转向量） | BAAI bge-m3 | 约 2.2 GB | 本地CPU即可跑，免费开源 |
| 问答/总结 | 豆包 Seed2.1（火山方舟ARK） | 云端API | 不用部署，按量付费 |
| 问答备用 | DeepSeek API | 云端API | 不用部署 |

**服务器要求**：8核16G内存起步、硬盘按数据量（建议2TB+）。纯CPU跑bge-m3嵌入：1万份文档约需数小时；加一张8G显存显卡可提速5~10倍。

**不建议**：在员工电脑或普通服务器本地部署7B/14B大模型——硬件带不动、维护成本高，直接用云端API更划算。

---

*本文档为说明文件，采集器安装包与配置见 U盘 内文件（collector.py / config.txt / ★点我-开始采集★.bat）。*