← 知识库目录 和大龙上网导航首页
方案说明 | 2026-10-18
① 采集流程 ② 采集文件清单 ③ 采集量参考 ④ 模型方案

① 员工电脑上的采集流程

U盘插入 → 双击启动 → 自动扫描 → 去重筛选 → 网络判断分流 → 推送/落盘
插U盘到员工电脑 双击★点我★.bat 填 姓名/电话/编号 浏览器自动弹出界面 点【开始采集】 统计文件数→采集中 扫描全部固定盘 C/D/E…跳过系统目录 24种扩展名筛选 SHA256去重·100B~200MB 网络探测 192.168.2.193:18790 ✅ 内网可达 → 直推 /api/init → /api/chunk → /api/complete 中继服务 :18790 按SHA256去重·断点续传 知识库服务 :18791 后续检索/分析/问答 ❌ 内网不通 → 落U盘 复制到 U盘\待补传\ 插回公司内网电脑 开机自动补传 可达 不可达 补传成功 → 进入中继(同线上通道) 界面实时显示(员工可见) 状态大字 · 进度条% · 已用时间 · 预计剩余 · 处理进度X/Y · 当前文件 · 已采集/已推送/落U盘 · 网络状态 全流程有 开始 / 暂停 / 继续 / 停止 控制
说明:以上为采集器实际行为(已在本会话实测确认:推送接口可达、24种扩展名生效、去重逻辑通过验证)。

② 采集什么文件(24种扩展名)

类别扩展名说明
📄 文档.doc .docx .wps .rtf .ofdWord / WPS / 富文本 / 电子公文
📊 表格.xls .xlsx .et .csvExcel / WPS表格 / 数据
📽 演示.ppt .pptx .dpsPPT / WPS演示
📕 PDF/文本.pdf .txt .md扫描件 / 说明书 / 笔记
📐 CAD二维图纸.dwg .dxf .dwf .plt图纸(保留,重要)
🗜 压缩包.zip .rar .7z打包的图纸/合同/资料
✉ 邮件.msg .emlOutlook 往来报价/确认

明确不采

类型原因
图片(jpg/png/gif/bmp)非目标资料,占空间
视频(mp4/avi/mkv)非目标资料,占空间
可执行文件(exe/dll/sys/msi)系统/程序文件
系统目录(Windows/Program Files/AppData/回收站等16类)跳过,不碰系统

③ 采集量参考

电脑类型预计文件数预计容量说明
文员 / 办公机50 ~ 300 个0.1 ~ 2 GB日常文档/表格/邮件
技术 / 图纸岗200 ~ 2000 个1 ~ 20 GB含CAD图纸、PDF、压缩包
单文件上限200 MB—超出自动跳过
按SHA256去重后实际更少;468GB U盘足够装几十台机器的待补传数据。一台普通电脑采集全程约 3~15 分钟。

④ 需要跑模型吗?用什么模型?

员工电脑上不用跑任何模型——采集器只收集文件、不分析内容。模型只用在数据收回来之后的服务器端。

先判断要不要模型

用途要不要模型做法
只存档、按文件名检索不需要直接建文件索引即可
要"问文档内容"(标书问答/资料查询/自动总结)需要RAG 检索增强生成

推荐方案:本地嵌入 + 云端问答(成本最低)

采集文档 PDF/Word/CAD 解析提取文字 去格式/OCR可选 切片 按段落/500字 嵌入向量 bge-m3 本地CPU即可跑 向量库 自建/轻量 云端大模型回答 豆包/DeepSeek API 用户提问 检索TopK相关片段 结合上下文出答案

模型选型与大小

环节模型大小部署方式成本
嵌入(文档转向量)BAAI bge-m3约 2.2 GB本地服务器,纯CPU可跑免费开源
问答 / 总结豆包 Seed2.1(火山方舟 ARK)云端API不用部署按量付费(已有密钥)
问答备用DeepSeek API云端API不用部署按量付费(已有密钥)
不推荐本地 7B/14B 大模型14GB+ 显存需GPU工作站员工电脑/普通服务器带不动

服务器要求

配置项最低要求建议
CPU8 核16 核(嵌入提速)
内存16 GB32 GB
硬盘按数据量2 TB 起(图纸/PDF 体积大)
显卡不需要8G显存卡嵌入提速5~10倍
嵌入耗时参考1万份文档纯CPU数小时;加显卡更快
一句话结论:采集回来的数据,先用免费开源的 bge-m3(2.2GB,本地CPU就能跑)做检索索引;要问答时接已有的豆包/DeepSeek 云端API。不用买大显卡、不用在每台电脑装模型。