白嫖 32G 显存,部署一个完全属于你的大模型|五个坑的调试复盘
老顾聊AI
0:00 / 0:00
白嫖 32G 显存,部署一个完全属于你的大模型|五个坑的调试复盘
171 просмотр · 4 дн. назад
老顾聊AI
11 подписчиков
171 просмотр · 4 дн. назад
📖 本期图文教程(可复制命令 + 完整步骤)
👉 https://laogutalksai.duckdns.org/post...
━━━━━━━━━━━━━━━━━━━━
▶ 上一期(第 9 期)· 零成本做一部 AI 科幻短剧: • 一分钱没花,我做了部 10 分钟 AI 科幻短剧|《黑曜石协议》全流程拆解
━━━━━━━━━━━━━━━━━━━━
📓 完整 Notebook:https://www.kaggle.com/code/jackguai/...
📌 这一期不讲顺利的流程,讲我跑通之后卡过的五个坑。
━━━━━━━━━━━━━━━━━━━━
🎯 一块三十二 G 显存的显卡,每周免费用三十个小时,价格是零。
不用买卡,不用租服务器,不用有公网 I P。
这一期我在 Kaggle 上跑 Ollama + qwen2.5:7b,再用 Cloudflare Tunnel 暴露成公网地址,让我电脑上的客户端直接连进去。
━━━━━━━━━━━━━━━━━━━━
⚠ 但我跑通之前卡了整整一个晚上。
报错就一句:「context canceled」。
它至少对应三种完全不同的原因。
这一期把这五个坑原原本本讲出来,附我当时真实的报错和我最后怎么解决的。
📋 章节
00:07 开场:32G 显存,每周 30 小时,零元
00:48 全流程:四步,从注册到接入
01:31 第一步 · Kaggle:注册与配额
02:12 坑一 · 点下「开始」,就在扣时间
02:53 第二步 · 装 Ollama,把模型拉下来
03:40 坑二 · 后台进程被自己的日志憋死
04:27 坑三 · 一个 Cell 卡住,整页全排队
05:12 坑四 · 模型名写错,报错是「超时」
05:56 第三步 · Cloudflare Tunnel:一行命令拿到地址
06:40 坑五 · context canceled:三种完全不同的原因
07:25 第四步 · 把地址填进客户端
08:10 收尾 · 一份可复用的排查清单
━━━━━━━━━━━━━━━━━━━━
🔧 四步链路
━━━━━━━━━━━━━━━━━━━━
① 开 GPU —— Kaggle Notebook(免费 30h/周,2×T4 16G)
② 装 Ollama 拉模型 —— 一行安装,qwen2.5:7b
③ 打通公网 —— Cloudflare Tunnel 一行命令拿到 trycloudflare.com
④ 本地接入 —— 任何 OpenAI 兼容客户端(Cherry Studio / VS Code / Cursor)
━━━━━━━━━━━━━━━━━━━━
🚧 五个坑(每个都附真实报错与解法)
━━━━━━━━━━━━━━━━━━━━
坑一 · 开始会话 = 开始计时
现象:先点开始再想命令,浪费两小时配额
解法:本地先写好脚本 → 本地验证 → 点开始 → 一次性跑完
坑二 · 后台进程被自己的日志憋死
报错:服务跑一段时间自己卡住,无任何输出
原因:stdout=subprocess.PIPE 但不读,缓冲区写满 64 KB 后进程挂起
解法:stdout=DEVNULL 或写文件
坑三 · 一个 Cell 卡住,整页全排队
现象:跑完 cloudflared 之后 ollama list 永远转圈
原因:所有 Cell 共用一个内核,前台阻塞导致后续全部排队
解法:感叹号开头的命令全改成 subprocess.Popen 后台子进程
坑四 · 模型名写错,报错却是「超时」
报错:context canceled(不是 model not found)
原因:qwen3:8b 不存在,Ollama 尝试拉取 → 一直挂着 → 前端超时断开
解法:永远从 `ollama list` 输出里复制名字,一个字符都别手敲
坑五 · context canceled:三种完全不同的原因
原因 ①:客户端超时(默认 100s 太短)
原因 ②:跨域被拒(缺 OLLAMA_ORIGINS=* 与 OLLAMA_HOST=0.0.0.0:11434)
原因 ③:Host 头不匹配(启动隧道时缺 --http-host-header localhost:11434)
解法:按 本地 curl → 公网 curl → 填客户端 这个顺序逐个排除
━━━━━━━━━━━━━━━━━━━━
📝 真实性说明
━━━━━━━━━━━━━━━━━━━━
这五个坑没有一个是关于大模型本身的。
难的不是模型,是它周围那一圈管道。
报错不可怕,可怕的是你怀疑错了地方 —— 一旦怀疑错方向,一个小时就这么没了。
另外说明:所有命令行、报错截图、解法都是我实跑过一遍的过程,没有写我没验证过的东西。
━━━━━━━━━━━━━━━━━━━━
🛡 关于 Kaggle / Cloudflare
━━━━━━━━━━━━━━━━━━━━
· Kaggle 每周 30 小时免费,每周一自动重置
· Cloudflare 无账号的临时隧道没有可用性保证 —— 只适合测试
· 想要固定地址,注册 Cloudflare 账号,改用命名隧道
━━━━━━━━━━━━━━━━━━━━
🔁 下一期我会把每一步单独拆开讲:
怎么挑选适合自己显卡的模型,怎么用脚本化把整套流程固化下来。
如果你也想试一次,从打开 Kaggle 开始就行 ——
先跑通一个 hello,剩下的,都是重复。
(影视解说系列只发 B 站,AI 系列在这里和 B 站同步更新。)