All episodes
给我整一个浏览器上的本地多模态助手
00:09:38

给我整一个浏览器上的本地多模态助手

第25周总结(2025年6月13日) 📌 本周重点 2025年已过半 学习了 LangChain 和 Transformer.js,可以在浏览器中运行多模态 AI Agent 🧠 技术要点 LangChain 结构 LangChain:构建 AI 工作流,封装大模型调用 LangSmith:调试和监控工作流 LangGraph:实现复杂、多模态 agent 流程 举例:一句“今天天气如何?”背后其实涉及多个 API 调用(时间、位置、天气)+ 文本生成模型组合。 Transformer.js + ONNX 可在浏览器端运行 Hugging Face 模型(ONNX 格式) 脱离服务器,纯前端推理 实现轻量多模态 AI 交互体验 ⚠️ 技术挑战 模型太大(上百 MB 到几 GB)加载慢 解决方案探索: 使用 Service Worker 的 background fetch 实现断点续传(仅支持 Chrome 系) 用户手动下载模型 + 校验 hash(兼容性更好) 🧪 其他探索 看了 BitECS,准备结合 Babylon.js 写个 ECS Demo 下周尝试评估 ECS 架构在浏览器端的性能表现 ✅ 总结感悟 彻底理解了 AI agent 的结构和工作流 浏览器端跑 AI 是可能的,但仍需解决下载和兼容问题

Listen on Spotify