会让大模型聊天只是开始。手机最大的优势是摄像头：拍一张照片问它是什么、拍一道题让它讲、拍一顿饭让它算热量；反过来，还能让它画图、把照片变成漫画、看一段视频写摘要。
这个专题用 7 个能直接导入的 App，把这些「多模态」用法一个个做出来：
- 只用国内大模型：DeepSeek、通义千问、豆包，都通过本平台的 LLMAI2Ext 拓展接入，
.aia里已带好拓展。 - 每课一个完整 App：导入后粘贴自己的 API Key 就能用；页面上的每段积木都和
.aia里的逐字一致。 - 难度递进：后一课只比前一课多一两个新概念，最后一课把前面的本事组合起来。
- 安卓、鸿蒙通用：同一个工程可以编译安卓 APK，也可以编译鸿蒙应用。
想先了解原来的「实验」抽屉里 ChatBot / ImageBot 去哪了？它们依赖海外服务，在国内用不了。本专题就是它们的国内替代：ChatBot 的对话与识图对应 DeepSeek / 通义千问，ImageBot 的生图与改图对应豆包。
学习路线
| 课 | 做出来的 App | 新学到的 | 模型 |
|---|---|---|---|
| 第 1 课 | 拍照识物 | 识图 ChatWithImage、先压缩再发、流式拼接、一张图一个对话、追问 |
DeepSeek |
| 第 2 课 | 拍题讲解 | 思考模式、思考与回答分开显示、提示词规定格式 | DeepSeek |
| 第 3 课 | 拍餐估热量 | 让模型回 JSON、截取与容错解析、按天记账 | 通义千问 |
| 第 4 课 | AI 画图 | 文生图、图生图接着改、版本管理、下载与分享 | 豆包 |
| 第 5 课 | 照片变漫画 | 本地照片 → Base64 图片地址、风格提示词 | 豆包 |
| 第 6 课 | 视频摘要 | 视频理解 ChatWithVideoUrl、视频直链的要求、任务下拉框 |
通义千问 |
| 第 7 课 | 照片绘本 | 两个模型接力、两个 Key、分清哪一步出错 | DeepSeek + 豆包 |
建议按顺序学；只想做某一个 App，也可以直接看那一课，每课开头都写了前置要求。
7 课一览
第 1 课 拍照识物
拍一张或选一张，AI 一段段说出这是什么；接着追问，它记得这张图。
新概念：识图、压缩、流式
分步教程 .aia
第 2 课 拍题讲解
拍下作业题，AI 先思考再一步步讲；可以只讲思路不给答案，还能出类似题。
新概念：思考模式、GotReasoning
分步教程 .aia
第 3 课 拍餐估热量
拍下这顿饭，AI 按 JSON 列出食物与热量，App 自己合计并按天记账。
新概念：结构化输出、JSON 容错解析
分步教程 .aia
第 4 课 AI 画图
一句话画图，再一句句接着改；每一版都能退回，满意了下载、分享。
新概念：文生图、图生图、临时链接
分步教程 .aia
第 5 课 照片变漫画
一张照片，一键变成动漫、水彩、像素、黏土四种风格。
新概念：本地照片转 Base64 图片地址
分步教程 .aia
第 6 课 视频摘要
给一个视频链接，AI 写概括、列时间线、抄画面文字、出理解题。
新概念：视频理解、视频直链
分步教程 .aia
第 7 课 照片绘本
一张照片，DeepSeek 写成小故事，豆包画成插画，两个模型接力。
综合：结构化输出 + 生图 + 多轮对话
分步教程 .aia界面图由最终 .aia 执行真实积木生成，是布局预览，不是真机截图；AI 的回答、照片与生成的图片都是示意。
开始前：准备 API Key
| 平台 | 用在哪几课 | 去哪里拿 |
|---|---|---|
| DeepSeek | 1、2、7 | DeepSeek 开放平台，预付费，先充值 |
| 阿里云百炼（通义千问） | 3、6 | 百炼控制台 |
| 火山方舟（豆包） | 4、5、7 | 火山方舟控制台，生图模型 Seedream 要先在「开通管理」里开通 |
每课 App 顶部都有一张「API Key」卡片：粘贴、保存，Key 就存在手机上，下次打开自动读出。不要把 Key 写死在积木里再把 .aia 发给别人——那等于把钱包钥匙送了出去。
7 课学完，你会的套路
| 套路 | 一句话 | 在哪课 |
|---|---|---|
| 识图 | ChatWithImage(提示词, 本地图片)，换图前 StartNewChat |
1、2、3、7 |
| 先压缩再发 | 图片处理「压缩」：识物 1024，读字 1600 | 1、2 |
| 流式拼接 | GotStream 里 join(旧文字, part)，finished 为真时收尾 |
1、2、6 |
| 思考模式 | DeepSeek ThinkingEnabled，思考走 GotReasoning |
2 |
| 结构化输出 | 关流式 → 约定 JSON → 截取 {…} → 字典解码 → 校验 |
3、7 |
| 生图与改图 | GenerateImage / GenerateImageFromUrl，结果在 GotImage |
4、5、7 |
| 本地图转地址 | join("data:image/jpeg;base64,", 转Base64(压缩(图片))) |
5 |
| 视频理解 | ChatWithVideoUrl(提示词, mp4 直链) |
6 |
| 模型接力 | 第一个模型的输出（如画面描述）作为第二个模型的输入 | 7 |
还能怎么组合
学完 7 课，换换提示词和组件，就是新的 App：
- 拍照学英语：第 1 课的提示词改成「用英语说出图中物体的名称，给出音标和一个例句」。
- 拍票据记账：第 3 课的 JSON 换成「商户、金额、日期、类别」，存进微数据库或云数据库。
- 植物识别 + 养护提醒：第 3 课的结构化输出 + 通知。
- 课堂视频出测验：第 6 课的「出 3 道理解题」改成 JSON，再做成答题界面。
- 故事接龙绘本：第 7 课的「换个结局」改成「续写下一页」，每页一张插画，存成列表翻页看。
更多大模型用法（对话、多轮、思考、错误码）见 LLMAI2Ext 拓展文档。
扫码添加客服咨询
