不知道大家有没有被前段时间豆包手机震撼到，可以让你通过自然语言和手机进行交互，让手机自动帮你完成各种操作，比如全网比价、点外卖、打游戏等等。
然而，豆包手机目前还处于内测阶段，且已经被各大厂商给封禁了。
对于没有豆包手机，但是也想体验一把使用自然语言操作手机的兄弟们来说，Open-AutoGLM应该是比较好的选择。
今天，手把手教大家怎么用 Open-AutoGLM 来操作安卓手机，并用它来自动打游戏！
一、什么是Open-AutoGLM
Open-AutoGLM是一个开源的手机端智能助理框架，它能够以多模态方式理解手机屏幕内容，并通过自动化操作帮助用户完成任务。
系统通过 ADB(Android Debug Bridge)来控制设备，以视觉语言模型进行屏幕感知，再结合智能规划能力生成并执行操作流程。
用户只需用自然语言描述需求，如“打开小红书搜索美食”，Phone Agent 即可自动解析意图、理解当前界面、规划下一步动作并完成整个流程。
系统还内置敏感操作确认机制，并支持在登录或验证码场景下进行人工接管。同时，它提供远程 ADB 调试能力，可通过 WiFi 或网络连接设备，实现灵活的远程控制与开发。
二、说明
文中所涉及的技术、思路和工具仅供以学习交流使用，任何人不得将其用于非法用途以及盈利等目的，否则后果自行承担。
三、实战
接下来，给大家介绍一下如何部署Open-AutoGLM，并使用 Open-AutoGLM 来实现自动完成「梦幻西游」的每日任务！
3.1 安装 ADB
这个项目主要是通过 ADB来控制手机，需要先安装一个 ADB。
ADB 是安卓开发的必备工具，能够让开发者通过命令行来操作手机，ADB 可以直接在安卓的官网下载并安装：
MacOS可以直接通过 brew install adb来进行安装，其他操作系统大家可以自行搜索安装方法。
安装完成之后，在命令行输入 adb 命令，如果出现下面的内容，说明安装成功：
3.2 部署
首先克隆项目：
git clone https://github.com/zai-org/Open-AutoGLM.git
然后进入到项目根目录：
cd Open-AutoGLM
安装 Python 环境，小白可以直接安装 Anaconda3：
安装完成之后执行下面的命令安装项目的依赖库和项目本身：
pip install -r requirements.txt
pip install -e .
这样就部署好了。。。
3.3 安卓系统
下面用一个安卓虚拟机来进行演示：
在安卓系统中安装ADB Keyboard：
https://github.com/senzhk/ADBKeyBoard/blob/master/ADBKeyboard.apk
安装完成之后，在「设置」、「系统」、「语言和输入法」、「屏幕键盘」中，添加上 ADB Keyboard:
下面安卓系统就准备好了。
3.4 申请API-Key
由于大多数人本地没有太大的显存，所以这里使用智谱 AI 提供的远程大模型。
首先需要申请 API-Key，点击下面的链接进行注册并登录：
https://www.bigmodel.cn/glm-coding?ic=JDGYP0RKFG
新用户默认赠送 2000w 的 token。
然后在API Key 中添加一个 API-Key：
这样 API-Key就准备好了
3.5 启动
在启动之前，可以使用adb devices来验证一下能否识别到安卓设备：
出现下面的内容说明已经识别到，如果没有的话，可以在手机设置或者虚拟机设置中打开 ADB 调试。
然后输入下面的命令就可以开始执行了：
python main.py --base-url https://open.bigmodel.cn/api/paas/v4 --model "autoglm-phone" --apikey "这里替换成你自己的 api-key" "打开梦幻西游手游,完成宝图任务"
可以在命令行看到大模型思考、执行的过程：
可以看到大模型自己正常打开了游戏：
能够识别到游戏的内容：
并且自动找到了宝图任务的入口：
并自动开始执行起任务来：
除了打游戏，还能做其他人类能做的事情！比如点外卖、自动记笔记等等！
好了，今天的介绍就到这里，大家感兴趣的话快去试试吧！
支付宝微信扫一扫，打赏作者吧～本文链接：https://www.kinber.cn/post/6091.html 转载需授权！
推荐本站淘宝优惠价购买喜欢的宝贝:
您阅读本篇文章共花了： 