GPT-4 刚发布,就已经有手机应用接入了!
只需要上传图像,再用语音提出需求,GPT-4 就能帮助视障人士“看清”眼前的世界。
随时随地,实时解读,就像聊天对话一样自然。
例如想要换装,却不知道手里的衣服是什么颜色:
只需要拍照上传给 GPT-4,它很快就能将衣服纹理描述出来,材质、颜色和形状一清二楚:
在此之前,视障人士除了用手触摸以外,辨别物体往往需要依靠身边的人或是志愿者的帮助。
有网友看到后赞叹:这是目前见过最令人惊叹的 GPT-4 应用之一!
所以,加入了图像理解功能的 GPT-4,究竟展现出了哪些能力?
基于 GPT-4 读图能力打造
这个基于 GPT-4 的新功能名叫 Virtual Volunteer,来自应用 Be My Eyes。
目前来看,包括问路、导航、读取菜单、搜索等功能,接入 GPT-4 的 Virtual Volunteer 都能很好地帮用户完成。
例如问路。
只需要拍一张所在地点的照片,再通过语音询问 GPT-4 如何到达指定地点,它就会输出一条完整路线图,“读”给用户听:
又例如读图翻译。
只需要给 GPT-4 看眼物品描述、甚至只是物体形状,它就能搜索并输出这个产品的功能、具体说明和使用方法。
再例如公众场合导航。
想去健身房、却无法掌握空闲的器材位置,只需要拍摄所在场景照片,GPT-4 就能指引你走到无人的器材面前。
当然,还有点菜、使用自动贩卖机买饮料、搜索某种植物的名字、给出时装建议……
只要将需求告诉 GPT-4,它就能帮助视障人士解决对应的问题。
不过,目前这一功能还在测试中,苹果商店可以加入等待列表,至于安卓版也快来了。
搭载它的应用 Be My Eyes,是一个为盲人开发的公益应用。
它最早是一个 2012 年成立的互助社区,并于 2015 年上线 iOS 版本应用,随后又上线了安卓版应用。
这个应用分为志愿者和盲人两个群体,志愿者会接受盲人传过来的照片或视频,通过语音沟通帮助他们解决困难,目前已经有接近 45w + 视障人士和 630w + 志愿者使用。
现在加入 Virtual Volunteer 之后,盲人也可以呼叫“虚拟志愿者”GPT-4 的帮助,不用担心深夜无人应答的问题。
官方还玩了个谐音梗,AI Eyes,“让 AI 成为你的眼睛”:
还当起美版知乎问答 bot
当然,除了 Be My Eyes 应用以外,不少其他 App 也在争先恐后接入 GPT-4。
例如,在美版知乎 Quora 出的 Poe 上,现在已经可以和 GPT-4 聊天:
又像 AI 律师软件 DoNotPay,同样已经接入了 GPT-4,并计划用它来推出“一键诉讼”服务。
值得一提的是,DoNotPay 的 CEO Joshua Browder 表示,他们之前也用 GPT-3.5 做过类似的功能,但效果不太行,GPT-4 则已经能很好地 hold 住这一要求。
甚至已经有网友尝试用 GPT-4 来搞药物发现了……
除了上述应用和功能以外,还有网友察觉到了 GPT-4 开发小游戏的前景。
新的 GPT-4 似乎在编程靠谱度上也有所提升,无论是在 60 秒内做一个打乒乓球小游戏:
还是 20 分钟之内搞出一个完整的贪吃蛇:
都可以说是游刃有余,提出更改需求也可以及时完成,编写的简单程序中基本上没有遇到需要修改的 bug。
你还想到了什么 GPT-4 好玩的应用场景吗?
参考链接: