1. 🚀 创新功能: 协作白板应用"tldraw"发布了名为"Make It Real"的功能原型,利用AI将用户绘制的软件图像转化为可运行的代码,使用了OpenAI的GPT-4V API。

  2. 🎨 功能展示: 设计师们通过该功能绘制了旋转屏幕上物体的滑块、更改物体颜色的界面,以及井字棋游戏等,展示了其强大的功能。

  3. 🔐 安全警告: 虽然用户可以在线体验"Make It Real"的实时演示,但需要提供OpenAI的API密钥,存在安全风险。

一款名为"tldraw"的协作白板应用发布了一项名为"Make It Real"的功能原型,引起了开发者社区的热议。该功能利用OpenAI的GPT-4V API,将用户绘制的矢量图转化为可运行的Tailwind CSS和JavaScript web代码,从而复制用户界面或创建类似Breakout的简单游戏。

image.png

体验网址:https://makereal.tldraw.com/

操作演示:https://twitter.com/tldraw/status/1724892287304646868?s=20

设计师Kevin Cannon在一个热门的X线程中发帖称:“我觉得我需要躺下来休息。”他展示了通过"Make It Real"创建的可旋转屏幕上物体的滑块、更改物体颜色的界面以及一个可玩的井字棋游戏。随后,其他设计师也纷纷展示了通过绘制克隆Breakout、制作工作中的刻度钟、画蛇游戏、制作Pong游戏等的演示。

image.png

image.png

用户可以在网上体验"Make It Real"的实时演示,但需要提供来自OpenAI的API密钥,这存在一定的安全风险。文章警告,如果他人截取了API密钥,可能会在用户名下产生大量费用。技术能力强的用户可以在本地运行代码,但仍需要OpenAI API访问权限。

"tldraw"是一款由Steve Ruiz在伦敦开发的开源协作白板工具,提供基本的无限画布,支持绘图、文本和媒体,无需登录。该项目于2021年推出,获得270万美元的种子资金,并得到GitHub赞助支持。Ruiz最近将GPT-4V API的设计原型“draw-a-ui”整合到tldraw中,从而实现了AI驱动的功能。

GPT-4V是OpenAI大型语言模型的一个版本,可以解释视觉图像并将其用作提示。根据AI专家Simon Willison在X上的解释,Make It Real通过“生成绘制组件的base64编码的PNG图像,然后将其传递给GPT-4Vision”,使用系统提示和指令将图像转化为使用Tailwind的文件。

image.png

随着更多人尝试GPT-4V并将其与其他框架结合使用,我们有望在未来几周看到更多OpenAI视觉解析技术的新颖应用。本文还提到,开发者利用GPT-4V API创建了一个由假的AI生成的David Attenborough声音实时叙述视频的实例。

"Make It Real"为未来软件开发或至少界面设计提供了一种可能的新模式,其中创建可运行的原型就像制作视觉模型一样简单,由AI模型完成。开发者Michael Dubakov在展示他自己的Make It Real创作时写道:“好吧,@tldraw官方疯狂了。有趣的是在5年后我们会走向何方...我已经跟不上创新的步伐了。”

免责声明:本网站仅提供网址导航服务,对链接内容不负任何责任或担保。