GPT-4V-Act: 推动人机互动新时代
在技术飞速发展的今天，人机互动正成为科技领域的一大热点。最近，一项名为GPT-4V-Act的新活动引起了广泛关注。这项活动的核心概念是通过接入鼠标和键盘，使GPT-4V能够自动操纵电脑进行各种操作。本文将深入剖析这一新活动的技术原理、实现功能、使用注意事项、网络反响以及未来展望。
技术原理：走进GPT-4V的内核
GPT-4V-Act的核心技术是基于Web浏览器的AI多模态助手，即ChromiumCopilot。
通过这一工具，GPT-4V可以轻松地“看见”网页截图，并与用户进行交互。这一亮眼之处在于，采用了UI界面工具，使得用户与GPT-4V之间的交互更加直观、友好。
为了提高交互准确性，GPT-4V-Act引入了微软发明的Set-of-MarkPrompting（SoM）工具，用于更好地对GPT-4V进行提示词工程。此外，自动标注器（JSDOMauto-labeler）也是不可或缺的一环，它能够标注网页端所有可交互的按键，从而帮助GPT-4V更智能地决定操作步骤。
实现功能和流程：GPT-4V-Act的潜力
目前，GPT-4V-Act已经实现了一系列令人瞩目的功能，包括点击、打字交互、自动标注等。这为用户提供了更多便捷的操作选择，同时也为GPT-4V的潜力展示了一簇新的可能性。然而，令人期待的是，还有其他功能在计划中，比如AI打标器、提示用户输入详细信息等，这将进一步丰富GPT-4V的应用场景。
使用注意事项：谨慎操作，合规使用
然而，正如任何新技术一样，GPT-4V-Act在使用中也可能遇到一些问题。
特别是弹窗广告可能导致的交互bug，这需要用户在使用时保持警惕。此外，作者也警告称，使用GPT-4V-Act时可能违反OpenAI的产品使用规定，因此用户需要在使用时保持低调。
网络反响：赞誉与讨论交织
针对GPT-4V-Act，微软SoM工具的作者对项目给予了高度认可，称其为出色的工作。这一认可不仅体现了技术上的创新，更为GPT-4V-Act的潜力增添了一抹光彩。
在网络上，讨论如何让AI读取验证码成为热门话题，同时对桌面流自动化的想象也成为用户之间的热议。
对于GPT-4V-Act的回应中，作者透露可能会推出更通用的Copilot，同时提到GPT-4V目前是收费的。这无疑引发了一波用户对于未来可能出现的自动化桌面流AI助手的期望，尤其是那些免费的版本。
未来展望：通向更广泛应用的探索
展望未来，作者计划制作更通用的Copilot，而选择使用开源模型Fuyu-8B或LLaVAR。
这一决定不仅对技术的发展具有深远意义，也为用户提供了更多选择。同时，免费的自动化桌面流AI助手有望成为未来的发展趋势，为广大用户带来更多便捷。
参考链接：深入了解GPT-4V-Act
如果读者对GPT-4V-Act产生浓厚兴趣，可以通过访问相关项目的GitHub链接和Reddit讨论链接，深入了解技术细节和用户反馈，获得更全面的信息。
结语：科技前沿，关注QbitAI
最后，引用量子位QbitAI的头条号，鼓励读者关注他们获取前沿科技动态。
