随着Chat GPT的大热,AIGC成为当下人工智能领域最热门的发展方向,基于AI大模型的训练,利用现有的数据、算法和算力,生成更多数据或进行创作等等。但不管是大家熟知的Chat GPT,还是百度的文心一言,都是需要强大的云端算力所支撑才能实现。而与那些依靠遥远的云端算力不同,英特尔则致力于让生成式AI在个人电脑上落地,通过本地设备的算力来实现这些。
在今年早些时候的一次技术分享会上,英特尔曾展示过基于OpenVINO,AI绘图开源模型Stable Diffusion可以使用开源图片编辑软件GIMP,在英特尔锐炫A750、A770等显卡上流畅运行,通过输入简单的文字,仅需很短的时间变可以实现创意绘图,帮助用户提升效率。
而最近的技术分享会上,英特尔更加详细的展示了它们在端侧AIGC的布局和成果,它们提供了从硬件到软件的全面支持。首先是硬件层面,以目前第12代、第13代英特尔酷睿处理器和英特尔锐炫A系列显卡为代表的英特尔多款客户端芯片,都可以满足生成式AI(AIGC)对于高算力的需求。同时,英特尔还通过软件生态的构建和模型优化,进一步推动新兴的生成式AI场景在个人电脑的落地,广泛覆盖轻薄本、全能本、游戏本等个人PC设备上。
英特尔基于OpenVINO PyTorch后端的方案,通过Pytorch API让社区开源模型能够很好地运行在英特尔的客户端处理器、集成显卡、独立显卡和专用AI引擎上。像刚刚提到的Stable Diffusion,已经能通过上述方式,在英特尔客户端平台的CPU和GPU(包括集成显卡和独立显卡)上运行FP16精度的模型,用户可以在文字生成图片、图片生成图片以及局部修复等功能上获得良好的使用体验。
除此之外,英特尔还通过模型优化,降低了模型对硬件资源的需求,进而提升了模型的推理速度,让社区开源模型能够很好地运行在个人电脑上。英特尔通过第13代英特尔酷睿处理器XPU的加速、low-bit量化以及其它软件层面的优化,让最高达160亿参数的大语言模型,通过BigDL-LLM框架运行在16GB及以上内存容量的个人电脑上,这点实属不易了。尽管相比于GPT-3高达1750亿的参数量还有着数量级的差距,但毕竟它靠的只是一台个人电脑,而GPT-3的背后可是上万颗英伟达V100芯片。
英特尔适应了当下快速发展的大语言模型,兼容目前HuggingFace上的Transformers模型。已经验证过的模型包括但不限于:LLAMA/LLAMA2、ChatGLM/ChatGLM2、MPT、Falcon、MOSS、Baichuan、QWen、Dolly、RedPajama、StarCoder、Whisper等。此外,英特尔还提供了易用的API接口(Transformers、LangChain),并支持Windows、Linux的操作系统。
在活动现场,笔者看到了依靠PC端侧算力的一些AIGC的演示案例,比如在一台搭载酷睿i7-13700K+Arc A750显卡的台式机上(选择ChatGLM2-6b模型),就可以实现非常丰富的功能,像聊天助手、情感分析、故事创作等,生成文字回答的速率都比较理想。在聊天助手功能下,它做到了首个token first latency时间为215.3ms,后续After latency为55.63ms/token,生成的速度完全可以追上普通人的阅读速度,体验还是OK的。之后还测试了情感分析功能,first latency时间为249.8ms,After latency 56.01ms/token,生成速度同样蛮快的。而在Stable Diffusion的图片生成这块,512x512分辨率的一张图耗时在2秒左右。
前段时间,Tom's Hardware还使用Automatic1111 WebUI OpenVINO测试了Arc A770 16GB和Arc A750的AI性能。与5月份相比,两款显卡8月份的测试结果发生了很大的变化,与之前均落后于RTX 4060不同,如今它们均实现了一定幅度的超越,而且Arc A770 16GB已经接近RTX 4060Ti了。两者在硬件性能这块是肯定不如RTX 4060的,而AI性能的领先应该要得益于英特尔在软件层面的持续优化。
当然,除了搭载独显的台式机能够玩AIGC外,轻薄本一样是OK的,现场这台设备搭载了酷睿i7-13700H处理器,拥有96EU的Iris Xe核显,同样能够通过基于AI绘图开源模型Stable Diffusion使用开源图片编辑软件生成图片,一张512x512分辨率的图片生成花费的时间为17秒左右,相比于Arc A770独显的2秒算不上快,复杂的描述则需要等待更长的时间。我觉得基本在可用的这个级别上,对于这样一台轻薄本来说已经非常不容易了。
值得一提的是,英特尔的下一代处理器Meteor Lake具备独特的分离式模块架构的优势,为PC用户提供了以AI驱动的新功能,像Adobe Premiere Pro中的自动重新构图和场景编辑检测等多媒体功能,并实现更有效的机器学习加速。它们会和产业合作伙伴一起向着规模化应用AI加速转型的方向前行,后续几代产品也将继续拓展AI能力,让更多享受到AI所带来的体验升级。
写在最后
目前来看,英特尔在终端侧AIGC这块已经进行了非常多的布局,致力于推动生成式AI在个人PC上的落地,它们不仅提供了强大的硬件基础,还通过模型优化降低硬件资源的需求,让更多开源模型能够运行在个人PC上,13代酷睿处理器已经能够支持高达160亿参数的大语言模型。从现场的演示可以看出,我觉得目前端侧的AIGC已经具备了一定的可用性和应用场景,下一步则需要去落实到具体的应用和功能上,在实际的场景中发挥作用。英特尔也表示,目前正与PC产业众多合作伙伴通力合作,致力于让广大用户在日常生活和工作中,通过AI的辅助来提高效率,进而带来给革新性的PC体验,大家可以期待一下。
相关阅读