如影随形

在嵌入式应用中部署生成式AI，恩智浦有个好方法

发布时间：2024-12-09 17:12编辑：[db:作者]浏览（172）

本文援用地点：迩来，与AI相干的周期性热门多少乎都缭绕着年夜言语模子 (LLM) 跟天生式AI模子，如许的趋向反应出这些话题比年明天将来益加强的影响力跟遍及水平。与年夜言语模子跟天生式AI模子相干的利用涵盖了普遍的范畴，从开放式谈天呆板人就任务型助手。固然LLM重要聚焦基于云跟效劳器真个利用，但人们对在嵌入式体系跟边沿装备中安排这些模子的兴致也在一直增添。嵌入式体系 (如家用电器、产业装备、汽车等装备中的微处置器) 须要在本钱跟功耗受限的情形下，顺应无限的盘算才能跟内存可用性。这使得在边沿装备上安排高精度跟高机能的言语模子极具挑衅性。在边沿装备上安排LLM在嵌入式处理计划中，应用LLM的一个要害范畴是操纵员与呆板之间的天然对话交互，即人机界面 (HMI)。嵌入式体系能够简化种种输当选项，如麦克风、摄像头或其余传感器，但年夜少数体系不会像团体电脑、条记本电脑跟手机那样，装备完全的键盘与LLM模子停止交互。因而，嵌入式体系在应用音频跟视觉作为LLM输入时，必需具有适用性。这须要一个主动语音辨认 (ASR) 或图像辨认跟分类的预处置模块。同样，交互的输出选项也无限。嵌入式处理计划可能不屏幕，或许不便利用户浏览屏幕信息。因而，在天生式AI模子之后，须要一个后处置步调，应用文本到语音 (TTS) 算法将模子输出转换为音频。恩智浦正在构建eIQ GenAI Flow，经由过程增加须要的预处置跟后处置模块，使其成为一个模块化流程，从而使边沿天生式AI愈加适用。天生式AI正在转变嵌入式利用。浏览恩智浦对于检索加强天生 (RAG) 的白皮书，懂得这种方式怎样简化LLM的开辟进程。经由过程LLM改革利用经由过程集成基于LLM的语音辨认、天然言语懂得跟文本天生功效，嵌入式装备可能供给更直不雅跟对话式的用户休会。这包含呼应语音下令的智能家居装备、经由过程天然言语把持的产业机器，以及可能停止免提对话的汽车文娱中控体系，以领导用户或操纵车内功效等。LLM还在安康利用中的嵌入式猜测剖析跟决议支撑体系中施展感化。装备能够嵌入应用特定范畴数据练习的言语模子，而后应用天然言语处置剖析传感器数据、辨认形式并天生看法，同时在边沿及时运转并维护患者隐衷，无需将数据发送到云端。应答天生式AI挑衅在嵌入式情况中安排正确且功效强盛的天生式AI模子面对很多挑衅。须要优化模子的巨细跟内存应用，使LLM可能顺应目的硬件的资本限度。存在数十亿个参数的模子须要数千兆字节的存储空间，而在边沿体系中，这可能会带来高本钱且难以实现。量化跟修剪等模子优化技巧不只实用于卷积神经收集，也实用于转换器模子——这是天生式AI战胜模子巨细成绩的主要方式。像LLM如许的天生式AI模子也有常识范围性。比方，它们的懂得是无限的，平日会供给纷歧致的谜底，也称为“幻觉”(hallucination)，并且它们的常识受限于练习数据的时效性。练习模子或经由过程再练习来微调模子能够进步正确性跟高低文感知，但这可能在数据网络跟所需的练习盘算方面破费宏大。荣幸的是，有需要就有翻新；经由过程检索加强天生 (RAG) 能够处理这个成绩。RAG方式应用特定高低文数据创立常识数据库，LLM能够在运转时参考这些数据来正确答复查问。eIQ GenAI Flow将天生式AI跟LLM的上风以适用的方法利用于边沿场景。经由过程将RAG整合到该流程中，咱们为嵌入式装备供给特定范畴的常识，而不会将用户数据裸露给原始AI模子的练习数据。如许能够确保对LLM的任何变动都是私密的，而且仅在边沿当地应用。本文作者Ali Ors，恩智浦半导体边沿处置AI呆板进修策略技巧主管。Ali专门担任引导各跨本能机能团队，为呆板进修跟视觉处置范畴供给翻新产物跟平台。他现在在恩智浦担任寰球AI呆板进修策略跟技巧任务。Ali曾在恩智浦汽车营业部担任ADAS跟自立产物的AI策略、策略搭档关联跟平台计划。参加恩智浦之前，Ali曾担负CogniVue公司的工程副总裁，担任开辟视觉SoC处理计划跟认知处置器IP内核。Ali持有加拿年夜渥太华卡尔顿年夜学的工程学学位。 　　申明：新浪网独家稿件，未经受权制止转载。 -->