最近很多的咨询都在问我相同的问题，如何将LLM集成到垂直领域的业务场景。这里提到的场景当然这些场景不再是生成式应用，而是较为专业的领域。我翻了一篇三月份的论文，以这篇论文来回答读者的问题。其实就是要将LLM去其形，而留其意。
LLM的主要战场还是在于自然语言的理解。其一它的特点是大，其二它的内核为Transformer引擎，这种引擎能够在所有的输入中提取有用的关联信息。这些信息可以是自然语言识别，也可以是时序数据，也可以是基于时点的场景快照。其三，它具备一定的推理能力。
它的弱点就是它毕竟还是模型，依赖于数据，而每次接受新的数据，需要重新校正它的认知，这个的功耗还是很大，的确比不上人脑。外挂知识库也是一种办法，只不过和大家考试之前临时抱佛脚一样，还是无法融会贯通。
理解了上面的内容之后，如何将现实场景和LLM结合，若不想自己构建自己的深度学习模型，那么如何依靠现有开源的LLM，那些从一个例子入手：红绿灯。
大都市地区的交通拥堵带来了巨大的挑战，交通信号控制（TSC）系统在这项工作中至关重要。传统的TSC系统基于基于规则的算法或强化学习（RL）设计，在管理城市交通流量的复杂性和可变性方面经常表现出缺陷，受到对陌生场景的适应能力的限制。
这篇论文的研究提出一种思路，将大型语言模型LLMs集成到TSC中，利用其先进的推理和决策能力。论文提出一种混合框架，LLMs该框架通过一套感知和决策工具进行增强，便于对静态和动态交通信息的查询。这种设计将外部LLM交通数据与已建立的TSC方法相结合。研究还涉及了一套仿真系统证明该系统能够适应多种交通环境，而无需额外的培训。外挂知识库RAG在这里替换为感知和决策工具，有点类似代理（Agent）意思。
a展示了传统的TSC系统，其决策是由处理环境输入的算法直接做出的。b描述了研究的LA-Light框架，该框架采用一个LLM来执行交通信号控制的任务。在LA-Light中，首先LLM从增强的集合中选择最相关的工具，包括感知工具和决策算法，以收集和分析交通数据。然后它评估信息，根据需要调整其工具选择，直到制定明确的交通控制决策。
直观一点界面如上。这篇论文的好处在于可以举一反三，从其中可以学习抽象出读者所处各个领域的场景应用框架。
首先先定义任务(Task)，然后定义环境(Enviroment)，这里很关键。在实际的业务场景中存在很多的时点数据。怎么理解时点数据，可以想象一下，每隔1s将时间暂停，那么就有了一个快照数据。如何定义这个场景快照需要架构师的智慧，尤其是对于业务的理解。上图每1s的交通图就是一个快照数据。
紧着这定义动态指标数据<例如实时的交通数据，其他车辆数据，时点的拥堵指标体系>，这里涉及到了实时数据仓库。还有就是整合一些横向的时点信息，包括潮汐车道，道路维度，引流等规则、策略和最新事件。当然也可以给它提供这个领域的封装好的工具库，让其自行选择调用辅助评估。
将上面的这些信息和数据按照一定的提示模板进行拼接，然后形成Prompt丢给大模型，获取结果。
很多读者会发问，这是否可行。其实是可行的，但是精确度一开始肯定是不高的。不过这个过程最重要的是将时点数据进行及时的采集、存储和标注，无论是实时采集，还是上下文的横向数据，它们就是宝贵的数据资产。FSD最强大的还是在于它的道路数据和标注数据，因为这些数据可以用来训练，也可以用来仿真。未来数据达到一定的规模，读者可以考虑自行微调大模型，或者直接构建仿真系统，毕竟八卡或者十六卡的顶流GPU还是能供得起的~
本文转载自，作者：