在AI的发展中，大规模语言模型已经取得了令人瞩目的成果，然而，随之而来的是模型质量和不确定性的问题。如何衡量和改进模型的质量，一直是我们面临的一个挑战。
为了解决这些问题，我们将在这篇文章中，介绍LangChain框架和TruLens工具，它们将帮助我们评估模型的质量，提高模型质量，并能够用量化的方法对抗不确定。
什么是TruLens
TruLens是面向神经网络应用的质量评估工具，它可以帮助你使用反馈函数来客观地评估你的基于LLM（语言模型）的应用的质量和效果。反馈函数可以帮助你以编程的方式评估输入、输出和中间结果的质量，从而加快和扩大实验评估的范围。你可以将它用于各种各样的用例，包括问答、检索增强生成和基于代理的应用。
TruLens的核心思想是，你可以为你的应用定义一些反馈函数，这些函数可以根据你的应用的目标和期望，对你的应用的表现进行打分或分类。例如：
TruLens可以让你在开发和测试你的应用的过程中，实时地收集和分析你的应用的反馈数据，从而帮助你发现和解决你的应用的问题，提高你的应用的质量和效果。你可以使用TruLens提供的易用的用户界面，来查看和比较你的应用的不同版本的反馈数据，从而找出你的应用的优势和劣势，以及改进的方向。
如何在LangChain中使用TruLens来评估模型输出和检索质量
LangChain作为一种新的语言模型框架，它提供了一种有效的部署和管理大规模语言模型的框架。使用LangChain管理模型，不仅可以轻松部署和执行模型，还可以方便地观察模型的内部状态。再结合TruLens的评估工具，我们就可以对模型的质量进行深入理解和改进。
要在LangChain中使用TruLens来评估你的应用，你只需要做两件事：
下面是一个简单的示例，展示了如何在LangChain中使用TruLens来评估一个问答应用：
pip install trulens_eval# 导入LangChain和TruLensfrom langchain.chains import LLMChainfrom langchain.llms import OpenAIfrom langchain.prompts import PromptTemplatefrom langchain.prompts.chat import ChatPromptTemplate,HumanMessagePromptTemplatefrom trulens_eval import TruChain,Feedback, Huggingface, Tru, OpenAI as TruOpenAIfrom trulens_eval.feedback.provider.langchain import Langchaintru = Tru()# 定义一个问答应用的提示模板full_prompt = HumanMessagePromptTemplate(prompt=PromptTemplate(template="Provide a helpful response with relevant background information for the following: {prompt}",input_variables=["prompt"],))chat_prompt_template = ChatPromptTemplate.from_messages([full_prompt])# 创建一个LLMChain对象，使用llm和chat_prompt_template作为参数llm = OpenAI()chain = LLMChain(llm=llm, prompt=chat_prompt_template, verbose=True)# Initialize Huggingface-based feedback function collection class:# Define a language match feedback function using HuggingFace.hugs = Huggingface()f_lang_match = Feedback(hugs.language_match).on_input_output()# Question/answer relevance between overall question and answer.provider = TruOpenAI()f_qa_relevance = Feedback(provider.relevance).on_input_output()# 使用TruChain类来包装chain对象，指定反馈函数和应用IDtru_recorder = TruChain(chain,app_id='Chain1_QAApplication',feedbacks=[f_lang_match,f_qa_relevance])# 使用with语句来运行chain对象，并记录反馈数据with tru_recorder as recording:# 输入一个问题，得到一个回答chain("What is langchain?")# 查看反馈数据tru_record = recording.records[0]# 打印反馈数据print("tru_record:",tru_record)# 启动tru展示控制台tru.run_dashboard()以RAG为例看看TruLens的评估结果
RAG（Retrieval-Augmented Generation）是一种基于LLM的应用，它可以利用检索系统来增强LLM的生成能力。RAG的工作原理是，当给定一个输入时，它会先从一个大规模的知识库中检索出一些相关的文档，然后将这些文档作为LLM的上下文，再使用LLM来生成一个输出。RAG可以用于各种生成任务，例如问答、摘要、对话等。
RAG的优点是，它可以利用检索系统来提供LLM所缺乏的知识和信息，从而提高LLM的生成质量和多样性。RAG的缺点是，它也可能引入一些错误和幻觉，例如检索出不相关或不准确的文档，或者生成与输入或文档不一致的输出。
为了评估RAG的质量和效果，我们可以使用TruLens提供的RAG三角形（RAG Triad）的评估方法。RAG三角形是由三个评估指标组成的，分别是：
RAG三角形的评估方法可以让我们从不同的角度来检验RAG的质量和效果，从而发现和改进RAG的问题。我们可以使用TruLens来实现RAG三角形的评估方法，具体步骤如下：
下面是一个简单的示例，展示了如何在LangChain中使用TruLens来评估一个RAG问答应用：
# 导入LangChain和TruLensfrom IPython.display import JSON# Imports main tools:from trulens_eval import TruChain, Feedback, Huggingface, Trufrom trulens_eval.schema import FeedbackResulttru = Tru()tru.reset_database()# Imports from langchain to build appimport bs4from langchain import hubfrom langchain.chat_models import ChatOpenAIfrom langchain.document_loaders import WebBaseLoaderfrom langchain.embeddings import OpenAIEmbeddingsfrom langchain.schema import StrOutputParserfrom langchain.text_splitter import RecursiveCharacterTextSplitterfrom langchain.vectorstores import Chromafrom langchain_core.runnables import RunnablePassthroughfrom trulens_eval.feedback.provider import OpenAIimport numpy as npfrom trulens_eval.app import Appfrom trulens_eval.feedback import Groundedness# 加载文件loader = WebBaseLoader(web_paths=("https://lilianweng.github.io/posts/2023-06-23-agent/",),bs_kwargs=dict(parse_notallow=bs4.SoupStrainer(class_=("post-content", "post-title", "post-header"))),)docs = loader.load()# 分词text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)splits = text_splitter.split_documents(docs)# 存入到向量数据库vectorstore = Chroma.from_documents(documents=splits, embedding=OpenAIEmbeddings())# 定义一个RAG Chainretriever = vectorstore.as_retriever()prompt = hub.pull("rlm/rag-prompt")llm = ChatOpenAI(model_name="gpt-3.5-turbo", temperature=0)def format_docs(docs):return "\n\n".join(doc.page_content for doc in docs)rag_chain = ({"context": retriever | format_docs, "question": RunnablePassthrough()}| prompt| llm| StrOutputParser())# 使用TruChain类来包装rag对象，指定反馈函数和应用ID# Initialize provider classprovider = OpenAI()# select context to be used in feedback. the location of context is app specific.context = App.select_context(rag_chain)grounded = Groundedness(groundedness_provider=provider)# f_context_relevance, f_groundness, f_answer_relevance 定义反馈函数# Define a groundedness feedback functionf_groundedness = (Feedback(grounded.groundedness_measure_with_cot_reasons).on(context.collect()) # collect context chunks into a list.on_output().aggregate(grounded.grounded_statements_aggregator))# Question/answer relevance between overall question and answer.f_qa_relevance = Feedback(provider.relevance).on_input_output()# Question/statement relevance between question and each context chunk.f_context_relevance = (Feedback(provider.qs_relevance).on_input().on(context).aggregate(np.mean))# 使用with语句来运行rag对象，并记录反馈数据tru_recorder = TruChain(rag_chain,app_id='Chain1_ChatApplication',feedbacks=[f_qa_relevance, f_context_relevance, f_groundedness])with tru_recorder as recording:# 输入一个问题，得到一个回答，以及检索出的文档llm_response = rag_chain.invoke("What is Task Decomposition?")# 查看反馈数据rec = recording.get() # use .get if only one record# 打印反馈数据print(rec)# 启动tru展示控制台tru.run_dashboard()结论
在本文中，我们介绍了如何在LangChain中使用TruLens来对LLM进行评估和优化，以及如何利用TruLens的结果来量化和对抗模型的不确定性。我们通过一个文本生成的任务为例，演示了如何使用TruLens来对模型的输出进行测量和量化，以及对模型的行为进行分析和解释。我们还分享了一个RAG案例代码，用实际指标说明了TruLens的评估结果。
我们也期待，未来有更多的工具和方法，可以对LLM进行更有效的评估和优化，以及更好地量化和对抗模型的不确定性。我们相信，这将有助于推动LLM的发展和应用，以及提升AI语言的水平和价值。
本文转载自，作者：