在LLM应用开发中，一个关键任务是构建高质量的提示，因为提示的质量直接影响LLM的性能表现。而其中至关重要的部分是上下文背景信息，RAG中的检索目的也正是为构造这些背景素材。
现在，我们将关注一个衍生问题：如何将复杂结构的内容仓库（如代码库、网站等）转换为LLM友好的格式，以便后续使用。
以代码库为例，开发者们普遍面临以下痛点：
在这一领域，有一个代表性项目repo2txt[1]，它可以将GitHub中的Repo转换为格式化的文本文件，方便LLM理解并作为提示使用。
repo2txt的核心特性包括：
访问repo2txt.simplebasedomain.com[2]即可直接使用这个工具。用户可以选择要包含的文件或目录，然后生成格式化的文本文件。值得一提的是，它在浏览器端直接运行，拉取代码到本地，不涉及后端交互，从而保障了代码隐私。
此外，还有一些同类项目值得关注，如files-to-prompt[3]和code2prompt[4]。
对于更泛化的场景，如复杂网站，保存成一个文件同样繁琐，而libcrawler是一个很好的解决方案，它是一个文档爬虫和转换器，能爬取文档网站并将页面转换为单一的Markdown文档。与之类似的还有更早的SingleFile[5]，对LLM和日常工作都有很大帮助。
参考资料
[1]repo2txt:
[2]repo2txt.simplebasedomain.com:
[3]files-to-prompt:
[4]code2prompt:
[5]SingleFile:
本文转载自，作者：
© 版权声明