原文作者：jlwhoo7，加密 Kol
原文编译：zhouzhou，BlockBeats
编者按：本文分享了有助于提高 AI 代理性能的工具和方法，重点在于数据收集和清洗。推荐了多种无代码工具，如将网站转化为 LLM 友好格式的工具，以及用于 Twitter 数据抓取和文档摘要的工具。还介绍了存储技巧，强调数据的组织性比复杂的架构更重要。通过这些工具，用户能够高效整理数据，为 AI 代理的训练提供高质量的输入。
以下为原文内容（为便于阅读理解，原内容有所整编）：
我们今天看到了许多 AI 代理的推出，其中 99% 将会消失。
是什么让成功的项目脱颖而出？数据。
以下是一些能够使您的 AI 代理脱颖而出的工具。
好数据=好 AI。
把它想象成一个数据科学家在构建管道：
收集 → 清洗 → 验证 → 存储。
在优化向量数据库之前，先调整好您的少样本示例和提示词。
图片推文链接
我将当今的大多数 AI 问题视为 StevenBartlett 的「水桶理论」——逐步解决。
先打好数据基础，这是构建优秀 AI 代理管道的根基。
以下是一些用于数据收集和清洗的优秀工具：
无代码的 llms.txt 生成器：将任何网站转换为适合 LLM 的文本。
图片推文链接
需要生成 LLM 友好的 Markdown？试试 JinaAI 的工具：
用 JinaAI 爬取任何网站，将其转换为适合 LLM 的 Markdown 格式。
只需在网址前加上以下前缀，就可以获取一个 LLM 友好的版本：
http://r.jina.ai<URL>
想获取 Twitter 数据？
试试 ai16zdao 的 twitter-scraper-finetune 工具：
只需一条命令，即可爬取任何公共 Twitter 账户的数据。
（查看我之前的推文了解具体操作方法）
图片推文链接
数据源推荐：elfa ai（目前处于封闭测试阶段，可私信 tethrees 获取访问权限）
他们的 API 提供：
最受关注的推文
智能粉丝筛选
最新的 $ 提及内容
账户信誉检查（用于过滤垃圾内容）
非常适合用于高质量的 AI 训练数据！
用于文档摘要：试试 Google 的 NotebookLM。
上传任意 PDF/TXT 文件 → 让它为您的训练数据生成少样本示例。
非常适合从文档中创建高质量的少样本提示词！
存储小贴士：
如果使用 virtuals io 的 CognitiveCore，可直接上传生成的文件。
如果运行 ai16zdao 的 Eliza，可以将数据直接存储到向量存储中。
专业建议： 井井有条的数据比花哨的架构更重要！
「原文链接」
Leave a Reply