文档加载器#

概念指南 (opens in a new tab)

将语言模型与自己的文本数据结合使用是区分它们的强大方式。 这样做的第一步是将数据加载到“文档”中-一种花哨的方式来说一些文本片段。 该模块旨在使这个过程变得容易。

这样做的主要驱动因素是Unstructured (opens in a new tab) Python 包。 该软件包是将所有类型的文件-文本、PowerPoint、图像、HTML、PDF 等-转换为文本数据的好方法。

有关如何设置 Unstructured 的详细说明，请参见此处 (opens in a new tab)的安装指南。

提供以下文档加载器:

• Airbyte JSON

• Apify Dataset

• Arxiv

• AWS S3 Directory

• AWS S3 File

• AZLyrics

• Azure Blob Storage Container

• Azure Blob Storage File

• Bilibili

• 黑板

• 区块链

• ChatGPT数据

• 大学机密

• Confluence

• CoNLL-U

• 复制粘贴

• CSV

• Diffbot

• Discord

• DuckDB

• 电子邮件

• EPub

• EverNote

• Facebook 聊天

• Figma

• 文件目录

• Git

• GitBook

• Google BigQuery

• Google Cloud存储目录

• Google Cloud存储文件

• Google Drive

• Gutenberg

• 黑客新闻

• HTML

• HuggingFace 数据集

• iFixit

• 图片

• 图片标题

• IMSDb

• JSON 文件

• Jupyter教程

• Markdown

• MediaWiki转储

• Microsoft OneDrive

• Microsoft PowerPoint

• Microsoft Word

• 现代财政

• Notion DB 1/2

• Notion DB 2/2

• Obsidian

• Pandas DataFrame

• PDF

• Using PyPDFium2

• ReadTheDocs Documentation

• Reddit

• Roam

• 网站地图

• Slack

• Spreedly

• Stripe

• 字幕

• Telegram

• TOML

• 推特

• 非结构化文件

• 网址

• Selenium网址加载器

• Playwright网址加载器

• WebBase加载器

• WhatsApp聊天记录

• 维基百科

• YouTube剪辑