txtai ist ein All-in-One-KI-Framework für semantische Suche, LLM-Orchestrierung und Sprachmodell-Workflows.
Die Schlüsselkomponente von txtai ist eine Einbettungsdatenbank, die eine Vereinigung von Vektorindizes (dünn und dicht), Graphnetzwerken und relationalen Datenbanken ist.
Diese Grundlage ermöglicht die Vektorsuche und/oder dient als leistungsstarke Wissensquelle für Anwendungen großer Sprachmodelle (LLM).
Erstellen Sie autonome Agenten, Retrieval Augmented Generation (RAG)-Prozesse, Multimodell-Workflows und mehr.
Zusammenfassung der txtai-Funktionen:
txtai basiert auf Python 3.10+, Hugging Face Transformers , Sentence Transformers und FastAPI . txtai ist Open Source unter einer Apache 2.0-Lizenz.
Interessiert an einer einfachen und sicheren Möglichkeit, gehostete txtai-Anwendungen auszuführen? Dann nehmen Sie an der txtai.cloud -Vorschau teil, um mehr zu erfahren.
Täglich entstehen neue Vektordatenbanken, LLM-Frameworks und vieles mehr. Warum mit txtai entwickeln?
Die folgenden Abschnitte stellen gängige txtai-Anwendungsfälle vor. Darüber hinaus steht ein umfassender Satz von über 60 Beispiel-Notebooks und -Anwendungen zur Verfügung.
Erstellen Sie semantische/Ähnlichkeits-/Vektor-/neuronale Suchanwendungen.
Herkömmliche Suchsysteme verwenden Schlüsselwörter, um Daten zu finden. Die semantische Suche versteht die natürliche Sprache und identifiziert Ergebnisse mit gleicher Bedeutung, nicht unbedingt mit denselben Schlüsselwörtern.
Beginnen Sie mit den folgenden Beispielen.
|Notizbuch|Beschreibung| |:---|:---|---:| |Einführung von txtai ▶️|Übersicht über die von txtai bereitgestellten Funktionen|| |Ähnlichkeitssuche mit Bildern|Betten Sie Bilder und Text für die Suche im selben Bereich ein|| |Erstellen Sie eine QA-Datenbank|Fragenabgleich mit der semantischen Suche|| |Semantische Graphen|Erkunden Sie Themen, Datenkonnektivität und führen Sie Netzwerkanalysen durch||
Autonome Agenten, Retrieval Augmented Generation (RAG), Chat mit Ihren Daten, Pipelines und Workflows, die mit großen Sprachmodellen (LLMs) interagieren.
Weitere Informationen finden Sie weiter unten.
|Notizbuch|Beschreibung| |:---|:---|---:| |Eingabeaufforderungsvorlagen und Aufgabenketten|Erstellen Sie Modelleingabeaufforderungen und verknüpfen Sie Aufgaben mit Workflows|| |LLM-Frameworks integrieren|Integrieren Sie llama.cpp, LiteLLM und benutzerdefinierte Generierungsframeworks|| |Erstellen Sie Wissensgraphen mit LLMs|Erstellen Sie Wissensgraphen mit LLM-gesteuerter Entitätsextraktion|| |Analysieren der Sterne mit txtai|Erkunden Sie einen astronomischen Wissensgraphen bekannter Sterne, Planeten und Galaxien||
Agenten verbinden Einbettungen, Pipelines, Workflows und andere Agenten miteinander, um komplexe Probleme autonom zu lösen.
txtai-Agenten basieren auf dem smolagents -Framework. Dieses unterstützt alle von txtai unterstützten LLMs (Hugging Face, llama.cpp, OpenAI / Claude / AWS Bedrock über LiteLLM).
Weitere Informationen finden Sie unter dem folgenden Link.
|Notizbuch|Beschreibung| |:---|:---|---:| |Analysieren von Hugging Face-Posts mit Graphen und Agenten|Erkunden Sie einen umfangreichen Datensatz mit Graphanalyse und Agenten|| |Gewährung von Autonomie für Agenten|Agenten, die Probleme iterativ nach eigenem Ermessen lösen|| |Analysieren von LinkedIn-Unternehmensbeiträgen mit Diagrammen und Agenten|Erkunden, wie sich das Social-Media-Engagement mithilfe von KI verbessern lässt||
Retrieval Augmented Generation (RAG) reduziert das Risiko von LLM-Halluzinationen, indem es die Ausgabe mit einer Wissensbasis als Kontext einschränkt. RAG wird häufig verwendet, um „mit Ihren Daten zu chatten“.
Eine neuartige Funktion von txtai besteht darin, dass es sowohl eine Antwort als auch eine Quellenangabe bereitstellen kann.
|Notizbuch|Beschreibung| |:---|:---|---:| |Erstellen Sie RAG-Pipelines mit txtai|Leitfaden zur erweiterten Abfragegenerierung, einschließlich der Erstellung von Zitaten|| |Aufteilen Ihrer Daten für RAG|Extrahieren, Chunken und Indexieren von Inhalten für einen effektiven Abruf|| |Erweitertes RAG mit Graphpfad-Traversierung|Graph-Pfaddurchquerung zum Sammeln komplexer Datensätze für erweitertes RAG|| |Speech-to-Speech-RAG ▶️|Vollständiger Sprach-zu-Sprache-Workflow mit RAG||
Sprachmodell-Workflows, auch als semantische Workflows bekannt, verbinden Sprachmodelle miteinander, um intelligente Anwendungen zu erstellen.
Obwohl LLMs leistungsstark sind, gibt es viele kleinere, spezialisiertere Modelle, die für bestimmte Aufgaben besser und schneller funktionieren. Dazu gehören Modelle für die extraktiven Fragen und Antworten, automatische Zusammenfassung, Text-to-Speech, Transkription und Übersetzung.
|Notizbuch|Beschreibung| |:---|:---|---:| |Pipeline-Workflows ausführen ▶️|Einfache, aber leistungsstarke Konstrukte zur effizienten Datenverarbeitung|| |Erstellen abstrakter Textzusammenfassungen|Führen Sie eine abstrakte Textzusammenfassung durch|| |Audio in Text transkribieren|Audiodateien in Text konvertieren|| |Übersetzen Sie Text zwischen Sprachen|Optimieren Sie die maschinelle Übersetzung und Spracherkennung||
Die einfachste Möglichkeit zur Installation ist über Pip und PyPI
Python 3.10+ wird unterstützt. Die Verwendung einer virtuellen Python-Umgebung wird empfohlen.
Weitere Informationen zu optionalen Abhängigkeiten , umgebungsspezifischen Voraussetzungen , Installation aus der Quelle , Conda-Unterstützung und Ausführung mit Containern finden Sie in den ausführlichen Installationsanweisungen .
Die aktuell empfohlenen Modelle finden Sie in der folgenden Tabelle. Diese Modelle sind alle für den gewerblichen Einsatz geeignet und bieten eine Kombination aus Geschwindigkeit und Leistung.
Modelle können entweder über einen Pfad vom Hugging Face Hub oder über ein lokales Verzeichnis geladen werden. Modellpfade sind optional. Standardmodelle werden geladen, wenn sie nicht angegeben sind. Für Aufgaben ohne empfohlenes Modell verwendet txtai die Standardmodelle gemäß der Anleitung zu Hugging Face-Aufgaben.
Weitere Informationen finden Sie unter den folgenden Links.
Die folgenden Anwendungen werden von txtai unterstützt.
| Anwendung | Beschreibung |
|---|---|
| Lappen | Retrieval Augmented Generation (RAG)-Anwendung |
| Ragdata | Aufbau von Wissensdatenbanken für RAG |
| paperai | Semantische Suche und Workflows für medizinisch-wissenschaftliche Arbeiten |
| annotateai | Automatische Kommentierung von Dokumenten mit LLMs |
Zusätzlich zu dieser Liste gibt es auch viele andere Open-Source-Projekte , veröffentlichte Forschungsergebnisse und geschlossene proprietäre/kommerzielle Projekte, die in der Produktion auf txtai aufgebaut sind.
Eine vollständige Dokumentation zu txtai, einschließlich Konfigurationseinstellungen für Einbettungen, Pipelines, Workflows, API und einer FAQ mit häufig gestellten Fragen/Problemen, ist verfügbar.
Wer zu txtai beitragen möchte, findet in diesem Leitfaden weitere Informationen.
This server cannot be installed
hybrid server
The server is able to function both locally and remotely, depending on the configuration or use case.
txtai ist eine All-in-One-Embedding-Datenbank für semantische Suche, LLM-Orchestrierung und Sprachmodell-Workflows. Alle Funktionen können über die API bereitgestellt werden, die MCP unterstützt.
Dokumente: https://neuml.github.io/txtai/api/mcp/