Skip to main content
Glama
African Speech Corpora MCP

African Speech Corpora MCP

by papasega

African Speech Corpora MCP

Ein schreibgeschützter Server, der das Model Context Protocol implementiert – einen offenen Standard von Anthropic – über öffentliche Sprachkorpora für afrikanische Sprachen: zuerst Wolof, dazu Pulaar und Sereer.

Das Projekt ist Wolof-zuerst ausgerichtet. Der 2.0-Katalog enthält 14 Varianten: 11 Varianten aus Originalquellen und 3 Ableitungen. Pulaar (ful) und Sereer (srr) sind nur durch Kallaama-Varianten ohne lokale Metriken vertreten; das Projekt beansprucht keine Abdeckung von Swahili oder Amharisch. Die gebündelte Validierungssperre, erzeugt am 26. August 2026, macht 6 Hugging-Face-Varianten abfragbar. Ein späterer Validierungslauf kann naturgemäß einen anderen Zustand ergeben.

Der Server trainiert keine Modelle, lädt keine vollständigen Korpora herunter und schreibt nicht auf Hugging Face, OpenSLR, Kaggle, GitHub oder andere entfernte Quellen.

Was der Server misst

Die Qualitätspipeline hält die folgenden Stufen getrennt:

raw audio → usable audio → transcribed audio → audit-accepted audio → expert-verified audio
  • Roh: eine Datei, die im beobachteten Schnappschuss vorhanden ist.

  • Verwendbar: eine Datei, die nach den quantifizierbaren Ausschlüssen der Prüfung verbleibt.

  • Transkribiert: Audio, das mit einer Transkription verknüpft ist.

  • Prüfung akzeptiert: eine ausdrücklich benannte Vereinigung von fachlich geprüftem Material und Material, das von der Prüfung nur als gültig angenommen wird.

  • Fachlich geprüft: nur expert_audited oder source_reported_expert. Eine „a priori“-Bewertung gelangt niemals in diese Stufe.

Sekunden sind die kanonische Darstellung der Dauer. Dezimalstunden und HH:MM:SS-Zeichenketten werden zur Serialisierungszeit abgeleitet. Jede geprüfte Metrik gibt ihren Umfang, ihre Quelle, ihre Methode, ihr Beobachtungsdatum und ihre Konfidenz an. Ein fehlender Wert bleibt null; er wird niemals auf null gesetzt. Von einem Projekt veröffentlichte Zahlen bleiben unter published_metrics, getrennt von lokalen Beobachtungen.

Related MCP server: Asset Library MCP Server

Wolof-Schnappschuss 2026

Die maschinenlesbare Quelle ist assets/wolof-audit-2026.csv. Das Protokoll, die Einschränkungen und die Abweichungen von den TOTAL-Zellen der Quelltabelle sind in assets/wolof-audit-2026.md dokumentiert.

Sieben Wolof-Varianten haben eine lokale Beobachtung: ALFFA, FLEURS wo_sn, Kallaama Wolof, Urban Bus, Waxal Crowdsource, Wolof TTS Baamtu und WolBanking77. Die Summen werden aus diesen sieben Zeilen neu berechnet und niemals als redundante manuelle Summe gespeichert: 148.102 verwendbare Dateien, 64.609 transkribierte Dateien, 50.494 von der Prüfung akzeptierte Dateien, 2.329.382,06 Sekunden Audio, 515.185,06 transkribierte Sekunden und 302.048,06 von der Prüfung akzeptierte Sekunden.

Wichtige Einschränkungen:

  • die als „a priori“ beschriebenen Beobachtungen zu FLEURS, Urban Bus, Waxal, Wolof TTS und WolBanking77 sind audit_assumed_valid, nicht fachlich geprüft;

  • ALFFA hat in diesem Schnappschuss ausdrücklich null fachlich geprüfte Dateien;

  • die 153 Kallaama-Dateien sind lange Radio- oder Interviewaufnahmen, keine 153 Sprechbeiträge; 36 Dateien und 12:49:36 werden der source_reported_expert-Grundlage des lokalen Protokolls zugeschrieben;

  • Urban Bus enthält erhebliche französische Anteile ohne quantifizierte Rate und hat daher language_purity=mixed_fr;

  • Waxal trennt 517:38:05 Rohaudio, das insbesondere für SSL verwendbar ist, von nur 13:41:28 transkribiertem Audio für überwachtes ASR;

  • der lokale Wolof-TTS-Baamtu-Schnappschuss – 36.009 Dateien und 37:04:49 – unterscheidet sich von der gerundeten öffentlichen Metrik, und dieses TTS-Korpus ist standardmäßig von ASR ausgeschlossen;

  • WolBanking77 unterscheidet 2.563 beobachtete Audiodateien von den 9.791 anderswo gemeldeten Textphrasen;

  • Afrivoice veröffentlicht 530,74 Stunden Wolof-Audio, darunter 102,96 transkribierte Stunden. Dies sind quellenveröffentlichte Zahlen, keine Messungen aus der lokalen Prüfung 2026 und kein Beleg für fachliche Prüfung. Der Datensatz ist auf Hugging Face automatisch gesperrt, sodass seine Dateien, sein Schema, seine Aufteilungen und seine Dauern nicht unabhängig geprüft werden können, ohne seine Zugriffsbedingungen zu akzeptieren und ein Token bereitzustellen; er bleibt daher audit_status=pending;

  • da das genaue Beobachtungsdatum der Quelle nicht verfügbar ist, hat observed_at=2026 absichtlich eine Genauigkeit nur auf Jahresebene.

Installation

Das Paket erfordert Python 3.11 oder neuer. Python 3.12 wird empfohlen und unten ausdrücklich ausgewählt, damit die virtuelle Umgebung nicht versehentlich einen älteren Systeminterpreter wie Python 3.9 erbt:

git clone https://github.com/papasega/african-speech-mcp.git
cd african-speech-mcp
python3.12 --version
python3.12 -m venv .venv
source .venv/bin/activate
python --version
python -m pip install -e .

Beide Versionsbefehle sollten Python 3.12.x melden. Das Erstellen der Umgebung mit python -m venv .venv ist nur sicher, wenn diese python-ausführbare Datei bereits Python 3.11 oder neuer ist. Wenn die Installation mit einem Fehler wie diesem fehlschlägt:

ERROR: Package 'african-speech-mcp' requires a different Python: 3.9.6 not in '>=3.11'

dann wurde die virtuelle Umgebung mit Python 3.9.6 erstellt. Deaktivieren Sie sie, entfernen oder benennen Sie das lokale .venv um, installieren Sie bei Bedarf Python 3.12 und erstellen Sie die Umgebung mit python3.12 -m venv .venv neu. Eine virtuelle Umgebung behält den Interpreter, mit dem sie erstellt wurde; das Aktivieren aktualisiert Python nicht.

Der stdio-Server startet ohne Argumente:

african-speech-mcp

Er kann auch explizit gestartet werden:

african-speech-mcp serve --transport stdio
african-speech-mcp serve --transport streamable-http

Beispielkonfiguration für Claude Desktop nach der Installation des Pakets, vorzugsweise mit einem absoluten Pfad:

{
  "mcpServers": {
    "african-speech-corpora": {
      "command": "/absolute/path/to/.venv/bin/african-speech-mcp"
    }
  }
}

Dieses Refactoring veröffentlicht das Paket nicht. Verwenden Sie uvx oder eine PyPI-Kennung erst, wenn eine Version ausdrücklich veröffentlicht wurde.

MCP-Werkzeuge

Alle acht Werkzeuge deklarieren read_only_hint=true, destructive_hint=false und idempotent_hint=true.

Werkzeug

Zweck

list_corpora

Varianten, Prüfstatus, empfohlene Verwendung und Validierungsstatus auflisten.

audit_corpus

Zählungen, Dauern, Prüfungsgrundlage, Warnungen und getrennte veröffentlichte Zahlen zurückgeben.

plan_training_set

Einen Plan erstellen, ohne Ableitungen doppelt zu zählen oder Benchmarks standardmäßig einzuschließen.

filter_segments

Nur filtern, wenn ein Manifest auf Zeilenebene existiert; andernfalls Ausschlüsse verweigern.

compare_corpora

Qualität, Domäne, Sprachreinheit, Lizenz und Aktualität der Metriken vergleichen.

search_segments

Zeilen in einer Variante durchsuchen, deren entferntes Schema validiert wurde.

corpus_stats

Größen nur für die Konfiguration der Variante zurückgeben und Schemaabweichungen melden.

cite_corpus

Lizenz, Zitat und übergeordnete Zitate für eine Ableitung zurückgeben.

Konzeptionelle Beispiele:

audit_corpus(corpus="waxal-crowdsource")

plan_training_set(language="wol", task="asr", quality="transcribed")
plan_training_set(language="wol", task="asr", quality="expert_verified")
plan_training_set(
  language="wol",
  task="asr",
  quality="audit_accepted",
  include_mixed_language=true,
)

filter_segments(
  corpus="waxal-crowdsource",
  exclude_duplicates=true,
  exclude_non_wolof=true,
  exclude_corrupt=true,
)

Der letzte Aufruf gibt derzeit filter_available=false zurück. Aggregatsummen belegen, dass Waxal 430 Duplikate und 22 beschädigte oder nicht-wolofische Dateien enthält, aber sie liefern keine Zeilenkennungen. Der Server weigert sich daher, so zu tun, als hätte er diese Zeilen entfernt.

Semantik von plan_training_set

quality akzeptiert:

  • any: nach Aufgabe und Lizenz auswählen, ohne Transkription zu verlangen;

  • transcribed: tatsächlich transkribierte Dauer verwenden;

  • audit_accepted: fachlich geprüftes und als gültig angenommenes Material einschließen, mit sichtbarer Aufschlüsselung und Warnung;

  • expert_verified: nur echte fachliche Prüfungsgrundlagen verwenden;

  • wolof_only: mixed_fr, mixed, unknown und Varianten ohne ausreichende Belege für Sprachreinheit ausschließen.

metric_source ist entweder latest_audit (die Voreinstellung) oder published. Varianten ohne bekannte Dauer bleiben in hours_unknown_for aufgeführt. FLEURS ist ein Benchmark und bleibt außerhalb des Trainings, sofern nicht include_benchmarks=true gesetzt ist. Urban Bus erfordert include_mixed_language=true. TTS-Varianten bleiben außerhalb von ASR, sofern nicht ausdrücklich aktiviert, und Ableitungen werden niemals zu ihren übergeordneten Varianten hinzugefügt. Unbekannte, nicht-kommerzielle, Share-Alike- oder unbestätigte Lizenzen erzeugen entsprechende Warnungen; commercial_use=null wird niemals als kommerziell kompatibel dargestellt.

Dauerhafte Hugging-Face-Validierung

african-speech-mcp validate
african-speech-mcp validate --write
african-speech-mcp validate --output validation-lock.json

Die Validierung prüft die Datensatzkennung, die Konfiguration, die Aufteilungen, die Transkriptionsspalte und jede deklarierte Sprachspalte. Die Sperre wird durch atomaren Ersatz geschrieben und zeichnet checked_at, beobachtete Schemainformationen und einen stabilen Fingerabdruck auf. Sie ist außerdem an den Katalog-Hash gebunden, sodass der Server eine veraltete Sperre ablehnt.

Standardmäßig erstellt --write validation-lock.json im aktuellen Verzeichnis, ohne das installierte Paket zu verändern. Zur späteren Verwendung:

export ASM_VALIDATION_LOCK_PATH="$PWD/validation-lock.json"
african-speech-mcp

Mögliche Zustände sind unverified, verified, gated, unavailable, schema_mismatch und quality_blocked. Eine antwortende Kennung wird niemals als verified markiert, wenn die erwartete Konfiguration oder Spalte fehlt. Für Afrivoice setzen Sie ASM_HF_TOKEN vor der Validierung lokal; das Token wird weder serialisiert noch protokolliert.

corpus_stats filtert streng nach Konfiguration, sodass FLEURS wo_sn niemals eine andere Sprache einschließt. Eine mehrsprachige Verteilung ohne separate Konfiguration muss eine Sprachspalte und akzeptierte Werte deklarieren. Wenn der Server diesen Filter nicht garantieren kann, lehnt er die Anfrage ab oder gibt eine ausdrückliche Warnung zurück.

Katalog und Architektur

src/african_speech_mcp/
├── audit.py              # audited CSV, duration formats, deterministic aggregation
├── catalog.py            # Pydantic v2 variants and invariants
├── cli.py                # serve, validate, catalog-show
├── config.py             # ASM_* settings
├── hf_client.py          # GET only, retries, bounded concurrency
├── models.py             # structured responses
├── server.py             # eight MCP tools
├── validation.py         # schema inspection and atomic lock files
└── data/
    ├── corpora.json      # single canonical catalog
    └── validation-lock.json

Es gibt keine zweite corpora.json auf oberster Ebene mehr. Die Prüf-CSV bleibt unter assets/ kanonisch, und Hatch nimmt sie deterministisch in das Wheel auf. Tests prüfen Summen und Verweise zwischen CSV und Katalog.

Nützliche Variablen sind ASM_CATALOG_PATH, ASM_VALIDATION_LOCK_PATH, ASM_AUDIT_LOG_PATH, ASM_HF_TOKEN, ASM_REQUEST_TIMEOUT_S, ASM_REQUEST_RETRIES und ASM_VALIDATION_CONCURRENCY. Laufzeitprotokolle gehen an stderr, sodass stdout für das stdio-Protokoll reserviert bleibt.

Beitragen einer Prüfung oder eines Manifests

Eine neue Prüfung muss:

  1. Einheitenzeilen zur CSV hinzufügen, niemals eine manuelle TOTAL-Zeile;

  2. audit_id, observed_at, source_reference, Methode, Konfidenz und Prüfungsgrundlage bereitstellen;

  3. eine beobachtete Null von einem fehlenden Wert unterscheiden;

  4. die Prüfung von der passenden Variante referenzieren;

  5. Einschränkungen in Markdown dokumentieren und Konsistenztests hinzufügen.

Um echtes Filtern zu ermöglichen, stellen Sie ein versioniertes Manifest mit mindestens Folgendem bereit:

audit_id,corpus_key,revision,row_id,audio_path,is_duplicate,is_empty,is_corrupt,is_wolof,transcript_quality,reason

Kennungen müssen aus dem geprüften Schnappschuss stammen. Sie dürfen niemals aus Aggregatsummen erfunden werden.

Entwicklung und Release-Vorbereitung

python -m pip install -e ".[dev]"
ruff check src tests scripts
pytest -q
python -m build

CI führt diese Prüfungen auf Python 3.11 und 3.12 aus, installiert das gebaute Wheel in einer sauberen Umgebung und testet sowohl die CLI als auch einen echten MCP-stdio-Austausch. Version 2.0.0 ist ein dokumentiertes, bahnbrechendes Release: Die öffentliche Einheit ist jetzt eine einsprachige, einaufgabige, einkonfigurige Variante mit strukturierteren Qualitätsantworten.

Lizenz

Der Servercode ist unter Apache-2.0 lizenziert. Jedes Korpus behält seine eigene Lizenz. Katalogeinträge, die mit TO BE CONFIRMED oder SEE DATASET ... markiert sind, bleiben absichtlich ungewiss und müssen vor jeder Verwendung, insbesondere der kommerziellen, gegen die Primärquelle geprüft werden.

Available Tools

8 tools
audit_corpusA
Read-onlyIdempotent

Return dated observed quality metrics separately from published figures. Missing observations remain null, never implicit zero.

Inputs: corpus (required), audit_id, include_published. Returns: task, config, corpus, counts, +22 more

cite_corpusB
Read-onlyIdempotent

Return licence and citations, including parents of derivatives.

Inputs: corpus (required). Returns: bibtex, licence, homepage, also_cite, +2 more

compare_corporaB
Read-onlyIdempotent

Compare variant quality, provenance, licence and benchmark status.

Inputs: corpora (required). Returns: corpora, compared, warnings

corpus_statsA
Read-onlyIdempotent

Return rows and schema for exactly one declared dataset configuration.

Inputs: corpus (required). Returns: splits, columns, warnings, provenance, +4 more

filter_segmentsC
Read-onlyIdempotent

Filter rows only when a versioned row-level audit manifest exists; aggregated audit totals alone produce a structured refusal.

Inputs: corpus (required), limit, query, split, +4 more. Returns: corpus, reason, audit_id, segments, +5 more

list_corporaB
Read-onlyIdempotent

List language/task/config variants with audit and verification state.

Inputs: task, language, include_derivatives. Returns: total, corpora, disclaimer, audited_count, +3 more

plan_training_setA
Read-onlyIdempotent

Build a de-duplicated variant plan using published or dated audit metrics, with explicit quality, licence, benchmark and language-purity decisions.

Inputs: task, quality, language, metric_source, +4 more. Returns: task, quality, included, language, +14 more

search_segmentsC
Read-onlyIdempotent

Search a schema-verified variant. Config overrides cannot cross language boundaries; temporary audio URLs are explicitly marked ephemeral.

Inputs: query (required), corpus (required), limit, split, +1 more. Returns: query, returned, segments, warnings, +3 more

Tool Schema Changelog

Recent tool additions, removals, and schema changes observed during successful MCP inspections.

Loading tool schema changelog…

    TDQS

    A3.5/5.0

    Scored across 8 tools

    Disambiguation5/5

    Each tool targets a distinct operation: listing variants, searching segments, getting stats, citing, auditing, planning, filtering, and comparing. Though search_segments and filter_segments both work on segments, their preconditions and purposes are clearly different—search is free-form with overrides, while filter requires a versioned audit manifest. No two tools appear interchangeable.

    Naming Consistency4/5

    Most tools follow a clear verb_noun pattern (list_corpora, search_segments, cite_corpus, audit_corpus, plan_training_set, filter_segments, compare_corpora). The outlier is 'corpus_stats' which uses noun_noun instead of a get/stats verb, breaking the pattern slightly. This is a minor deviation that doesn't hinder readability.

    Tool Count5/5

    With 8 tools, the server is well-scoped for its domain of managing and analyzing African speech corpora. Each tool addresses a distinct aspect of the workflow without redundancy or bloat. The count feels just right—not too thin, not overwhelming.

    Completeness5/5

    The tool surface covers the core lifecycle of corpus exploration and usage: discovering corpora, searching segments, retrieving stats, citations, audit metrics, planning training sets, filtering based on audits, and comparing variants. There are no glaring gaps such as missing download or update operations, as the focus is analysis rather than modification. The server fulfills its stated purpose comprehensively.

    Maintenance

    ActivityNo data
    ResponsivenessOutdated data

    Related MCP Connectors

    Related MCP Servers

    • A
      license
      Not graded
      quality
      D
      maintenance
      An MIT-licensed MCP server that provides access to a rolling 24-month corpus of NSE/BSE company documents (concall transcripts, annual reports, investor presentations) with provenance, deduplication, and rights management. It enables searching companies, finding documents, retrieving document content, and checking coverage through a stateless Streamable HTTP MCP endpoint.
      MIT
    • F
      license
      Not graded
      quality
      D
      maintenance
      Enables users to search and retrieve research datasets via natural language queries, with tools for proposing and committing tag changes. Includes robust authorization, idempotent mutations, and an audit trail.
      -
    • F
      license
      Not graded
      quality
      B
      maintenance
      Enables agents to search, retrieve, and list open-licensed documents with verifiable provenance, attaching sha256, DOI, and OpenTimestamps proof to every response.
      1,531 npm
      -
    • A
      license
      Not graded
      quality
      B
      maintenance
      Provides read-only search and context-pack creation over a local source library, letting AI assistants retrieve relevant excerpts and audit cited quotations.
      20
      MIT