MCP Server

# Resumo das Implementações Este documento resume as implementações realizadas no MCP Server para melhorar a qualidade dos planos de aprendizagem gerados. ## 1. Simplificação do Sistema de Filtragem ### Arquivos Modificados: - `core/content_sourcing/semantic_filter_service.py`: Simplificado para usar correspondência de palavras-chave - `core/content_sourcing/default_content_source_service.py`: Atualizado para usar o novo sistema de filtragem - `api/routers/mcp_router.py`: Atualização das mensagens de log ### Problema Resolvido: - O servidor não conseguia encontrar mais que 3 nós devido à filtragem excessiva de recursos - O sistema de detecção de similaridade estava removendo recursos úteis - A validação de tamanho mínimo da árvore estava falhando ### Benefícios: - Maior número de nós na árvore de aprendizagem - Mais recursos disponíveis para criar a árvore - Melhor experiência do usuário com menos falhas na geração de MCPs ## 2. Ajuste da Árvore por Idioma ### Arquivos Modificados: - `path_generator.py`: Adição das funções `adjust_tree_by_language` e `adjust_tree_structure` - `main.py`: Integração do ajuste por idioma nos endpoints ### Funcionalidades: - Ajuste da estrutura da árvore com base no idioma do usuário - Foco especial em português (estrutura mais linear) - Diferentes fatores de ramificação por idioma: - Português: 1.2 (mais linear) - Espanhol/Italiano: 1.5 (moderadamente ramificado) - Outros idiomas: 2.0 (mais ramificado) ### Benefícios: - Estrutura de aprendizagem mais adequada às preferências culturais - Melhor experiência para usuários de língua portuguesa - Flexibilidade para diferentes estilos de aprendizagem ## 3. Validação de Tamanho Mínimo da Árvore ### Arquivos Modificados: - `path_generator.py`: Adição da verificação de número mínimo de nós - `main.py`: Tratamento de exceções HTTP ### Funcionalidades: - Verificação de pelo menos 12 nós concretos e úteis na árvore - Mensagem de erro clara quando não há nós suficientes - Tratamento adequado de exceções ### Benefícios: - Garantia de qualidade dos planos de aprendizagem - Feedback claro para o usuário quando um tópico não tem recursos suficientes - Prevenção de árvores incompletas ou pouco úteis ## Integração com a API ### Novos Parâmetros: - `language`: Idioma preferido para os recursos (padrão: "pt") ### Endpoints Atualizados: ``` GET /generate_mcp?topic={topic}&max_resources={max_resources}&language={language} GET /generate_mcp_v2?topic={topic}&difficulty={difficulty}&formats={formats}&max_hours={max_hours}&language={language} ``` ## Documentação ### Arquivos de Documentação: - `docs/simplified_filtering_system.md`: Detalhes sobre a simplificação do sistema de filtragem - `docs/language_tree_adjustment.md`: Detalhes sobre o ajuste da árvore por idioma - `docs/minimum_tree_size.md`: Detalhes sobre a validação de tamanho mínimo da árvore - `docs/README.md`: Visão geral das novas funcionalidades e endpoints ## Testes ### Arquivos de Teste: - Testes unitários e de integração para verificar o funcionamento correto do sistema de filtragem ## 4. Aprimoramento da Extração de Descrições com NLP ### Arquivos Criados: - `services/nlp/nlp_description_service.py`: Novo serviço para geração e validação de descrições usando NLP - `services/nlp/__init__.py`: Inicialização do módulo NLP - `tests/services/nlp/test_nlp_description_service.py`: Testes para o serviço NLP ### Arquivos Modificados: - `services/scraping/base_scraper.py`: Atualizado para usar o serviço NLP para melhorar descrições - `requirements.txt`: Adicionada dependência do NLTK ### Funcionalidades: - Geração de descrições significativas quando não disponíveis nos metadados - Validação de descrições para garantir relevância ao tópico - Extração de sentenças-chave do conteúdo para criar descrições mais informativas - Suporte a múltiplos idiomas (foco em português) ### Benefícios: - Descrições mais relevantes e informativas para os recursos - Melhor compreensão do conteúdo dos recursos pelos usuários - Maior qualidade dos metadados na árvore de aprendizagem - Redução de descrições genéricas ou irrelevantes ## 5. Aprimoramento da Extração de Dados do YouTube e Integração com Repositórios de Documentação ### Arquivos Criados: - `services/documentation/documentation_service.py`: Interface base para serviços de documentação - `services/documentation/documentation_factory.py`: Factory para criar e gerenciar serviços de documentação - `services/documentation/mdn_documentation_service.py`: Serviço para MDN Web Docs - `services/documentation/python_documentation_service.py`: Serviço para Python Documentation - `services/documentation/github_documentation_service.py`: Serviço para GitHub Documentation - `services/documentation/stackoverflow_documentation_service.py`: Serviço para Stack Overflow - `tests/services/documentation/test_documentation_factory.py`: Testes para o factory de documentação ### Arquivos Modificados: - `services/youtube/ytdlp_service.py`: Aprimorado com filtros de qualidade, pontuação de relevância e suporte a playlists - `core/content_sourcing/default_content_source_service.py`: Integrado com serviços de documentação ### Funcionalidades: #### Aprimoramentos do YouTube: - Filtros de qualidade para vídeos (visualizações, duração, data) - Sistema de pontuação para ordenação por relevância - Extração aprimorada de metadados - Suporte a playlists do YouTube #### Integração com Repositórios de Documentação: - MDN Web Docs para desenvolvimento web - Python Documentation para tópicos de Python - GitHub Documentation para Git e GitHub - Stack Overflow para diversos tópicos de programação ### Benefícios: - Recursos de maior qualidade e relevância - Maior diversidade de fontes de conteúdo - Melhor organização de recursos por tipo e relevância - Conteúdo mais estruturado para aprendizado (playlists, documentação oficial) ## Próximos Passos 1. **Melhorar o suporte a idiomas**: Adicionar mais idiomas e refinar os ajustes específicos 2. **Personalização por usuário**: Permitir que usuários ajustem suas preferências de estrutura 3. **Análise de feedback**: Coletar feedback sobre a qualidade dos planos gerados e iterar 4. **Aprimorar o sistema de filtragem**: Continuar refinando o sistema de filtragem para melhorar a relevância dos recursos sem limitar o número de nós 5. **Expandir capacidades de NLP**: Implementar técnicas mais avançadas para análise de conteúdo e extração de metadados 6. **Adicionar mais fontes de documentação**: Integrar com mais repositórios de documentação específicos por domínio