LCBro

# Интеллектуальная автогенерация промптов для Preprocessing ## Обзор Новая система автоматической генерации промптов для preprocessing использует локальные LLM модели для анализа контента и создания оптимальных инструкций предобработки. Это значительно улучшает качество обработки данных при минимальных затратах. ## Основные возможности ### 1. Интеллектуальный анализ контента Система автоматически анализирует входные данные с помощью быстрых локальных моделей: - **Анализ типа контента**: HTML, JSON, текст - **Определение структуры**: таблицы, продукты, статьи, данные - **Обнаружение шума**: реклама, навигация, скрипты - **Оценка сложности**: размер, вложенность, консистентность ### 2. Приоритет локальных моделей Система максимально использует локальные модели для экономии: **Порядок приоритета (по умолчанию):** 1. `ollama:qwen2.5:7b` - самая быстрая для preprocessing 2. `ollama:llama3.2:3b` - очень быстрая, маленькая модель 3. `ollama:mistral:7b` - хороший баланс 4. `ollama:llama3.1:8b` - стабильный выбор 5. `jan:llama-3.2-3b` - JAN fallback 6. `jan:mistral-7b` - JAN альтернатива ### 3. Умные пороги автозапуска Система автоматически определяет когда нужен preprocessing: - **HTML**: >3KB (по умолчанию) или наличие шума - **Текст**: >5KB (по умолчанию) или проблемы форматирования - **JSON**: >1KB (по умолчанию) или несогласованность структуры - **Любой тип**: >10KB автоматически ### 4. Библиотека шаблонов Если интеллектуальный анализ недоступен, система использует оптимизированные шаблоны: - **HTML**: общий, таблицы, продукты, статьи - **Текст**: общий, извлечение, суммаризация - **JSON**: общий, таблицы, даты ## Конфигурация ### config/default.yaml ```yaml llm: autoPreprocess: true preprocessing: enabled: true # включить/отключить preprocessing intelligentMode: true # использовать LLM для анализа fallbackToTemplates: true # fallback на шаблоны # Пороги размера для автозапуска thresholds: html: 3000 # HTML больше 3KB text: 5000 # текст больше 5KB json: 1000 # JSON больше 1KB # Приоритет моделей для preprocessing preferredModels: - "ollama:qwen2.5:7b" # самая быстрая - "ollama:llama3.2:3b" # очень быстрая - "ollama:mistral:7b" # баланс - "ollama:llama3.1:8b" # стабильная - "jan:llama-3.2-3b" # JAN fallback - "jan:mistral-7b" # JAN альтернатива # Настройки анализа analysis: maxContentSample: 1000 # макс. символов для анализа maxAnalysisTokens: 300 # макс. токенов анализа analysisTemperature: 0.1 # низкая температура ``` ## Примеры использования ### 1. Автоматический режим (рекомендуется) ```typescript const result = await mcp.callTool('llm.transform', { input: { kind: 'html', data: largeHtmlContent }, instruction: 'Extract product information as JSON' // preprocessRequest автоматически сгенерируется }); ``` **Что происходит:** 1. Система определяет что HTML >3KB нуждается в preprocessing 2. Локальная модель анализирует контент (первые 1000 символов) 3. Генерируется специфический промпт: "Remove HTML noise: scripts, styles, navigation, ads, footers. Focus on product/item information, remove marketing fluff. Keep only content relevant to the main task." 4. Быстрая локальная модель выполняет preprocessing 5. Основная модель обрабатывает очищенные данные ### 2. Явное управление ```typescript const result = await mcp.callTool('llm.transform', { input: { kind: 'html', data: htmlData }, instruction: 'Create product catalog', preprocessRequest: 'Remove all non-product elements, focus on titles, prices, descriptions' }); ``` ### 3. Отключение preprocessing ```typescript // В конфигурации preprocessing: { enabled: false } // Или только интеллектуальный режим preprocessing: { intelligentMode: false, fallbackToTemplates: true } ``` ## Архитектура системы ### 1. Детектор необходимости preprocessing - Анализирует размер контента - Проверяет наличие шума в HTML - Обнаруживает проблемы форматирования в тексте - Оценивает консистентность JSON структуры ### 2. Интеллектуальный генератор промптов - Использует локальную модель для анализа контента - Создает кастомизированные инструкции preprocessing - Адаптируется под тип задачи (извлечение, очистка, структурирование) ### 3. Fallback система - Автоматический переход на шаблоны при сбоях - Graceful degradation функциональности - Логирование всех этапов для отладки ### 4. Менеджер локальных моделей - Приоритизация по скорости/эффективности - Автоматический выбор доступной модели - Поддержка Ollama и JAN провайдеров ## Производительность и экономия ### Пример: Обработка интернет-магазина **Без preprocessing:** - Входные данные: 50KB HTML с навигацией, рекламой, комментариями - Токены: ~12,500 (OpenAI pricing) - Стоимость: ~$0.125 (GPT-4) - Качество: низкое (много шума) **С интеллектуальным preprocessing:** - Анализ контента: ollama:qwen2.5:7b (~200 токенов, бесплатно) - Preprocessing: ollama:qwen2.5:7b (~3000 токенов, бесплатно) - Основная обработка: 5KB очищенных данных (~1,250 токенов) - Стоимость: ~$0.012 (только за основную обработку) - **Экономия: 90%** + значительно лучшее качество ### Время выполнения - **Анализ**: 0.5-1 сек (локальная модель) - **Preprocessing**: 2-5 сек (локальная модель) - **Основная обработка**: 3-8 сек (целевая модель) - **Общее время**: +20-30% за 90% экономии и лучшее качество ## Мониторинг и отладка ### Логирование Система логирует все этапы: ```json { "level": "info", "msg": "Auto-generated intelligent preprocessing request", "autoGeneratedPreprocess": "Remove HTML noise: scripts, styles, navigation, ads, footers. Focus on product/item information, remove marketing fluff. Keep only content relevant to the main task." } { "level": "info", "msg": "Preprocessing completed", "originalLength": 51200, "processedLength": 5800, "preprocessRequest": "..." } { "level": "debug", "msg": "Selected Ollama model for preprocessing", "model": "ollama:qwen2.5:7b", "modelType": "Ollama" } ``` ### Отладка Для детального анализа установите уровень логирования: ```yaml logging: level: debug ``` ## Заключение Новая система интеллектуальной автогенерации промптов для preprocessing: - ✅ **Экономит 80-90%** стоимости обработки - ✅ **Улучшает качество** результатов - ✅ **Максимально использует** локальные модели - ✅ **Автоматически адаптируется** под тип контента - ✅ **Gracefully деградирует** при сбоях - ✅ **Легко конфигурируется** под нужды проекта Модель Claude Sonnet 4 была использована для создания этой документации.