nuclear-crawler-hybrid

Rigohl/nuclear-crawler-hybrid

3.2

If you are the rightful owner of nuclear-crawler-hybrid and would like to certify it and/or have it hosted online, please leave a comment on the right or send an email to dayong@mcphub.com.

Nuclear Crawler Hybrid is a powerful and versatile web crawling and scraping tool designed to handle massive concurrent requests with advanced features for stealth and bypassing paywalls.

Tools
5
Resources
0
Prompts
0

🔥 NUCLEAR CRAWLER HYBRID

El Crawler MCP más Potente del Mundo

Security Rust Docker

Rust · Go FFI · Zig SIMD · Stealth · 100+ URLs Async

Instalación · Características · Uso · API · Configuración

⚡ Características

MóduloDescripciónTecnología
🔥 Nuclear Scraper2000 requests concurrentes, 10K req/sRust async + Tokio
🛡️ Stealth SystemAnti-detección, rotación de headersUser agents, TLS fingerprint
⚡ Go IntegrationGoroutines para procesamiento masivoGo FFI
🚀 Zig IntegrationSIMD para parseo ultra-rápidoZig FFI
🔓 Nuclear BypassPaywall bypass (LibGen, Sci-Hub, Archive)Multi-source
🧠 AI SmartAnálisis inteligente de contenidoML integrado
📊 ImprovementsCircuit Breaker, Bloom Filter, Cache 5M10 mejoras enterprise

📦 Instalación

Binarios Pre-compilados

# Windows
Invoke-WebRequest -Uri "https://github.com/YOUR_USERNAME/nuclear-crawler-hybrid/releases/latest/download/nuclear-windows-x64.zip" -OutFile nuclear.zip
Expand-Archive nuclear.zip -DestinationPath .

# Linux
curl -LO "https://github.com/YOUR_USERNAME/nuclear-crawler-hybrid/releases/latest/download/nuclear-linux-x64.tar.gz"
tar xzf nuclear-linux-x64.tar.gz && chmod +x nuclear-mcp

# macOS
curl -LO "https://github.com/YOUR_USERNAME/nuclear-crawler-hybrid/releases/latest/download/nuclear-macos-arm64.tar.gz"
tar xzf nuclear-macos-arm64.tar.gz && chmod +x nuclear-mcp

Docker

docker pull ghcr.io/YOUR_USERNAME/nuclear-crawler-hybrid:latest
docker run -it ghcr.io/YOUR_USERNAME/nuclear-crawler-hybrid:latest

Compilar desde Fuente

git clone https://github.com/YOUR_USERNAME/nuclear-crawler-hybrid.git
cd nuclear-crawler-hybrid
cargo build --release --bin nuclear-mcp

🚀 Uso

MCP Server (Claude, VS Code, etc.)

{
  "mcpServers": {
    "nuclear": {
      "command": "nuclear-mcp",
      "args": ["--stdio"]
    }
  }
}

Herramientas Disponibles

ToolDescripción
search_web🔥 Búsqueda masiva: 200+ URLs async, GitHub, SO, Reddit, etc.
deep_web_search🔓 Búsqueda deep web con bypass: LibGen, Sci-Hub, Anna's Archive
crawl🕷️ Crawl recursivo con profundidad configurable
scrape📄 Extrae contenido estructurado de una URL
analizar_proyecto📊 Análisis completo de proyecto con recomendaciones
stats📈 Estadísticas del sistema Nuclear

Ejemplo: Búsqueda Web Masiva

# Usando MCP
{
  "tool": "search_web",
  "arguments": {
    "query": "rust async programming",
    "max_results": 100
  }
}

⚙️ Configuración

Modo NUCLEAR (Por defecto)

NuclearConfig {
    max_concurrent: 2000,           // Máximo paralelismo
    max_requests_per_second: 10000, // 10K req/s
    timeout_seconds: 180,           // 3 min timeout
    burst_size: 5000,               // Bursts masivos
    cache_size: 5_000_000,          // 5M entradas cache
}

Variables de Entorno

NUCLEAR_MAX_CONCURRENT=2000
NUCLEAR_TIMEOUT=180
NUCLEAR_CACHE_SIZE=5000000
NUCLEAR_STEALTH=true
RUST_LOG=info

🏗️ Arquitectura

nuclear-crawler-hybrid/
├── src/
│   ├── lib.rs              # Módulo principal
│   ├── nuclear_scraper.rs  # Core del scraper
│   ├── web_search.rs       # 🔥 Búsqueda masiva + Go/Zig
│   ├── deep_web_search.rs  # 🔓 Bypass paywall
│   ├── nuclear_bypass.rs   # Exploit/bypass system
│   ├── stealth.rs          # Anti-detección
│   ├── go_integration.rs   # Go FFI
│   ├── zig_integration.rs  # Zig FFI
│   ├── improvements.rs     # 10 mejoras enterprise
│   └── config.rs           # Configuración NUCLEAR
├── .github/
│   └── workflows/
│       └── ci.yml          # CI/CD Pipeline
├── Dockerfile              # Multi-stage optimizado
└── Cargo.toml

📊 Benchmarks

OperaciónVelocidadComparación
Búsqueda Web200+ URLs/query50x más que otros
Requests Concurrentes2000Enterprise grade
Requests/segundo10,000NUCLEAR mode
Cache Size5M entriesZero disk I/O
Startup Time<100msInstantáneo

🔒 Seguridad

  • ✅ Security audit automático en CI/CD
  • ✅ Dependencias auditadas con cargo-audit
  • ✅ TLS 1.3 para todas las conexiones
  • ✅ Sin almacenamiento de datos sensibles
  • ✅ Container rootless (USER 1000)

🤝 Contribuir

# Fork y clone
git clone https://github.com/YOUR_USERNAME/nuclear-crawler-hybrid.git

# Crear branch
git checkout -b feature/nueva-funcionalidad

# Tests
cargo test --all-features

# Lint
cargo clippy --all-targets -- -D warnings

# PR
git push origin feature/nueva-funcionalidad

📄 Licencia

MIT License - Ver

🔥 Built with Nuclear Power 🔥

⬆ Volver arriba