Estamos buscando un Ingeniero de Datos altamente calificado para diseñar, implementar y mantener nuestro data lake y sistemas de recuperación de datos. Este rol también incluye la creación de web scrapers eficientes para recopilar datos de diversas fuentes. Tendrás la flexibilidad de desarrollar APIs en TypeScript, Rust o Go, según las necesidades del proyecto. ¡Si te emociona el desafío de diseñar soluciones de datos a gran escala, queremos conocerte! Responsabilidades clave Desarrollo de Data Lake y Pipelines Diseñar, construir y optimizar una arquitectura escalable de data lake. Desarrollar pipelines ETL/ELT robustos para la ingestión y procesamiento eficiente de datos. Web Scraping y Recolección de Datos Crear y mantener web scrapers para recopilar datos de endpoints públicos y privados. Asegurar que los procesos de scraping sean confiables y manejen errores y límites de tasa adecuadamente. Desarrollo de APIs Construir APIs seguras y de alto rendimiento en TypeScript, Rust o Go para la recuperación e integración de datos. Colaborar con equipos multifuncionales para definir los requisitos de las APIs y garantizar un flujo de datos fluido. Recuperación y Optimización de Consultas de Datos Implementar soluciones de búsqueda, indexación y recuperación que faciliten un acceso rápido y preciso a los datos. Optimizar consultas para un rendimiento escalable. Colaboración y Documentación Trabajar de cerca con científicos de datos, ingenieros de QA y desarrolladores full-stack para garantizar una integración fluida. Mantener documentación completa sobre los flujos de datos y la arquitectura del sistema. Monitoreo y Mantenimiento Monitorear proactivamente pipelines y sistemas de datos para asegurar rendimiento, confiabilidad y seguridad. Solucionar problemas y aplicar mejoras o correcciones de manera oportuna. Requisitos Experiencia técnica Dominio de TypeScript, Rust o Go para el desarrollo de APIs. Experiencia práctica diseñando y gestionando data lakes y sistemas de procesamiento de datos a gran escala. Sólido conocimiento de pipelines ETL/ELT, modelado de datos y mejores prácticas en arquitectura de datos. Experiencia con herramientas y bibliotecas de web scraping. Familiaridad con bases de datos SQL (e.g., MySQL, PostgreSQL) y NoSQL. Habilidades de resolución de problemas Capacidad para descomponer desafíos complejos de datos en soluciones accionables. Fuertes habilidades de depuración y optimización. Colaboración y comunicación Excelentes habilidades interpersonales para trabajar efectivamente con equipos multifuncionales. Comunicación clara y escrita para documentar y presentar detalles técnicos. Deseable Familiaridad con AWS u otras alternativas para desplegar y escalar infraestructura de datos. Experiencia con embeddings vectoriales y sistemas de recuperación para consultas avanzadas. Conocimientos en Docker, Kubernetes u otras herramientas de orquestación de contenedores. Detalles Modalidad: Tiempo completo. Requisito adicional: Capacidad para leer y entender inglés técnico (no es necesario hablarlo). Únete a nosotros para construir soluciones de datos innovadoras y dar forma al futuro de nuestros productos impulsados por datos. Si te apasiona diseñar sistemas de datos a gran escala y construir APIs de vanguardia, ¡aplica ahora y forma parte de nuestro equipo en crecimiento!