Apache Spark a Spring Batch

Necesito apoyo para completar un flujo Apache Spark que arranca con descargas de archivos de texto y termina en un archivo listo para ser consumido por un job de Spring Batch. Trabajo exclusivamente con archivos CSV, por lo que la lógica debe centrarse en ese formato.

El alcance incluye:
• Automatizar la descarga de los archivos CSV.
• Procesarlos en Apache Spark aplicando transformaciones : filtrado de registros y agrupación de datos según reglas que definiremos juntos.
• Generar el archivo de salida con la estructura exacta que espera Spring Batch (nombres de columnas, delimitadores y codificación).

Entregó parques donde reside informacion; tú aportas el código, la documentación mínima y un pequeño set de pruebas para validar el pipeline. Prefiero que lo desarrolles en PySpark o Scala, según tu experiencia.

Busco una solución clara, modular y fácil de mantener; valoro comentarios en el código y buenas prácticas de manejo de errores.