KNIME Vektordaten-Integration Mailcow
Budget: €36 – €0 EUR
Ich plane eine durchgängige KNIME-Workflow-Lösung, die sowohl E-Mails aus Mailcow als auch Dateien von meinem Dateiserver automatisiert ausliest. Anschließend sollen die Inhalte aufbereitet und in eine Vektordatenbank – bevorzugt über LangChain oder direkt in FAISS – überführt werden.
Konkret erwarte ich:
• Einrichtung des KNIME-Workflows zum parallelen Abruf von Mail- und Dateidaten (IMAP/SMTP-Handling, Dateiserver-Connector).
• Verarbeitungsschritte zur inhaltlichen Aufbereitung: Parsing, Bereinigung, Tokenisierung und Zerlegung größerer Dokumente.
• Speicherung der resultierenden Embeddings in der gewählten Vektordatenbank inklusive Index-Management.
• Schnittstelle, die das fertige Vector-Store-Setup nahtlos an Ollama oder GPT4All anbindet, sodass lokale LLM-Abfragen möglich sind.
• Kurze Dokumentation und einleitende Anleitung, wie ich Datenquellen, Pfade und Modelle selbst anpassen kann.
Der Fokus liegt auf einer stabilen, erweiterbaren Pipeline; vorhandene KNIME-Erweiterungen oder Python-Nodes können dabei genutzt werden.
Konkret erwarte ich:
• Einrichtung des KNIME-Workflows zum parallelen Abruf von Mail- und Dateidaten (IMAP/SMTP-Handling, Dateiserver-Connector).
• Verarbeitungsschritte zur inhaltlichen Aufbereitung: Parsing, Bereinigung, Tokenisierung und Zerlegung größerer Dokumente.
• Speicherung der resultierenden Embeddings in der gewählten Vektordatenbank inklusive Index-Management.
• Schnittstelle, die das fertige Vector-Store-Setup nahtlos an Ollama oder GPT4All anbindet, sodass lokale LLM-Abfragen möglich sind.
• Kurze Dokumentation und einleitende Anleitung, wie ich Datenquellen, Pfade und Modelle selbst anpassen kann.
Der Fokus liegt auf einer stabilen, erweiterbaren Pipeline; vorhandene KNIME-Erweiterungen oder Python-Nodes können dabei genutzt werden.
Related categories:
PHP
Python
Linux
Software Architecture
Data Integration
KNIME
Natural Language Processing
LangChain