Melhoria em multi thread e query para postgre
Budget: $2 – $8 USD
Olá tenho dois problema para solucionar, em um projeto:
1 - Existe uma função python que inserções com base em um sql com varios joins, a quantidade dos insert vai ate um valor de 1 milhão podendo ser reduzido, porem o select principal base desse insert varia de tabela para tabela mas em media 30 milhoes, porem cada joins agrega mais milhões hehe, problemão né...
Banco é postgresql na ultima versão, python versão 3.9.13 usando bibliote psycopg2 para manipulação do banco, ssd de 545Mbs leitura e 430Mbs gravação.
Gostaria de ter um maior desempenho.
2 - A função a cima usa um processo multi thread que acionada varios insert semelhantes ao de cima, porem com selects diferentes, foi ativado o multi thread para tentar melhorar a questão a cima, pois antes esse procedural, mas mesmo assim o aumento em desempenho foi baixo, usando biblioteca threading
Gostaria de ter um melhor desempenho multi threading.
Talvez resolvendo a primeira situação a segunda melhore tambem
1 - Existe uma função python que inserções com base em um sql com varios joins, a quantidade dos insert vai ate um valor de 1 milhão podendo ser reduzido, porem o select principal base desse insert varia de tabela para tabela mas em media 30 milhoes, porem cada joins agrega mais milhões hehe, problemão né...
Banco é postgresql na ultima versão, python versão 3.9.13 usando bibliote psycopg2 para manipulação do banco, ssd de 545Mbs leitura e 430Mbs gravação.
Gostaria de ter um maior desempenho.
2 - A função a cima usa um processo multi thread que acionada varios insert semelhantes ao de cima, porem com selects diferentes, foi ativado o multi thread para tentar melhorar a questão a cima, pois antes esse procedural, mas mesmo assim o aumento em desempenho foi baixo, usando biblioteca threading
Gostaria de ter um melhor desempenho multi threading.
Talvez resolvendo a primeira situação a segunda melhore tambem