Machine Learning com Python, Spark e Keras usando metodologia DataOps

Kubeflow: Automatiza a implantação de modelos do TensorFlow no Kubernetes.

Docker: é uma ferramenta projetada para tornar mais fácil a criação, implantação e execução de aplicativos usando contêineres. Os contêineres permitem que um desenvolvedor empacote um aplicativo com todas as partes de que precisa, como bibliotecas e outras dependências, e implante-o como um pacote.

Kubernetes: é um sistema de código aberto para automatizar a implantação, escalonamento e gerenciamento de aplicativos em contêineres.

Kakfa: é uma plataforma distribuída de mensagens e streaming. Se você quer mover e transformar um grande volume de dados em tempo real entre diferentes sistemas.

Hadoop: é plataforma software código aberto para o armazenamento e processamento distribuído de dados, principal framework de big data.

Hbase: É um banco de dados não relacional projetado para trabalhar com grande conjunto de dados (Big Data). Ele escala linearmente quando lida com grandes conjuntos de dados formados por bilhões de linhas e milhões de colunas, e combina facilmente fontes de dados que utilizam uma grande variedade de estruturas e esquemas diferentes.

Apache Cassandra: é um projeto de sistema de banco de dados distribuído altamente escalável de segunda geração, que reúne a arquitetura do DynamoDB, da Amazon Web Services e modelo de dados baseado no BigTable, do Google.

MongoDB: é um banco de dados orientado a documentos no formato JSON.

NiFi: é um software de código aberto para automatizar e gerenciar o fluxo de dados entre sistemas. É um sistema poderoso e confiável para processar e distribuir dados. Ele fornece uma interface para criar, monitorar e controlar os fluxos de dados.

Anaconda: é um gerenciador de pacotes de código aberto, gerenciador de ambiente e distribuição das linguagens Python e R.

Jupyter notebook: é um ambiente computacional web para a internet rica para criação de documentos para a plataforma Jupyter. O termo “notebook” pode, dependendo do contexto, fazer referência a entidades distintas como Jupyter (aplicativo Web), Jupyter Python (servidor Web) ou ao formato de documento para a plataforma. Um documento Jupyter Notebook é estruturado formato JSON, contendo uma lista ordenada de células de entrada / saída que podem conter código, texto (usando Markdown), matemática, gráficos e texto enriquecido, geralmente terminando com a extensão “.ipynb”.

RAPIDS: é um pacote de bibliotecas de software, construído em CUDA-X AI, que permite executar ciência de dados de ponta a ponta e pipelines analíticos inteiramente em GPUs.

ArangoDB/ArangoML: Os pipelines de aprendizado de máquina contêm muitos componentes diferentes: treinamento distribuído, Jupyter Notebooks, CI/CD, otimização de hiperparâmetros, armazenamentos de recursos e muitos mais. A maioria desses componentes tem metadados associados, incluindo conjuntos de dados com versão, notebooks jupyter com versão, parâmetros de treinamento, precisão de teste / treinamento de um modelo treinado, recursos com versão e estatísticas de veiculação de modelo.

Vemos muitos benefícios do ArangoML Pipeline para DataOps e Cientistas de Dados:

• Captura de informações de linhagem (por exemplo, qual conjunto de dados influencia qual modelo?).
• Captura de informações de auditoria (por exemplo, um determinado modelo foi treinado há dois meses com o seguinte desempenho de treinamento / validação.
• Treinamento de modelo reproduzível.
• Política de exibição de modelo (por exemplo, qual modelo deve ser implantado na produção com base nas estatísticas de treinamento).
• Extensão de pipelines de ML existentes por meio de API Python / HTTP;

Algumas das ferramentas usadas em DataOps separadas por categoria:

• Orquestração de pipeline de dados: o DataOps precisa de um fluxo de trabalho direcionado que contenha todas as etapas de acesso, integração, modelo e visualização de dados no processo de produção analítica de dados. Para esta tarefa, ferramentas como AirFlow, Apache Oozie (ferramenta do ecossistema Hadoop) são as mais comuns;
• Teste automatizado, qualidade e alertas e qualidade da produção: o DataOps testa e monitora automaticamente a qualidade da produção de todos os dados e artefatos no processo de produção analítico de dados, além de testar as alterações de código durante o processo de implantação. O Enterprise Data Foundation fornece ferramentas open source que ajudam nesta etapa.
• Automação de implantação e criação de sandbox de desenvolvimento: o DataOps move continuamente o código e a configuração dos ambientes de desenvolvimento para a produção. Jenkins é a principal ferramenta.
• Implantação do modelo de Ciência de Dados: as equipes de Data Science orientadas a DataOps criam ambientes de desenvolvimento reproduzíveis e movem modelos para a produção. Alguns chamam isso de MLOps. Aqui as opções são muitas: MLFlow, Kubeflow etc.