Introdução à Análise de Dados de Processo

Utilizando um Sistema de Gerenciamento de Informações de Processos (PIMS)

Caso prático com o EPM (Elipse Plant Manager, PIMS da Elipse Software)

This work is licensed under a Creative Commons Attribution 4.0 International License.

Alinhando Expectativas

Introdução à Análise de Dados
Dados de Processo
Sistema de Gerenciamento de Informações de Processos ou PIMS

Agenda

Institucional
Motivação
Sistemas de Controle e Automação - Perspectiva do Fluxo de Dados
Breve Introdução à Análise de Dados
Ferramentas de Análise do EPM
O que é a Linguagem Python - Noções de Programação
Ambiente Integrado de Análise
Ambiente Integrado de Soluções
*** PROVA FINAL! ☺ ***

Iniciamos com uma breve apresentação institucional, situando a Elipse Software como fornecedora de soluções de software para o setor de controle e automação de processos.

Na sequência, discorreremos sobre a motivação da análise de dados de processo e seu papel dentro do ciclo de melhoria contínua ou PDCA (Plan–Do–Check–Act ou Plan-Do-Check-Adjust).

Explicaremos como estão estruturados os sistemas de informação e como ocorre o fluxo dos dados nestes sistemas, desde a sua coleta até chegar nas mãos dos analistas.

Apresentaremos as principais ferramentas de análise presentes no EPM, o PIMS da Elipse Software. Muitas destas ferramentas também estão disponíveis em outros sistemas de informação, e cabe aos analistas selecionar as mais apropriadas para cada caso.

Temos um capítulo a parte sobre noções de programação usando a linguagem Python, onde é apresentado o básico para poder ampliar o ferramental de análises, possibilitando a personalização e mesmo automatização de certos tipos de análises.

Por fim, apresentaremos o que existe no sistema EPM em termos de ambiente integrado de análises e implementação de soluções automatizadas utilizando todo o poder que a linguagem Python oferece.

Motivações

Sumarizando em duas palavras:

Diversão (extra oficial) !
Lucro (oficial) !

Mão na massa (diversão)!

Análise Exploratória, Preliminar ou Inicial

Verificar o maior número possível de informações que podem ser extraídas de uma análise exploratória inicial das temperaturas das salas da Elipse-RS no mês de junho de 2017.

ADM_Temperature
EPMDev_Temperature
PowerDev_Temperature
E3Dev_Temperature

Em um primeiro olhar, percebe-se a periodicidade dos dados das medidas de temperatura. Ao executar um zoom in, verifica-se que são ciclos diários.

Além disso, também é possível identificar ruídos de medida nestes dados, indicando que ainda não devem ter passado por pré-processamentos ou agregações, provavelmente provenientes diretamente de uma base de dados que armazenou estes valores a partir de um instrumento de medição de temperatura.

Nota: Este gráfico de tendências apresenta a sequência de valores que foram armazenados na medida em que foram sendo recebidos pelo sistema de coleta de dados de processo. Cada valor corresponde a um valor, medido pelo instrumento de medida, uma estampa de tempo e uma qualidade relacionada à qualidade da medida realizada pelo instrumento.

Ainda é possível identificar uma amplitude típica nos dados, que dão uma ideia da amplitude térmica do período, traduzindo para a dimensão do processo em análise ☺.

Nota-se também que alguns valores são muito discrepantes dos demais, partindo-se da premissa que a temperatura de uma sala não sofre variações tão bruscas e nem de tal magnitude como se constata nestes valores, cara típica de ser um outlier.

Vale salientar que a remoção ou tratamento de outliers não é uma tarefa trivial, ou seja, não existe uma fórmula mágica a ser aplicada em todos os casos. Aqui entra muito do conhecimento do processo em questão por parte do analista para a decisão de como proceder para o pleno atendimento das suas necessidades de análise, bem como ter ciência das implicações das suas decisões tomadas nesta etapa.

Apenas a título de exemplo, uma forma de identificação de outliers muito utilizada baseia-se no intervalo ou faixa interquartis (IIQ), onde todos os valores que estiverem fora de uma faixa pré-definida são identificados como outliers. Tipicamente utiliza-se o valor de $1,5 * IIQ$ acima do terceiro quartil ou abaixo do primeiro quartil como faixa de valores não conformes ou espúrios, ou seja, valores nestas regiões são considerados outliers.

Motivação (oficial)

O objetivo primordial de qualquer NEGÓCIO é o LUCRO!!!

Ou seja, espera-se obter um retorno positivo do investimento realizado em um Negócio

Motivação

Quem não quer lucro?!
Mas como saber se um negócio está dando lucro?
Sabendo que um negócio está dando lucro, como saber se este é o maior LUCRO possível?
Sabendo qual o maior LUCRO possível, como atingi-lo?

Ciclo PDCA - Melhoria Contínua

Para implementar o PDCA, é fundamental ter DADOS para:

Planejar e executar ações
Verificar os resultados a partir de referências
Implementar ajustes
Monitorar indicadores

Ciclo PDCA - Malha de Controle

Visão esquemática do ciclo PDCA na forma de malha de controle feedback.

Iniciando por um planejamento para levantar os dados necessários e posteriormente um planejamento das ações a serem tomadas após as devidas análises. Aplicam-se as ações necessários sobre o negócio ou processo conforme o planejamento prévio e segue-se para o monitoramento dos resultados.

A etapa de monitoramento deve, sempre que possível, ser automatizada, pois na prática os processos sofrem variações naturais, seja de matérias-primas ou por desgastes de equipamentos, obrigando que todos seus ativos ou recursos estejam sempre sendo acompanhados via indicadores pré-definidos, a fim de proporcionar uma operação adequada, dentro das especificações estabelecidas nas etapas anteriores de planejamento.

Pirâmide da Automação

Perspectiva dos Sistemas

Sistemas - Soluções Elipse Software

Visão geral das soluções da Elipse Software relacionada com a Pirâmide de Automação adaptada.

Note que as soluções da Elipse Software atendem diretamente os níveis operacional e tático das empresas, disponibilizando mecanismos para troca de informações com o nível estratégico, logo acima.

Observe também que surge uma nova via de comunicação direta entre o chão de fábrica e toda a corporação, que vem junto com o conceito de Indústria 4.0, democratizando ainda mais os dados a todos os setores onde se façam necessários.

Tradicionalmente este fluxo de informações seguia um caminho sequencial ascendente, indo da operação, passando pelo nível tático e chegando, por fim, ao nível estratégico, muitas vezes demandando adequações e desenvolvimentos específicos para que os diferentes sistemas de cada nível pudessem conversar entre si.

Atualmente temos o OPC UA (OPC Unified Architecture), que resolve com extrema maestria esta questão, viabilizando que todos os sistemas aderentes a este padrão possam trocar as informações necessárias de maneira segura, confiável e de maneira padronizada!

Para saber mais sobre OPC UA e a história do padrão de comunicação OPC, amplamente utilizado nas indústrias de processos, vale a pena dar uma olhadinha em OPC Unified Architecture na Wikipedia.

Plataforma de Gerenciamento de Dados de Processo

Arquitetura típica de um PIMS

Visualizações e Análises

Integração com o MS Excel^® EPM Add-in for Microsoft Excel
Análises de tendências EPM Chart Analysis
Análises avançadas (Linguagem Python) EPM Dataset Analysis
Portal de Dashboards Ad hoc EPM Portal
Relatórios (PDF, HTML, etc.) EPM Report Player for SSRS
Automatização e Gerenciamento de scripts em Python EPM Processor
Integração com sistemas corporativos (OPC UA, Python API, RESTful API, etc.)
Análises mais complexas e uso em outros IDEs Python EPM SDK Python e epmwebapi

Todo sistema de informação do tipo PIMS deve oferecer um conjunto de funcionalidades que viabilize o acesso aos dados de processo de uma maneira simples e intuitiva, preferencialmente já disponibilizando os dados nas ferramentas usualmente utilizadas nos processos de análise (MS Excel, linguagem Python, etc.), bem como fornecer mecanismos de integração com os demais sistemas corporativos.

Visão geral das ferramentas de análise e visualização disponibilizadas pela plataforma EPM (requisitos para implementação de um ciclo de melhoria contínua, perspectiva dados, informações e conhecimento).

Para um analista, vale destacar as ferramentas integradas com a linguagem Python, conferindo um maior poder e flexibilidade nas análises, produção e compartilhamento de resultados.

Definindo terminologias e contextualizando o que será visto em termos de análise...

Análise - Visão Geral

Esta é uma visão esquemática sobre o processo de análise de dados de processo.

Note que o que chamamos simplesmente de análise, na verdade é um processo relativamente complexo, envolvendo diversas etapas, como por exemplo a seleção dos dados em uma análise preliminar, o processamento ou tratamento dos dados previamente selecionados, a análise em si utilizando ferramentas de visualização para promover insights e, por fim, a apresentação dos resultados obtidos e eventualmente a automatização, na medida do possível, deste processo ou partes dele.

A automatização de partes deste processo de análise ou, na medida do possível, do processo como um todo, é o que se busca cada vez mais para a implementação de um ciclo de melhoria contínua, uma vez que o volume de dados e informações para serem processados vem se tornando cada vez maior, chegando cada vez mais rápido, além da demanda crescente por informações consolidadas e em tempo real para dar suporte às decisões. Este cenário é que define os requisitos de infraestrutura fundamentais para fazer frente a um mercado altamente competitivo → este é justamente o mote do EPM Processor.

Tipos de Análises - Séries Temporais

Informações do Processo

Estados operacionais OK, Durações
Tendências Previsões
Padrões oscilatórios
Relação entre variáveis MV, PV, Disturbances
Dinâmicas

Open Loop Dead time, Rise time, SS…
Closed Loop Settling time, Overshoot, Damping ratio…

Informações Estatísticas

Frequências
Medidas de posição Média, Mediana, Moda, Quartis…
Medidas de dispersão Amplitude, Variância, σ, Distância entre quartis…

Séries Temporais

Tipos de Informações

Valor Value
Estampa de tempo Timestamp
Qualidade Quality

Natureza da Informação

Discreta digital
Contínua analógica

As séries temporais de dados de processo têm sempre associados a cada leitura um valor, uma estampa de tempo e uma qualidade que, em geral, é produzida pelo instrumento de medida e está relacionada com a qualidade da informação da medição naquele ponto.

A natureza das variáveis pode ser contínua, tais como temperatura ou pressão, ou discreta, tais como setpoints ou on-off, geralmente designadas, respectivamente, por analógicas e digitais no jargão de controle e automação de processos.

Ao ser definida a natureza da variável, deve-se também ter especial atenção à amostragem, pois mesmo uma variável de natureza contínua, se for coletada a elevados intervalos de tempo, na prática tenderão a ter características de uma variável discreta, uma vez que, até chegar uma nova medida, a melhor informação que temos é o valor medido do tempo anterior, ou isso ou um uma implementação com Filtro de Kalman para estimativas mais interessantes!!! ☺

Para mais informações sobre Filtro de Kalman e sua utilização na prática, recomendamos a tese de doutorado de Leonardo A. Scardua, USP/2015, Sintonia Automática do Filtro de Kalman Unscented.

Para mais informações sobre amostragem, recomendamos pesquisar sobre teorema da amostragem de Nyquist–Shannon, ou simplesmente Teorema de Nyquist.

Para um aprofundamento maior na teoria sobre sinais e prática no uso sobre dados de processo, recomendo o livro Introdução à Identificação de Sistemas. Técnicas Lineares e não Lineares Aplicadas a Sistemas, do professor Luis Antonio Aguirre.

Análise Exploratória (Séries Temporais)

Identificação de Tendências e Padrões

Análise Exploratória (Séries Temporais)

Identificação da Dinâmica do Processo

Em grande parte das análises sobre dados de processo, o que se procura é identificar como as variáveis de interesse para controle respondem às variáveis utilizadas para controlá-las. Geralmente estas informações são obtidas a partir de experimentos denominados de Step Tests e todas suas variações possíveis da aplicação deste método.

Estes experimentos são muito comuns para a identificação da dinâmica do processo ou identificação de sistemas dinâmicos, produzindo alguma forma de modelo que relacione estas variáveis, para então utilizar no comissionamento de controladores PID, e suas possíveis combinações, ou outras aplicações.

Assista ao vídeo PID Control in Python - APMonitor.com. Neste vídeo é apresentado, de maneira didática e prática, como proceder com este método e posterior identificação da dinâmica e comissionamento de um controlador PID, tudo utilizando a linguagem Python!!!

Análise Exploratória (Séries Temporais)

Seleção de Período e Tratamento Prévio dos Dados

Outras questões técnicas que precisam ser levadas em consideração antes de prosseguir…

* Coleta dos Dados - Processamento/Armazenamento *

Informações Típicas de uma Variável de Processo

Nome Identificador único
Descrição Informações sobre a variável, seu contexto, etc. (usado em pesquisas)
Domínio Natureza da variável, pode ser Contínua (analógica) ou Discreta (digital)
Tipo da variável Numérica (Double, Float, Integer), Booleana (Boolean), Texto (String), Data e Hora (Date-Time)

Unidade de medida Unidade de engenharia
Limites da variável Min., Max.
Processamentos adicionais

Clamping None | Discard | ToRange
Scaling Regra de três
Filter Dead band
Data Compression BCBS, Swinging Doors…

Sistemas de gerenciamento de dados de processo (PIMS) geralmente apresentam um conjunto de propriedades relacionadas às variáveis de processo que gerenciam (coleta, organiza, padroniza, armazena e disponibiliza consultas).

É de grande relevância que o analista possa dispor destas informações durante a etapa de planejamento dos experimentos ou, pelo menos, durante o processo de análise para saber se os dados em questão possuem características que possam, eventualmente, até invalidar a análise que se pretendia realizar.

No caso do exemplo Step Test comentado anteriormente, é fundamental que o sistema de coleta destes dados consiga capturar informações dinâmicas, o que pode implicar na necessidade de desabilitar a aplicação de algum algoritmo de compressão de dados com descarte durante os testes, para evitar que informações preciosas possam ser perdidas em um teste, que muitas vezes são onerosos, seja em termos de custo ou de execução.

Esta prática de desabilitar os mecanismos de compressão dos dados durante testes em planta é bastante comum para quem trabalha com a identificação de sistemas para aplicações ou soluções de controle avançado e otimização em tempo real.

Para se ter uma ideia um pouco mais clara de todo o processo que envolve a proposição de uma solução envolvendo controle avançado, recomendamos ler a dissertação de mestrado de Lisandra Silveira da Silveira, UFRGS/2012, Desenvolvimento de uma estratégia de controle avançado para uma Unidade Recuperadora de Propano.

ATENÇÃO na Coleta de Dados

Em geral, softwares PIMS recebem dados por exceção.

Este mecanismo tem impactos diretos sobre a redução do tráfego na rede e nas Consultas aos Dados, que é o que mais interessa para fazer engenharia!!!

Em geral, os PIMS coletam os dados por exceção, ou seja, apenas os novos valores medidos do processo que estiverem fora de uma banda pré-configurada, que pode ser igual a zero, tendo como referência o último valor coletado, são encaminhados para serem processados e, eventualmente, armazenados definitivamente na base de dados.

Por conta disso, estes dados costumam não estar igualmente espaçados, sendo necessário aplicar uma interpolação para a aplicação da maioria dos algoritmos comumente utilizados em análises.

O padrão OPC UA, amplamente utilizado na comunicação entre sistemas modernos, já tem esta consulta interpolada definida, levando em consideração inclusive as qualidades associadas às medidas, podendo ser utilizada diretamente durante o processo de análise.

Vale ressaltar que, além desta consulta aplicando uma agregação do tipo Interpolative, outras formas de agregar, ou seja, processar dados na consulta, também estão definidos no padrão OPC UA da OPC Foundation.

ATENÇÃO na Compressão dos Dados

Compressão sem descarte de dados
Compressão com descarte de dados Existe um compromisso com a redução do espaço de armazenamento e com a reconstituição aceitável do sinal original

Os sistemas de gerenciamento de dados de processo surgiram na década de 80, a partir de uma demanda por informações do processo produtivo que, por sua vez, produz um elevado volume de dados a relativamente altas taxas, algumas das características do que designamos hoje de Big Data.

No passado, porém, com as tecnologias que se tinha disponível e seus custos associados, foram implementadas medidas alternativas para dar conta destas demandas, dentre elas a incorporação de algoritmos que, em tempo real, decidiam quais valores dos dados precisavam ser armazenados para posteriormente reconstituir o sinal original conforme uma dada necessidade, enquanto que os demais valores eram descartados, economizando assim os recursos disponíveis.

Hoje, apesar dos custos de armazenamento serem menores, não justificando muitas vezes o uso destes algoritmos, não devemos esquecer que o volume de informações chegando também aumentou, motivo pelo qual estes algoritmos ainda continuam sendo necessários e aplicados em muitos casos.

Para um analista de dados de processos produtivos, em geral um engenheiro, é fundamental ter ciência desta questão, pois a aplicação destes algoritmos, quando bem comissionados, ou seja, ajustados ou definidos, tende a preservar as informações de tendências centrais e dispersões que, em geral, são informações de interesse gerencial, porém costumam descartar informações dinâmicas que, na maioria das vezes, são justamente as informações de interesse tático, ou de processo, o que o engenheiro procura saber!

ATENÇÃO na Compressão dos Dados

Dependendo das configurações utilizadas no Algoritmo de Compressão, as informações dinâmicas podem ser perdidas! Como por exemplo, desativar a compressão para Step Tests na planta.

Em geral estas análises não costumam ser realizadas com dados muito antigos.

Verificar se o mecanismo de compressão está ativo antes da coleta de dados em testes que se pretende estudar a dinâmica de um processo qualquer, é de fundamental relevância.

Nos casos em que está ativo o mecanismo de compressão com descarte de dados, é comum na etapa de planejamento de experimento entrar em contato com todos os responsáveis pelo sistema de informação, bem como com os operadores da planta para poder realizar o experimento da melhor maneira possível (segurança, produtos dentro das especificações, etc.), coletando os dados brutos, denominados também de raw data, sem a aplicação de qualquer algoritmo que altere as informações originais.

Logicamente que estes dados brutos terão que passar por uma etapa de tratamento antes de serem utilizados nas análises subsequentes. Frequentemente deve-se proceder com o tratamento de outliers e a remoção de ruídos de medida através de uma operação de filtragem destes dados.

Consultas à Variáveis de Processo

Tipicamente uma função do tipo Historical_Data = get_data(params)

Nome da variável
Data do início do período (inclusive)
Data do final do período (exclusive)
Fuso horário
Tipo de agregação (processamento)
Intervalo de processamento
Tratamento das extremidades
…

Todas as consultas a dados históricos de processo seguem um mesmo padrão, ou seja, é preciso informar a variável que se deseja buscar os dados, o período da consulta e, eventualmente, se é para aplicar algum processamento ou cálculo adicional nos dados, como por exemplo interpolação, média ponderada ao longo do tempo, máximos, mínimos, totalizações, etc.

No padrão OPC UA, estes processamentos são designados por agregações, ou seja, uma forma específica de agrupar os dados em informações mais relevantes, através de algum processamento matemático.

Por se tratar de séries temporais, é fundamental ter especial atenção com a questão dos fusos horários ou timezones. Por conta disso é que os softwares PIMS armazenam dados em UTC (Coordinated Universal Time). Isso significa que os dados são guardados com estampas de tempo contínuas, sem sofrer os problemas decorrentes de fusos horários distintos ou horários de verão. Portanto, ao se efetuar uma consulta aos dados de processo, é preciso estar ciente disso a fim de informar o período de interesse corretamente.

Consultas a Dados Históricos

Padrão OPC UA

RAW
Interpolative
Average
Time Average
Total
Minimum, Maximum
Range
Count
Duration In State Zero, Non-Zero
…

O padrão OPC UA define um conjunto bastante amplo de formas de aplicar agregações ou processamentos aos dados. Recomenda-se consultar o padrão para compreender melhor os detalhes de cada tipo de consulta e onde podem ser aplicadas, por exemplo, na OPC Foundation.

Em geral, as mais utilizadas em consultas a dados de processo são a Interpolative e TimeAverage. Para variáveis do tipo on-off, as consultas sobre a duração em estado zero ou não zero são mais comuns, simplificando bastante o processo de obtenção de informações, tais como o tempo de um equipamento ligado.

Vale ressaltar que os sistemas de informação podem estender estas consultas, oferecendo outras formas especiais de agregação. No caso do Elipse Plant Manager (EPM), foram adicionadas à lista de consultas disponíveis as consultas Trend, PercentTimeInStateZero e PercentTimeInStateNonZero.

Para mais informações, consulte o manual do EPM, que pode ser obtido diretamente do site da Elipse Software, na seção de downloads.

Mão na massa!

Detalhamento das Análises

Criar um gráfico com as temperaturas médias diárias das salas na ala sul da Elipse Software - RS (10° e 11° andares EPMDev_Temperature / E3Dev_Temperature) do mês de junho de 2017.

Para este exercício, recomenda-se selecionar as variáveis solicitadas, bem como o período desejado, e criar um Dataset utilizando uma ferramenta do EPM Studio chamada Dataset Analysis, que além de facilitar a consulta aos dados de processo, apresentando-os em gráficos de tendências, ainda disponibiliza um ambiente integrado com a linguagem Python para análises que demandem ainda mais recursos de computação científica.

Mais detalhes sobre este ambiente serão apresentados posteriormente, pode ficar tranquilo!!! ☺

Para os mais apressadinhos, pesquisem na Playlist do EPM no canal da Elipse Software no Youtube. Lá tem inúmeros vídeos demonstrando o potencial desta ferramenta, dentre os quais destaco o vídeo EPM para analistas de dados: análises preliminares utilizando o módulo pandas da linguagem Python.

O console para execução de comandos na linguagem Python precisa ser expandido pelo menos uma vez para tornar-se ativo.

Uma vez aberto, carrega um arquivo de inicialização que está localizado na pasta dos documentos do usuário logado no Windows, ou seja, …/Elipse Software/EPM Studio/Libraries, e o nome deste arquivo é ConsoleInitialization.py.

ATENÇÃO: por mais tentado que estejas em colocar suas funções diretamente neste arquivo, passando automaticamente a estarem disponíveis para uso no console Python integrado para uso, o que RECOMENDAMOS MUITO é que aprendas a organizar e modularizar funções para facilitar ainda mais a tua vida quando for necessário dar manutenção a estes códigos, bem como do seu compartilhamento com outros colaboradores da tua equipe de análises!!! ☺

A forma correta de fazer isso é simplesmente colocar neste arquivo de inicialização a importação dos módulos ou bibliotecas Python que desejas que estejam disponíveis no console Python, sejam módulos de terceiros ou feitos por ti!!! ☺

Abre parênteses

(

linguagem Python

Alguém nunca ouviu falar?!

Alguém NÃO sabe nada?!

Se já sabes TUDO sobre Python… ☺

Podes pular esta parte!

Clica na setinha à direita, ao invés de seguir para baixo!!!

Linguagem de propósito geral de alto nível, lançada em 1991 por Guido van Rossum
Interpretada, multiparadigma, de tipagem dinâmica e forte…
Comunidade forte e ativa, inclusive Comunidade Científica (grande crescimento e adesão nos últimos anos!!!)

Python Interactive Shell >>>import this

Use o Python Interative Shell do site da PSF ou use o IPYTHON, caso já o tenha instalado, para compreender um dos primeiros conceitos desta linguagem, a importação de módulos Python, que corresponde a um conjunto de códigos agrupados para posterior uso. Comumente também designado por bibliotecas em outras linguagens de programação ou softwares matemáticos.

Para tornar disponível um módulo ou biblioteca, basta importá-lo para o ambiente através do comando import, seguido do nome do módulo que se deseja importar.

Nosso primeiro módulo será um de cunho mais filosófico, que apresenta a essência desta linguagem e como devemos pensar ao desenvolver soluções em linguagem Python. É o ZEN do Python e pode ser visto simplesmente escrevendo o comando a seguir

import this

… e pressionando a tecla ENTER

KIT Básico para Análises (Módulos)

O módulo numpy é o pacote básico de cálculo numérico utilizado por praticamente todos os demais módulos relacionados à computação científica.

Já o scipy tem um conjunto extremamente vasto de bibliotecas para as mais diversas áreas da matemática, ciências e engenharia, entre outras.

O módulo matplotlib é a principal ferramenta para visualização dos resultados, praticamente todos os demais módulos relacionados à computação científica o utilizam, mesmo outros módulos destinados à visualização o utilizam como base para implementa facilidades adicionais.

Só para se ter uma ideia da infinidade de tipos de gráficos e visualizações, inclusive com interação do usuário, dá uma olhadinha na galeria de exemplos em MATPLOTLIB GALLERY.

O módulo pandas é, por excelência, destinado diretamente para o analista. Este módulo estrutura os dados em séries ou data frames (formato tabular), fornecendo um conjunto extremamente amplo de recursos para análises, visualizações, importação ou exportação e manipulação de dados, entre outros.

ATENÇÃO: Os links com exemplos utilizando o Jupyter Notebook apresentam o mesmo conteúdo, porém o primeiro link abre uma página do Jupyter Notebook previamente compilada, o segundo também abre e mesma página previamente compilada, porém no formato de apresentação de slides (sim, é possível fazer isso no Jupyter Notebook ☺), enquanto o terceiro link executa o próprio Jupyter Notebook instalado na máquina em modo de apresentação de slides carregando este exemplo. É exatamente este último link que uso no vídeo ☺!!!

Ambientes Python para Análises

IDEs for Data Science

Ref.: Paulo Henrique Vasconcellos - December 21st, 2018 - Top 5 Python IDEs For Data Science - The best Python IDEs for data science that make data analysis and machine learning easier!

É importante compreender a diferença entre IDE para análise de dados e IDE para desenvolvimento. O primeiro deve atender as necessidades de um analista, oferecendo facilidades que agilizem todo o processo das análises, enquanto o segundo tem como foco o desenvolvimento de aplicações ou soluções, oferecendo um conjunto de ferramentas integradas para versionamento de código e depuração, entre outras.

O IPython é o IDE mais simples, geralmente utilizado para testes mais rápidos, porém é comum utilizar este ambiente de Shell ou console integrado em outras ferramentas.

O Spyder é um poderoso IDE para análises ou desenvolvimento de pequenas lógicas em scripts. Tem integração nativa com um Shell, bem como ferramentas que facilitam as análises, como a área de visualização das variáveis criadas no Shell e seus valores.

O Jupyter é a ferramenta perfeita para registrar todo o processo de análise, servindo como memorial de cálculo. Também é comumente utilizado para apresentar resultados, inclusive como apresentação de slides e executando códigos em tempo real como nesta apresentação!!! ☺

Criando Módulos

Declaração de Funções


                        def  nomeFuncao(arg1, arg2 , arg3 = 'None'):
                            """ Docstring - help da função

                                No Python 3 é possível usar caracteres especiais para nomes de
                                variáveis, funções, etc..; porém eu não recomendo! :)
                            """

                            # código identado com 4 espaços
                            #
                            # Se tiver algum retorno, usar return
                            pass

Dicas

Comente linhas com #
Inicie arquivos (para o Python 2.7) com # -*- coding: utf-8 -*-
Carregue módulos usando namespaces
Para retornar valores, use return

Dicas:

Para o desenvolvimento de códigos em linguagem Python, é altamente recomendado estudar e aplicar as boas práticas definidas na PEP 8 - Style Guide for Python Code. As PEPs são propostas de melhorias da linguagem. A PEP 0 - Index of Python Enhancement Proposals e a PEP-8 são muito difundidas e seguidas entre a comunidade que procura, na medida do possível, aplicar suas orientações a fim de produzir códigos dentro de um padrão de estilo que facilita o desenvolvimento colaborativo.
Para a criação de módulos ou bibliotecas de funções, é altamente recomendado que se pesquise pela PEP 484 - Type Hints, principalmente ao desenvolver aplicações ou soluções para uso de terceiros ou mesmo para facilitar a manutenção e desenvolvimento compartilhado do código pela própria equipe.

Mão na massa!

Criar um Módulo com Apenas uma Função

Criar uma função que gera um gráfico de uma parábola e salvar em um arquivo no diretório C:\MyLibs

Equação:

$$ \begin{align*} y = a^2 x + b x + c \\ onde: a = 1,\; b = 5, \; c = 6 \end{align*} $$

Dica: Usar o Spyder

Importando Módulos Proprietários

Para carregar um módulo proprietário, este deve estar disponível no PATH do Python, que pode ser acessado através no módulo builtin do Python, sys.


                        >> import sys, numpy as np
                        >> print(sys.path)
                        >> sys.path.append(r'C:\MyLibs')
                        >> import my_module as mm
                        >> x = np.arange(-1, 7)
                        >> y = mm.parabola(x, a=1, b=-5, c=6, plotResult=True)

Dica de Curso Introdutório sobre Python

Learn Python with Socratica || Python Tutorial || Python Programming - Socratica

PLAYLIST: Python Programming Tutorials (Computer Science)

Fecha Parênteses

(

Linguagem Python

)

…voltando ao Dataset Analysis…

EPM Dataset Analysis

Powered by Python

Expandir o Scripting pela primeira vez dispara um interpretador Python e executa o arquivo de inicialização, ConsoleInitialization.py.

Console Python integrado

Acesso aos dados das variáveis do gráfico de tendência
Plot de dados (Séries Temporais) na área do gráfico de tendência

Plugins na Faixa de Opções

Acesso aos dados das variáveis do gráfico de tendência
Acesso às informações das variáveis do gráfico (Description, Eng. Unit, Domain, etc.)
Janelas de aviso ao usuário: Information, Alert, Error
Janela de input do usuário

Mão na massa!

Filtro de Ruído de Medida

Existem inúmeras formas de aplicar um filtro para minimizar ou eliminar os ruídos decorrentes das medidas das variáveis de processo.

Este exercício consiste em desenvolver um Filtro de Média Móvel e aplicar na medida do nível do tanque LIC101 no período de 03/03/2014 23:00:00 a 04/03/2014 01:00:00

Equação (Simple Moving Average):

$$ SMA = \dfrac{p_m + p_{m-1} + ... + p_{m-(n-1)}}{n} $$

Mão na massa!

Agilizando Ainda Mais o Processo de Análise

Para os casos onde algumas funções são demandadas com frequência, vale a pena um esforcinho a mais e criar um Plugin Python, que aparece na Faixa de Opções do EPM Dataset Analysis.

Vamos fazer na prática um plugin e ver como é fácil?! ☺

A criação de um plugin em linguagem Python no ambiente Dataset Analysis do EPM Studio é bastante simples e consiste basicamente dos seguintes passos:

Crie um diretório com um nome para o plugin no diretório …/My Documents/Elipse Software/EPM Studio/Plugins.
Coloque um arquivo de imagem no diretório do plugin para ser utilizado como ícone na Faixa de Opções.
Crie um script Python carregando o módulo de Plugins do EPM, utilizando o decorator de plugins para todas as funções que deverão ser disponibilizadas ao usuário.
As docstrings das funções são automaticamente utilizadas como tooltips na Faixa de Opções.

O módulo EPM Python Plugin oferece os seguintes recursos de integração:

Acesso aos dados das penas selecionadas
Acesso às informações das variáveis das penas selecionadas, tais como unidade de medida e descrição
Janelas de informação, alerta e erro
Janela dinâmica de input para entrada de dados de usuários
Plotar no próprio gráfico de tendências do EPM Dataset Analysis
Retornar variáveis para a área de trabalho

Olha só a cara de uma função no plugin:


                    import Plugins as ep

                    @ep.DatasetFunctionPlugin (‘Nome no menu', 1, 'y')
                        def myFunc():
                        """ Descrição que aparecerá automaticamente no tooltip.
                        Atenção para caracteres especiais e acentos!
                        """
                        #
                        # Aqui vem o código
                        #

                        y = None

                        return y

EPM Python APIs

Criação de scripts em Python para análise ou execução sob demanda ou automática (por agendamento)

Exemplo de aplicações

Ler, processar ou escrever dados do EPM ou outros sistemas - consolidação de dados, otimizações em tempo real, etc.
Geração de relatórios (HTML, PDF, etc.)
Notificações via e-mail
Aplicações avançadas para processamento e análise – CEP, Identificação de modelos de processos, Comissionamento de PIDs e de sistemas de controle avançado, Auditoria de malhas, etc.

A epmwebapi é uma biblioteca para a linguagem Python construída com o objetivo de interagir com os dados do Elipse Plant Manager, possibilitando uma maior flexibilidade para buscar, organizar, analisar, compartilhar e monitorar dados.

A instalação segue o mesmo padrão das instalações de módulos no Python executando na linha de comando, tais como cmd, PowerShell ou Shell.

pip install epmwebapi

Outra forma de instalar este módulo é simplesmente colocar todo o diretório da empwebapi dentro do diretório …/site-packages, onde costuma-se dispor todos os módulos instalados no Python.

Vale ressaltar que esta API só funciona a partir da versão 3.6 do Python e é INDEPENDENTE DE PLATAFORMA ☺!!!

EPM Web API

API em linguagem Python (3.6 ou superior) com suporte a inúmeras funcionalidades relacionadas ao sistema de informação.

Mais informações e exemplos no GitHub da Elipse Software - EPM Web API (Python)

Para poder usar a epmwebapi, é necessário ter instalado e configurado um EPM Webserver, que fará o meio de campo entre as solicitações feitas via esta API em linguagem Python e um EPM Server.

A instalação de um EPM Server pode ser feita em qualquer lugar que tenha acesso ao EPM Server e, na outra ponta, possa ser acessado pela epmwebapi, levando-se sempre em consideração questões de segurança, disponibilidade e confiabilidade.

Caso se tenha disponível alguma máquina com o EPM Processor ou o EPM Portal, esta máquina poderá ser utilizada como ponto para conexão utilizando a epmwebapi, uma vez que o EPM Webserver já é instalado automaticamente, já que estes dois outros módulos do ecossistema EPM também o utilizam para estabelecer a comunicação com um EPM Server.

Mão na massa!

Aprendendo a Usar a EPM Web API na Prática! ☺

Mão na massa!

Bonus - Process Data Analysis

Algumas dicas extras sobre análise de dados de processo na prática!!!

EPM Processor

O EPM Processor é um módulo do EPM reponsável pela execução automática ou sob demanda de códigos em linguagem Python.

Mais informações e exemplos no GitHub da Elipse Software - EPM Processor

O EPM Processor é um módulo que se integra à plataforma Elipse Plant Manager (EPM).

Através desta plataforma é possível coletar dados de diversas origens, armazená-los e contextualizá-los, oferecendo alto desempenho de gravação e consulta, além de inúmeras ferramentas para visualização e análises, a fim de agilizar o processo de extração de conhecimento e no balizamento de tomadas de decisões.

O EPM Processor atua neste cenário possibilitando que algoritmos escritos em linguagem Python sejam colocados em execução automatizada ou sob demanda.

As execuções automatizadas são baseadas em eventos OPC UA e disponibilizam conexões nativas aos dados de processo de um ou mais EPM Servers.

Alguns casos típicos de uso desta ferramenta são cálculos de indicadores de desempenho, inferências sobre variáveis de processo, cálculos de previsões de demandas, geração de relatórios e documentações automáticas ou sob demanda, dentre outros.

Com esta ferramenta é possível gerenciar toda a geração de informações baseadas nos dados de processo, incorporando ou não informações de outras fontes de dados, tudo em um ambiente seguro e de fácil manutenção, requisitos vitais para a gestão das informações de negócio.

Para mais detalhes sobre o EPM Processor, assista a playlist no canal da Elipse Software no Youtube.

Se tiveres pouco tempo, assista apenas ao vídeo a seguir.

FAQs

É possível utilizar este sistema em modo de demonstração (DEMO)? Quais seriam as restrições?

Sim, é possível instalar todo o sistema (EPM Server, EPM Processor, EPM Portal, etc.) e utilizar em modo DEMO, a única restrição é quanto ao número de variáveis "ativas", limitadas a um máximo de 20.

Não há uma restrição quanto ao número de sessões para o EPM Studio, EPM Add in for Microsoft Excel e epmwebapi, por exemplo - porém para o EPM Portal em modo DEMO, apenas uma sessão é disponibilizada, enquanto que no EPM Processor, até 10 Applications podem ser colocadas em produção (execução automatizada).

Agradecimentos

Universo Open Source - Linux, Python, Anaconda, VIM, RevealJS, OBS, Kdenlive, Gimp, Inkscape, etc.
Python: numpy, scipy, matplotlib, pandas, etc.
GitHub, Bitbucket, …, Youtube, etc.
GitHub, Bitbucket, …, Youtube, etc.
… a todos que, de alguma forma, contribuiram ou contribuem para um mundo open …
… a todos que contribuiram/contribuem para que este curso seja útil: alexandre, gabriel, leandro, jorge, renato, humberto, renan, dines, gilberto, luciano, pudi, sthefany, kotres, daniel, carol, helcker, filipe, lizandra, thais, scherer, aleksander, abreu, fabricio, diogo, julio, elves, wellington, johen, erich, cintia, guilherme, jose, andressa, jonathan, eduardo, beal, vinicius, …
Icons from The Noun Project - creators: priyanka, Kraya, Evangeline, Alice, vighnesh anvekar, ProSymbols.
Royalty Free Music from Bensound

Sugestões de Links

Canal da Elipse Software no Youtube

GitHub da Elipse Software

Canal do Maurício S. Posser (MSP) no Youtube (este que vos fala ☺)

Exemplos do MSP no Anaconda Cloud

Repositório de Exemplos do MSP

Canal do Corey Schafer no Youtube (TUDO sobre Python)

Playlist: Python Programming Tutorials (Computer Science, do canal Socratica)

Canal APMonitor.com no Youtube (TUDO sobre Engenharia de Controle e Automação com Python, Arduino, etc.)

Canal de Luis Antonio Aguirre (Controle de Processo, Análise de Sinais, Identificação e Modelagem, etc.)

Por favor, ao constatar o uso indevido de qualquer conteúdo desta apresentação, crie uma issue no GitHub para que possamos resolver.

Obrigado! ☺

Introdução à Análise de Dados de Processo

Utilizando um Sistema de Gerenciamento de Informações de Processos (PIMS)

Caso prático com o EPM (Elipse Plant Manager, PIMS da Elipse Software)

Alinhando Expectativas

Agenda

Motivações

Mão na massa (diversão)!

Análise Exploratória, Preliminar ou Inicial

Motivação (oficial)

Ou seja, espera-se obter um retorno positivo do investimento realizado em um Negócio

Motivação

Ciclo PDCA - Melhoria Contínua

Ciclo PDCA - Malha de Controle

Pirâmide da Automação

Perspectiva dos Sistemas

Sistemas - Soluções Elipse Software

Plataforma de Gerenciamento de Dados de Processo

Arquitetura típica de um PIMS

Visualizações e Análises

Definindo terminologias e contextualizando o que será visto em termos de análise...

Análise - Visão Geral

Tipos de Análises - Séries Temporais

Séries Temporais

Análise Exploratória (Séries Temporais)

Identificação de Tendências e Padrões

Análise Exploratória (Séries Temporais)

Identificação da Dinâmica do Processo

Análise Exploratória (Séries Temporais)

Seleção de Período e Tratamento Prévio dos Dados

Outras questões técnicas que precisam ser levadas em consideração antes de prosseguir…

*** Coleta dos Dados - Processamento/Armazenamento ***

Informações Típicas de uma Variável de Processo

ATENÇÃO na Coleta de Dados

ATENÇÃO na Compressão dos Dados

ATENÇÃO na Compressão dos Dados

Consultas à Variáveis de Processo

Consultas a Dados Históricos

Padrão OPC UA

Mão na massa!

Detalhamento das Análises

Abre parênteses

(

linguagem Python

KIT Básico para Análises (Módulos)

Ambientes Python para Análises

IDEs for Data Science

Criando Módulos

Declaração de Funções

Dicas

Mão na massa!

Criar um Módulo com Apenas uma Função

Importando Módulos Proprietários

Dica de Curso Introdutório sobre Python

Learn Python with Socratica || Python Tutorial || Python Programming - Socratica

Fecha Parênteses

(

Linguagem Python

)

EPM Dataset Analysis

Powered by Python

Mão na massa!

Filtro de Ruído de Medida

Mão na massa!

Agilizando Ainda Mais o Processo de Análise

Olha só a cara de uma função no plugin:

EPM Python APIs

EPM Web API

Mão na massa!

Aprendendo a Usar a EPM Web API na Prática! ☺

Mão na massa!

Bonus - Process Data Analysis

EPM Processor

FAQs

Agradecimentos

Sugestões de Links

* Coleta dos Dados - Processamento/Armazenamento *