Categoria:

Artigos

Utilizando a IA e IoT na luta pela preservação de espécies em extinção

Por Marcus Vinicius Rocha 28 de julho de 2020

A caça ilegal e o tráfico de animais silvestres são um problema global que está levando espécies selvagens à extinção. Esta rede ilegal lucra bilhões de dólares por ano, deixando para trás apenas um rastro de morte. Para se ter uma ideia do impacto da atividade, no início do século 20 existiam cerca de 500 mil rinocerontes no mundo. Hoje há no máximo 30 mil. O elefante é outra espécie que está desaparecendo devido à ação de caçadores furtivos. Estima-se que entre os anos de 2007 e 2014, um elefante foi morto a cada 15 minutos.

Seus chifres são a grande cobiça por traz da caça, já que o quilo pode valer US$ 250 mil. No mercado ilegal eles são vendidos para produção de esculturas ou em pó, para serem utilizados em simpatias para tratar enfermidades, câncer e impotência sexual. As 5 espécies de rinocerontes estão desaparecendo, o último branco macho morreu em 2018.

Para combater a caça e o tráfico ilegal destes e de outros animais silvestres, entidades de proteção aos animais e gigantes da tecnologia somaram esforços para desenvolver sensores de rastreamento para as espécies que mais sofrem com a ação predatória do homem. LoRa Alliance, Sigfox Foundation e Microsoft estão utilizando a Internet das Coisas (IoT) e a Inteligência Artificial (IA) para tornar as reservas em parques inteligentes, onde é possível monitorar 24h por dia a localização e o comportamento dos animais.

Para que isso seja possível, rastreadores estão sendo colocados nas espécies essenciais para manter a diversidade, incluindo animais que estão na cadeia alimentar das espécies que mais sofrem com as ações ilegais de caça furtiva. Os rastreadores utilizam uma rede de baixa energia para a IoT, assim consomem a bateria lentamente, estendendo o funcionamento por alguns anos. Reservas no Malawi, Tanzânia, Ruanda, Quênia, Congo, Índia, Zâmbia, Namíbia, Holanda, Zimbábue e Zâmbia estão utilizando este tipo de tecnologia.

Graças à ajuda da IA e o aprendizado de máquina, pesquisadores e veterinários estão indo um pouco mais além no monitoramento dos animais em extinção. Utilizando reconhecimento facial padronizado para monitorar as populações e migrações de grandes felinos, girafas, ursos pardos e baleias. O impacto da atividade humana no meio ambiente está provocando a perda dos habitats naturais, agravando a diminuição das espécies. A Inteligência Artificial também está sendo utilizada para criar um “dicionário de elefante” através do registro da comunicação entre estes animais, analisando ruídos e comportamentos. Esse registro ajudará nos trabalhos de proteção da espécie.

Outra iniciativa para a proteção da fauna e da flora que também se destaca utiliza celulares reciclados para monitorar a atividade ilegal de madeireiros. Protegido em um estojo que utiliza energia solar para carregar os aparelhos, o dispositivo registra sons associados à atividade ilegal como motores de avião ou caminhão, motosserras, explosões e tiros de arma de fogo e envia para um servidor na nuvem para serem analisados.

E você, conhece outras iniciativas de IoT para a preservação das espécies? Compartilhe conosco nos comentários abaixo!

Referências: CanalTech, Época, Smart Parks, National Geographic

28 de julho de 2020 0 comentário

Artigos

Big Data & Analytics — Aplicar, Testar e Acompanhar Modelagem Estatística

Por Profª Janete Ribeiro 21 de julho de 2020

escrito por Profª Janete Ribeiro

Para fechar nosso ciclo de etapas do desenvolvimento de um projeto de BIG-Data e Analytics, entendendo os “jargões” da área, vamos falar das etapas mais glamourosas! A aplicação dos modelos estatísticos, algoritmos, inteligência artificial!

Estas são as etapas 6, 7 e 8. Assim como as anteriores 3, 4 e 5 (veja aqui, aqui e aqui) elas não seguem uma sequência reta. Elas vão e vem de acordo com os resultados de cada experimento, afinal estamos falando de “Ciência de Dados”, cientistas fazem experimentos até obter o resultado esperado das suas pesquisas.

Durante o processo de análise exploratório, definimos os resultados que podemos obter dos dados disponíveis. Com base nestas definições prévias vamos escolher qual seria o melhor algoritmo a ser aplicado para que possamos ter as respostas mais assertivas para o problema de negócios.

Existem algumas regras básicas para definição de “ferramenta” ou “algoritmo” para cada tipo de “problema de negócios”.

Então entraremos nos termos “dados estruturados” e “dados não estruturados”. Os dados estruturados são essencialmente numéricos, quantitativos, já os dados não estruturados, não possuem uma formatação padrão, podem ser imagens, áudio, textos em diversos idiomas.

Se o estudo que estamos trabalhando deve ser desenvolvido sobre uma base de dados quantitativos (estruturados) vamos optar por “algoritmos” ou “métodos estatísticos” ou ainda “machine learning tools” (ferramentas de aprendizado de máquina) “supervisionados”. Ou seja, a máquina vai aprender sobre este processo, estes dados de acordo com o que o “Cientista de Dados” apresenta para ela como hipóteses corretas. Este é o aprendizado “supervisionado”, onde a máquina vai buscar as variáveis com as correlações mais próximas daquelas que foram apontadas como corretas. Isso chamamos de “treinamento de modelos” ou de “robôs”.

Os métodos estatísticos mais conhecidos para resolver problemas com a técnica de aprendizado supervisionado são:

Regressão linear,
Regressão logística,
Redes neurais artificiais,
SVM (Support Vector Machine),
Árvores de decisão (Decision-tree),
Bayes (probabilidade).

Aprendizado de máquina supervisionado é a área que concentra a maioria das aplicações do uso de “machine learning” na ciência de dados, desde estudos de segmentação de clientes, previsão de manutenção de equipamentos, análise de riscos dentre outros.

Método Supervisionado

Quando trabalhamos com dados “qualitativos”, ou seja, “não estruturados”, como imagens, sons, textos aleatórios. Nesse tipo de problema aplicamos os modelos (algoritmos, métodos estatísticos) “Não Supervisionados”.

Por exemplo, se estamos buscando identificar o “Perfil” do cliente que utiliza os serviços de banco pelo celular. Obtivemos informações do cliente, desde as quantitativas (transacionais) bem como sua conversação nos canais digitais (mensageria, redes sociais etc.). Para identificar quem é esse cliente, o ideal é agrupar as características mais relevantes.

Nesse exemplo, poderíamos observar o seguinte:

Estes casos são os mais complexos, pois muitas vezes teremos que aplicar diversas técnicas estatísticas (algoritmos) em sequência para extrair informações precisas dos dados. As técnicas aqui são em sua maioria de correlação por aproximação e probabilísticas.

As mais utilizadas são:

Redes neurais artificiais,
Expectativa-Maximização,
Clusterização k-means,
Clusterização Hierárquica,
SVM (Support Vector Machine),
Árvores de decisão isoladoras (Decision-tree),
Mapas auto-organizados (Mapas de calor).

Como podem ver no exemplo abaixo as análises “Não supervisionadas” sobre um mesmo “Dataset”:

Podemos dizer que os métodos não supervisionados são a base mestra da “Inteligência Artificial”.

Como mencionamos estas etapas vão e vem até que os testes nos apresentem resultados conclusivos do estudo, ou seja, tenhamos um nível de assertividade entre 90% a 99%.

Então apresentamos e faremos o “acompanhamento”, que é confrontar nossas análises com a realidade dos fatos. Se indicamos uma cesta de produtos ideal para nosso cliente, vamos acompanhar quantos clientes efetivamente adquiriram a cesta que indicamos, comparando com um grupo de clientes que não tenha sido tocado pela campanha (grupo de controle). Enfim, os projetos de “Ciência de Dados” sempre deixam um gosto de “quero mais”.

Sempre teremos que reavaliar e incrementar análises, pois sempre haverá novas descobertas!

Fontes: iMasters Técnicas de Machine Learning; Medium Blog; Sciki Learn — Unsupervised Clustering examples

21 de julho de 2020 0 comentário

Hospitais utilizam IA para mitigar a transmissao do novo Coronavirus entre os profissionais de saude

Artigos

Hospitais utilizam IA para mitigar a transmissão do novo Coronavírus entre os profissionais de saúde

Por Marcus Vinicius Rocha 16 de julho de 2020

escrito por Marcus Vinicius Rocha

Profissionais de saúde estão trabalhando exaustivamente em todo o mundo para salvar a vida daqueles que foram contaminados pelo novo coronavírus. Verdadeiros heróis neste esforço de guerra, os profissionais da saúde relatam um cenário angustiante para salvar a vida dos enfermos. Há muito estresse no ambiente hospitalar, e a saúde mental destes trabalhadores passou a ficar comprometida.

E o que é ainda pior, aqueles que estão na linha de frente do combate à pandemia também se tornaram uma das principais vítimas da doença, sendo milhares de profissionais contaminados pela Covid-19. Especialistas em contaminação viral acreditam que, mesmo utilizando EPIs especiais – isso quando disponível – os trabalhadores da saúde estão expostos a uma grande quantidade de vírus, tornando a capacidade de transmissão maior, assim como a gravidade da doença.

Estudos preliminares realizados em países diferentes indicam que o coronavírus contamina entre 4% e 12% da força de trabalho da saúde. No entanto, os números podem variar muito em cada país. Segundo a BBC Brasil, no Reino Unido há hospitais com mais de 50% da equipe de algumas áreas doente. Sem controle, os hospitais podem se tornar centros de disseminação da Covid-19.

Diante mais esse desafio, autoridades do setor e empresas de tecnologia somaram esforços para mitigar a transmissão da doença em hospitais e unidades de saúde. Sistemas inteligentes conectados a uma rede de compartilhamento de dados e suporte com inteligência artificial (IA) estão tornando a nova rotina dos profissionais de saúde menos exaustiva, desde a triagem dos pacientes a avaliação dos casos prioritários em Unidade de Terapia Intensiva (UTI).

A avaliação precisa de risco é fundamental na hora de determinar os sintomas daqueles que buscam atendimento médico. Para aliviar a demanda por atendimento a Microsoft, em parceria com uma das maiores redes hospitalar dos EUA, criou uma ferramenta de triagem por chatbot capaz de diferenciar rapidamente aqueles que estão com sintomas da Covid-19 e aqueles que estão com sintomas de doenças menos graves. Apenas na primeira semana a ferramenta atendeu mais de 40 mil pacientes.

Na Florida (EUA), um hospital esta utilizando câmeras capazes de fazer varredura termina facial, detectar suor e descoloração daqueles que passam pela entrada, para isolar os pacientes com sintomas do coronavírus. O Hospital Israelita Albert Einstein, em São Paulo, está utilizando IA para agilizar o diagnostico de coronavírus. O algoritmo foi desenvolvido em parceria com cientistas da Universidade de São Paulo (USP).

Outras iniciativas foram tomadas, como o uso de um intérprete de tomografia computadorizada orientado por IA que identifica o Covid-19 quando os radiologistas não estão disponíveis. E robôs inteligentes para entregar remédios e alimentos aos pacientes. Estas medidas adotadas por hospitais na China, como forma de aliviar a exposição dos profissionais ao coronavírus.

A Inteligência Artificial está colaborando para preservar a vida dos profissionais de saúde e salvar a vida daqueles que mais necessitam dos cuidados médicos. Ainda que a tecnologia possa auxiliar as tomadas de decisões, ela não exclui o atendimento humano nas redes hospitalares.

Referências: The Wall Street Journal, Tribuna de Minas , Instituto de Ciência, Tecnologia e Qualidade

16 de julho de 2020 0 comentário

Artigos

Big Data & Analytics – Explorar Dados, Limpar e Transformar

Por Profª Janete Ribeiro 14 de julho de 2020

escrito por Profª Janete Ribeiro

Continuando nossa abordagem sobre a metodologia de projetos de ciência de dados e os termos da área (veja aqui e aqui os primeiros dois artigos dessa série), que muitos falam, mas não sabem onde e quando aplicar, vamos falar sobre 3 etapas de uma vez só. Sim, porque em verdade estas etapas não ocorrem linearmente, como na figura nossa conhecida abaixo. Quando entramos na etapa de exploração de dados à medida que vamos conhecendo melhor as informações nos deparamos com a necessidade de fazer uma higienização ou uma transformação dos dados para melhorar nossa leitura dos fatos que os dados nos apresentam. Por isso, falaremos das 3 atividades em conjunto.

3) Explorar os dados de Entrada

A etapa de “Exploração dos Dados” também conhecida como EDA (Exploratory Data Analysis), é uma das etapas onde os conhecimentos de estatística e programação (SQL, Python, R) são mais utilizados pelos profissionais da área de dados (engenheiro de dados, cientista de dados).

Como conversamos sobre a etapa anterior, uma vez que você já selecionou os dados que julga necessários e suficientes para realizar seu estudo (MVD — Minimal Viable Data), agora você vai aplicar métodos estatísticos para descobrir o valor, a veracidade e em que velocidade (5 V’s do BIG Data), você conseguirá processar estes dados.

Alguns métodos estatísticos de exploração de dados são aplicáveis para 99% dos problemas de negócios que estudamos através dos dados. Sendo assim, vou trazer aqui alguns desses métodos, mas ponderando que, para cada tipo de problema ou dado a ser analisado, temos um método mais assertivo para ele. Cada caso é um caso. A análise exploratória de dados utiliza uma grande variedade de técnicas gráficas e quantitativas, com o objetivo de maximizar a obtenção de informações ocultas na sua estrutura, ou seja, descobrir variáveis importantes em suas tendências, detectar comportamentos anômalos do fenômeno, testar se são válidas as hipóteses assumidas, escolher modelos e determinar o número ótimo de variáveis.

Vou elencar abaixo algumas dessas técnicas que estão disponíveis nas bibliotecas Python e R:

Métodos gráficos típicas usadas na análise exploratória de dados são:

Diagrama de caixa;
Histograma;
Análise de controle multivariada;
Diagrama de Pareto;
Carta de sequência;
Gráfico de dispersão;
Diagrama de ramos e folhas;
Coordenadas paralelas;
Razão de possibilidades;
Perseguição da projeção;
Redução de dimensionalidade:
Escalonamento multidimensional;
Análise de componentes principais (ACP);
Análise de componentes principais multilinear;
Redução de dimensionalidade não linear (RDNL);

Técnicas quantitativas típicas são:

Polimento da mediana;
Tri-média;
Ordenação.

Por exemplo as bibliotecas Python:

Numpy: Permite manipulação de matrizes, geração de números aleatórios e possui diversos recursos de álgebra linear.
Pandas: Fornece suporte para a modelagem por meio de análise exploratória de dados.
Matplotlib: Permite a visualização de dados por meio de diversos gráficos.

Na linguagem R por exemplo:

Lattice: Oferece uma série de funções análogas às funções gráficas do R, mas permite a construção de painéis (dashboards). Um painel é uma série de gráficos de mesmo tipo (dispersão, histograma etc.) colocados lado-a-lado para formar a história que se quer contar com esses dados (storytelling) acompanhando uma variável categórica ou quantitativa.

Exemplo de um gráfico de análise exploratória com o uso dos métodos estatísticos de análise fatorial multivariada e correlação de Pearson, para avaliar o impacto de combinação de diferentes ativos e o risco de mercado:

Como podem ver, nesta etapa é que começamos a identificar os famosos “Insights” da Ciência de Dados. Também deu para perceber que, caso não seja possível interpretar nenhum “Insight” ou muitos “insights” antagônicos , você terá que selecionar que manipular os dados, aí é que a etapa de exploração se mistura com a de limpeza, pois talvez você perceba que necessita retirar algumas variáveis que não são necessárias neste momento, para reduzir o tamanho do dataframe que está explorando e com isso ganhar velocidade no processamento.

Também nesta exploração, você pode identificar que necessita transformar os dados, ou seja se você ao invés de trabalhar com transações diárias sobre um produto, converter estas para um conjunto de transações mensais, vai tornar a análise mais conclusiva e rápida de ser processada, você o fará nesta fase.

Por isso a etapa de exploração, limpeza e transformação ocorrem praticamente de forma simultânea.

Na próxima semana falaremos da aplicação de modelos estatísticos, esta é a etapa da seleção de um modelo ou uma ferramenta de “machine-learning” ou “deep-learning”, dependendo do objetivo final do nosso estudo.

Fontes: Site Minerando Dados, Site ECO Using R e Site Giants Capital

14 de julho de 2020 1 comentário

Artigos

Paulo Spacca fala sobre a IoT nos negócios no podcast GoEPIK

Por Marcus Vinicius Rocha 7 de julho de 2020

escrito por Marcus Vinicius Rocha

Na última semana de junho, o presidente da Associação Brasileira de Internet das Coisas – ABINC, Paulo José Spaccaquerche, participou do Podcast GoEPIK discutindo a IoT nos negócios. Em um bate papo com Wellington Moscon, CEO e fundador da GoEPIK, Spacca, como é popularmente conhecido, tratou temas como cenário da IoT no Brasil, transformação nos negócios e como iniciar um projeto.

Ainda no início da conversa o presidente da ABINC aproveitou para esclarecer uma confusão ao tratar a IoT como uma tecnologia, quando na verdade ela é um ecossistema composto por dispositivos capazes de coletar dados e transmitir essas informações através de redes sem fios. É através deste ecossistema que gestores podem usar os dados colhidos para tornar o negócio mais eficiente.

Neste cenário de transformação digital do negócio, Spacca afirma que a indústria da manufatura é a que mais está evoluindo com a gestão dos dados. Na área farmacêutica sensores estão sendo utilizados para aferir a dosagem dos medicamentos dentro dos parâmetros estabelecidos. A mobilidade urbana também se beneficia da internet das coisas. Nos grandes centros ocorreu um bum na disponibilidade de bicicletas e patinetes compartilháveis, utilizando formas de pagamento jamais vistas. Spacca é enfático ao dizer que: “isso é IoT”.

No Brasil, o ecossistema está ganhando força e influenciando de maneira positiva os negócios. Os gestores estão encarando a IoT como uma necessidade para melhorar a produtividade e principalmente para tornar as startups mais competitivas no mercado, mesmo contra as grandes empresas. E como alcançar esses objetivos? É claro que sozinha nenhuma ferramenta poderá garantir bons resultados para o negócio. Portanto, cabe ao empreendedor olhar para o seu negócio de maneira mais profunda, para assim, desenvolver as estratégias corretas.

A IoT será fundamental para indicar os pontos a serem melhorados na sua atividade, mas cabe a você enxergar onde ela poderá ser melhor empregada. Para Spacca, o gestor será capaz de elaborar uma boa estratégia para melhorar o seu negócio com a IoT se ele puder: primeiro, entender o seu negócio; pensar fora da caixa; como você enxerga a sua empresa?; o que faz para ser eficiente; o que pode fazer de diferente no seu negócio.

“É fundamental ter a cabeça aberta para fazer parcerias. Provavelmente você vai ter que falar com o seu concorrente, trocar ideia com ele, o caminho é por aí. É, está competindo, mas está cooperando. Como é que eu ajudo meu fornecedor para que ele seja mais eficiente para melhorar a minha eficiência e todo mundo sair ganhando?”, comentou.

O presidente da ABINC também ressalta que para iniciar um projeto com IoT não é preciso um começar grande. Também, nas palavras de Spacca – “Não espere para tentar fazer o ótimo, porque o ótimo é inimigo do bom” – Comece com um projeto pequeno, em uma das áreas da empresa. De preferência aquela onde há mais necessidade de melhorias. É possível instalar sensores em máquinas antigas, sem a necessidade de substituição dos ativos. Novas tecnologias estão sendo agregadas ao conceito de Indústria 4.0, ou 4ª Revolução Industrial. O blockchain, já conhecido para dar mais segurança às transações de criptomoedas e que aos poucos também está sendo adotado pelas indústrias, ganhou uma versão menor, própria para o ecossistema de IoT. A IOTA, um tipo de criptomoeda, utiliza algoritmos diferentes da tecnologia tradicional para garantir dados de pequenos volumes.

Escute o episódio completo abaixo.

7 de julho de 2020 0 comentário

Artigos

BNDES seleciona gestor para fundo de R$ 160 milhões para IoT

Por Marcus Vinicius Rocha 30 de junho de 2020

escrito por Marcus Vinicius Rocha

Na última semana a Indicator Capital foi anunciada como gestor do fundo de investimento em participações focado em startups que desenvolvam produtos e serviços para o ecossistema de Internet das Coisas (IoT). O fundo, lançado pelo Banco Nacional de Desenvolvimento Econômico e Social (BNDES) em conjunto com a Qualcomm Venture LLC, braço de investimento da Qualcomm Incorporated, tem expectativa de atrair R$ 160 milhões de investimentos para a IoT no Brasil.

O objetivo do fundo, anunciado em dezembro de 2019, é fomentar o setor, apoiando as empresas em estágio inicial de desenvolvimento. No comunicado, o BNDES e a Qualcomm Venture LLC se comprometeram a aportar 50% do valor total do fundo, equivalente a R$ 80 milhões. Outros investidores serão convidados a participar e auxiliar na composição do valor total.

“O fundo, cuja tese tem como base estudos realizados em parceria com o Ministério da Ciência, Tecnologia, Inovação (MCTI), já nasce com um investidor privado de presença internacional, demonstrando o potencial do IoT no Brasil. Esperamos que a Indicator Capital capte outros investidores privados, inclusive no modelo de corporate venture, catalisando um círculo virtuoso de investimento em pequenas companhias de base tecnológica”, explica Filipe Borsato, chefe do Departamento de Gestão de Investimentos em Fundos do BNDES.

Dados do estudo IoT na América Latina desenvolvido pelo Inter-American Development Bank, que contou com colaboração da Associação Brasileira de Internet das Coisas (ABINC) projeta que, até 2021, a IoT deve gerar no Brasil uma receita superior a R$ 3 bilhões. E nos próximos dois anos, o país terá 416 milhões de dispositivos conectados ao ecossistema.

O Fundo

O fundo de IoT terá 10 anos de duração e espera-se investir em, pelo menos, 14 empresas. Sua política de investimentos contemplará companhias que desenvolvam aplicações de hardware, software e análise de dados voltadas prioritariamente para aplicações em áreas estratégicas, tais como manufatura avançada, cidades inteligentes, saúde, e smart agro.

O fundo estará alinhado ao Plano Nacional de Internet das Coisas, política pública lançada em junho de 2019 para desenvolver o ecossistema de IoT no Brasil, e à nova regulamentação da Lei de Informática, que permite o investimento por fabricantes de eletrônicos, de recursos incentivados em fundos de venture capital.

O estudo “Internet das Coisas: Um plano de ação para o Brasil”, realizado em 2018 por um consórcio liderado pela consultora McKinsey, e patrocinado pelo BNDES e pelo MCTI, indicou como prioritários quatro ambientes para o desenvolvimento de IoT no Brasil: cidades inteligentes, saúde, rural e indústria 4.0; o que serviu de base para a definição do foco do atual fundo de IoT. De acordo com o trabalho, o impacto econômico global da massificação das tecnologias loT é estimado em até US$ 11 trilhões, superando os efeitos de outras tecnologias como a robótica avançada, computação em nuvem e mesmo a Internet móvel.

Em um próximo artigo, vamos abordar o que as empresas têm que fazer para terem acesso a estes investimentos.

Referências: BNDES, Valor Econômico

30 de junho de 2020 0 comentário

Artigos

Big Data & Analytics – Selecionando Dados

Por Profª Janete Ribeiro 26 de junho de 2020

escrito por Profª Janete Ribeiro

Que a metodologia de projetos de Ciência de Dados segue 8 etapas que vão e voltam de forma não linear vocês já sabem, correto?

Metodologia CRISP — DM

Hoje vamos falar sobre a seleção de dados e os termos que navegam sobre ela (o primeiro artigo dessa série você pode ser aqui):

Selecionar Dados

Após entendermos o problema de negócios e entrarmos em acordo com o demandante do projeto sobre a ideia de solução que tivemos durante o processo de descoberta da etapa 1, vamos a busca dos dados que nos trarão as respostas para nossas perguntas.

Nesta fase começamos a levantar as fontes geradoras de “dados”, que podem ser os sistemas internos da empresa como um ERP (Enterprise Resource Planning), sistemas de Planejamento de Recursos Empresariais que interliga todos os dados e processos da organização em um único sistema. Podem vir de ferramentas de colaboração como e-mails, planilhas eletrônicas, intranet, portais internos. Mas também podem ser externos como bases de dados de e-mail marketing, redes sociais, pesquisas, vídeo, imagens, gravações de áudio, de equipamentos inteligentes (IoTs — Internet Of Things) como ar-condicionado, tratores, automóveis etc.

Este emaranhado de dados pode ser dividido entre “Dados Estruturados” (aqueles que vem em bancos de dados relacionais, ou tabelas = SQL) ou “Dados Não Estruturados” (aqueles que são em formatos diversos como os vídeos, áudio, imagem, feed de redes sociais, log de equipamentos inteligentes = NoSQL).

Na etapa de seleção de dados sabemos a pergunta e vamos procurar nestas fontes as possíveis respostas. Por exemplo: se o problema identificado é entender o perfil do cliente da empresa, podemos encontra-lo nos sistemas internos da empresa (dados estruturados) mas também devemos buscar informações externas (dados não estruturados) de redes sociais, do comportamento do cliente na loja, capturado pelas câmeras de segurança, etc.

Aprendemos aqui o que são os tais “Dados estruturados e não estruturados” ok? Agora vamos falar sobre outros termos muito utilizados na área e que são básicos desta etapa de projeto, como o “Data Scraping”. O “Data Scraping” é uma aplicação para varredura de sites, aplicativos com o intuito de coletar dados de acordo com o interesse do nosso “problema de negócios”. Os resultados desta coleta de dados serão, minerados e estruturados em um formato padrão como CSV, XML ou JSON, para que possam ser utilizados depois.

Outro termo muito utilizado é o “Data ingestion”, ou ingestão de dados. Assim como a coleta do “Data Scraping”, das bases dos “ERPs”, vídeos, imagens, áudios que a empresa tenha a respeito do problema de negócios a ser resolvido, tudo isso só terá valor se estiver unido em um único lugar, separados não conseguiremos ver as correlações dessas informações certo?

Aí surge a necessidade de colocar tudo em um mesmo lugar “fazer a ingestão de dados” neste lugar centralizado, que é o conceito de “Data Lake” ou “Lago de Dados”.

Conforme na figura abaixo a ideia de centralizar todos os dados referentes ao estudo que faremos é com o intuito de termos a “visão 360° graus” (360° View) do problema alvo:

A ideia de coletar dados de diversas fontes, em diversos formatos e armazená-los em um único ambiente é para permitir que possamos desenvolver as “experiências” da “Ciência de Dados” em um ambiente controlado.

Onde ele possa ver com clareza quais são as fontes que se complementam, quantas mais seriam necessárias para compor uma visão ampla do alvo do estudo.

Os dados que são “ingeridos” (Data Ingestion) são considerados “Dados Brutos” (Raw Data), para que possamos iniciar o trabalho de análise de dados, precisamos “explorar os dados” (Data Exploration Analysis).

Nesta etapa o cientista de dados utilizará seus conhecimentos da área de negócios que atua, seus conhecimentos de ferramentas técnicas para manipulação de dados, como linguagem de programação SQL, NoSQL, Phyton, R, Java, infraestrutura de nuvem (Cloud computing) e métodos estatísticos como a “análise descritiva”, que consiste em validar o conteúdo das diferentes repositórios de dados e suas características “quantitativas” e “qualitativas”. A análise descritiva em termos estatísticos tem como principal objetivo resumir, sumarizar e explorar o comportamento dos dados. Após esta análise conseguiremos avaliar se já possuímos informação suficiente para começar o trabalho de resolução do problema de negócios ou se precisaremos buscar mais fontes de dados para complementar informações que não tenhamos identificado em quantidade significativa para tirarmos alguma conclusão técnica.

Esta etapa é longa e exige muito conhecimento técnico de ferramentas de manipulação de dados bem como de entendimento de método de pesquisa estatística.

É importante nesta etapa definirmos um volume mínimo que contenha o máximo de informação para a análise correta do “problema”, por isso é nesta etapa que definimos qual seria o “MVD” (Minimal Viable Data) para que possamos fazer a validação do nosso “MVP” (Minimal Viable Product) final. Para seleção desta amostra ideal existem métodos estatísticos adequados de acordo com o tipo de análise que será realizada.

As metodologias probabilísticas como “Amostra Aleatória simples, Amostra Sistemática, Amostra Estratificada Amostra por Conglomerado”, são algumas das mais utilizadas. Mas como disse, para cada tipo de problema uma metodologia será a mais indicada.

Como podem ver, mais uma vez discorremos por vários termos da área de ciências de dados que quando ditos soltos por aí, complicam a aprendizagem de quem está iniciando nesta área, mas quando colocamos os termos dentro das suas funcionalidades, fica bem mais fácil de compreender não?

Na próxima semana vamos falar sobre a etapa 3 de “Exploração dos Dados” (Exploratory Data Analysis — EDA)Fonte: Ribeiro, Janete: Pesquisa de Marketing, Editora SENAC – Série Universitária, São Paulo

26 de junho de 2020 3 comentários

Artigos

Solução com sensores IoT para evitar lotações no varejo

Por Marcus Vinicius Rocha 19 de junho de 2020

escrito por Marcus Vinicius Rocha

A nova realidade imposta pelo novo coronavírus trouxe inúmeros desafios para o varejo físico, que hoje precisa oferecer aos funcionários e clientes um ambiente seguro contra a disseminação da COVID-19. Nos locais onde a abertura das lojas foi permitida, o varejista precisa seguir uma série de normas de higiene para manter o ambiente livre do vírus. Nestes locais onde a aglomeração sempre foi algo tão comum, hoje é exigido o controle do fluxo de clientes.

Para aplicar a regra, as lojas utilizam a equipe de trabalho no controle de entrada e saída de clientes, sobrecarregando os profissionais e desviando-os de sua função. Esse controle é ainda mais importante nos grandes varejos, com capacidade para receber dezenas ou centenas de clientes. Somando os funcionários necessários para atender a demanda diária, o relaxamento no controle torna o ambiente mais propício para disseminação do vírus.

Para as micro e pequenas empresas o retorno às atividades é essencial para sobrevivência do negócio, e assim, também deve ser a preocupação com a saúde das pessoas. Enquanto estudos mais determinantes ainda são conduzidos por empresas e profissionais de saúde sobre a cura e o combate ao COVID-19, o fator “controle de higiene” é determinante para os consumidores se sentirem mais seguros na hora de escolher onde fazer as compras.

Como a IoT pode ajudar o varejo

Além das medidas de desinfecção do estabelecimento e disponibilidade de produtos para a higienização das mãos, o varejo pode utilizar a tecnologia como aliada. Para dar mais segurança e transparência no controle de acesso de clientes, sensores instalados na entrada da loja fazem a contagem daqueles que permanecem dentro dos estabelecimentos. A tecnologia torna o processo mais rápido e preciso, controlando ao mesmo tempo todos os acessos. Clientes podem acompanhar o fluxo através de painéis eletrônicos e a equipe de segurança recebe as informações em tempo real através de dispositivos móveis como tabletes e smartphones.

Com um sistema de controle e informação integrado e autônomo o varejista ganha mais poder para as tomadas de decisões que tenham impacto na rotina diária. Os dados colhidos pelos sensores geram informações como: os dias e horários com maior número de visitas, o momento ideal para reforçar o atendimento ou o trabalho no estoque.

Sistemas diferentes que oferecem este tipo de solução estão sendo desenvolvidos ou já se encontram no mercado. Esta medida de segurança para o bom funcionamento do setor varejista – que no Brasil é composto por mais de quatro milhões de negócios – oferece aos consumidores maior segurança e evita grandes aglomerações, principalmente em shoppings.

Os dados também devem ajudar os governos que podem avaliar o comportamento das pessoas durante a pandemia e assim elaborar medidas de segurança que possam contribuir para o funcionamento do comércio.

E você, desenvolve ou conhece soluções de IoT que possa auxiliar o varejo a retomar as suas operações com segurança? Deixe o seu comentário abaixo!

Referências: Enterprise IoT insights, Folha de S. Paulo

19 de junho de 2020 0 comentário

Artigos

Big Data & Analytics – Termos & Dicas

Por Profª Janete Ribeiro 16 de junho de 2020

escrito por Profª Janete Ribeiro

Atire a primeira pedra aquele que nunca repetiu um termo em inglês que é utilizado por todos da sua área, sem saber exatamente o que ele significa!

Isso ocorre em todas as profissões, existem os jargões, os termos técnicos, muito comuns para os profissionais que estão na área há muito tempo, mas são “aramaico” para os jovens profissionais e principalmente para os clientes da área em questão.

O próprio conceito de “Ciência de Dados” é pouco compreendido pelos usuários das análises (insights) que transmitimos.

A função do cientista de dados, ainda é um mito para maioria das empresas, mas tudo é muito novo.

Vamos tentar mais uma vez com linguagem simples, esclarecer estas dúvidas que atrapalham tanto o desenvolvimento dos projetos de BIG-Data e Analytics.

Vamos começar pela metodologia (CRISP-DM — CRoss Industry Standard Process for Data Mining)de desenvolvimento de projetos de “BIG-Data” e Analytics, para ir descrevendo os termos e o que realmente significam na prática:

Metodologia CRISP-DM

1) Definir o objetivo de Negócios

Nesta etapa vamos utilizar algumas técnicas para identificar qual ou quais seriam os problemas ou oportunidades de negócios que podemos identificar e resolver através da análise de dados.

Uma das técnicas é o “Design Thinking”, do inglês “pensar como um desenhista”, é um conceito da área, de criação de protótipos, que foi adaptada para as corporações. O objetivo é materializar, criar um protótipo do que poderia ser a solução para as necessidades da área demandante, antes de sair buscando informação e construindo uma solução;
Outra técnica utilizada atrelada a essa é a de “User Experience = UX”, que é desenhar a jornada do usuário ou “Customer Experience = CX” que seria a jornada do cliente, quando estamos falando de um “usuário” externo a empresa. Estas metodologias têm como objetivo mapear o processo atual e o processo desejado pelo usuário/cliente. Assim conseguiremos detectar quais são as sub-etapas que tem algum desvio de expectativa, por exemplo: Em um processo de abertura de conta de um banco digital, o aplicativo solicita que o usuário vá até a agência de um banco físico. Se ele está abrindo uma conta digital é porque não gosta de ir à agência de bancos físicos. No caso do exemplo, teríamos que levantar uma alternativa digital para este processo que no momento está sendo executado em uma agência física e garantir segurança de dados e de transações.
Nesta etapa, também são definidas a equipe de trabalho, as atividades inerentes ao projeto e a metodologia de gestão do projeto. Existem basicamente duas grandes linhas de gestão de projetos, uma delas é conhecida como tradicional “PMO — Project Management Office”, do inglês “Escritório de Gestão de Projetos”, onde a base da metodologia é o encadeamento de atividades de forma linear, onde o gestor do projeto administra os principais quesitos que são recursos humanos, financeiros, prazos e riscos. Ao final da execução das atividades, apresenta o resultado ao cliente/usuário. Neste processo o usuário tem pouca participação nas decisões durante o processo de desenvolvimento da solução.

Outro método, mais comum nos últimos anos e muito aplicado aos projetos de “Big-Data”, são os intitulados métodos ágeis (SCRUM). Como o próprio nome diz, o foco da metodologia é encurtar o processo linear geralmente adotado pela técnica anterior (PMO), tornar ágil e garantir a participação do usuário final em todo o processo de desenvolvimento. O SCRUM trabalha com o chamado product backlog, um registro que contém as áreas do produto que devem ser desenvolvidas. A partir do product backlog é criado o release backlog, que é a junção dos requisitos do product backlog que vão ser trabalhados, de acordo com a prioridade de cada um. O release backlog é um ponto para a criação do sprint backlog, que representa o espaço de tempo em que uma tarefa chamada de user story, vai ser concluída. Também são realizadas reuniões diárias (Daily meetings), onde o status das user stories planejadas para entrega são atualizados entre os membros da equipe técnica. A estrutura do time de trabalho em um projeto ágil é de grupos de trabalho sub-divididos entre Squads (pessoal técnico) dentro das suas especialidades, orquestrado por um gestor generalista (SCRUM Master) que faz a ponte entre as diferentes equipes técnicas(Squads) e de equipes de negócios (Product Owners) para controlar prazos, mudanças, infraestrutura necessária, tudo através de um painel denominado “Burndown chart” (tabela quente), com o status atual de cada user story, popularmente conhecido como “mural dos post-its”. Existem ferramentas online dedicadas a esse método como o “TRELLO”, “SLACK”, “MURAL”, “MIRO” dentre outras.

A etapa de entendimento da pergunta de negócios se conclui quando:

Identificamos as perguntas de negócios que devemos responder com o projeto;
Desenhamos a jornada do cliente/usuário (protótipo do Design Thinking — UX/CX);
Estabelecemos o planejamento do projeto (Métodos Ágeis, SCRUM) com todas “user stories”, equipes técnicas (Squads) e de negócios (Product Owner) e a infraestrutura necessária definidas para execução.

Como podem ver, a etapa “1”, tem sub-atividades que geram os primeiros “user stories” do projeto.

Cada uma das etapas tem uma sucessão de sub-atividades para resultar em uma evolução do “MVP”(Minimum Viable Product), que é o protótipo idealizado no “Design Thinking”.

O segundo artigo dessa série você pode ler aqui.

Referências:
5 Stages in the Design Thinking Process
User Experience (UX) Design
What is Scrum?

16 de junho de 2020 4 comentários

Artigos

Pandemia cria oportunidades para o desenvolvimento de soluções em IoT sustentáveis

Por Marcus Vinicius Rocha 9 de junho de 2020

escrito por Marcus Vinicius Rocha

A pandemia do novo coronavírus, responsável pela transmissão da COVID-19 tem causado incertezas em todo o mundo. As principais economias do mundo ainda tentam retomar as atividades comerciais após um longo período de paralisação em todos os serviços “não essenciais”. O impacto na economia mundial ainda não está definido e muitas empresas amargam com a queda na receita. Ainda que muito devastadora, a pandemia abriu um leque de oportunidades para empreendedores, especialmente para as inovações com foco na sustentabilidade.

Para o retorno seguro das atividades de trabalho diversas empresas especializadas no desenvolvimento de soluções com base na internet das coisas (IoT), estão apresentando sensores para o monitoramento das atividades humanas no pós-covid-19, o que foi estabelecido como o “novo normal”. Câmeras de segurança estão sendo usadas para o monitoramento da temperatura corporal, e pulseiras inteligentes com sensores que geram alerta de proximidade devem garantir o retorno seguro dos trabalhadores às fábricas e escritórios.

Os sensores serão essenciais em nossa nova vida, garantindo também que atividades sociais possam ser realizadas sem grandes aglomerações, ao menos até que se tenha uma vacina contra o novo coronavírus. A solução através de um sistema integrado capaz de oferecer um diagnostico preditivo torna a resposta mais rápida, evita o fechamento temporário de empresas e preserva a força de trabalho. Ou seja, profissionais poderão realizar seus trabalhos com eficiência enquanto os órgãos de saúde enfrentam a Covid-19 ou outro surto viral que possa surgir no futuro.

Sim, a possibilidade de outro surto viral está no radar das autoridades médicas em todo mundo. A suspeita não leva em consideração teorias conspiratórias, mas no fato de nossa sociedade produzir ambientes favoráveis para a evolução destes vírus, como ocorreu com: ebola em 2013, gripe suína em 2009, gripe espanhola 1918 e tantas outras pandemias que assolaram a sociedade.

Se a questão é quando? Devemos estar preparados para que a sociedade não seja tão impactada como está ocorrendo neste momento. A IoT aplicada com o uso de inteligência artificial poderá muito em breve fazer diagnósticos prévios, de maneira rápida sem a necessidade de aguardar horas por um exame. Para prevenir que aqueles que estão infectados ou sobe suspeita de terem contraído vírus, o uso de sensores no monitoramento da quarentena dos sintomáticos, garantirá que a doença não se espalhe.

Inúmeros desafios se colocarão à frente de nossa sociedade. Esperamos que os próximos sejam menos nocivos para a vida e nos permita evoluir cada vez mais, tecnologicamente e socialmente.

Mostraremos algumas dessas soluções nos próximos posts, fique ligado!

Referência: IoT Enterprise Insights

9 de junho de 2020 1 comentário

Posts mais recentes

Posts mais antigos