quinta-feira, 17 de julho de 2014

Pentaho + Bovespa

No dia 12 de Maio de 2014 foi inaugurado o site Mercado Analítico, que tem como objetivo ser um portal de ferramentas analíticas que permitem ajudar os investidores, em seus diversos níveis, a tomarem as melhores decisões de negócios.

O portal tem como visão ser uma plataforma completa de análise da Bovespa, Títulos Públicos, Fundos Imobiliários, rastreadores inteligentes, etc.

De forma mais técnica, a plataforma tem como base principal a suite Pentaho, utilizada para a cargas de dados no DW e construção dos painéis de acompanhamento.

Mas algumas outra integrações foram necessárias para atender particularidades específicas dos requisitos bem como adicionar uma camada extra de segurança.

Entre essas integrações existem gráficos utilizando a biblioteca Highcharts e também uma integração com NodeJS para a execução de cálculos complexos no lado do servidor.

Para aqueles que ainda tem alguma dúvida sobre o potencial do Pentaho, tem no Mercado Analítico mais um exemplo do que podemos fazer com essa fantástica ferramenta.


Abracos.
Kleyson Rios.

sexta-feira, 17 de janeiro de 2014

Pentaho Servlet Integrator

You can always see someone asking how to integrate Pentaho with a Third Party Application.

Pentaho Servlet Integrator allows you to call from a Third Party App any analyse, dashboard, report etc from the Pentaho without pass user/password on the URL.

How does it work ? 

quinta-feira, 31 de outubro de 2013

CBFL – A modified version of CTools CBF

There are no doubts about the benefits for using CTools CBF. Good blog posts are available about it.


For ones that need customize Pentaho source code to change or include new features, CBF is the best option.

But, why do I need to compile the entire source code of Pentaho if there is no change in the source code? How to use Pentaho bundled package instead?
 
To addressing those questions, I’ve made some changes on CBF to use Pentaho bundled package instead of Pentaho source code. Moreover, I’ve also added some new features that I think be important.

quinta-feira, 26 de setembro de 2013

Controlling Data Loading Process using Kettle



Sometimes you have a process to load data from a flat file to a database, even from a database to your DW.

But if something goes wrong? How do you know if your load process finished successfully or not? If not, how do you reprocess the files without duplicate records?

This post will bring an option to try addressing those problems.

The main ideas of control process are (1) generate an ID for the process (2) save a timestamp at beginning (3) save ID on all the tables controlled (4) save a timestamp at the end.

So, if some problem occurs and aborts the job, next time you will be able to identify all data inserted by that job, delete them and insert again.


I’m assuming PostgreSQL as Database. For others databases might be necessary some adjusts.