Validação de modelos de machine learning por experimentos estatísticos de campo

Alexsandro Toaldo; Professor Arnaldo Rabello de Aguiar Vallim Filho; José Carlos Tiomatsu Oyadomari; Professor Dr Octavio Ribeiro de Mendonça Neto

doi:10.20397/2177-6652/2024.v24i5.2833

Authors

Alexsandro Toaldo Universidade Presbiteriana Mackenzie https://orcid.org/0000-0003-3132-9020
Professor Arnaldo Rabello de Aguiar Vallim Filho Universidade Presbiteriana Mackenzie https://orcid.org/0000-0003-4100-4975
José Carlos Tiomatsu Oyadomari Universidade Presbiteriana Mackenzie https://orcid.org/0000-0003-3059-3102
Professor Dr Octavio Ribeiro de Mendonça Neto Universidade Presbiteriana Mackenzie https://orcid.org/0000-0002-6123-6733

DOI:

https://doi.org/10.20397/2177-6652/2024.v24i5.2833

Keywords:

machine learning, pesquisa intervencionista, experimento estatístico de campo, eficiência de processos industriais.

Abstract

Objetivo – Este artigo apresenta uma aplicação prática com o desenvolvimento de um experimento estatístico de campo em uma indústria de latas premium de alumínio nos Estados Unidos, visando validar estatisticamente resultados de modelos de machine learning (ML), previamente construídos.

Metodologia: Usou-se conceitos de pesquisa intervencionista, que envolve experimentos de campo onde pesquisador e organização anfitriã atuam em conjunto buscando experimentar no sistema em estudo, e por meio da observação gerar conhecimento.

Originalidade/Relevância: Sobre originalidade, não é frequente na literatura modelos de ML validados por experimento planejado de campo, seguido de análise estatística rigorosa. E a relevância da proposta se deve à sua contribuição para a literatura e pelas possibilidades de replicações do estudo em escala maior, na própria empresa ou em qualquer outra com desafios similares.

Principais Resultados: Em fase anterior do estudo modelos de ML identificaram as variáveis de maior impacto em ineficiências (geração de sucata) em um processo de produção de latas de alumínio. Essas variáveis foram validadas nesta fase do estudo, através de experimento estatístico de campo, confirmando a significância estatística dos resultados do modelo de ML.

Contribuições Teóricas e Práticas: A pesquisa contribui em termos práticos e científicos, pois a validação estatística de modelos de ML por experimentos planejados de campo é uma contribuição para a literatura de ciência aplicada, além de usas possibilidades práticas. Da mesma forma, apesar de amplamente utilizadas em diferentes áreas, pesquisas de cunho intervencionista ainda apresentam lacuna importante nas ciências sociais aplicadas, principalmente na gestão de processos industriais.

Author Biographies

Alexsandro Toaldo, Universidade Presbiteriana Mackenzie

Doutor em Finanças e Controladoria, pela Universidade Presbiteriana Mackenzie (2023), Pós Graduado pela Wharton Business School University of Pennsylvania (2014), Mestre em Ciências Contábeis e Atuariais pela Pontifícia Universidade Católica de São Paulo (2008), MBA em Finanças Corporativas pela Fundação Getúlio Vargas (2002) e graduado em Ciências Contábeis pela Associação Tibiriça de Educação (2000). Tem experiência na área Contabilidade Societária, Análise dos Demonstrativos Financeiros, Contabilidade Gerencial e Internacional (US-GAAP e IFRS).

Professor Arnaldo Rabello de Aguiar Vallim Filho, Universidade Presbiteriana Mackenzie

Professor Titular, Pesquisador e consultor com atuação predominante na área de Modelos Matemáticos e Computacionais envolvendo Ciência de Dados, Métodos Quantitativos e problemas de Otimização Combinatória. Doutor em Engenharia de Transportes, com tese em modelagem matemática de otimização de um Sistema Logístico, pela Universidade de São Paulo (2004) e Master of Engineering em Transportes, com dissertação em Modelos Matemáticos e de Simulação, pela University of Florida (1984). É Professor Titular da Faculdade de Computação e Informática, da Universidade Presbiteriana Mackenzie, em São Paulo, Professor Permanente do Programa de Pós-graduação Profissional em Computação Aplicada (PPGCA) e do Programa de Pós-graduação Profissional em Controladoria, Finanças e Tecnologias de Gestão (PPGCFTG). Tendo exercido o cargo de Diretor da Faculdade de Computação e Informática por dois mandatos e de primeiro Coordenador do PPGCA. Atua ainda, desde 2005, como professor convidado nos MBAs da Fundação Getúlio Vargas em diferentes disciplinas da área Quantitativa. Suas pesquisas envolvem técnicas de Otimização Combinatória, com ênfase em machine learning, meta-heurísticas, programação matemática e análise estatística. As aplicações de meta-heurísticas e programação matemática são voltadas principalmente a problemas de localização de instalações, roteirização de veículos, clusterização e aplicações em finanças. Em Ciência de Dados trabalha com algoritmos de machine learning e modelos estatísticos aplicados a problemas complexos nas áreas de controladoria, finanças, logística e indústria 4.0

José Carlos Tiomatsu Oyadomari, Universidade Presbiteriana Mackenzie

Professor adjunto da Universidade Presbiteriana Mackenzie Mackenzie e professor em tempo parcial do Insper. Possui doutorado em Contabilidade pela Universidade de São Paulo. Seus interesses de pesquisa são técnicas e desempenho de contabilidade gerencial, utilizando pesquisas, abordagens qualitativas e intervencionistas. Suas publicações incluem artigos em periódicos como Advances in Accounting, Brazilian Business Review, International Journal of Operations and Production Management, Journal of Productivity and Performance Management. Também atua como consultor independente.

Professor Dr Octavio Ribeiro de Mendonça Neto, Universidade Presbiteriana Mackenzie

Graduado em Engenharia Mecânica pelo Instituto Mauá de Tecnologia (1972) , Mestre em Ciências Contábeis e Atuariais pela Pontifícia Universidade Católica de São Paulo (2002) e Doutor em Contabilidade e Atuária na FEA / USP (2007). Atualmente é Professor Adjunto I da Universidade Presbiteriana Mackenzie, professor do Programa de Pós-Graduação em Contabilidade e Finanças Empresariais da Universidade Presbiteriana Mackenzie, Cursos de Mestrado e Doutorado Profissional, professor associado da Universidade Metodista de São Paulo. Atua nas áreas de Finanças e Contabilidade Gerencial com os seguintes temas: Análise e Gerenciamento de Riscos; Avaliação do Desempenho Empresarial; Aspectos comportamentais e Históricos da Contabilidade; Sociologia da Profissão Contábil. Bolsista Produtividade do CNPq PQ2. - 2017 - 2020

References

Barra Montevechi, J. A., Carvalho Miranda, R. de, & Daniel, J. (2012). Sensitivity Analysis in Discrete Event Simulation Using Design of Experiments. In: Discrete Event Simulations - Development and Applications. Edited by Eldin Wee Chuan Lim. https://doi.org/10.5772/50196

Breiman, L. (2001). Random Forests. Machine Learning 45, 5–32 https://doi.org/10.1023/A:1010933404324

Cutler, A.; Cutler, D.R.; Stevens, J.R. (2012). Random Forests. In Ensemble Machine Learning; Zhang, C., Ma, Y.Q., Eds.; Springer: New York, NY, USA, 2012; pp. 157–175. http://dx.doi.org/10.1007/978-1-4419-9326-7 5

Desroches, D. e Raef Lawson, R. (2013). Evolving Role of the Controller. IMA - The Association of Accountants and Financial Professionals in Business. Institute of Management Accountants. Montvale, NJ. Disponível em: https://www.admaiorasemper.com/en/page7/files/RoleOfController2014.pdf

Devore, J. L. (2016). Probability and Statistics for Engineering and the Sciences, 9th Edition. CENGAGE.

Engel, G. I. (2000). Pesquisa-ação. Educar Em Revista, 16. https://doi.org/10.1590/0104-4060.214

Han, J.; Kamber, M.; Pei, J. (2012). Data Mining: Concepts & Techniques. 3rd Edition. Waltham, MA. Morgan Kaufmann Series in Data management Systems, 744 p

Hastie, T., Tibshirani, R. e Friedman, J. H. (2009). The elements of statistical learning: Data mining, inference, and prediction. Springer series in statistics. Springer,NewYork, 2nd edition.

Haykin, S. (2008) Neural Networks and Learning Machines, 3rd Edition. Prentice-Hall.

Johnson, R. T., & Montgomery, D. C. (2010). Designing experiments for nonlinear models - An introduction. Quality and Reliability Engineering International, 26(5). https://doi.org/10.1002/qre.1063

Kaplan, R. S. (1984). The evolution of management accounting. In Readings in Accounting for Management Control. https://doi.org/10.1007/978-1-4899-7138-8_27

Kaplan, R. S. (2011). Accounting scholarship that advances professional knowledge and practice. In Accounting Review (Vol. 86, Issue 2). https://doi.org/10.2308/accr.00000031

Kasanen, E., & Lukka, K. (1993a). The constructive approach in management accounting research. Journal of Management Accounting Research, 5(5).

Kasanen, E., & Lukka, K. (1993b). The constructive approach in management accounting research. Journal of Management Accounting Research, 5(5).

Kleinert, T. R., Fedrigo, W., ten Caten, C. S., Núñez, W. P., & Ceratti, J. A. P. (2019). Aplicação da metodologia de projeto de experimentos na dosagem de misturas de reciclagem de pavimentos com adição de cimento. TRANSPORTES, 27(1). https://doi.org/10.14295/transportes.v27i1.1574

Krauss, C.; Do, X. A.; Huck, N. (2017). Deep neural networks, gradient-boosted trees, random forests: Statistical arbitrage on the S&P 500. European Journal of Operational Research. Vol 259, Issue 2, 1 June 2017, p. 689-702

Labro, E., & Tuomela, T. S. (2003). On bringing more action into management accounting research: process considerations based on two constructive case studies. European Accounting Review, 12(3). https://doi.org/10.1080/0963818032000083559

Landis, J. R., & Koch, G. G. (1977). The Measurement of Observer Agreement for Categorical Data. Biometrics, 33(1). https://doi.org/10.2307/2529310

Laureani, A., & Antony, J. (2019). Leadership and Lean Six Sigma: a systematic literature review. In Total Quality Management and Business Excellence (Vol. 30, Issues 1–2). https://doi.org/10.1080/14783363.2017.1288565

Lawson, J. (2015). Design and Analysis of Experiments with R. CRC Press. 593 p.

Lukka, K., & Vinnari, E. (2017). Combining actor-network theory with interventionist research: present state and future potential. Accounting, Auditing and Accountability Journal, 30(3). https://doi.org/10.1108/AAAJ-08-2015-2176

Montgomery, D. C. (2017). Design & Analysis of Experiments. 9th edition. John Wiley & Sons. 734 p.

Natekin, A.; Knoll, A. (2013). Gradient boosting machines, a tutorial. Front. Neurorobot., Vol, 7, 2013. https://doi.org/10.3389/fnbot.2013.00021

Oyadomari, J. C.T, Cardoso, R.L, Mendonça Neto, O.R, & Aguiar, A. B. (2013). Criação de conhecimento em práticas de controle gerencial: análise dos estudos internacionais. Advances in Scientific and Applied Accounting. https://doi.org/10.14392/asaa/2013060101

Roberts, H., & Baard, V. (2010). A critical review of interventionist research. In Qualitative Research in Accounting & Management (Vol. 7, Issue 1). https://doi.org/10.1108/11766091011034262

Jönsson, S. (2010). Interventionism – an approach for the future? Qualitative Research in Accounting & Management, 7(1). https://doi.org/10.1108/11766091011034307

Roberts, H., Westin, O., & Dumay, J. C. (2010). A critical reflective discourse of an interventionist research project. Qualitative Research in Accounting & Management, 7(1). https://doi.org/10.1108/11766091011034271

Russel, S.J.; Norvig, P. (2020). Artificial Intelligence: A Modern App. 4th Edition. Pearson Series in Artifical Intelligence, 1136p.

Sanchez, S. M., Moeeni, F., & Sanchez, P. J. (2006). So many factors, so little time...Simulation experiments in the frequency domain. International Journal of Production Economics, 103(1). https://doi.org/10.1016/j.ijpe.2005.06.007

Schapire, R. E. (1990). The Strength of Weak Learnability. Machine Learning, 5, 197-227. Kluwer Academic Publishers, Boston

Suomala, P., & Lyly-Yrjänäinen, J. (2010). Interventionist management accounting research: lessons learned. CIMA, Research Executive Summaries Series, 6(1).

Suomala, P., & Lyly-Yrjänäinen, J. (2012). Management Accounting Research in Practice. In Management Accounting Research in Practice. https://doi.org/10.4324/9780203141205

Suomala, P., Lyly-Yrjänäinen, J., & Lukka, K. (2014). Battlefield around interventions: A reflective analysis of conducting interventionist research in management accounting. Management Accounting Research, 25(4). https://doi.org/10.1016/j.mar.2014.05.001

Tang, L. C., Goh, T. N., Yam, H. S., & Yoap, T. (2006). Six Sigma: Advanced Tools for Black Belts and Master Black Belts. In Six Sigma: Advanced Tools for Black Belts and Master Black Belts. https://doi.org/10.1002/0470062002

Theissler, A.; Thomas, M.; Burch, M.; Gerschner, F. (2022). ConfusionVis: Comparative evaluation and selection of multi-class classifiers based on confusion matrices. Knowledge-Based Systems,. Vol. 247. https://doi.org/10.1016/j.knosys.2022.108651

Tripp, D. (2005). Pesquisa-ação: uma introdução metodológica. Educação e Pesquisa, 31(3). https://doi.org/10.1590/s1517-97022005000300009

Validação de modelos de machine learning por experimentos estatísticos de campo

Authors

DOI:

Keywords:

Abstract

Author Biographies

Alexsandro Toaldo, Universidade Presbiteriana Mackenzie

Professor Arnaldo Rabello de Aguiar Vallim Filho, Universidade Presbiteriana Mackenzie

José Carlos Tiomatsu Oyadomari, Universidade Presbiteriana Mackenzie

Professor Dr Octavio Ribeiro de Mendonça Neto, Universidade Presbiteriana Mackenzie

References

Downloads

Published

How to Cite

Issue

Section

License

Make a Submission

indexing

Keywords

visitors