Ingestão via BigQuery, transformação em arquitetura Medallion e consumo de dados do BigQuery com R/dbplyr

Este projeto implementa um pipeline completo em arquitetura Medallion (Bronze, Silver e Gold) para análise de lavouras temporárias no Brasil (soja, milho e arroz), utilizando dados oficiais do IBGE PAM, ingestão via BigQuery, processamento em R e consumo de dados do BigQuery com o pacote dbplyr.

Objetivos:

• organização de dados em camadas;

• eficiência no uso de memória local;

• integração R <> BigQuery;

• boas práticas de processamento e consumo de dados em ambiente cloud.

Repositório no GitHub

Acesse aqui.

Relatório

Após a execução do script, há um relatório em Quarto que demonstra o consumo da camada Gold diretamente no BigQuery, utilizando dbplyr e coletando dados apenas no final.

Acesse o relatório no link configurado no projeto.

Visão geral da arquitetura

O pipeline é dividido em três camadas bem definidas:

• Bronze: ingestão e padronização mínima dos dados brutos;
• Silver: limpeza, enriquecimento, classificação e agregações intermediárias;
• Gold: métricas analíticas consolidadas para consumo e visualização.

Cada camada gera arquivos locais organizados por diretório e possui um dataset próprio no BigQuery.

Estrutura do Repositório

├── bronze
│   └── bronze_lavouras_raw.csv
├── silver
│   ├── silver_lavouras_arroz.csv
│   ├── silver_lavouras_milho.csv
│   ├── silver_lavouras_soja.csv
│   ├── silver_municipio_arroz.csv
│   ├── silver_municipio_milho.csv
│   ├── silver_municipio_soja.csv
│   ├── silver_uf_arroz.csv
│   ├── silver_uf_milho.csv
│   └── silver_uf_soja.csv
├── gold
│   ├── gold_evolucao_temporal.csv
│   ├── gold_indicadores_sustentabilidade.csv
│   ├── gold_indice_concentracao.csv
│   ├── gold_municipios_emergentes.csv
│   ├── gold_perfil_regional.csv
│   ├── gold_ranking_estados.csv
│   └── gold_shift_share_analysis.csv
├── relatorio
│   ├── estilo.css
│   └── relatorio_medallion_bigquery_final.qmd
├── script
│   └── pipeline_pam_final.R
└── README.md

Fonte dos dados

IBGE – Pesquisa Agrícola Municipal (PAM), acessada via Base dos Dados. São analisadas as culturas de soja, milho e arroz.

Requisitos para execução

Para rodar este projeto, é necessário:

1. Um projeto ativo no Google Cloud Platform (GCP) Qualquer projeto válido funciona (não precisa ser o mesmo do autor).

2. BigQuery habilitado no projeto.

3. Credenciais de acesso configuradas Recomenda-se o uso de uma service account com permissões:

4. Variáveis de ambiente configuradas:

GOOGLE_APPLICATION_CREDENTIALS="/caminho/para/sua-chave.json"
GCP_PROJECT_ID="seu-projeto-gcp"
BQ_DATASET_ID="analise_lavouras"
BD_BILLING_ID="seu-projeto-gcp"

Essas variáveis permitem que o mesmo código seja executado em diferentes ambientes sem alterações no script.

Execução

Execute o script principal:

source("script/pipeline_pam_final.R")

O pipeline irá:

1. Ingerir dados do IBGE PAM via BigQuery (Bronze);

2. Processar e gerar tabelas enriquecidas e agregadas (Silver);

3. Calcular métricas analíticas consolidadas (Gold);

4. Salvar os resultados localmente por camada;

5. Criar datasets separados no BigQuery e exportar todas as tabelas.

Licença

MIT.

Contextualização

Obs: Desenvolvi esse trabalho em 2024, mas não havia publicado para rede. Pretendo ampliar as análises, culturas e anos.

Este projeto analisa a relação entre produção agrícola das principais culturas brasileiras (soja, milho e arroz) e o desmatamento em municípios do país. A análise integra dados oficiais do IBGE e INPE para identificar padrões espaciais e temporais, classificar municípios por risco ambiental e desenvolver modelos preditivos.

Objetivos

• Mapear espacialmente municípios com maior desmatamento e produção agrícola
• Classificar municípios por nível de risco ambiental (baixo, médio, alto)
• Analisar séries temporais para identificar tendências de desmatamento e produção
• Desenvolver modelo preditivo usando Random Forest para estimar desmatamento
• Identificar variáveis-chave que mais contribuem para o desmatamento

Relatório com os principais resultados

Pessoal, sempre gosto de construir os scripts.R e um relatório.qmd nos meus projetos.

1. Vocês podem acessar o relatório em HTML aqui.

2. Repositório completo no GitHub.

Fontes de dados

Produção Agrícola Municipal (PAM) - IBGE:

• Produção total (toneladas)

• Área colhida (hectares)

• Valor da produção

• Culturas: soja, milho e arroz em grão

Programa de Monitoramento do Desmatamento (PRODES) - INPE:

• Desmatamento anual (hectares)

• Área total municipal

• Cobertura vegetal natural

Ambas as fontes foram acessadas via Base dos Dados (BigQuery), cobrindo o período de 2015 a 2021.

Metodologia

Estrutura do Projeto

risco_desmatamento/
├── .gitignore
├── .Rprofile
├── renv/
├── renv.lock
├── risco_desmatamento.Rproj
├── README.md
├── scripts/
│   └── risco_desmatamento.R
├── outputs/
│   ├── figures/
│   ├── tables/
│   │   ├── analise_descritiva_por_risco.csv
│   │   ├── analise_descritiva_temporal.csv
│   │   ├── dataset_integrado.csv
│   │   ├── metricas_modelo.csv
│   │   ├── predicoes_teste.csv
│   │   ├── relatorio_execucao.csv
│   │   └── top50_municipios_2021.csv
│   └── maps/
│       ├── mapa_1_top_risco.html
│       ├── mapa_1_top_risco_files/
│       ├── mapa_2_intensidade.html
│       ├── mapa_2_intensidade_files/
│       ├── mapa_3_eficiencia.html
│       ├── mapa_3_eficiencia_files/
│       ├── mapa_4_estados.html
│       └── mapa_4_estados_files/

Resultados principais

Como usar

# Instalar pacotes necessários
install.packages("pacman")
library(pacman)

pacman::p_load(
  dplyr,
  tidyr,
  ggplot2,
  scales,
  zoo,
  DBI,
  bigrquery,
  sf,
  geobr,
  leaflet,
  randomForest,
  skimr,
  rsample,
  yardstick,
  tibble,
  stringr,
  readr,
  htmltools,
  htmlwidgets)

source("risco_desmatamento.R")

Aplicações

• Identificação de municípios prioritários para fiscalização
• Monitoramento de áreas de alto risco
• Avaliação de efetividade de políticas ambientais

Limitações

• Período de 7 anos pode não capturar ciclos longos
• Foco limitado a três culturas principais
• Variáveis omitidas (preços, políticas, infraestrutura)

Próximos passos

• Incorporar variáveis socioeconômicas
• Expandir análise para outras culturas
• Integrar dados de fiscalização ambiental
• Desenvolver modelos de previsão de longo prazo
• Analisar efeitos de políticas específicas

Autoria

Jennifer Luz Lopes

• Portfólio: https://jenniferlopes.quarto.pub/portifolio/

• GitHub: https://github.com/JenniferLopes

Licença

MIT.

Referências

• IBGE - Produção Agrícola Municipal (PAM)
• INPE - Programa de Monitoramento do Desmatamento (PRODES)
• Base dos Dados - https://basedosdados.org/

Relatório HTML

Leia o relatório com todas as etapas e explicações aqui.

Repositório do GitHub

Acesse o repositório completo aqui.

Livro utilizado para reproduzir as etapas da modelagem

1. Objetivo

Construir um fluxo completo de modelagem para prever produtividade de arroz (kg/ha) a partir de variáveis agronômicas, climáticas e operacionais do Paddy Dataset (UCI, 2023).

2. Motivação

Trabalhei com arroz desde a graduação até o doutorado, sempre na área de melhoramento genético. Eu nunca havia trabalhado com variáveis operacionais e ambientais como as deste dataset, e buscava um banco rico para aplicar técnicas modernas de Machine Learning. O Paddy Dataset foi a escolha ideal para essa exploração.

3. Sobre o Dataset

• 2789 observações
• 45 variáveis preditoras completas (sem NA)
• Talhões do estado de Tamil Nadu (Índia)
• Variáveis de clima, irrigação, adubação, manejo, temperatura e produtividade

Fonte: Subramaniyan (2023), UCI Machine Learning Repository.

4. Pipeline de Modelagem

O pipeline inclui:

1. Carregamento e limpeza dos dados
2. Estatística descritiva e identificação da escala da resposta
3. Split estratificado (80/20)
4. Validação cruzada (5-Fold)
5. Recipe completa com engenharia de atributos
   • fertilizante/ha
   • densidade de semeadura
   • efeitos de chuva por janelas
   • água total e água por hectare
   • médias e amplitudes térmicas
   • métricas de investimento
   • imputação, normalização, dummies e Yeo-Johnson
6. Modelos utilizados
   • Random Forest (ranger)
   • XGBoost
7. Tuning com grid regular
8. Comparação Random Forest vs XGBoost
9. Treino Final com hiperparâmetros ótimos
10. Avaliação no conjunto de teste
11. Função de previsão para novos dados
12. Função de retreinamento
13. Análise completa de resíduos e gráficos de diagnóstico

5. Resultados Principais

Modelo vencedor: Random Forest

Desempenho no teste:

• RMSE ~ 796.72 kg/ha

• R² ~ 0.9921

• MAE ~ 569.86 kg/ha

Esses valores indicam excelente capacidade de generalização e baixa taxa de erro considerando a escala dos dados.

6. Estrutura do Repositório

├── data
│   ├── data_example.xlsx
│   ├── new_data.xlsx
│   ├── novos_api.csv
│   ├── novos_dados_paddy.csv
│   └── paddydataset.csv
├── estilo.css
├── imagens
│   ├── artigo.JPG
│   └── etapas.png
├── machine_learning_portifólio.Rproj
├── outputs
│   ├── modelo_paddy_final.rds
│   ├── modelo_paddy_retreinado.rds
│   ├── model_comparison.csv
│   ├── receita_preprocessamento.rds
│   ├── test_metrics.csv
│   └── test_predictions.csv
├── paddy_ml.qmd
├── README.md
└── scripts
    └── paddy_ml.r

7. Como Reproduzir

if (!requireNamespace("pacman")) install.packages("pacman")
pacman::p_load(tidymodels, tidyverse, skimr, janitor, ranger, xgboost,
               doParallel, glue, vip, patchwork)

df_raw <- read_csv("data/paddydataset.csv") |> clean_names()

8. Previsões em novos dados

previsoes <- predict_yield(novos_dados)

9. Retreinamento com novos dados

modelo_atualizado <- retrain_model(novos_dados, original_data = train_data)

10. Diagnóstico dos Resíduos

Foram gerados:

• Gráfico Predito vs Observado

• Distribuição dos Resíduos

• Resíduos vs Preditos

• Q-Q Plot

• Painel combinado (patchwork)

Esses gráficos confirmam ausência de viés, normalidade aproximada dos resíduos e bom ajuste geral.

11. Citação do Dataset

@misc{paddy_dataset_1186,
  author       = {Subramaniyan, Muthukumaran},
  title        = {Paddy Dataset},
  year         = {2023},
  howpublished = {UCI Machine Learning Repository},
  note         = {DOI: https://doi.org/10.24432/C55W3J}
}

12. Licença

MIT.

O que é Positron?

O Positron é uma IDE (Ambiente de Desenvolvimento Integrado) de última geração desenvolvida pela Posit, voltada para ciência de dados em Python e R.

Baseado no VS Code (um fork do Code OSS), o Positron combina o poder de uma IDE completa com ferramentas interativas de ciência de dados, oferecendo uma interface moderna e performática para análise de dados.

Este curso foi desenvolvido pela R-Ladies Goiânia para auxiliar na transição do RStudio para o Positron, apresentando suas principais funcionalidades e diferenciais.

Objetivos

• Conhecer a interface e componentes do Positron
• Dominar os atalhos essenciais
• Aprender a trabalhar com projetos no Positron
• Realizar análise de dados com as novas ferramentas
• Criar relatórios com Quarto

Pré-requisitos

Antes de iniciar o curso, certifique-se de ter:

1. R 4.2 ou superior instalado
   • Download: https://cloud.r-project.org/
2. Positron IDE instalado
   • Download: https://positron.posit.co/install.html
3. Pacotes R necessários:
   • tidyverse

Nota para usuários Windows: O Positron não inclui o Rtools atualmente. Instale-o separadamente se necessário.

Como Baixar o Material do Curso

Sobre a R-Ladies Goiânia

A R-Ladies Goiânia é um capítulo local da organização global R-Ladies, que promove a diversidade de gênero na comunidade R.

Nossas Redes: https://linktr.ee/rladiesgoiania

Licença

Material desenvolvido para R-Ladies Goiânia para fins educacionais.

Desenvolvido para R-Ladies Goiânia

Olá

Organizar projetos de análise de dados é um desafio comum para quem está começando e até para quem já tem experiência em programação com R. Quantas vezes você já se deparou com códigos que funcionavam perfeitamente no seu computador, mas quebravam quando compartilhados com colegas? Ou passou horas ajustando caminhos de arquivos porque mudou a estrutura de pastas? A boa notícia é que existem pacotes que resolvem esses problemas de forma definitiva

Sobre o projeto

Este repositório contém um guia prático e completo desenvolvido para a comunidade R-Ladies Goiânia, focado em três pilares essenciais para organização e gerenciamento de projetos em R:

• {usethis} - Criação de projetos reprodutíveis e configuração de infraestrutura
• {fs} - Manipulação segura e multiplataforma de arquivos e diretórios
• {here} - Garantia de caminhos consistentes e relativos ao projeto

Como usar este tutorial

install.packages(c("usethis", "fs", "here", "quarto"))

Tutorial

library(usethis)

# Criar novo projeto
create_project("meu_projeto")

# Inicializar Git
use_git()

# Criar repositório no GitHub
use_github()

library(fs)

# Criar estrutura de pastas
dir_create(here("data", c("raw", "clean")))
dir_create(here(c("scripts", "outputs", "figures")))

# Listar arquivos
dir_ls(here("data"))

# Copiar e mover
file_copy("origem.csv", "destino.csv")
file_move("arquivo.txt", "nova_pasta/arquivo.txt")

library(here)

# Sempre use here() para caminhos
dados <- read.csv(here("data", "raw", "dados.csv"))

# Funciona em qualquer sistema operacional!
ggsave(here("figures", "grafico.png"))

Principais funcionalidades do {fs}

Por que usar estes pacotes?

# NÃO FAÇA ISSO
setwd("C:/Users/MeuNome/Documents/projeto")
dados <- read.csv("../data/arquivo.csv")

# FAÇA ISSO
library(here)
library(fs)

dados <- read.csv(here("data", "arquivo.csv"))
file_copy(
  here("data", "raw", "dados.xlsx"),
  here("data", "clean", "dados_processados.csv"))

Estrutura recomendada para projetos

meu_projeto/
├── meu_projeto.Rproj      # Arquivo de projeto
├── README.md              # Documentação
├── .gitignore             # Arquivos ignorados pelo Git
├── data/
│   ├── raw/               # Dados originais (nunca modificar!)
│   └── clean/             # Dados processados
├── scripts/
│   ├── 01-import.R        # Importação de dados
│   ├── 02-clean.R         # Limpeza e transformação
│   └── 03-analyze.R       # Análises
├── outputs/               # Resultados, tabelas
├── figures/               # Gráficos exportados
└── reports/               # Relatórios (Rmd, qmd)

Template de projeto automatizado

Use esta função para criar projetos padronizados:

criar_projeto_padrao <- function(nome) {
  # Criar projeto
  usethis::create_project(nome)
  
  # Estrutura de pastas
  fs::dir_create(here::here("data", c("raw", "clean")))
  fs::dir_create(here::here(c("scripts", "outputs", "figures", "reports")))
  
  # Scripts básicos
  fs::file_create(here::here("scripts", c(
    "01-import.R",
    "02-clean.R", 
    "03-analyze.R"
  )))
  
  # Documentação
  usethis::use_readme_md()
  
  # Git
  usethis::use_git()
  
  message("✅ Projeto criado com sucesso!")
}

# Usar:
criar_projeto_padrao("minha_analise")

Links úteis

Contribuindo

Contribuições são bem-vindas! Se você encontrou um erro ou tem sugestões de melhoria:

1. Abra uma issue descrevendo o problema/sugestão
2. Faça um fork do projeto
3. Crie uma branch para sua feature (git checkout -b feature/MinhaFeature)
4. Commit suas mudanças (git commit -m 'Adiciona nova feature')
5. Push para a branch (git push origin feature/MinhaFeature)
6. Abra um Pull Request

Licença

Este projeto está sob a licença MIT.

Agradecimentos

• R-Ladies Global - Por promover diversidade na comunidade R
• R-Ladies Goiânia - Pela oportunidade de compartilhar conhecimento
• Posit/RStudio - Pelas ferramentas incríveis que facilitam nosso trabalho

Contato

• R-Ladies Goiânia:Site
• R-Ladies Goiânia: Meetup

Módulo 1: Fundamentos de R e Ambiente de Desenvolvimento

Neste módulo você aprenderá do zero a dominar o ambiente R e RStudio, compreendendo desde o contexto histórico e instalação até a criação de scripts, manipulação de estruturas de dados e instalação de pacotes.

Módulo 2: Controle de Fluxo e Estruturas de Dados

Neste módulo, você aprenderá a controlar o fluxo lógico e estruturar análises automatizadas em R. A transição é clara: sai da manipulação básica do Módulo 1 e entra na programação funcional e reprodutível. O foco é transformar código estático em código inteligente, reutilizável e orientado a decisão, base para automação, pipelines e dashboards.

Módulo 3: Estruturando Projetos, Scripts e Fluxos de Trabalho em R

Este módulo consolida as práticas de organização, automação e versionamento, o tripé de qualquer projeto profissional em R. Você aprenderá a criar pipelines completos, reprodutíveis e colaborativos, utilizando as melhores práticas de engenharia de software aplicadas à ciência de dados.

Módulo 4: Manipulação Avançada de Arquivos e Automação

Este módulo transforma você em usuário avançado do R, capaz de criar análises completas e automatizadas. Com tidyverse, você será capaz de dominar manipulação e visualização; com {targets}, aprende automação e reprodutibilidade, o coração da engenharia de dados em R.

Módulo 5: Integração com Sistemas Externos e APIs

Você aprenderá a dominar a integração do R com bancos de dados, APIs e outras linguagens, consolidando o controle total sobre entrada, processamento e saída de dados.Este módulo representa o passo para autonomia profissional: análise conectada, reprodutível e escalável.

Módulo 6: Relatórios Dinâmicos, Dashboards em Shiny e Envio de Relatórios Automatizados

Este módulo consolida o pilar da comunicação em ciência de dados. Você irá dominar Quarto, Shiny e Blastula, criando um ecossistema integrado que gera, publica e distribui análises automaticamente, com estética, interatividade e reprodutibilidade.

Como usar esse projeto?

Para explorar este projeto, faça:

1. Um fork ou clone do repositório em sua máquina local.

2. Em seguida, acesse o relatório completo com as explicações detalhadas de cada etapa da análise em:
   🔗 https://jenniferlopes.quarto.pub/modelagem_experimental/

3. Utilize os scripts disponíveis em meu_projeto/scripts/ para reproduzir toda a pipeline, desde a importação de dados via API até a modelagem com os modelos mistos (REML/BLUP) e a seleção dos genótipos superiores.

4. Os dados simulados (alpha_lattice.xlsx) estão disponíveis em meu_projeto/dados/, permitindo que você execute o fluxo completo de análise e compreenda cada etapa da modelagem experimental aplicada.

5. Instale os pacotes necessários

if (!requireNamespace("pacman", quietly = TRUE)) install.packages("pacman")

pacman::p_load(
  tidyverse, metan, lme4, lmerTest, broom.mixed,
  emmeans, multcomp, plotly, writexl, readxl, httr2)

6. Execute os scripts principais

# Função de coleta de dados via API do GitHub
# source("meu_projeto/funcoes/coleta_dados_github.R")

# Pipeline de modelagem experimental
# source("meu_projeto/scripts/modelagem-experimental.R")

Introdução

A modelagem estatística em experimentos agrícolas tem como objetivo quantificar e compreender a variação experimental, separando os efeitos genéticos dos ambientais.
Ela é essencial para avaliar o desempenho de genótipos, estimar parâmetros genéticos e identificar materiais superiores com base em precisão e estabilidade experimental.

Nos delineamentos em blocos como o Alpha-Lattice, utilizados em ensaios com grande número de genótipos, os modelos lineares mistos (REML/BLUP) tornam-se fundamentais.
Essa abordagem permite estimar simultaneamente os efeitos fixos (como repetições e tratamentos) e os efeitos aleatórios (como genótipos ou blocos incompletos), garantindo predições mais acuradas e imparciais.

Objetivo

Este projeto apresenta um exemplo completo de modelagem estatística aplicada à experimentação agrícola, abordando desde o ajuste do modelo até a interpretação dos resultados.

A proposta é demonstrar, de forma prática e reprodutível, como aplicar modelos mistos (REML/BLUP) a dados experimentais obtidos de delineamentos do tipo Alpha-Lattice, com foco em:

• Estruturação e organização de projetos no R;
  
• Ajuste de modelos (BLUE/BLUP) com o pacote lme4;
  
• Estimativa de herdabilidade;
  
• Análise de agrupamento genético (UPGMA);
  
• Interpretação de resultados em contexto de melhoramento genético de plantas.

Stacks desenvolvidas

Estrutura do Projeto

Faça o mesmo, consulte a estrutura do seu projeto:

# fs::dir_tree(here::here())

portfolio_experimentacao_agricola/
├── estilo.css                          # Estilos visuais do 
├── _publish.yml                        # Configuração de publicação
├── README.md                           # Descrição do projeto
├── modelagem_experimental_explicacoes.qmd  # Documento principal
│
├── meu_projeto/
│   ├── dados/
│   │   └── alpha_lattice.xlsx          # Dados simulados
│   │
│   ├── figuras/                        # Gráficos e saídas visuais
│   │
│   ├── funcoes/
│   │   └── coleta_dados_github.R       # Função para importar dados
│   │
│   ├── output/                         # Resultados e tabelas finais
│   │
│   └── scripts/
│       ├── importacao_via_api.R        # Script de coleta e limpeza 
│       ├── modelagem-experimental.R    # Ajuste dos modelos mistos
│       └── script_inicial.R            # Pipeline base do projeto

Scripts Principais

Importação de dados via API do GitHub

A importação dos dados via API do GitHub foi implementada para permitir que o projeto acesse arquivos diretamente de um repositório remoto, sem a necessidade de download manual.

• Essa abordagem garante reprodutibilidade, integração contínua e centralização dos dados experimentais, facilitando a atualização e o versionamento das bases utilizadas nas análises.

• Por meio da função coleta_dados_github(), o R realiza uma requisição HTTP à API do GitHub, decodifica o conteúdo em formato Base64 e lê o arquivo (.csv ou .xlsx) diretamente na sessão, utilizando os pacotes httr2, base64enc, readr e readxl.

Conceitos principais

Licença

Este projeto é distribuído sob a licença MIT.

Sinta-se à vontade para usar, adaptar e referenciar este conteúdo em trabalhos e cursos de experimentação agrícola.

Como usar esse projeto?

Para explorar este projeto, faça:

1. Um fork ou clone do repositório em sua máquina local.

2. Em seguida, acesse o relatório completo com as explicações detalhadas de cada etapa da análise:

Objetivo

Construir um pipeline reprodutível e automatizado para experimentos agrícolas, com foco em:

• Modelagem estatística (BLUE e BLUP);

• Estimativas de herdabilidade;

• Agrupamento genético (UPGMA);

• Visualizações e exportação automatizada.

Referências

A explicação completa sobre a modelagem estatística utilizada neste pipeline incluindo o detalhamento dos modelos mistos (REML/BLUP), ajustes, validações e interpretações está disponível nos links abaixo:

Estrutura Geral do Projeto

experimentacao_agricola_pipeline_automatizado/
├── _targets.R              # Definição do pipeline principal
├── _targets.yaml           # Configurações adicionais do {targets}
├── rodar_pipeline.R        # Script para execução e monitoramento
├── _targets/               # Banco interno de objetos, metadados e logs
│   ├── meta/               # Metadados de execução
│   └── objects/            # Objetos gerados em cada etapa
├── meu_projeto/
│   ├── dados/              # Dados experimentais (.xlsx)
│   ├── funcoes/            # Funções personalizadas
│   │   └── coleta_dados_github.R
│   ├── scripts/            # Scripts auxiliares e de testes
│   │   └── script_inicial.R
│   ├── output/             # Resultados exportados (planilhas e gráficos)
│   │   ├── grafico_comparacao_BLUE_BLUP.png
│   │   └── resultados_experimentais.xlsx
│   ├── figuras/            # Gráficos do pipeline ({targets})
│   │   ├── tar_make.png
│   │   ├── tar_manifest.png
│   │   ├── tar_meta.png
│   │   ├── tar_progress.png
│   │   ├── tar_summary.png
│   │   ├── tar_visnetwork.png
│   │   └── _targets_finalizado.png
│   ├── docs/               # Relatórios e apresentações
│   └── README.md           # Descrição local do módulo

Fluxo do Pipeline {targets}

Cada etapa é reexecutada somente quando suas dependências mudam. Os nomes abaixo correspondem aos targets definidos em _targets.R.

Como Executar

1. Instalar pacotes:

   install.packages(c(
     "targets", "tarchetypes", "tidyverse", "lme4", "emmeans",
     "broom.mixed", "metan", "ggpubr", "glue", "readxl",
     "httr2", "base64enc", "writexl"
   ))

2. Rodar o pipeline completo:

   source("rodar_pipeline.R")

3. Visualizar a rede de dependências:

   tar_visnetwork()

4. Ler resultados diretamente:

   tar_read(estimativas)
   tar_read(herdabilidade)

5. Outputs finais:

   • meu_projeto/output/resultados_experimentais.xlsx
   • meu_projeto/output/grafico_comparacao_BLUE_BLUP.png
   • Visualizações do pipeline em meu_projeto/figuras/

Resultados e Interpretação

• BLUE (Best Linear Unbiased Estimator): média ajustada considerando genótipos como efeito fixo.
  
• BLUP (Best Linear Unbiased Predictor): predição dos valores genéticos com genótipos como efeito aleatório.
  
• H² (Herdabilidade): proporção da variância total atribuída à variância genética.
  
• UPGMA: agrupamento hierárquico para avaliação de similaridade genética entre genótipos.

O gráfico grafico_comparacao_BLUE_BLUP.png ilustra a correspondência entre as estimativas dos dois modelos, validando a consistência do ajuste.

Conceitos-Chave

• Reprodutibilidade científica com {targets}
• Modelos mistos e predição de valores genéticos (REML/BLUP)
• Automação de análises experimentais
• Gerenciamento de dependências e execução incremental

Monitoramento do Pipeline

O script rodar_pipeline.R auxilia no acompanhamento da execução:

Licença

Este projeto é distribuído sob a licença MIT.

Sinta-se à vontade para usar, adaptar e referenciar este conteúdo em trabalhos e cursos de experimentação agrícola.

Autoria

Jennifer Luz Lopes
Engenheira Agrônoma | Doutora em Melhoramento Genético de Plantas