Avaliação das Organizações (Estudo dirigido II)

Faculdade de Educação - Universidade de Brasília
Para a disciplina Avaliação das Organizações Educacionais - AOE

Depois de um pequeno histórico das décadas de 20 e 30, onde a república não tinha critérios para avaliar, suas linhas pedagógicas. O estado cresceu e se viu obrigado a dar sistematização, sequência lógica e eficiente para melhor atender a população em termos de qualidade de ensino, de ensino público. Então, que caminho tomar? Que caminho estatal e institucional?
O caminho foi institucional, ou seja, tornava nossas UF’s participantes de um projeto avaliativo mais sistemático, controlado e que visaria objetivos e metas institucionais claras em termos legais e socioeconômicos.
Com a sucessão do tempo histórico, a intervenção nos financiamentos do Banco Mundial tinha sua contra partida em termos de indicação clara de rendimento escolar e impacto socioeconômico. O sistema avaliativo de certa forma estava mais acurado, porêm sob a tutela internacional na educação – onde torna-se difuso o que pode ser visto como absurdo pedagógico ou até justificativas capitalistas à tornar o universo da educação negociatas com o tratamento estrito capitalista – como uma mercadoria. Absurdo, por ser responsabilidade do estado brasileiro manter as UF’s e justificativas capitalistas pelo oferecimento de vias desenvolvimentistas ao país até valem, mas com fins escusos – a educação ficaria solapada.
Dentro desse contexto vamos dar em forma de resenha do Livro Avaliação de escolas e universidades – Capítulo I – Questões e Propostas para uma Avaliação Institucional Formativa (BELLONI, Isaura; BELLONI, José Angelo).
No primeiro estudo, foram questões precípuas: a dialética em volta do debate privatização ou atuação estatal na Educação em digressão ao tempo histórico quando em 1937, surge o INEP dentro de um contexto nacionalista e com a missão de balizar pesquisa pedagógica ao Estado Novo.
Considera o autor dessa pequena resenha a importância de se entender melhor o fenômeno pedagógico, fenômeno aberto e dinâmico e que tem por necessidade ser multidimensional para dar sentido a um corpo epistemológico próprio – fenômenos de natureza estrita pedagógica juntamente com um processo de avaliação metodológico e que vise a formação de sujeitos críticos. Somam-se a essa resenha as considerações iniciais do Estudo dirigido 1.
1. Introdução
Após colóquio sobre avaliação em 2002 e no acompanhamento do “efeito escola” chegou-se a algumas conclusões:
a) Segundo os autores: Avaliação deve estar á serviço da Educação;
b) Avaliação como instrumento que expressa uma visão de universidade.
c) Avaliação como uma questão técnica, metodológica e administrativa;
d) De forma ideal: Para ser um compromisso com o avanço do conhecimento e melhoria das condições de vida dos brasileiros;
e) Ampliação virtuosa do debate sobre a problemática avaliativa porem o sistema avaliativo foi usado para o ranqueamento das IES se desviando de interesses de Estado;
f) Após erro estratégico – não fora implementado à construção estrutural de forma a abordar as múltiplas variações do ensino superior no Brasil;
g) Processo avaliativo vinculado: Ao universo administrativo, seria uma questão de GESTÃO e também POLÍTICA. Seria, sob essas perspectivas algumas justificativas dos autores BELLONI para dar caráter orgânico aos sistemas avaliativos (agora pelo INEP e num contexto de estado novo) uma atuação para desvincular oposições às Reitorias e à visão de universidade;
h) Avaliação como instrumento e vinculará a Educação à competência e produtividade;
i) Avaliação como fenômeno que perpassa o campo educacional e para o Estado avaliador se faz uma questão civil/social. Cabe aos Pedagogos (as) um compromisso orgânico para construção de uma alternativa de projeto de cultura avaliativa;
j) Avaliação como instrumento social para aferir, conferir, apreciar e julgar as ações das IES;
k) Avaliação Formativa também atuando na Avaliação Institucional;
l) Após e partindo de uma perspectiva transformadora procurou-se elencar PARÂMETROS conceituais/operacionais – visando um modelo de avaliar todos os agentes da educação de forma global e sistemática;
Na seção 2 – Questões sobre os modelos de avaliação:
a) Avaliação não como medição/aferição mas uma leitura orientada da realidade;
b) Evidenciamento (duas grandes tendências teóricas):
b.1)Controle e Hierarquização;
b.2) Melhoria para transformação.
Em b.1 – o objetivo é o ranqueamento e identificação das melhores instituições da União. Em b.2, a tendência é voltada para a efetividade científica e social em termos institucionais.
As tendências são na verdade complementares e compatíveis entre si;
Avaliação tem duas dimensões: Uma de natureza criteriosa advinda do contexto científico e social, outra veiculo para identificar o atual “estado da arte” da educação, sistemas e instituições cujo quesito é a falta de objetivo institucional anteriormente proposto.
As representações sobre a avaliação impedem sua conceituação científica.
Avaliação como forma prática, adaptativa que visa alterações curriculares de grades, disciplinas dentro da fenomenologia envolvendo a escola e os binômios ensino-aprendizagem, aprendizagem/desenvolvimento.
Assume os autores (BELLONI) que por uma espécie de pobreza conceitual, falta de foco em planejamento educacional e também numa mudança da cultura avaliativa para tornar a questão ADMINISTRATIVA e Pedagógica para uma melhor operacionalização de processos de ensino. Por vezes, subestimamos nossas crianças com processos avaliativos defasados ou irrelevantes ou por vezes excedemos na especificidade de uma prova em grupos EJA.
Saber a real proporção e dimensão de avaliar é um grande desafio pedagógico, processo constituinte dorsal, precípuo do fenômeno pedagógico – o fenômeno avaliativo, a implementação de uma cultura avaliativa.
As dificuldades para a implementação orgânica de uma avaliação formativa são imensas. Identifica os BELLONI que já existe uma situação posta (o atual estado da arte por assim dizer) em se tratando de avaliação formativa também nas instituições – dentro agora de um modelo de lógica meritocrática.
O estado brasileiro e as instituições de ensino educacionais ainda patinam no modelo meritocrático, onde o argumento da “falta de outro caminho/modelo” é sempre laureado nos salões da pós-modernidade onde os agentes são a intelectualidade neoliberal. Sob uma matriz de argumentos bem montados por silogismos fechados, a meritocracia decreta o “fim da história” e cai num erro crasso – pretende de forma demagógica e obscura engessar os fins das organizações educacionais e demais instituições de fomento à difusão do conhecimento por pretensamente acharem que atingiu a espécie humana o pináculo da verdade governamental (o “axioma” democracia). E assim, a meritocracia em coadunação (do Lat. Coadunare) com o sistema democrático – sufoca (paradoxalmente) a difusão do conhecimento, o aumento de vagas nas UF’s, uma horizontalização do acesso, (re) significação de vestibulares mais acesso à pesquisa e a equipamentos e também à comunidade científica, comunidade essa que deveria estar voltada às demandas dos cidadãos.
Mas então nos perguntemos - agentes da Educação:
Não existem alternativas? Sim, existem. Mas as restrições são também imensas pela situação JÁ postas em termos de modelo/modelagem avaliativa. A sociedade ainda é conservadora ao conceber o acesso e a difusão do conhecimento advindo das UF’s.
As experiências compiladas anteriormente podem ser ferramenta na resolução dos gargalos dos planejamentos pedagógicos. Para os autores (BELLONI) a questão também tem uma dimensão metodológica, principalmente na avaliação das organizações educacionais públicas em grande escala.
Para reflexão (amostras em grandes escalas):
Existe a possibilidade de conceber um modelo avaliativo institucional formativo, de forma metodológica, com forte base empírica no atendimento às distorções em termos avaliativos globais das organizações educacionais públicas quando avaliamos em grandes escalas, assim com faz a União? Indica a pergunta uma questão em possíveis distorções nas “amostras” colhidas e tabuladas das grandes escalas dos sistemas avaliativos adotados pelo Estado.
Assim; se admitirmos distorções em amostras advindas dos sistemas avaliativos em grandes escalas como podemos formar indicadores seguros na feitura de um modelo formativo – tendo hipoteticamente amostras corrompidas? Não seria plausível tal situação nos nossos grandes modelos visto que os mesmo não considerariam peculiaridades socioeconômicas a vocação institucional no atendimento às necessidades sociais.
Para Reflexão 2 (conjuntura política e situação micro):
Levando agora em consideração nossa conjuntura política e política regional, setorizada, em dimensões menores, em menor escala, também não haveria distorções amostrais ou até da não existência de uma cultura avaliativa que em grandes sistemas não se identificam? Ambas reflexões boas questões para que se coloque em xeque alguns modelos de elitização, sectarização, de natureza meritocrática, hierárquica, verticalizada, excessivamente burocrática e corporativista – todas; apresentam-se como restrições à aplicação de sistemas avaliativos emancipatórios, para transformação de estratos sociais pobres, dos esfarrapados de Paulo Freire.
Assume os autores BELLONI que a questão para um novo modelo que vise a transformação do educando e que deva assumir (sob forte base empírica/estatística) um claro e demonstrável MÉTODO de se avaliar para também se ter clareza de objetivo e a que ponto esta a eficiência das IES para se alcançar o que fora anteriormente planejado por toda a sociedade.
Por isso ser a questão também SISTEMÁTICA e que por assim ser, também se apresenta como dinâmica sendo os contextos e dimensões diversas - compostos da avaliação da quais estão inseridas na escola e na sociedade da qual estão presentes.
A avaliação será composta por finalidades e objetivos claros princípios e características, que estarão dentro de um PROCESSO das quais existem vários agentes educacionais e variáveis socioculturais. Aqui as palavras conjuntura institucional e eficiência visam também dar subsídio às políticas educacionais.
Parâmetros:
A qualidade acadêmica tornou-se um parâmetro em inúmeros projetos e linhas pedagógicas. Os parâmetros também influenciarão a ESTRATÉGIA pedagógica. Segundo os BELLONI – A priori, a avaliação sob uma dimensão conceitual. Depois sob uma dimensão prática visando claros critérios ou indicadores.
Sob um conceito social/global os critérios podem ser operacionais ou básicos. Cada critério básico é traduzido operacionalmente por que cada organização educacional tem suas dimensões, restrições, peculiaridades, vocação, recursos x ou y tais que podem impedir a implementação de um novo modelo formativo/transformador se partirmos de critérios gerais ou generalistas demais.
Entende-se por critérios básicos: Eficiência, Eficácia, Efetividade Social. E por critérios operacionais: Relevância, adequação, coerência, compatibilidade, Interação, Integração, Participação, Exeqüibilidade.
Torna-se agora o fenômeno avaliativo mais completo e virtuoso quando composto por uma multiplicidade de métodos e técnicas. Uma questão para além da polarização maniqueísta de modelos qualitativos ou quantitativos. Perpassará também as pretensas negociatas envolvendo “cérebros” e algumas organizações educacionais.
3. Explorando uma alternativa de avaliação para transformação:
Avaliar as atividades institucionais para promover ensino, pesquisa e extensão. Existência de outras dimensões para avaliar: Atividades financeiras, avaliação do ensino e/ou do curso.
Desenvolvimento do curso vinculado à proposta curricular. Verificação também a que agente da educação está vinculado o currículo – desvinculação de somente um agente no “percurso” pedagógico.
A avaliação atuando na disciplina, na avaliação de desempenho docente. Indicadores: desempenho técnico/científico, didática pedagógica.
Avaliação também deve atuar nas condições estruturais/matérias, da extensão, atividades, meio, avaliação externa.
Outras dimensões (usos, usuários, divulgação de resultados) que visam identificar resultados avaliativos, reconhecer fatores de risco, associar causas dos sucessos e fracassos também levando em consideração o projeto político/pedagógico da instituição ou setor instituição a ser avaliado.
Avaliação como um processo motivador não punitivo. A importância da avaliação também será dada pela segurança na identificação de problemas, pontos fortes e fracos e também para superar demais dificuldades. Todos os agentes da educação se beneficiariam: Alunos, Professores, Instituição, sistema educacional, sociedade e Estado.
Ao final, a divulgação dos resultados que podem trazer uma cultura avaliativa mas dependerá de como a mesma será divulgada e como seus resultados são divulgados e se os mesmos estão ligados aos objetivos e metas institucionais planejados.
A avaliação permitirá comparações longitudinais que podem indicar melhorias ou retrocesso. Apresenta-se agora um novo modelo (o construtivo) na implementação de uma cultura avaliativa.
Em questões voltadas para a eficiência produtiva:
a) Objeto avaliativo, globalidade, respeito à identidade institucional, melhoria e atuação de seus próprios agentes;
b) Avaliação para aperfeiçoar o projeto acadêmico e sociopolítico da instituição a ser avaliada por ações estratégicas;
c) Avaliação como processo global e multidimensional que possui uma grande quantidade de variáveis;
d) Necessidade de explicitar claramente critérios e indicadores;
e) Avaliação para eficiência que se utilizará de seus critérios para alcançar objetivo e missão institucional;
Objeções à Eficiência:
Não compatibilidade entre uma visão produtiva/empresarial com a autonomia e liberdade intelectual inerente à Academia. Da não Intercomplementariedade entre avaliação qualitativa e quantitativa.
Etapas: Coleta, tratamento e julgamento de dados e informações. O método: Utilização de técnicas estatísticas e do DEA (Análise Envoltória de Dados). DEA: Técnica utilizada na construção de indicadores avaliativos.
O DEA poderá ser uma ferramenta útil na feitura de projetos pedagógicos avaliativos que levem em consideração as inúmeras peculiaridades e identidades institucionais e com a base estatística (sob indicadores) que poderão, de forma precípua, nortear estratégias, planos pedagógicos, metas institucionais de qualidade, dentre outras questões estritas do universo educacional e organizacional de UF’s, CEFET’s, ONG’s desligadas do fisiologismo, Institutos de Pesquisas, Parques Industriais, Parques Tecnológicos etc.
A unidade de projetos inviabiliza a formação de ponderadores válidos de forma universal. Ponderação (da Mat.): Indica pesos para extrair uma medida.
O DEA então, identificará as variáveis mais pertinentes em várias dimensões tanto em sentido global como em sentido restrito.
Nos fatores educacionais – Identificar um conjunto de variáveis significativas e descritivas.
O universo amostral e de escopo das considerações dos autores para a pesquisa foram de 33 (trinta e três UF’s) e também 44 (quarenta e quatro) variáveis.
O porte da IES também é fator importante na implementação de dados ao Projeto Acadêmico.
Selecionar variáveis e identificar indicador da eficiência. Procedimento identifica as principais variáveis e forma indicador ÚNICO para aferir a eficiência institucional mediante modelo estabelecido e comunicado.
ANÁLISE DE RESULTADOS: Analisar e auto-avaliar a instituição respeitando uma proporcionalidade entre (recursos e resultados JÁ executados). Identifica as ineficiências e propõe (metas proporcionais).
Indicador sobre eficiência possibilita qualquer IES á constituir resultados mais relevantes e acurados. A questão é essencialmente técnica, de natureza matemática inclusive (ver p. 45 acerca do DEA e sua metodologia).
A validade de cada medição obtida por metas planejadas dependerá dos padrões de referência utilizado nos cálculos.
Referencial (para a eficiência): Instituições eficientes já estabelecidas.
Taxa de substituição dentro de um modelo devem ser interpretados como relação de valor, indicador de importância relativa à sua operacionalidade unindo: valor, plano de operação e meta global.
Metas institucionais: Proporcional depois Global – visa os resultados do processo avaliativo, que por sua vez visa também produtividade e eficiência administrativa.
Em termos de aplicabilidade (Modelos de Projetos):
1) Para IES ou Universidades pequenas e especializadas;
2) Voltado para atividades da graduação;
3) Voltado para pesquisa com alto valor de indicadores de qualidade;
4) Projeto intermediário (uma combinação dos Projetos 1,2 e 3).
Em termos Globais:
As somas das metas proporcionais em detrimento dos valores globais mínimos podem identificar a ineficiência institucional em sentido a permear todas as suas dimensões, mas com apontamento mais preciso da instituição ineficiente a ser avaliada.
De forma conclusa – Avaliação como um processo sistemático, metódico, calculável, modelável matematicamente sob obtenção de dados e indicadores seguros para sua operacionalidade em termos formativos visando atender a missão institucional e sóciopolítica de uma linha pedagógica adotada como estratégia avaliativa e como opção de atuação educacional.
Bibliografia Básica:
Livro: Avaliação de escolas e universidades – Capítulo I – Questões e Propostas para uma Avaliação Institucional Formativa (BELLONI, Isaura; BELLONI, José Angelo).

Bibliografia Complementar e apêndices:
Artigo: YAZBECK. Lola. "Avaliação Educacional Básica: por entre alguns projetos que tecem a história e os caminhos da institucionalização". Revista Brasileira de Política e Administração da Educação, RBPAE. v 18, jul/dez 2002, p.245-260;
Livro: VYGOTSKY, Lev (Psicologia Pedagógica – Cap. I – Pedagogia e Psicologia) – acerca dos objetos e natureza estrita da Pedagogia;
- Nas reflexões 1 e 2 : Noções de estatística (amostras e distorções em amostras dentro de pesquisa básica e aplicada e em sistemas avaliativos) – Ver estatística aplicada à educação.
Literatura Pedagógica e Literatura geral:
a) Livro: Pedagogia do Oprimido (FREIRE, Paulo)
b) Livro: A História das idéias de Paulo Freire (SCOCUGLIA, Sérgio);
c) Livro: A Falsa Medida do Homem (GOULD, S. J);
Contra ancora teórica ao discurso meritocrático/neoliberal:
a) Literatura maxiana e gramsciana in totum;
b) Literatura em ciência política, tratativas políticas como tratativas científicas;
c) Artigo: Emancipação Freiriana – Esboço crítico parcial da Pedagogia libertária aos engodos de Pedagogias Salvíficas e ideológicas (PEREIRA, Saulo Fabrício – ao ENEPE 2009)Disponível em: http://traquinagenspedagogicas.blogspot.com/2009_06_01_archive.html;
d) Ver tese (FREIRE, Paulo) – Da politicidade do ato pedagógico.