10. Avaliação de programas e projetos. Flashcards
(174 cards)
1
Q
CERTO OU ERRADO
O controle deve ser realizado exclusivamente no nível estratégico.
A
ERRADO! O controle é realizado em todos os níveis. Tanto no estratégico, abrangendo toda a organização, bem como no nível tático e no operacional.
2
Q
Quais são as quatro etapas do processo de controle?
A
- estabelecimento dos padrões (qual é o resultado esperado)
- monitoramento do desempenho (coleta dos dados)
- comparação com o planejado
- tomada de ações corretivas (quando necessário).
3
Q
CERTO OU ERRADO
O processo de controle pode acontecer antes do que a atividade.
A
CERTO! No estabelecimento dos padrões pretendidos para verificar onde se quer chegar.
4
Q
CERTO OU ERRADO
O processo de controle pode acontecer após a atividade ter sido encerrada.
A
CERTO! Depois que a atividade acontece pode ocorrer o controle para a tomada de ações corretivas.
5
Q
Quais os três tipos de controle de processo quanto ao momento?
A
- preventivo (prévio ou “ex-ante”)
- simultâneo
- posterior ou “ex-post”.
6
Q
Qual o objetivo do controle preventivo?
A
Identificar e prevenir os problemas antes que eles efetivamente ocorreram. Funciona, portanto, como um tipo de controle proativo, pois busca evitar que os problemas aconteçam
7
Q
PARA FIXAR
Exemplo de controle preventivo:
Verificar se os recursos e máquinas de uma empresa, por exemplo, estão em bom estado para que a atividade possa iniciar.
A
8
Q
Qual o objetivo do controle simultâneo?
A
Fazer ajustes no momento em que a atividade está ocorrendo, como o trabalho de supervisão de uma equipe.
9
Q
PARA FIXAR
O controle simultâneo é considerado um tipo controle reativo.
A
10
Q
Qual o objetivo do controle posterior?
A
Avaliar qual foi o desempenho de uma atividade após esta ter acontecido, solicitando propondo melhorias, correções…
11
Q
PARA FIXAR
Para Leonardo Secchi, a avaliação de Políticas Públicas pode se distinguir entre:
- avaliação ex-ante, que seira o controle preventivo, anterior a implementação)
- avaliação ex-post ou somativa, que seria equivalente ao controle posterior (posterior a avaliação)
- avaliação in itinere, que seria equivalente ao controle simultâneo, também conhecida como avaliação formativa ou monitoramento, que ocorre durante o processo de implementação para fins de ajustes imediatos .
A
12
Q
PARA FIXAR
Exemplos de controles preventivos:
- Testes de seleção de recursos humanos
- Programas de manutenção preventiva
- Inspeção de matérias-primas
A
13
Q
PARA FIXAR
Exemplos de controles simultâneos:
- Supervisão direta dos trabalhadores
- Controles estatísticos de processo produtivo
- Auditorias de natureza operacional realizadas pelos Tribunais de Contas
A
14
Q
PARA FIXAR
Exemplos de controles posteriores:
- Inspeção de qualidade dos bens
- Avaliação de desempenho
- Análise das prestações de contas pelos Tribunais de Contas
A
15
Q
CERTO OU ERRADO
O controle simultâneo corrige os problemas à medida que ocorrem e tem foco nos insumos.
A
ERRADO! Corrige os problemas à medida em que ocorrem mas tem foco nos processos, não nos insumos.
16
Q
No que consiste o controle estratégico?
A
Voltado para mensurar se a organização está atingindo seus objetivos estratégicos. Visa informar a cúpula da empresa e facilitar a tomada de decisão.
17
Q
Como também pode ser chamado o controle estratégico?
A
Controle institucional ou controle organizacional.
18
Q
No que consiste o controle tático?
A
Voltado para medir os resultados do departamento. Produz informações especializadas e facilita a tomada de decisão dos gerentes de cada área.
19
Q
Como também pode ser chamado o controle tático?
A
Controle gerencial ou departamental.
20
Q
No que consiste o controle operacional?
A
Avalia o modo pelo qual as tarefas e atividades estão sendo desenvolvidas. É utilizado pelos administradores.
21
Q
O controle estratégico está focado no controle a curto, médio ou longo prazo?
A
Longo prazo.
22
Q
O controle operacional está focado no controle a curto, médio ou longo prazo?
A
Curto prazo.
23
Q
O controle tático está focado no controle a curto, médio ou longo prazo?
A
Médio prazo.
24
Q
Uma classificação importante dos tipos de controle se dá pelo órgão que o exerce e o aspecto da atividade administrativa a ser controlado: controle administrativo, controle legislativo e controle judicial.
No que consiste o controle administrativo?
A
Tipo de controle interno, efetuado através da capacidade que a Administração Pública tem de autotutela.
25
CERTO OU ERRADO
Sempre que a Administração buscar corrigir ou alterar seus próprios atos administrativos estará exercendo o controle administrativo.
CERTO!
26
Quais são os dois tipos de controle administrativo?
- supervisão ministerial
- controle hierárquico.
27
No que consiste o controle legislativo?
Efetuado pelo próprio parlamento e por seus órgãos auxiliares (como o TCU, no caso da União).
28
Quais são os dois tipos de controle legislativo?
- controle político
- controle financeiro
29
No que consiste o controle judicial?
Efetuado pelo Poder Judiciário no exercício de sua função principal – a jurisdicional.
30
CERTO OU ERRADO
O Brasil adota o modelo francês, de contencioso administrativo.
ERRADO! O Brasil adota o modelo inglês, onde o Judiciário é o “ponto final” das causas.
31
**PARA FIXAR**
Outro tipo de classificação de controle se dá pela origem do órgão controlador: controle interno e controle externo. O controle interno ocorre quando o órgão que exerce o controle está inserido no mesmo poder do órgão fiscalizado.
É o que ocorre quando a CGU, por exemplo, fiscaliza o Ministério da Defesa. É um órgão do Poder Executivo controlando outro órgão do Poder Executivo Federal.
Já o controle externo ocorre quando existe um controle por parte de um órgão de um poder sobre algum órgão do outro poder. É o caso da fiscalização do TCU (Poder Legislativo) sobre o mesmo Ministério da Defesa (Poder Executivo).
32
Quais as duas classificações de controle em relação à iniciativa ou modo de instauração?
- de ofício ou “ex offício” e
- “provocado” ou por provocação.
33
No que consiste o controle de ofício?
O controle executado pela própria administração quando exerce o poder de autotutela
34
No que consiste o controle provocado?
Instaurado por terceiros quando entram com recursos, quando fazem petições, requerem informações, dentre outros instrumentos utilizados
35
**PARA FIXAR**
De acordo com Chiavenato, existem sete características do controle:
- **Orientação estratégica para resultados**: O controle deve apoiar planos estratégicos e focalizar as atividades essenciais que fazem a real diferença para a organização.
- **Compreensão**: o controle deve apoiar o processo de tomada de decisões apresentando dados em termos compreensíveis. O controle deve evitar relatórios complicados e estatísticas enganosas.
- **Orientação rápida para as exceções**: controle deve indicar os desvios rapidamente, por meio de uma visão panorâmica sobre onde as variações estão ocorrendo e o que deve ser feito para corrigi-las adequadamente.
- **Flexibilidade**: o controle deve proporcionar um julgamento individual e que possa ser modificado para adaptar-se a novas circunstâncias e situações.
- **Autocontrole**:o controle deve proporcionar confiabilidade, boa comunicação e participação entre as pessoas envolvidas.
- **Natureza positiva**: o controle deve enfatizar o desenvolvimento, a mudança e a melhoria. Deve alavancar a iniciativa das pessoas e minimizar o papel da penalidade e das punições.
- **Clareza e objetividade**: o controle deve ser imparcial e acurado para todos. Deve ser respeitado como um propósito fundamental a melhoria do desempenho.
36
Qual a diferença entre eficiência, eficácia e efetividade?
- Eficiência se relaciona com o uso dos recursos que temos disponíveis para atingir nossos objetivos. Portanto, quando falamos que alguém foi eficiente é porque utilizou os recursos que tinha de forma adequada .
- Eficácia é fazer a coisa certa! O conceito é relacionado não com a utilização dos recursos, mas se atingimos realmente o objetivo que traçamos.
- Efetividade refere-se ao impacto das ações! Como a execução de um programa pode ou não alterar uma realidade .
37
**PARA FIXAR**
Eficiência x Eficácia x Efetividade
Imagine que a prefeitura de sua cidade deseja diminuir a mortalidade infantil. Buscando atingir este objetivo, a prefeitura comprou 10 mil vacinas para poder imunizar o mesmo número de crianças do município no ano de 2010, tendo em vista este objetivo de reduzir a mortalidade.
Se no final do programa todas as 10 mil crianças do município foram vacinadas, o programa foi eficiente (utilizou de forma adequada os recursos, como vacinas, médicos, etc.) e eficaz (as crianças foram vaci nadas como planejado).
Para sabermos se o programa foi efetivo, teremos de pesquisar se realmente a mortalidade infantil foi reduzida, pois pode ser que a vacina não seja a adequada, ou que na verdade a causa das mortes seja outro problema, etc.
Cabe aqui lembrar que este conceito de efetividade é muito importante, pois muitas das ações do Estado devem ser planejadas e executadas tendo em mente mudar alguma realidade, como a pobreza extrema, as desigualdades regionais ou a evasão escolar.
Portanto, o objetivo em mente não deve ser construir escolas, mas melhorar o nível escolar dos alunos.
38
O que são indicadores?
Medidas que ajudam a compreensão sobre o funcionamento de uma atividade ou processo da empresa.
39
**PARA FIXAR**
“O indicador é uma medida, de ordem quantitativa ou qualitativa, dotada de significado particular e utilizada para organizar e captar as informações relevantes dos elementos que compõem o objeto da observação. É um recurso metodológico que informa empiricamente sobre a evolução do aspecto observado”.
De acordo com a Rua :
“De uma maneira simplificada, os indicadores são medidas que representam ou quantificam um insumo, um resultado, uma característica ou o desempenho de um processo, de um serviço, de um produto ou da organização como um todo.”
40
De acordo com o Ministério do Planejamento, quais os componentes básicos de um indicador?
- **Medida**: grandeza qualitativa ou quantitativa que permite classificar as características, resultados e consequências dos produtos, processos ou sistemas;
- **Fórmula**: padrão matemático que expressa à forma de realização do cálculo;
- **Índice (número)**: valor de um indicador em determinado momento;
- **Padrão de comparação**: índice arbitrário e aceitável para uma avaliação comparativa de padrão de cumprimento; e
- **Meta**: índice (número) orientado por um indicador em relação a um padrão de comparação a ser alcançado durante certo período.
41
Os indicadores de desempenho são divididos em dois indicadores.
Quais são?
Indicadores de esforços e indicadores de resultados.
42
Quais as seis categorias básicas de indicadores de desempenho?
- Eficiência
- Eficácia
- Efetividade
- Economicidade
- Excelência
- Execução.
43
As seis categorias básicas de indicadores de desempenho são classificadas em dois grandes grupos de dimensão.
Quais são?
Dimensão de resultado e dimensão de esforço.
44
As seis categorias básicas de indicadores de desempenho são classificadas em dois grandes grupos de dimensão: dimensão de resultado e dimensão de esforço.
Quais são as dimensões de resultado?
- Eficiência
- Eficácia
- Efetividade
45
As seis categorias básicas de indicadores de desempenho são classificadas em dois grandes grupos de dimensão: dimensão de resultado e dimensão de esforço.
Quais são as dimensões de esforço?
- Economicidade
- Excelência
- Execução
46
No que consiste uma cadeia de valor?
Levantamento de toda a ação ou processo necessário para gerar ou entregar produtos ou serviços a um beneficiário. É uma representação organizacional que permite melhor visualização do valor ou do benefício agregado no processo, sendo utilizada amplamente na definição dos resultados e impactos de organizações.
47
**PARA FIXAR**
Exemplo de cadeia de valor
48
**PARA FIXAR**
Diagrama insumo-produto, que que aponta facilmente quais são os aspectos a serem medidos
49
CERTO OU ERRADO
Na administração pública, a qualidade está relacionada à eficiência dos serviços prestados.
ERRADO! A qualidade pode ser avaliada pelos indicadores de excelência, da dimensão esforço.
50
Uma classificação dos tipos de indicadores que é muito cobrado é a de Maria das Graças Rua.
De acordo com a professora, quais são os três tipos de indicadores?
a) Indicadores Estratégicos
b) Indicadores de Processos:
c) Indicadores de Projetos
51
Segundo Maria das Graças Rua, quais indicadores se inserem dentro dos indicadores de processos?
- Indicadores de Produtividade (eficiência)
- Indicadores de Qualidade (eficácia)
- Indicadores de Efetividade (impacto)
- Indicadores de Capacidade
*ou seja, os indicadores de resultado + de capacidade*
52
No que consistem os indicadores estratégicos?
Relacionados aos objetivos estratégicos descritos no planejamento estratégico da instituição.
53
No que consistem os indicadores de projetos?
Relacionados com a aferição do desenvolvimento do projeto, um esforço temporário que visa gerar um produto exclusivo (único).
*Ou seja, são criados para acompanhar o desempenho da execução dos projetos*
54
No que consistem os indicadores de processos?
Para avaliar a representação objetiva de características do processo que devem ser acompanhadas ao longo do tempo para avaliar e melhorar o seu desempenho. Eles mediriam a eficiência e a eficácia dos processos.
55
Dentro dos indicadores de processos, se inserem os indicadores de Produtividade (eficiência), os indicadores de Qualidade (eficácia) e os indicadores de Efetividade (impacto) e Indicadores de Capacidade.
No que consistem os indicadores de qualidade?
Medem como o produto ou serviço é percebido pelo cliente e a capacidade do processo em atender os requisitos dos clientes.
56
Os indicadores de qualidade poderão indicar dois tipos de indicadores. Quais são?
Indicadores da Não-Qualidade e Indicadores da Qualidade.
57
Dentro dos indicadores de processos, se inserem os indicadores de Produtividade (eficiência), os indicadores de Qualidade (eficácia) e os indicadores de Efetividade (impacto) e Indicadores de Capacidade.
No que consistem os indicadores de produtividade?
Medem a relação entre os insumos utilizados e os produtos finalizados, ligados à eficiência, e estariam dentro dos processos e tratariam da utilização dos recursos para a geração de produtos e serviços.
*devem andar lado a lado com os de Qualidade*
58
Dentro dos indicadores de processos, se inserem os indicadores de Produtividade (eficiência), os indicadores de Qualidade (eficácia) e os indicadores de Efetividade (impacto) e Indicadores de Capacidade.
No que consistem os indicadores de efetividade?
Medem as consequências dos produtos ou serviços em relação ao cliente ou à sociedade, “fazer a coisa certa do jeito certo”.
59
Dentro dos indicadores de processos, se inserem os indicadores de Produtividade (eficiência), os indicadores de Qualidade (eficácia) e os indicadores de Efetividade (impacto) e Indicadores de Capacidade.
No que consistem os indicadores de capacidade?
Medem a capacidade de resposta de um processo por meio da relação entre as saídas produzidas por unidade de tempo, ou seja, quanto aquele processo consegue produzir em termos absolutos.
*por exemplo: a produção da fábrica X é de 1500 carros por dia*
60
De acordo com a definição do Tribunal de Contas da União, quais as variáveis dos indicadores de desempenho?
- Custo
- Tempo
- Quantidade
- Qualidade
61
De acordo com o TCU , quais os principais atributos ou qualidades de um indicador?
- **Confiabilidade**
- **Adaptabilidade** *(à mudanças e comportamentos dos clientes)*
- **Atualização periódica**
- **Representatividade** *(expressar bem a realidade)*
- **Disponibilidade**
- **Simplicidade** *(fácil entendimento)
- **Acessibilidade**
- **Economicidade**
- **Estabilidade**
- **Rastreabilidade**
- **Praticidade**
62
O Ministério do Planejamento, em seu Guia de 2012 (Indicadores - Orientações Básicas Aplicadas à Gestão Pública), divide as propriedades dos indicadores em dois tipos.
Quais são?
Essenciais e complementares
63
O Ministério do Planejamento, em seu Guia de 2012 (Indicadores - Orientações Básicas Aplicadas à Gestão Pública), divide as propriedades dos indicadores em _essenciais e complementares_.
No que consistem as propriedades essenciais?
Aquelas indispensáveis, que sempre devem ser consideradas como critérios de escolha, independente da fase do ciclo de gestão em que se encontra a política sob análise (Planejamento, Execução, Avaliação etc.).
64
O Ministério do Planejamento, em seu Guia de 2012 (Indicadores - Orientações Básicas Aplicadas à Gestão Pública), divide as propriedades dos indicadores em _essenciais e complementares_.
No que consistem as propriedades complementares?
Aquelas que, apesar de muito importantes, podem ser alvo de uma análise em casos de conflitos, dependendo da avaliação particularizada da situação.
65
Quais os elementos das propriedades essenciais?
- Utilidade
- Validade
- Confiabilidade
- Disponibilidade
66
Quais os elementos das propriedades complementares?
- Simplicidade
- Clareza
- Sensibilidade
- Desagregabilidade (representação regionalizada)
- Economicidade
- Estabilidade
- Mensurabilidade
- Auditabilidade
67
Qual o significado da sigla KPI?
Key Performance Indicators (ou Indicadores Chave de Desempenho).
68
No que consistem os KPIs?
Métricas quantificáveis e específicas que permitem avaliar o progresso e o sucesso de uma organização em relação aos seus objetivos estratégicos.
69
Qual o objetivo da ferramenta de KPI?
A gestão eficiente e eficaz da administração pública.
70
**PARA FIXAR**
Na administração pública, os KPIs desempenham um papel crucial na mensuração do desempenho de políticas, programas e serviços públicos, fornecendo informações valiosas para a tomada de decisões, o planejamento estratégico e a prestação de contas à sociedade.
Ex: KPI na área da saúde pode ser a taxa de mortalidade infantil, enquanto um KPI na área da educação pode ser o índice de aprovação escolar.
71
CERTO OU ERRADO
Os KPIs são utilizados para monitorar o progresso ao longo do tempo, identificar áreas de melhoria e avaliar o impacto das ações implementadas.
CERTO!
72
Para garantir sua utilidade, um KPI bem configurado deve apresentar cinco características essenciais.
Quais são?
- **Limitação no tempo** (prazo definido)
- **Pertinência** (diretamente relacionado aos objetivos estratégicos da organização)
- **Comparabilidade**
- **Confiabilidade**
- **Mensurabilidade**
73
CERTO OU ERRADO
Um KPI bem configurado é aquele que é relevante, mensurável, comparável, confiável e temporalmente ilimitado.
ERRADO! Temporariamente LIMITADO.
74
Para que uma meta ou objetivo sejam realistas, a que devem estar relacionados?
A uma métrica.
75
Qual a utilidade do modelo de indicadores SMART?
Auxilia no processo de escolha de indicadores.
76
Quais as propriedades desejáveis de indicadores segundo o modelo SMART?
- Específicos
- Mensuráveis
- Atribuíveis
- Relevantes
- Temporariamente regulares (periodicidade que deverão ser medidos)
77
O que é um objetivo?
Um estado (ou situação) desejado.
78
CERTO OU ERRADO
O objetivo é um conceito quantitativo.
ERRADO! É um conceito qualitativo que deve ser quantificado.
79
Onde chegamos quando definimos um objetivo e quantificamos esse elemento qualitativo?
À meta.
80
CERTO OU ERRADO
Uma meta é um desdobramento de um objetivo.
CERTO! Com o somatório das metas atingimos o objetivo.
81
No que consiste um plano de ação?
As ações que serão necessárias para atingir os objetivos.
82
No que consiste o público-alvo?
O grupo de pessoas a quem se quer atingir.
83
CERTO OU ERRADO
A definição do público-alvo é importante tanto no processo de planejamento quanto no de controle das ações governamentais.
CERTO!
84
CERTO OU ERRADO
Uma avaliação de público-alvo deve medir apenas o atendimento aos beneficiários diretos.
ERRADO! Deve buscar medir como beneficiários diretos (o público-alvo) foram atendidos, bem como avaliar o efeito nos beneficiários indiretos (aqueles que, apesar de não pertencerem ao público-alvo, foram impactados positivamente).
85
**PARA FIXAR**
Um exemplo de beneficiário indireto do programa Bolsa Família, por exemplo, são os donos de supermercados em cidades do interior do Nordeste. Como estas cidades contêm muitos beneficiários diretos do programa, as receitas desses empreendimentos acabaram aumentando, pois seus clientes passaram a receber uma renda maior.
86
No que consiste a "cobertura do público-alvo"?
Ao percentual do público-alvo efetivamente atendido pelo programa.
87
Qual o último estágio do processo de gerenciamento de programas e projetos?
A avaliação.
88
**PARA FIXAR**
De acordo com Aguilar , a avaliação _não é exatamente uma medição_:
“A medição é o ato ou processo de “determinar a extensão e/ou quantificação de alguma coisa”...quando se trata de julgar algo sistematicamente ou aplicando os conhecimentos e regras do método científico, nos encontramos face à uma avaliação. ”
89
**PARA FIXAR**
Para Cohen e Franco, a avaliação é _diferente monitoramento_:
“Enquanto o monitoramento ou acompanhamento é uma atividade gerencial interna que se realiza durante o período de execução e operação, a avaliação pode ser realizada tanto antes ou durante a implementação como ao concluir a mesma ou mesmo tempo depois, para quando se prevê que o projeto provocou todo o seu impacto ”
90
Qual deve ser o foco do processo de avaliação no setor público?
Garantir a qualidade da gestão, fornecendo informações que de maneira sistematizada irão permitir uma melhor tomada de decisões, aprimorando o desempenho dos programas e políticas públicos.
91
CERTO OU ERRADO
A avaliação deve ser um instrumento de aprendizado organizacional
CERTO! A avaliação deve gerar um fluxo contínuo de informações para que tenhamos condição de aprender com os erros e os acertos dos programas.
92
De acordo com Secchi, a avaliação de uma política pública compreende a definição de critérios, indicadores e padrões (performance standards).
Quais os cinco critérios que devem ser utilizados?
- Economicidade
- Eficiência econômica
- Eficiência administrativa
- Eficácia
- Equidade
**OS 5 E's**
93
Como os critérios de avaliação da política pública devem ser operacionalizados?
Por indicadores, que são artifícios (também chamados de “proxies”).
94
Os indicadores, que são artifícios (também chamados de “proxies”) que servem para a mensuração dos _inputs, outputs e resultados ou outcomes_.
Ao que está relaciona os **indicadores de inputs** (entrada no sistema)?
Aos gastos financeiros, recursos humanos empregados ou recursos materiais utilizados.
95
Os indicadores, que são artifícios (também chamados de “proxies”) que servem para a mensuração dos _inputs, outputs e resultados ou outcomes_.
Ao que está relaciona os **indicadores de outputs** (saída do sistema)?
À produtividade de serviços ou produtos.
*ex: a quantidade de buracos tapados nas estradas, quantidade de lixo coletado, quilômetros de estradas construídas, número de pessoas atendidas em um posto de saúde etc.*
96
Os indicadores, que são artifícios (também chamados de “proxies”) que servem para a mensuração dos _inputs, outputs e resultados ou outcomes_.
Ao que está relaciona os **indicadores de outcomes** (ou resultados)?
Aos efeitos da política pública sobre os policytakers e à capacidade de resolução ou mitigação do problema para o qual havia sido elaborada.
97
Como são operacionalizadas os indicadores de outcomes (resultados) na administração pública?
Por meio de médias ou percentuais de satisfação de usuários/cidadãos, qualidade dos serviços, acessibilidade da política pública, número de reclamações recebidas etc.
98
Qual a importância dos padrões (ou parâmetros)?
Fornecem uma referência comparativa aos indicadores.
99
Para Secchi, quais os três principais tipos de padrões (parâmetros)?
- Absoluto
- Histórico
- Normativo
100
Para Secchi, os três principais tipos de padrões (parâmetros) são: absoluto, histórico e normativo.
O que representa os padrões absolutos?
As metas qualitativas ou quantitativas estabelecidas _anteriormente_ à implementação da política pública.
101
Para Secchi, os três principais tipos de padrões (parâmetros) são: absoluto, histórico e normativo.
O que representa os padrões históricos?
Os valores ou descrições já alcançadas no passado e que facilitam a comparação por períodos (meses, anos) e, por consequência, geram informações sobre declínio ou melhora na política pública;
102
Para Secchi, os três principais tipos de padrões (parâmetros) são: absoluto, histórico e normativo.
O que representa os padrões normativos?
As metas qualitativas ou quantitativas estabelecidas com base em um benchmarking ou standard ideal.
103
**PARA FIXAR**
A avaliação de uma política pública pode gerar três tipos de reação: a continuação da política, a sua reestruturação marginal (quando alguns ajustes são necessários) ou à sua extinção.
104
De acordo com Pollitt , quais as quatro principais abordagens e métodos de avaliação?
- Avaliação Experimental
- Avaliação pragmática
- Avaliação econômica
- Avaliação naturalista
105
No que consiste a abordagem de avaliação experimental?
Incorpora ideias positivistas de aplicação da metodologia de ciências naturais à engenharia de programas públicos.
106
**PARA FIXAR**
Em projetos experimentais (avaliação experimental), grupos aleatoriamente selecionados aparentemente similares foram comparados após a aplicação de um programa a um deles. A atribuição do efeito observado ao programa depende da premissa de que não há nenhuma outra causa concorrente para o resultado.
107
No que consiste a abordagem de avaliação pragmática?
Centra-se, acima de tudo, na utilidade dos resultados da avaliação. A avaliação deve se orientar pelos objetivos e práticas de trabalho dos tomadores de decisão.
108
**PARA FIXAR**
Na avaliação pragmática, a exequibilidade política, o timing e o custo são aspectos importantes. Projetos semi-experimentais (em que se busca eliminar explicações alternativas para os resultados por outros meios que não a seleção aleatória), estudos de casos e vários métodos descritivos são geralmente utilizados como ferramentas de avaliação.
109
No que consiste a abordagem de avaliação econômica?
Análises de custo-benefício e avaliações de custo/eficiência. Introduzem informações sobre o custo dos programas como um dos critérios de avaliação.
110
**PARA FIXAR**
A avaliação econômica geralmente é conduzida de maneira ligeiramente isolada da avaliação geral.
111
No que consiste a abordagem de avaliação naturalista?
Alega que a sociedade se constrói socialmente e está em constante mudança por força da interação dos indivíduos e a avaliação não pode oferecer respostas corretas e objetivas, mas meramente agir como elemento facilitador para a produção de consenso entre os interessados.
112
**PARA FIXAR**
A abordagem naturalista rejeita tanto a avaliação experimental quanto a econômica.
113
Quais os métodos aplicados na avaliação naturalista?
Etnografia, observação de participantes, estudos de caso etc.
*têm por objetivo descrever e esclarecer os valores e premissas dos interessados e dar apoio à negociação desses aspectos no processo avaliativo*
114
No que consiste uma avaliação censitária?
Uma avaliação item por item.
*ex: quando entrevistamos todas as pessoas de um departamento, em busca de uma avaliação de clima organizacional, item por item de um processo produtivo*
115
CERTO OU ERRADO
A avaliação censitária é recomendada dada seu melhor custo benefício.
ERRADO! É um controle mais caro, pois teremos de analisar toda a “população” envolvida no processo.
116
**PARA FIXAR**
Um censo ocorre quando os pesquisadores do IBGE (no caso brasileiro) entrevistam todos (ou quase todos) os domicílios da nação, em busca de uma pesquisa mais extensiva e compreensiva.
A ideia é a de ter uma visão o mais complexa e completa possível dos dados obtidos. Entretanto, o censo é uma técnica demorada e leva muito tempo para ser executada.
117
No que consiste a técnica de controle por amostragem?
Uma técnica que usa métodos probabilísticos, utilizando apenas uma “amostra” da população envolvida.
118
CERTO OU ERRADO
O controle por amostragem não é tão acurado, mas é muito mais rápido e barato de executar.
CERTO! Não é tão acurado (preciso) mas é mais barato que o censitário.
119
Para analisar uma política pública podemos utilizar dois métodos: a análise quantitativa e a análise qualitativa.
O que a análise quantitativa busca medir?
Resultados objetivos, que podem ser mais facilmente mensurados.
*ex: avaliação da mortalidade infantil, por exemplo, somando o número de crianças que não sobrevivem até certa idade*
120
Para analisar uma política pública podemos utilizar dois métodos: a análise quantitativa e a análise qualitativa.
O que a análise qualitativa busca medir?
As mudanças em fatores subjetivos. Antigamente, essas análises eram desacreditadas e evitadas.
121
**PARA FIXAR**
A avaliação quantitativa não é tão fácil quando temos de avaliar a mudança em aspectos mais subjetivos (como a confiança, o medo etc.). Ou seja, não temos meios de fazer uma medição objetiva da percepção da população quanto a criminalidade em sua cidade, por exemplo.
122
Atualmente, é desejável que se utilize a avaliação quantitativa ou qualitativa para se ter uma melhor visão das políticas públicas?
O recomendado é que haja um equilíbrio entre os métodos quantitativos e qualitativos para que tenhamos uma visão mais balanceada e mais ampla da política pública.
123
CERTO OU ERRADO
A avaliação de políticas e programas sociais preocupa-se com modelos alternativos que superem o uso de enfoques puramente quantitativos, baseados na mensuração de objetivos previamente definidos. Essa avaliação não considera a complexidade da questão social.
CERTO! Essa questão tem uma redação um pouco confusa, mas está correta. A avaliação das políticas públicas, atualmente, deve superar (deixar de fazer) o costume de somente se basear em avaliações objetivas (métodos quantitativos), pois nem sempre captam a complexidade da realidade social.
124
Existem dois tipos de análises: a análise custo-benefício e a análise custo-efetividade.
No que consiste a análise do custo benefício?
Compara os benefícios com os custos.
125
O que podemos concluir se um projeto de política pública tiver um benefício maior do que o seu custo?
Que o projeto é viável pela comparação custo-benefício.
126
A maior parte dos projetos no setor público não podem ser medidos por meio de indicadores monetários.
Diante desse situação, qual método deve ser usado?
Custo-efetividade.
*por exemplo de projeto de política pública que não pode ser realizada por custo benefício é um novo plano de segurança pública*
127
Como funciona a análise de custo-efetividade?
Os custos continuam medidos em moeda mas não será o objetivo, que serão: redução da criminalidade, elevação da expectativa de vida, ampliação do acesso ao Judiciário etc.
128
**PARA FIXAR**
De certo modo, a análise faz o caminho contrário da ACB. Em vez de analisar o projeto que me gera o maior benefício com o custo estimado, a ACE analisa as alternativas que proporcionam o benefício esperado (menor criminalidade, por exemplo) com o menor custo.
De acordo com Quade:
“A análise pode fornecer não só a informação dos menores custos para alcançar certo objetivo dado, mas também pode proporcionar dados sobre os custos ou preços de alcançar diferentes objetivos, ou conjunto de objetivos, mediante diferentes sistemas alternativos.”, para que aquele que toma as decisões esteja melhor preparado para escolher entre as distintas possibilidades sobre a base de seu sistema de preferências
129
Numa avaliação sobre a viabilidade de política pública, deve ser utilizado o método do custo-benefício ou do custo-efetividade?
Ambas as análises são utilizadas.
130
De acordo com o Manual de Auditoria Operacional do TCU, quais os principais métodos de coleta de dados?
- pesquisa documental
- estudo de caso
- pesquisa (survey)
- pesquisa experimental
- pesquisa quase- experimental
- pesquisa não-experimental.
131
No que consiste a pesquisa documental?
Toda a análise de documentos já disponíveis para análise.
Engloba toda a literatura do tema tornada disponível publicamente sobre o objeto de estudo.
*ex: relatórios, balanços, estudos publicados, normas, livros, revistas, artigos, etc.*
132
No que consiste o estudo de caso?
Utilizado sempre que for necessário entender uma situação complexa e muito úteis quando os casos em questão podem trazer muita informação em uma pequena amostra da população e permitam ao pesquisador ou analista compreender melhor o tema.
133
CERTO OU ERRADO
O estudo de caso deve ser aplicado isoladamente.
ERRADO! Geralmente são somados a outros métodos.
134
No que consiste uma pesquisa?
Serve para obter dados qualitativos e quantitativos.
135
CERTO OU ERRADO
Normalmente, a pesquisa deve ser empregada em conjunto com outros métodos.
CERTO!
136
A pesquisa ser de dois tipos.
Quais são?
Por amostragem ou ser censitário (quando aborda todos os elementos de uma população).
137
Normalmente, as pesquisas são utilizadas com que tipo de técnica?
Técnicas estatísticas.
138
No que consiste a pesquisa experimental?
Compreende melhor a relação de causa e efeito de um programa. Assim, são escolhidos dois grupos: um que receberá o estímulo do programa e outro que não o receberá (o grupo de controle).
Os grupos devem ser escolhidos de forma aleatória, de modo que o avaliador não consiga influir na escolha nem possa “contaminar” a pesquisa.
Naturalmente, se forem observadas diferenças entre os resultados dos grupos, poderemos inferir que isto foi causado pela política ou programa governamental.
139
Nem sempre se consegue efetuar uma pesquisa experimental, por diversos motivos.
Assim, poderemos escolher uma pesquisa quase-experimental para casos mais difíceis.
No que consiste esse método?
Não tem como escolher os grupos de modo randômico, se deve escolher os grupos de modo que estes não tivessem muitas diferenças iniciais. Assim, teríamos como diferenciar o resultado dos grupos como efeito da política.
140
No que consiste uma pesquisa não-experimental?
Ocorre quando não dá pra executar nem mesmo as pesquisas quase-experimentais.
141
CERTO OU ERRADO
Pelas pesquisas não-experimentais é possível explicar consistentemente se os efeitos foram gerados ou não pelo programa.
ERRADO! Não é possível explicar consistentemente se os efeitos foram gerados ou não pelo programa, mas as pesquisas não experimentais podem servir para conhecer alguns aspectos do programa se utilizados em conjunto com outros métodos.
142
Quais as principais técnicas de coleta de dados?
- questionários
- entrevistas
- observação direta
- utilização de dados já existentes
143
**PARA FIXAR**
Questionários são formulários com perguntas estruturadas e padronizadas que têm o objetivo de comparar respostas, montar análises estatísticas e gerar certas conclusões sobre uma situação específica.
A grande vantagem desta técnica é a facilidade de disseminação: os questionários podem ser enviados por correio, internet, dentro outros meios.
A grande desvantagem é que a montagem das perguntas deve ser feita por um profissional experiente e as informações obtidas nem sempre são rigorosa.
144
**PARA FIXAR**
Entrevista é uma série de perguntas apresentadas por um entrevistador a um entrevistado presente fisicamente (normalmente).
As perguntas podem ser feitas de modo individual (apenas o entrevistador e o entrevistado) ou pode ser feita de modo coletivo (vários entrevistados ou entrevistadores ao mesmo tempo).
Além disso, as perguntas podem já estar estruturadas (questões fechadas estabelecidas anteriormente, em um ritmo fixo e ordenado), não estruturada (questões abertas, em um “clima” mais descontraído – como uma conversa informal) ou semiestruturadas (duas modalidades de questões – abertas e fechadas) .
145
No que consiste a observação direta?
Análise _presencial_ de um avaliador do problema ou programa governamental a ser avaliado.
*Assim sendo, o avaliador utilizará sua capacidade de ver, ouvir e perceber para avaliar o funcionamento de algum aspecto a ser avaliado*
146
**PARA FIXAR**
As principais vantagens da observação direta são:
- permite ao observador compreender o contexto no qual se desenvolvem as atividades;
- permite ao observador testemunhar os fatos, sem depender de informações de terceiros;
- permite que um observador treinado perceba aspectos que escapam aos participantes, rotineiramente envolvidos com o programa;
- pode captar aspectos do programa sobre os quais os participantes não desejam falar numa entrevista, por ser um tema delicado ou embaraçoso;
- traz para a análise as percepções do próprio observador, que, ao serem confrontadas com as percepções dos entrevistados, fornecem uma visão mais completa do programa estudado;
- permite que o observador forme impressões que extrapolem o que é possível registrar, mesmo nas mais detalhadas anotações de campo, e que podem auxiliar a compreensão do programa e dos seus participantes.”
147
**PARA FIXAR**
Utilização de dados existentes são os dados já existentes no processo de avaliação. Naturalmente, deve ser avaliado se estes dados são confiáveis, se estão adequados ao objetivo da análise, se estão disponíveis facilmente, se estão armazenados corretamente, dentro outros aspectos.
Deste modo, podemos utilizar dados coletados para outros fins de modo que nos ajudem em outro processo de análise, poupando tempo e esforço.
148
Quais os principais métodos de análise de dados?
- tabulação de frequências
- análise gráfica
- análise qualitativa
- Análise Envoltória de Dados
149
No que consiste a análise de dados por tabulação de frequências?
A checagem da consistência e as relações entre estes dados coletados, após a tabulação dos dados.
*exemplo: o custo dos remédios comprados por prefeituras*
150
**PARA FIXAR**
Através da tabulação (que normalmente é feita em programas de computador), podemos testar hipóteses e fazer gráficos que facilitem a visualização dos dados.
151
No que consiste a análise gráfica?
A análise de gráfico tabulados que revelam tendências e possibilitam uma melhor análise de dados complexos e em grande número. Além disso, possibilitam ao avaliador observar diferenças grandes entre os resultados esperados, possíveis aspectos a serem observados de mais perto, dentre outras análises.
152
**PARA FIXAR**
Tipos de gráficos: histogramas, gráfico de “pizza”, gráficos de dispersão, dentre outros.
153
De acordo com Patton, há quatro tipos de análise qualitativa.
Quais são?
- análise de conteúdo
- triangulação
- interpretações alternativas
- caso negativo
154
No que consiste a análise qualitativa de análise de conteúdo?
Técnica de análise sistemática de informação textual, organizada de forma padronizada, que permite realizar inferência sobre seu conteúdo.
*Pode ser usada para analisar transcrições de entrevistas grupos focais e documentos, como relatórios, descrição de política pública. Recomenda-se usar software adequado em caso de grande quantidade de material a ser analisado.*
155
No que consiste o método de análise qualitativa de Triangulação?
Uso de diferentes métodos de pesquisa e/ou de coleta de dados _para estudar a mesma questão_, com o objetivo de fortalecer as conclusões finais.
156
**PARA FIXAR**
A análise de dados por triangulação pode assumir as formas a seguir indicadas:
- coletar dados de diferentes fontes sobre a mesma questão;
- empregar diferentes entrevistadores e pesquisadores de campo para evitar vieses na coleta de dados;
- usar múltiplos métodos de pesquisa para estudar a mesma - usar teorias diferentes para interpretar os dados coletados.
157
No que consiste a análise qualitativa de interpretações alternativas?
Uma vez formulada uma interpretação a partir das principais relações identificadas na análise, devem-se buscar interpretações alternativas; caso não sejam encontradas evidências substantivas que sustentem essas interpretações, reforça-se a confiança na interpretação originalmente formulada.
158
No que consiste a análise qualitativa de casos negativos?
Trata-se de identificar as situações que não seguem a interpretação principal ou corrente em razão de circunstâncias específicas e que, por isso mesmo, funcionam como “exceções (casos negativos) que confirmam a regra” e que ajudam a esclarecer os limites e as características da interpretação principal.”
159
No que consiste uma análise envoltória de dados?
Método de análise da eficiência relativa de unidades comparáveis (países, empresas, órgãos públicos, etc.), de modo a buscar uma melhora na performance das unidades. É um método matemático não paramétrico de programação linear.
160
Como também é chamada a análise envoltória de dados?
DEA - Data Envelopment Analysis.
161
**PARA FIXAR**
Análise envoltória de dados
“Dentre as características dessa forma de avaliação, merece destaque o fato de que as medidas obtidas são comparativas, baseando-se na identificação das melhores práticas dentre a base de dados analisada; para cada caso, podem ser decompostas em medidas de ajuste em relação a valores de fronteira de eficiência para cada variável de entrada e saída. Essa informação é muito importante para avaliadores e gestores, pois revela a consistência do desempenho de unidades e do sistema como um todo.”
162
CERTO OU ERRADO
O fator humano que garantirá, ou não, a eficácia do sistema de controle.
CERTO! Nenhum controle funcionará se for rejeitado pelas pessoas da organização.
163
CERTO OU ERRADO
O sistema de controle pode gerar maior performance dos trabalhadores, seja por apontar claramente o que deve ser feito, bem como indicar oportunidades de melhoria.
CERTO!
164
No processo de controle do comportamento dos indivíduos, não existem apenas fatores positivos.
Quais os efeitos nocivos?
- comportamento burocrático
- comportamento tático
- resistência ao controle
165
No que consiste o comportamento burocrático?
No direcionamento dos esforços individuais apenas na realização das atividades medidas pelo sistema de controle.
166
No que consiste o comportamento tático?
Ocorre quando os trabalhadores tentam trapacear o sistema de controle.
167
No que consiste a resistência ao controle?
Quando trabalhadores ignoram ou manipulam o sistema de controle.
168
Para que não tenhamos efeitos negativos de efeitos comportamentais no processo de controle, é importante que os gestores façam?
Tenham mais flexibilidade na aplicação dos sistemas de controle a fim de serem aceitos pelos membros da organização.
169
As organizações criam sistemas para controlar o comportamento das pessoas. Para que possam fazer isso, elas têm duas alternativas estratégicas: a imposição externa e a motivação interna.
No que consiste a estratégia de imposição interna?
Está baseada na noção de que os funcionários serão motivados por meio do seu comprometimento com os objetivos organizacionais, pelo sentimento de realização e pelo reconhecimento de ter feito um bom trabalho.
170
As organizações criam sistemas para controlar o comportamento das pessoas. Para que possam fazer isso, elas têm duas alternativas estratégicas: a imposição externa e a motivação interna.
No que consiste a estratégia de imposição externa?
Parte do princípio de que os trabalhadores serão motivados pelas recompensas e ameaças de punição que receberão como consequência do seu desempenho e comportamento.
171
**PARA FIXAR**
Controle por imposição externa
172
Quais as técnicas de controle comportamental no fator humano?
- recrutamento e seleção
- orientação
- desenho de cargos
- avaliação de desempenhos
- treinamento
- estabelecimento do objetivo
- formalização
- incentivo e bônus
- disciplina
- supervisão direta
- cultura organizacional
172
**PARA FIXAR**
Controle por imposição interna
173
