Medir a qualidade dos serviços públicos é fundamental

Não há desempenho satisfatório sem o devido desenvolvimento de capacidades. Arranjos de governança pública com déficits de capacidades não geram valor público. Logo, medir capacidades é fundamental para a melhoria das políticas e serviços públicos e, consequentemente, para a geração de bem-estar.

De forma genérica, capacidade remete ao domínio de competências (conhecimentos, habilidades, atitudes), qualidades (atributos capacitantes, facilitadores, enablers) e recursos, resultando numa faculdade ou no poder de levar adiante um intento¹. Este conceito está muito próximo da ideia de readiness to act². Contudo, um conceito de capacidade institucional análogo à prontidão que inclui recursos pode mascarar situações nas quais existem capacidades e qualidades, mas não existem recursos, levando a níveis insatisfatórios de desempenho ou a situações nas quais existem recursos, mas inexistem capacidades e qualidades institucionais (inclusive para o bom aproveitamento dos recursos), levando aos mesmos resultados. Logo, capacidades são condições necessárias ao desempenho, mas nunca suficientes. Assim, definem-se aqui capacidades institucionais como o conjunto de competências (conhecimentos, habilidades, atitudes) e qualidades (atributos capacitantes, facilitadores, enablers) hipoteticamente necessários para alcançar níveis satisfatórios de desempenho (geração de outputs e outcomes relacionados ao trato de problemas públicos).

A literatura econômica coloca a relação entre as capacidades/qualidades institucionais e o desenvolvimento em relevo já há algum tempo^{3, 4, 5}. Contudo, essa relação é hipotética e problemática por três principais razões. Em primeiro lugar, porque o desempenho seria uma função do uso estratégico das capacidades e qualidades (que também podem ser consideradas uma capacidade) pelos atores, não apenas a presença de elementos capacitantes e qualificadores per se⁶ . Segundo, porque é muito comum que se considere, por indução e isomorfismo mimético⁷, elementos capacitantes e qualificadores a partir de experiências consideradas de sucesso (benchmark cases). Esta assunção gera tendências de replicação acrítica, tomando o desempenho como proxies para capacidades e vice-versa. Em terceiro, porque também é muito comum que capacidades e qualidades institucionais apareçam centradas no Estado e ancoradas em concepções arquetípicas, como é o caso do modelo de burocracia weberiana a partir de suas características basais, tais como impessoalidade, legalidade, universalismo de procedimentos, meritocracia, profissionalismo etc. 

Com efeito, esta tradição weberiana, muito fortemente arraigada em diversos domínios do conhecimento, considera os elementos weberianos presentes na burocracia pública um padrão consagrado de capacidade e qualidade institucional⁸ – conferindo pouca ou nenhuma atenção aos possíveis efeitos disfuncionais da burocracia vastamente abordados pela literatura institucionalista, tais como as buropatologias⁹,^{10, 11, 12, 13, 14, 15} e a incidência de problemas de agência e custos de transação^{16,17,18,19,20,21}.

Em todo caso, a tradição weberiana continua sendo o cerne da literatura, em particular no domínio da ciência política, que enfatiza a capacidade de implementação e a existência de um serviço civil profissionalizado^22,23. Nessa linha, importantes estudos revelam efeitos positivos de atributos burocráticos weberianos sobre o desempenho²⁴, efetividade governamental^25,26,27, controle da corrupção^28,29, estabilidade democrática³⁰ e inovação no setor público orientado para mudança³¹. A tradição weberiana também confere à burocracia governamental um papel essencialmente implementador, o que reproduz a ideia da dicotomia entre política e administração. Não obstante a relevância destas dimensões, a tradição weberiana não trata frontalmente elementos da dimensão gerencial das capacidades institucionais. 

A dimensão gerencial é uma perspectiva segundo a qual uma atuação qualquer sobre um determinado problema público é vista a partir de um contexto organizacional (de uma organização bem circunscrita ou de uma rede delas sob um propósito comum). Nessa perspectiva, a realização de qualquer intento requer que funções gerenciais essenciais sejam desempenhadas – tais como liderança; coordenação e articulação; controle e supervisão; planejamento e formulação estratégica; organização e modelos de negócio; melhoria e inovação; gestão de pessoas, recursos financeiros/orçamento/contabilidade, suprimentos, logística, suporte corporativo (comunicação, apoio jurídico) etc³². Além disso, os arranjos organizacionais envolvidos devem ser vistos como artefatos sob constante modelagem e remodelagem para o cumprimento de propósitos deliberados³³ – que representa mais que uma perspectiva de produção, mas de geração de valor. Desta forma, a capacidade repousa na adequação e na funcionalidade das estratégias, estruturas, processos, pessoas, tecnologias e outros atributos gerenciais, assim como na forma como eles são modelados e geridos no trato de problemas públicos.

A definição de capacidades administrativas de Lodge & Wegrich (2014)³⁴ alcança em parte esta perspectiva ao abordar capacidades de entrega (execução na linha de frente), coordenação (mediar e reunir atores dispersos), regulação (supervisionar organizações públicas e privadas) e analítica (prover inteligência e aconselhamento em situações de incerteza). Segundo os autores, capacidades administrativas constituem “um conjunto de habilidades e competências que se esperam das burocracias públicas para que possam facilitar e contribuir para a resolução de problemas”, incluindo “disposições estruturais e processuais que permitem às burocracias desempenhar funções específicas” e “indivíduos dentro destas burocracias que são capazes e habilidosos o suficiente para satisfazer as expectativas dos seus mestres políticos e do público em geral”³⁵. Ainda assim, a execução das funções gerenciais que suportam a execução na linha de frente aparece apenas de forma insinuada.

Na perspectiva gerencial, os arranjos organizacionais são vistos como arranjos colaborativos tanto intra quanto inter-organizacionais. Com efeito, a capacidade colaborativa também tem sido considerada um atributo político, agindo na ampliação da participação dos atores políticos e sociais como elementos que atuam em sinergia para produzir ações governamentais mais ágeis e efetivas^{36,37,38,39,40}. Apesar dessa visão de atributo político, a capacidade colaborativa também envolve uma dimensão de governança colaborativa^41,42 que remete à ideia de estado-rede⁴³ relacional e Estado neo-Weberiano⁴⁴. Essa ideia de estado acontece na colaboração entre agentes públicos e privados na coprodução de políticas e serviços que se dá por meio de redes multi institucionais como um padrão saliente^{45,46,47,48,49,50}.

Ainda na perspectiva gerencial, os arranjos organizacionais podem ser vistos como atuação estratégica (strategizing). Strategizing refere-se à construção deliberada da estratégia, que funciona alinhando os objetivos com as ações empreendidas pelos parceiros da governança colaborativa por meio de um processo lógico e orientado. Esse processo busca alinhar as aspirações, que vão além das metas, por meio da imaginação e dos  desejos dos tomadores de decisão⁵¹. A ação estratégica deliberada (strategizing) requer capacidades, recursos técnicos, expertise, estruturas e todos os outros elementos que uma governança colaborativa precisa para existir e ter sucesso^52,53,54. Esta noção de atuação estratégica redefine o conceito de desempenho ampliando seu escopo para questões relacionadas aos processos (trazendo elementos tais como coalizão, interlocução, advocacy) para geração de resultados (valor, satisfação, legitimidade, resiliência). Portanto, esta perspectiva de atuação estratégica envolve todo um ciclo lógico de gestão estratégica que se estende da formulação à implementação, monitoramento e avaliação, admitindo o papel dos arranjos organizacionais e seus atores já desde o processo de formulação.

Esta abordagem de capacidade estratégica alinha-se bem com a noção de “prontidão de governança” proposta por Anheir (2013), que coloca em primeiro plano a questão “capacidade para quê?”, parametrizando a definição de capacidades necessária pelos desafios a serem enfrentados (destacadamente os desafios relacionados a bens públicos globais) numa linha transformacional, colaborativa e baseada em inovação. Logo, a forma como as organizações são concebidas (que inclui a inexorável discussão sobre suas finalidades e as intenções subjacentes) e como suas funções gerenciais são modeladas e geridas constituem elementos capacitantes sine qua non que não estão circunscritos a uma única organização (ou apenas ao Estado), nem a uma função meramente implementadora e tampouco apenas à presença dos traços burocráticos weberianos.

Indo para além dos elementos que formam a capacidade, do ponto de vista gerencial, a capacidade é um conceito multinível (indivíduo, organização e nação)⁵⁵ e multidimensional (intrínseco, extrínseco, tangível, intangível). Nessa visão, a capacidade significa o elo entre os recursos organizacionais, as características da gestão e as condições necessárias para alcançar a eficácia e os resultados das políticas⁵⁶, soando praticamente como uma chamada para a importância da gestão. Não por acaso, é comum incluir medidas relacionadas à capacidade na gestão de desempenho por meio de frameworks, modelos integrados de governança, que vinculam, por exemplo, capacidade e desempenho^{57,58,59,60,61,62,63,64,65,66}.

Dado o amplo escopo e a multidimensionalidade do conceito de capacidades institucionais, o grande desafio é mensurá-las. Tais características impõem uma grande quantidade de variáveis-atributo que, não obstante, possuem distintos graus de complexidade de operacionalização – algumas de natureza quantitativa, outras de natureza qualitativa. Inicialmente, medir capacidades institucionais é um desafio conceitual (definir para medir pertinentemente), mas também metodológico (da construção de modelos e operacionalização de suas variáveis de forma rigorosa) e informacional (da disponibilidade de dados em relação a objetos como países, entidades subnacionais, organizações etc.). “Medir a capacidade do Estado representa o desafio mais importante para a pesquisa, em particular para análises de séries temporais e grandes comparações de ‘n’.”⁶⁷

A grande diversidade de métricas catalogadas por Cingolani (2012)⁶⁸ corresponde às variações conceituais e aos métodos empregados. O conjunto suscita três tipos de questões basilares que devem nortear qualquer modelo de mensuração de capacidades institucionais: é possível medir? Medir de forma agregada ou desagregada? Com ou sem modelo causal subjacente?

É possível medir capacidades institucionais? Em geral, as discussões sobre possibilidades de métricas giram em torno de limites a respeito da qualidade (nenhum indicador ou sistema de mensuração é perfeito, e todos são limitados) e da viabilidade (custos) das métricas relativamente aos propósitos em foco. Métricas objetivam discussões e permitem o enfrentamento de questões e problemas de forma mais racional (estabelecendo melhor coerência entre meios e fins). Um fundamento comum em favor das métricas é que não se gerencia o que não se mede e não se melhora o que não se gerencia. Logo, a mensuração é essencial a uma postura transformadora.

Uma postura favorável à mensuração deve sempre admitir que, não obstante uma necessária concisão conceitual, os sistemas de mensuração devem levar em conta o que seus agentes e beneficiários julgam importante mensurar. Apesar da qualidade dos dados ser muito variável, muitas vezes será possível testá-los e ou buscar aproximações. As análises que a mensuração enseja devem levar em conta tais limitações e relativizar o que for apropriado. Em suma, é melhor uma métrica com limitações do que nenhuma, desde que as limitações estejam claras no momento da partida e da análise. Ademais, nenhum estudo quantitativo baseado em métricas objetivas elimina a necessidade de apreciações qualitativas – sejam baseadas no método científico ou no saber experiencial das partes envolvidas.

Mas há argumentos contrários à mensuração. O principal deles é conceitual, que impede uma definição precisa e delimitada do objeto de mensuração: “[há] uma dificuldade em invocar a capacidade do Estado como um conceito genérico. Existem múltiplos aspectos da capacidade, sugerindo que uma compreensão ingênua dela pode ignorar importantes compensações e contradições. Além disso, existem definições amplas e restritas, onde as primeiras muitas vezes não conseguem se distinguir de outros construtos, como estado de direito, governança ou qualidade do governo. Questões de extensão do conceito e validade do construto surgem à medida que a versatilidade do conceito aumenta “⁶⁹. 

Não obstante, há alegações de que o objeto não possui observabilidade (real ou potencial) e muitas vezes é mensurado por proxies que não pertencem à mesma categoria lógica (tal como mensurar resultados como proxies de capacidades e vice-versa), levando à circularidade (resultados ruins por baixa capacidade e baixa capacidade por resultados ruins). Em suma, é preciso ter validade do construto capacidades institucionais, embora isto remeta a uma questão circular porque é a métrica que valida o construto. 

A solução, portanto, passa por rigorosa definição (o que confere validade de conteúdo ao conceito e à métrica), identificação e operacionalização de variáveis (muito frequentemente por meio da construção e teste de escalas utilizando-se análise de componentes principais)^70,71,72. Para isso, os indicadores escolhidos para o teste devem ter sua validade de conteúdo muito bem estabelecida⁷³. Com essa validade estabelecida, os testes estatísticos subsequentes mostrarão quais os indicadores que melhor capturam a variação de determinada variável latente^74,75.

Outra questão é: medir de forma agregada ou desagregada? A agregação serve a dois propósitos: captar a multidimensionalidade e mitigar limitações dos indicadores. Toda agregação possui limitações e a maior delas refere-se à seleção do conjunto de variáveis agregadas. As margens de erro são potencialmente altas e há problemas de ponderação, pressupondo que uma variável melhor pontuada possa compensar outra menor pontuada, além de diferentes graus de sensibilidade dos indicadores originários. Por outro lado, argumenta-se, contrariamente à agregação, que um dashboard com indicadores relevantes, selecionados a partir de discussões sobre o que as partes interessadas envolvidas consideram mais importante mensurar e com forte validade de conteúdo pode proporcionar mais informação e suscitar análises mais apropriadas.

Contudo, é possível empregar diferentes metodologias para a agregação dos indicadores. Há agregações apenas baseadas em percepções e agregações que, apesar de terem validade de conteúdo, ainda se baseiam em médias arbitrárias. Esses dois métodos são os mais limitados e problemáticos, pois não consideram de forma objetiva as diferenças entre os indicadores durante o processo de agregação. Existem também metodologias que consideram além da validade de conteúdo a validade convergente/discriminante, ponderando os valores dos indicadores a serem agregados pelas cargas fatoriais. Essas agregações apresentam um resultado muito mais aceitável dentro de determinados parâmetros estatísticos. Por outro lado, testes de dimensionalidade podem levar a agregações amorfas que rompem a validade de conteúdo. Os índices formados por meio de processos nomológicos partem do pressuposto de que para representar uma determinada variável latente, construto teórico, o indicador precisa ter validade de conteúdo em relação à definição do construto, validade convergente em relação aos demais indicadores selecionados para aquele construto e validade discriminante em relação aos demais construtos do modelo^76,77,78.

Dentro destes limites, índices agregados podem permitir rankings e análises comparativas úteis – não com o propósito de premiar ou certificar, mas para apontar hipóteses acerca dos processos que levaram às diferenças. Devem ser levadas em conta comparações entre casos relativamente homogêneos (passíveis de identificação por meio de análise de cluster). Ademais, toda pontuação agregada ou ranking deve ser interpretado levando-se em conta uma análise desagregada (que certamente apontará casos que farão mais ou menos sentido).

Por fim, um modelo de mensuração deve basear-se ou não em modelos causais? Modelos causais são uma forma de compreender objetos/fenômenos de modo sistêmico, no sentido de que integram conjuntos maiores de elementos (internos e externos ao objeto) com os quais estabelecem múltiplas relações de causalidade – no sentido de regularidade empírica, probabilidades condicionais, condições contrafactuais, mecanismos causais e invariância sob intervenção⁷⁹. Trata-se, portanto, de um recurso explicativo não reducionista que busca não apenas medir um fenômeno, mas explorar suas relações de causalidade antecedentes e consequentes.

No entanto, há pelo menos três questões essenciais que devem ser observadas. A primeira é a opção entre modelos tautológicos e modelos nomológicos. Modelos tautológicos, que são mais comuns, podem ser implícitos ou explícitos. Eles são mais frequentemente aplicados no desenho de sistemas de mensuração, o que reduz o poder explicativo da métrica e sujeita as relações de causalidade a uma condição especulativa sem validação. Já os modelos nomológicos emergem da teoria, mas também de testes estatísticos que validam os indicadores e que apontam e mensuram as ponderações que devem ser realizadas no processo de agregação dos indicadores. Apesar dessas vantagens pelo uso da estatística como ferramenta, muitas vezes modelos nomológicos não revelam adequadamente microdeterminantes. 

A validade de um modelo causal simples significa apenas que, em parte, sob certos aspectos e condições, um modelo complexo pode ser visto de forma mais simplificada. Isto pode ser útil para sugerir outras modelagens e as inferências para solução de problemas. Em todo caso, em qualquer modelagem é necessário considerar os fatores como dinâmicos, postos em perspectiva temporal, e não apenas determinísticos.

A segunda é o escopo dos modelos. Modelos muito abrangentes englobam muitas variáveis e dimensões, ampliando a complexidade em termos de causalidade e validade. Modelos muito reduzidos geram perda de dimensionalidade dos objetos/fenômenos e possuem menor poder explicativo e preditivo.

A terceira é a conformação geral das relações de causalidade. Modelos lineares de causalidade simples, direta e unívoca e contextualmente determinados possuem utilidade reduzida para representar objetos e fenômenos complexos sujeitos a uma teia de causalidades diretas, indiretas, biunívocas (circularidade) e autopoiéticas (autorreferentes) – sujeitando sistemas de mensuração a excessiva multicolinearidade. As soluções mais comuns na modelagem de causalidade passam pela identificação estruturada de correlações (tal como aplicado a metodologia de Modelagem de Equações Estruturais – SEM)^80,81,82, experimentos ou algoritmos de aprendizado de máquina – sendo que este último possui um caráter mais preditivo⁸³.

A validade de um modelo causal simples significa apenas que, em parte, sob certos aspectos e condições, um modelo complexo pode ser visto de forma mais simplificada. Isto pode ser útil para sugerir outras modelagens e as inferências para solução de problemas. Em todo caso, em qualquer modelagem é necessário considerar os fatores como dinâmicos, postos em perspectiva temporal, e não apenas determinísticos. Estas questões colocam requisitos de validade e utilidade de modelos causais na medida em que implicações de políticas públicas oriundas de modelos reducionistas ou enviesados podem ser desastrosas. Vale destacar que, como um modelo, ou seja, uma redução da realidade, sempre haverá um componente de erro embutido na medição, algo importante e que pode gerar algum viés nos resultados apresentados^84,85.

Diante dessas questões, posiciona-se no sentido de reafirmar a viabilidade e a necessidade de se mensurarem as capacidades institucionais de forma agregada (embora também permitam apreciações de forma desagregada) e consoante um modelo causal que busque explorar as correlações entre capacidades institucionais e desenvolvimento com validade de conteúdo, validade convergente/discriminante e validade nomológica.

Referências Bibliográficas

¹Greeff, G., & Ghoshal, R. (2004). Production capability management. Practical E-Manufacturing and Supply Chain Management, 214-242;
²Kaufman, R., Oakley-Browne, H., Watkins, R., & Leigh, D. (2003). Strategic planning for success: aligning people, performance, and payoffs. San Francisco: Jossey-Bass/Pfeiffe; 
³Rodrik, D., Subramanian, A. & Trebbi, F. (2004) Institutions Rule: The Primacy of Institutions Over Geography and Integration in Economic Development. Journal of Economic Growth 9, 131–165. doi: 10.1023/B:JOEG.0000031425.72248.85;
⁴Acemoglu, D. & Robinson, J. A. (2012) Why Nations Fail: The Origins of Power, Prosperity, and Poverty. 2th edition, Crown Business/London, UK; 
⁵North, D. C., Wallis, J. J., & Weingast, B. R. (2009). Violence and social orders: a conceptual framework for interpreting recorded human history. Cambridge, United Kingdom: Cambridge University Press;
⁶Williams, M. J. (2021) Beyond state capacity: bureaucratic performance, policy implementation and reform Journal of Institutional Economics, 17, 339–357;
⁷Dimaggio, P., & Powell, W. (1983). The Iron Cage Revisited: Institutional Isomorphism and Collective Rationality in Organizational Fields. American Sociological Review, Vol. 48, No. 2 (Apr., 1983), pp. 147-160;
⁸Rauch, J. E., & Evans, P. B. (2000). Bureaucratic structure and bureaucratic performance in less developed countries. Journal of Public Economics, 75(1), 49–71.
⁹Merton, R. K. (1959). Social Theory and Social Structure. Glencoe: The free press; 
¹⁰Michels, 1949;
¹¹Selznick, 1964;
¹²Gouldner, 1954;
¹³Crozier, 1979;
¹⁴Bendix, 1986;
¹⁵Manheim, K. (1949). Ideology and Utopia. Mexico: Fondo de Cultura Económica;
¹⁶Coase, R. (1998). “The New Institutional Economics,” American Economic Review, 88(2), pp. 72-74;
¹⁷Demsetz, H. (1967). “Toward a Theory of Property Rights,” American Economic Review, 57(2), pp. 347-359;
¹⁸Williamson, O. E. (1975). Markets and Hierarchies, Analysis and Antitrust Implications: A Study in the Economics of Internal Organization;
¹⁹Przeworski, 1996;
²⁰Eggertsson, T. (2005). Imperfect Institutions: Possibilities and Limits of Reform. Ann Arbor: University of Michigan Press;
²¹Ostrom, E. (2005). “Doing Institutional Analysis: Digging Deeper than Markets and Hierarchies,” Handbook of New Institutional Economics, C. Ménard and M. Shirley, eds. Handbook of New Institutional Economics, pp. 819-848;
²²Cingolani, L. (2013). The state of state capacity: A review of concepts, evidence and measures. UNU-Merit working paper series 2013-053 ;
²³Cingolani, L., Thomsson, K., & de Crombrugghe, D. (2015): Minding Weber More Than Ever? The Impacts of State Capacity and Bureaucratic Autonomy on Development Goals. World Development, 72, 191–207;
²⁴Evans, P. B., & Rauch, J. E. (1999). Bureaucracy and growth: A crossnational analysis of the effects of ‘Weberian’ state structures on economic growth. American Sociological Review, 64(5), 748–765;.
²⁵Ben Ali, T. (2022) How Does Institutional Quality Affect Business Start-Up in High and Middle-Income Countries? An International Comparative Study. Journal Knowledge Economy, 13(4). https://doi.org/10.1007/s13132-022-00895-1;
²⁶ Charron et al., 2017;
²⁷Dahlström, C. & Lapuente, V. (2017), Organizing Leviathan: Politicians, Bureaucracy, and Making of Good Government, Cambridge university Press. Doi:10.1017/9781316822869; 
²⁸ Bjørnskov, C. (2011). Combating Corruption: On the Interplay between Institutional Quality and Social Trust. The Journal of Law and Economics, 54(1), 135–159. doi:10.1086/652421; 
²⁹ Meyer-Sahling, J-H., & Mikkelsen, K. S. (2016). Civil service laws, merit, politicization, and corruption: The perspective of public officials from five East European countries. Public Administration, 94(4), 1105-1123. https://doi.org/10.1111/padm.12276; 
³⁰Andersen, D. D. E., & Krishnarajan, S. (2019). Economic crisis, bureaucratic quality and democratic breakdown. Government and Opposition, 54(4), 715-744.
³¹Lapuente & Susuki, 2020;
³²Porter, M. E. (1985). Technology and competitive advantage. Journal of business strategy, 5(3), 60-78;
³³Barzelay, M. (2019) Public management as a design oriented professional discipline. Edward Elgar. Cheltenham;
³⁴Lodge, M., & Wegrich, K. (2014). The problem-solving capacity of the modern state: Governance challenges and administrative capacities. Oxford University Press, USA
³⁵Lodge & Wegrich, 2014: 32 – tradução nossa;
³⁶ Lijphart, A. (1999) Patterns of Democracy. Government Forms and Performance in Thirty-Six Countries. Yale University Press;
³⁷Stark, D., & Brustz, L. (1998). enabling constraints: institutional sources of coherence in public policies in post-socialism. Brazilian Journal of Social Sciences, 13(36), 13-39;
³⁸Sabel, C. (2004). Beyond principal-agent governance: experimentalist organizations, learning and accountability. In: Engelen, E.; Ho, M. (Ed.). De staat van de democratie. Democratie voorbij from Staat. Amsterdam: Amsterdam Press;
³⁹Rodrik, D. (2007). One economics, many recipes: globalization, institutions, and economic growth. Princeton university press.
⁴⁰Evans, P. (2011). The capability enhancing developmental state: concepts and national trajectories. Niterói: Cede.
⁴¹Ansell, C., And Gash, A. (2008). Collaborative governance in theory and practice. Journal of Public Administration Research and Theory, 18(4), 543–571;
⁴²Emerson, K., Nabatchi, T., & Balogh, S. (2012). An integrative framework for collaborative governance. Journal of Public Administration Research and Theory, 22(1), 1–29; https://doi.org/10.1093/jopart/mur011;
⁴³Castells, M. (1999). Information technology, globalization and social development (Vol. 114). Geneva: UNRISD;
⁴⁴Pollitt, C., & Boukaert, G. (2011). Public Management Reform: A Comparative Analysis – New Public Management, Governance, and the Neo-Weberian State. Oxford.
⁴⁵Agranoff, R. (2007). Managing within networks. Georgetown University Press;
⁴⁶Koliba, C., Meek, J. W., & Zia, A. (2011). Governance networks in public administration and public policy. CRC Press – UK;
⁴⁷Agranoff, R., & Mcguire, M. (2003). Collaborative public management: New strategies for local governments. Washington, DC: Georgetown University Press;
⁴⁸Santos, F. M. (2012) A positive theory of social entrepreneurship. Journal of business ethics, 111(3), 35-351;
⁴⁹Bouckaert, G., Guy Peters, B. G., & Verhoest, K. (2010). The Coordination of Public Sector Organizations: Shifting Patterns of Public Management. Palgrave Macmillan.
⁵⁰Goldsmith & Eggers, 2004;
⁵¹Bryson et al., 2021;
⁵²Bryson & George, 2020;
⁵³George et al., 2019;
⁵⁴Hartley et al., 2013;
⁵⁵Christensen, R.K., & Gazley, B. (2008). Capacity for public administration: Analysis of meaning and measurement. Public Administration and Development: The International Journal of Management Research and Practice, 28(4), 265-279;
⁵⁶ Christensen, R.K., & Gazley, B. (2008). Capacity for public administration: Analysis of meaning and measurement. Public Administration and Development: The International Journal of Management Research and Practice, 28(4), 265-279;
⁵⁷ Meier, K. J., & O’Toole Jr, L. J. (2011). Comparing public and private management: Theoretical expectations. Journal of Public Administration Research and Theory, 21(suppl_3), i283-i299;
⁵⁸ Eisinger, P. (2002). Organizational capacity and organizational effectiveness among street-level food assistance programs. Nonprofit and Voluntary Sector Quarterly 31(1): 115–130; 
⁵⁹ Brown & Potoski, 2003;
⁶⁰ O’Toole Jr, L. J., & Meier, K. J. (2003). Public Management and Educational Performance: The Impact of Managerial Networking. PAR, 63(6), XX-XX;
⁶¹ Sowa et al., 2004;
⁶² Boyne, G., Gould-Williams, J. S, Law, J., & Walker, R. (2005). Explaining the Adoption of Innovation: An Empirical Analysis of Public Management Reform. Environment and Planning C Government and Policy 23(3):419-435;
⁶³ Riccucci, N. (2005). Street-Level Bureaucrats and Intrastate Variation in the Implementation of Temporary Assistance for Rodrik, D. Industrial policy for the twenty-first century. In: Rodrik, D. (Ed.). One economics, many recipes. Globalization, institutions, and economic growth. New Jersey: Princeton University Press, 2007; 
⁶⁴ Berman, E. M. (2006). Performance and productivity in public and nonprofit organizations. ME Sharpe; 
⁶⁵ Radin, B. (2006). Challenging the Performance Movement. Accountability, Complexity, and Democratic Values. Georgetown University Press;
⁶⁶ Hou, Y., & Moyniham, D. (2008). The Case for Countercyclical Fiscal Capacity. Journal of Public Administration Research and Theory, 18(10, 139-159;
⁶⁷Cingolani, L. (2013). The state of state capacity: A review of concepts, evidence and measures. UNU-Merit working paper series 2013-053;
⁶⁸Cingolani, L., & Crombrugghe, D. (2012) Techniques for Dealing with Reverse Causality between Institutions and Economic Performance. UNU‐MERIT Working Paper Series, Working Paper Series on Institutions and Economic Growth: IPD WP03;
⁶⁹Cingolani, L., & Crombrugghe, D. (2012) Techniques for Dealing with Reverse Causality between Institutions and Economic Performance. UNU‐MERIT Working Paper Series, Working Paper Series on Institutions and Economic Growth: IPD WP03;
⁷⁰Hair et al., 2009;
⁷¹Malhotra, N. H., Nunan, D. & Birks, D. F. (2017). Marketing Research: An Applied approach. 5th ed., Edinburgh/UK, Pearson;
⁷²Pedhazur, E. J., & Schmelkin, L. P. (2013). Measurement, design, and analysis: An integrated approach. psychology press;
⁷³Pedhazur, E. J., & Schmelkin, L. P. (2013). Measurement, design, and analysis: An integrated approach. psychology press;
⁷⁴Hair et al., 2009;
⁷⁵Malhotra, N. H., Nunan, D. & Birks, D. F. (2017). Marketing Research: An Applied approach. 5th ed., Edinburgh/UK, Pearson;
⁷⁶Hair et al., 2009;
⁷⁷Malhotra, N. H., Nunan, D. & Birks, D. F. (2017). Marketing Research: An Applied approach. 5th ed., Edinburgh/UK, Pearson;
⁷⁸Pedhazur, E. J., & Schmelkin, L. P. (2013). Measurement, design, and analysis: An integrated approach. psychology press;
⁷⁹Maziarz, Mariusz (2020). The Philosophy of Causality in Economics: Causal Inferences and Policy Proposals. New York & London: Routledge;
⁸⁰Hair et al., 2009;
⁸¹Malhotra, N. H., Nunan, D. & Birks, D. F. (2017). Marketing Research: An Applied approach. 5th ed., Edinburgh/UK, Pearson;
⁸²Ringle et al., 2014;
⁸³Angrist, J. D., & Pischke, J. S. (2014). Mastering’metrics: The path from cause to effect. Princeton University Press;
⁸⁴Fuller et al., 2015;
⁸⁵Podsakoff et al., 2003; 2012;

A nota é de responsabilidade dos autores e não traduz necessariamente a opinião da República.org nem das instituições às quais eles estão vinculados.