Alfa de Krippendorff

O coeficiente alfa de Krippendorff, batizado em homenagem ao acadêmico Klaus Krippendorff, é uma medida estatística da concordância alcançada ao codificar um conjunto de unidades de análise. Desde a década de 1970, o alfa tem sido usado na análise de conteúdo, onde unidades textuais são categorizadas por leitores treinados, em aconselhamento e pesquisa, onde especialistas codificam dados de entrevistas abertas em termos analisáveis, em testes psicológicos, onde testes alternativos do mesmo fenômeno precisam ser comparados, ou em estudos observacionais onde os acontecimentos não estruturados são registrados para análise posterior.

O alfa de Krippendorff generaliza várias estatísticas conhecidas, muitas vezes chamadas de medidas de concordância entre codificadores, confiabilidade entre avaliadores, confiabilidade de codificação de determinados conjuntos de unidades (diferente de unitização), mas também se distingue de estatísticas que são chamadas de coeficientes de confiabilidade, mas são inadequadas para as particularidades dos dados de codificação gerados para análise subsequente.

O alfa de Krippendorff é aplicável a qualquer número de codificadores, cada um atribuindo um valor a uma unidade de análise, bem como a dados incompletos (ausentes), a qualquer número de valores disponíveis para codificar uma variável, métricas binárias, nominais, ordinais, intervalares, de razão, polares, e circulares e se ajusta a pequenos tamanhos de amostra dos dados de confiabilidade. A virtude de um único coeficiente com essas variações é que as confiabilidades computadas são comparáveis em qualquer número de codificadores, valores, métricas diferentes e tamanhos de amostra desiguais.

Existem pacotes de software para calcular o alfa de Krippendorff.

Dados de confiabilidade

Dados de confiabilidade são gerados em uma situação em que m ≥ 2 codificadores instruídos em conjunto (por exemplo, por um livro de códigos), mas trabalhando independentemente, atribuem qualquer um de um conjunto de valores 1,. . ., V para um conjunto comum de N unidades de análise. Em sua forma canônica, os dados de confiabilidade são tabulados em uma matriz m -por- N contendo N valores v_ij que o codificador c_i atribuiu à unidade u_j. Defina m_j como o número de valores atribuídos à unidade j em todos os codificadores c. Quando os dados estão incompletos, m_j pode ser menor que m. Os dados de confiabilidade exigem que os valores sejam pareados, ou seja, m_j ≥ 2. O número total de valores emparelhados é n ≤ mN.

Para ajudar a esclarecer, aqui está a aparência da forma canônica:

	u1	u2	u3	. . .	uN
c1	v11	v12	v13	⋯	v1N
c2	v21	v22	v23	⋯	v2N
c3	v31	v32	v33	⋯	v3N
⋮	⋮	⋮	⋮	⋱	⋮
cm	vm1	vm2	vm3	⋯	vmN

Forma geral de alfa

Denota-se por $R$ o conjunto de todas as respostas possíveis que um observador pode dar. As respostas de todos os observadores para um exemplo é chamada de unidade (forma um multiconjunto). Denotamos um multiconjunto com essas unidades como os itens, $U$.

Alfa é dado por:

$\alpha =1-{\frac {D_{o}}{D_{e}}}$

Onde $D_{o}$ é o desacordo observado e $D_{e}$ é o desacordo esperado pelo acaso.

$D_{o}={\frac {1}{n}}\sum _{c\in R}\sum _{k\in R}\delta (c,k)\sum _{u\in U}m_{u}{\frac {n_{cku}}{P(m_{u},2)}}$

Onde $\delta$ é uma função métrica (veja abaixo), $n$ é o número total de elementos emparelhados, $m_{u}$ é o número de itens em uma unidade, $n_{cku}$ número de $(c,k)$ pares na unidade $u$, e $P$ é a função de permutação. Isso pode ser visto como a distância média (ponderada) observada da diagonal.

$D_{e}={\frac {1}{P(n,2)}}\sum _{c\in R}\sum _{k\in R}\delta (c,k)P_{ck}$

Onde $P_{ck}$ é o número de maneiras que o par $(c,k)$ pode ser feito. Isso pode ser visto como a distância média da diagonal de todos os possíveis pares de respostas que podem ser derivados do multiconjunto de todas as observações.

Notas

• Bennett, Edward M., Alpert, R. & Goldstein, A. C. (1954). Communications through limited response questioning. Public Opinion Quarterly, 18, 303–308.
• Brennan, Robert L. & Prediger, Dale J. (1981). Coefficient kappa: Some uses, misuses, and alternatives. Educational and Psychological Measurement, 41, 687–699.
• Cohen, Jacob (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20 (1), 37–46.
• Cronbach, Lee, J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16 (3), 297–334.
• Fleiss, Joseph L. (1971). Measuring nominal scale agreement among many raters. Psychological Bulletin, 76, 378–382.
• Goodman, Leo A. & Kruskal, William H. (1954). Measures of association for cross classifications. Journal of the American Statistical Association, 49, 732–764.
• Hayes, Andrew F. & Krippendorff, Klaus (2007). Answering the call for a standard reliability measure for coding data. Communication Methods and Measures, 1, 77–89.