Usuário(a) Discussão:HAndrade (WMF)/Pesquisa Vandalismo/Segunda Fase

Interesting, I see that the ratio of IP edits reverted kept stable around 26 % (which makes a rather fantastic +58 % constructive IP edits in May) and that "Percentual de edições feitas por usuários registrados revertidas" and "Edições de usuários registrados: válidas / revertidas" have improved a lot too. Do the last two include bot edits in the total of edits by registered users, and/or would it be possible to split autoconfirmed and non-autoconfirmed? Thank you very much, Nemo bis (discussão) 12h02min de 20 de junho de 2013 (UTC)

Yes, we can see vandalism increased in real numbers, but this growth followed the total amounth of edits and kept the same ratio. The claim that people who fight Vandalism is overloaded with work can be seen in "Média de Reversões entre Reversores Super Ativos", but I understand that the reason for this is the increase of all IPs editions in general, not only of bad editions. This situation lead us to a dilemma, in which we should ask ourselves how we'll be able to handle a community growth.

In this research when I use "usuários registrados" I am not including bots. I'll make it more clear in the text.

It is hard to split autoconfirmed users because our database don't store this information associated with the revision saved. Mediawiki checks if the user matched the autoconfirmed criteria each time a revision is saved, and the users_groups entries don't have a timestamp. If it is really needed, we can try to figured out a solution for this. Maybe seting up a secondary database with data on when each user matched the autoconfirmed criterias, simulating a expected situation for most of the users. This approach will not be able to look for the real date when users became confirmed, but can give us some lights on the subject. HAndrade (WMF) (discussão) 14h10min de 20 de junho de 2013 (UTC)

Comentários

Alguns dados que será preciso esmiuçar mais: o número de administradores revertendo manteve-se relativamente constante (não dá para esticar mais a corda com tão poucos administradores). Houve algum aumento do número de administradores a reverter em Abril, mas parece ter sido sol de pouca dura. Isso é preocupante, mas não é extemporâneo, é sistémico. Uma causa para alarme, isso sim relacionado com o CAPTCH, será o número de reversões feitas por reversores. O número de reversores superativos aumentou ligeiramente, e é aí que gostaria de ver mais detalhe. Como está a distribuição das reversões nestes usuários? O peso caiu todo em cima deste 12-15 reversores superactivos, ou houve um aumento geral do número de reversões por todos os reversores? Uma outra coisa que me parece necessária será tentar prever o que sucederá em Junho. Caso os reversores estejam no limite, é de esperar que o número de reversões pelos superactivos se mantenha (estando eles no esforço máximo tolerável), e que alguma da carga de trabalho seja aliviada por alguns dos activos revertendo mais. Será também de esperar que se veja eventualmente um aumento do número de reversores, ao aplicarmos a Regra do 1%, caso se verifique (pelo menos eu suspeito) também um aumento do número de editores registados.

Será preciso algum cuidado com a análise assim que o EditorVisual ficar a funcionar para todos os editores, uma vez que se espera um aumento do número de editores (e possivelmente de edições de teste, senão mesmo de vandalismo). As edições com o EditorVisual terão para já uma etiqueta, pelo que será possível distingui-las das outras. GoEThe (discussão) 14h18min de 20 de junho de 2013 (UTC)

Em relação ao meu comentário anterior, será possível indicar o número de reversões dos usuários que sempre foram superactivos, e do mesmo modo, dos que só se tornaram superactivos recentemente? GoEThe (discussão) 14h23min de 20 de junho de 2013 (UTC)

Oi Goethe, posso trabalhar já em cima desses números da distribuição do trabalho entre os reversores, vendo qual percentual de reversões são realizadas por cada grupo e posteriormente podemos fazer uma análise dentro do próprio grupo de super ativos, vendo por exemplo a distribuição entre os "recentes" e os "recorrentes". Sobre previsões, ainda acho difícil e prematuro fazer qualquer. Prefiro aguardar o final do mês e adionar dados de Junho à pesquisa. O cenário da comunidade não está estável. Vejo usuários que se esforçaram no combate ao vandalismo comentando que estão cansando e outros que não combatiam se apresentando para a tarefa. Acredito que os dados que temos agora não nos permitam identificar para onde vai essa movimentação.

Sobre a aplicação sugerida da Regra do 1% para reversores, de fato tivemos aumento no número de novos usuários em Maio, mas não sei se eles se tornarão reversores. Imagino que uma iniciativa que podemos ter seja a criação de campanhas para envolver mais usuários nessas tarefas.

Sobre o EditorVisual, o fato dele ter uma eiqueta facilitará bastante nosso trabalho de monitoramento. Acredito que poderemos observar de perto sua evolução e poder comparar os índices entre as duas interfaces. HAndrade (WMF) (discussão) 17h47min de 25 de junho de 2013 (UTC)

Reversões em que são feitas outras alterações

Não posso deixar de reforçar que em boa parte das reversões que faço, prefiro aproveitar para realizar também correções gerais com algum script (exemplo 1, exemplo 2 e exemplo 3) de modo que as somas das revisões em questão serão distintas, embora tenha de fato ocorrido uma reversão. Helder 15h21min de 21 de junho de 2013 (UTC)

Helder, exatamente para pegar esses casos que na primeira fase da pesquisa havíamos buscado palavras chave no sumário das edições, porém identificamos que na maioria das vezes o sumário não era preenchido de forma identificável. Para que futuras pesquisas sejam mais precisas poderíamos tentar padronizar os sumários de reversões (talvez com uma marcação específica para vandalismo, inclusive). Porém, imagino que para fazer isso precisaremos mexer nos códigos do Huggle, do FastButtons e no core do MediaWiki. HAndrade (WMF) (discussão) 17h22min de 25 de junho de 2013 (UTC)

Sim, até houve uma discussão um pouco relacionada neste tópico, em que foi mencionado mw:Revtagging. Mas a padronização dos sumários propriamente ditos acho impraticável. Helder 17h32min de 25 de junho de 2013 (UTC)

Dados de Junho

Com o final do mês de Junho rodei novamentes as queries da pesquisa e atualizei os resultados na página. Alguns números do passados referentes a reversores, administradores e bots podem sofrem pequenas variações, pois assim como o stats.wikimedia estamos utilizando os estatutos atuais como base para a pesquisa, e alterações que ocorram entre coletas de dados podem acarretar em variações (por exemplo, o Helder virou administrador entre a coleta anterior e a atual). Durante a nova coleta foi identificado um erro de cálculo no valor "edições de usuários registrados humanos revertidas". Por um erro da query anterior edições de bots revertidas estavam sendo somadas equivocadamente. Esses dados foram corrigidos assim como os índices que dependem dele. Aproveitando o momento adicionei quatro novos dados na página, a saber: edições de bots revertidas, edições de humanos registrados revertidas, variação anual de edições por bots e variação anual de reversões feitas por bots. HAndrade (WMF) (discussão) 07h29min de 4 de julho de 2013 (UTC)

Variação dos Dados

Observando os dados de Junho podemos perceber uma ligeira queda no número geral de edições em comparação com o mês de Maio. Porém, se comparado ao mesmo mês do ano de 2012 esse número apresenta alta. Variação equivalente pode ser vista na maioria dos valores pesquisados, com interessantes exceções nos seguintes valores: Reversões de Administradores Super Ativos e Total de Edições feitas por Bot.

Tratando do primeiro, podemos observar que o número de reversões feitas por sysops que revertem mais de 100 revisões por mês sofreu considerável queda em Fevereiro, porém a Média de Reversões entre Administradores Super Ativos se manteve estável. Isso se justifica pela diminuição de 37,5% no número de administradores super ativos de Maio para Junho. Os que continuaram super ativos mantiveram o mesmo ritmo de trabalho do mês anterior, porém os que diminuiram o ritmo não foram substituidos. Isso não necessariamente é um problema, pois esse fenômeno pode ter sido causado por uma real diminuição da incidência de vandalismo, teoria essa que pode encontrar eco no fato do número de reversores em atividade ter subido mas o total de reversões desse grupo ter caido, mas essa pesquisa não será capaz de dar uma resposta precisa para essa questão no momento.

Sobre as edições de bot, é notória a queda nas edições feitas por bots nos últimos dois meses. Porém, se olharmos para os dados de reversões realizadas por bots, veremos que essa tendência não se confirma e a variância em 2013 se mostra muito parecida com a de 2012, principalmente se desconsiderarmos o pico de Março causado pela entrada em funcionamento do Wikidata. Assim, podemos deduzir que apesar dos recentes problemas nos bots, sua atuação no comante ao vandalismo no periodo não foi severamente prejudicada.

Vale observarmos também que por mais um mês os índices Percentual de edições feitas por IPs revertidas e Edições de IPs válidas / Edições de IPs revertidas se mantiveram estáveis, inclusive com uma leve tendência à diminuição do vandalismo. Isso reforça a tese de que após a remoção do CAPTCHA o vandalismo cresceu na mesma proporção que o número de edições, e não em uma razão maior que as edições válidas.

Para a próxima semana pretendo gerar dados relacionando o peso do trabalho de reversão feito por bots, administradores e reversores buscando observar se a distribuição do trabalho está muito concentrada nas mãos de pouquíssimos mesmo já dentro do seleto grupo de super ativos. Novidades serão anunciadas nessa página. HAndrade (WMF) (discussão) 07h53min de 4 de julho de 2013 (UTC)

Fim?

Essa pesquisa acabou? Não será mais atualizada? Foi substituida pelo WP:Ptwikis? Todos esses dados daqui já estão no Ptwikis?

E se chegou a alguma conclusão? Temos resposta para todas as perguntas daqui?

Ou seja, o mais importante: essa pesquisa toda serviu para alguma coisa, ou foi mais um trabalho não aproveitado (desperdiçado)?

Rjclaudio ^msg 17h16min de 13 de novembro de 2013 (UTC)