Wikipédia Discussão:Ptwikis/Arquivo 2

Remoção de usuário

O Usuário(a):Alvarojusten me mandou e-mail pedindo para ser retirado do ptwikis. Ele entrou para o grupo durante um hackathon mas nunca mais utilizou o projeto. Tentei removê-lo utilizando essa página, mas ele continua aparecendo lá na lista de mantenedores. Alguém sabe como fazer para completar a remoção? Crang115 (discussão) 13h49min de 22 de janeiro de 2016 (UTC)

Ops, acho que era só cache. O nome dele não consta mais aqui. Crang115 (discussão) 15h07min de 22 de janeiro de 2016 (UTC)

Ptwikis e ferramentas no cron

Essa semana quase todos os membros desse projeto me enviaram e-mails pois o tools estava os alertando sem parar que meu e-mail cadastrado na wikitech estava devolvendo os alertas do cron. Agradeço a todos pelos avisos e já alterei meu e-mail lá :-) Agora, fiquei pensando sobre uma coisa. Criamos esse ptwikis como um grande guarda-chuva para projeto lusófonos. Por um lado ganhamos dinamicidade na manutenção e colaboração, mas por outro lado essa colaboração se dá diretamente no server, estimulando que não utilizemos controle de versão e também usuários que não estejam interessados em uma ferramenta específica podem ser "floodados" por alertas da mesma.

Gostaria de ouvir dos colegas ideias sobre como podemos lidar com isso. Um primeiro pensamento que me ocorreu foi de criar projetos específicos para ferramentas que precisem utilizar o cron. O que acham? Crang115 (discussão) 15h13min de 22 de janeiro de 2016 (UTC)

Muitos dos que trabalhavam no Ptwikis andam um pouco longe da Wiki (eu sou um deles). Eu recebi os e-mails, mas ando tão atarefado que nem liguei. --Diego Queiroz (discussão) 19h53min de 22 de janeiro de 2016 (UTC)

Eu também estava recebendo as notificações por e-mail, alguém editou o crontab e comentou a linha MAILTO="", se essa linha for comentada todos recebem um e-mail quando uma tarefa é executada, descomentei e deixei um aviso lá para não comentarem a linha, isso deve resolver o problema. ^Danilo.mac_(discussão) 17h13min de 23 de janeiro de 2016 (UTC)

Aliás, alguém havia comentado todas as linhas da crontab. Alguém aqui sabe o motivo? Crang115 (discussão) 19h50min de 25 de janeiro de 2016 (UTC)

Lista de artigos mais editados

Pessoal, é difícil criar este tipo de lista pra Wikipédia lusófona? Eu fico realmente triste em ver que existe um empenho em criar esse tipo de coisa só pra Wikipédia em inglês e até o próprio blog da fundação usa o termo "Wikipedia" se referindo à Wikipédia em inglês e ignorando que outras existem. O jeito é quem sabe fazer isso por conta própria. Abraços.—T_ele^s«fale comigo» 22h29min de 22 de janeiro de 2016 (UTC)

Não é difícil não. Se não me falha a memória tínhamos até algo parecido no Correio da Wikipédia. Fiz uma query aqui com o resultado atual e assim que tiver tempo boto no ar uma ferramenta para os usuáriso poderem fazer recortes temporais diferentes de forma simples. Crang115 (discussão) 14h41min de 23 de janeiro de 2016 (UTC)

Tomei a liberdade de aproveitar o código do Crang115 para gerar uma lista com os artigos mais editados desde sempre. !Silent (discussão) 17h05min de 23 de janeiro de 2016 (UTC)

@Crang115 e !Silent: Muito bom! Obrigado. Alguma página que ensine a usar essa query? De preferência uma página voltada pra pessoas como eu que não entendem nada disso.—T_ele^s«fale comigo» 18h08min de 23 de janeiro de 2016 (UTC)

Teles, basicamente nas linhas 6 e 7 os números grandes são recortes de datas. Na linha 8 o número é o domínio e na linha 11 o número de artigos que serão retornados. !Silent, a query que você fez retorna todas as edições desde 2001 até dia 23 de janeiro. Para ter uma query que sempre que executada retorne "os artigos mais editados desde sempre" seria mais fácil apagar as linhas 6 e 7, deixando de fazer o recorte temporal ;-) Crang115 (discussão) 19h49min de 25 de janeiro de 2016 (UTC)

[conflito de edições] @Teles: se for para obter dados análogos sobre os próximos meses, pode simplesmente alterar as datas de início e fim nas consultas anteriores e executá-la novamente. Mas se a ideia for criar novas consultas, isto é, produzir outros tipos de listas sobre algo diferente, aí o ideal é aprender a linguagem SQL e se familiarizar com as tabelas que o MediaWiki utiliza. Outra alternativa é abrir a lista de consultas recentes e torcer para que alguém tenha feito uma consulta do tipo que deseja, mas para outra wiki, pois então bastaria trocar o nome da wiki, ou fazer ajustes mínimos que não exigem muito entendimento de SQL.

PS: Eu havia feito uma consulta similar em 2014: Wikipédia:Esplanada/geral/Desalinhamento entre o suprimento e demanda por conteúdo de qualidade na wikipédia (6abr2015)#footer. Helder 19h51min de 25 de janeiro de 2016 (UTC)

Brigado, Crang115 e He7d3r! O ideal era aprender esse tal de SQL. Vou dar uma lida nos links, mas acho improvável que eu consiga alguma coisa. Abraços—T_ele^s«fale comigo» 21h36min de 25 de janeiro de 2016 (UTC)

Ferramenta WLE

Devido a um problema de excessivas e pesadas consultas ao banco de dados reportado no Phabricator, eu desativei a ferramenta WLE que mostrava gráficos do Wiki Loves Earth 2014, passei as ferramentas da pasta /tools para /oldWLtools. Havia ferramentas com o nome WLE2015 e WLM2015 que não fui eu que fiz, não sei se estavam sendo úteis, como estamos em 2016 creio que não. Se essas ferramentas tiverem sendo úteis elas precisam de um cache para não fazer a mesma consulta cada vez que alguém acessa a página. @Rodrigo Padula: ou alguém sabe se essas ferramentas estão sendo úteis? ^Danilo.mac_(discussão) 20h21min de 19 de fevereiro de 2016 (UTC)

Olá Danilo.mac,as ferramentas são úteis para consultar as estatísticas dos concursos, elas estao linkadas em varios reports e postagens por aí no commmons, wikipedia e meta. O @Crang115: estava avaliando como otimizar e melhorar esse código e consultas. Rodrigo Padula (discussão) 22h26min de 19 de fevereiro de 2016 (UTC)

No desenvolvimento da ferramenta eu tentei otimizar a query ao máximo, no início do concurso lembro que ela estava rápida, mas conforme o número de imagens foi aumentando ela foi ficando mais demorada, e depois que modifiquei para separar por hora e não apenas por dia para poder calcular corretamente nos horários de início e termino do concurso, que varia de país para país, a query ficou bem mais lenta. Como a query é sempre a mesma para o gráfico (que é a mais pesada), e varia só no nome do país para a lista de carregamentos por usuário, o que mais convém na minha visão é colocar um mecanismo de cache que dure uma hora ou mais, pois o que sobrecarregou o servidor do Labs foi que a mesma query foi repetida dezenas de vezes no mesmo minuto, provavelmente alguém impaciente com a demora no carregamento da página, que depende do resultado da query, foi tentando recarregar a página para ver se abria gerando inúmeras consultas ao mesmo tempo. Posso tentar ver um sistema de cache semana que vem. ^Danilo.mac_(discussão) 01h07min de 20 de fevereiro de 2016 (UTC)

Salve Danilo.mac, eu criei as ferramentas 2015 basicamente copiando o código da aplicação que você fez e alterando os parâmetros. Eu havia pensado em fazer duas coisas nessa otimização das ferramentasː criar uma aplicação única que possa receber parâmetros para monitorar qualquer concurso e um repositório de dados auxiliar para essa aplicação (pode ser um bd ou um tsv), que possa ter os dados atualizados a cada X tempo (talvez 60min), garantindo dados quase ao vivo à um custo baixo para os servidores. O que acha? Crang115 (discussão) 17h57min de 22 de fevereiro de 2016 (UTC)

Sim, estava pensando nisso também. Estou pensando em manter as configurações referente a cada ano em uma página do commons e a ferramenta lê a configuração a partir do código-wiki da página, assim os próprios coordenadores do concurso podem editar as configurações. Para o cache, eu estava olhando o código da ferramenta e como os dados são um pouco complexos eu estou pensando em usar pickle, pois é mais simples e rápido de implementar. ^Danilo.mac_(discussão) 21h19min de 22 de fevereiro de 2016 (UTC)

Estava falando com o Alchimista e ele sugeriu que fizéssemos como nos velhos tempos uma reunião no ̼#wikipedia-pt^conectar para debatermos essas possibilidades técnicas. Eu acho legal a ideia, e você Danilo.mac? Crang115 (discussão) 21h29min de 22 de fevereiro de 2016 (UTC)

Sim, vou tentar me manter online por lá. ^Danilo.mac_(discussão) 22h07min de 22 de fevereiro de 2016 (UTC)

Vou tentar aparecer mais por lá também, mas que tal marcarmos alguma hora da semana para estar "todos" lá? Crang115 (discussão) 18h10min de 23 de fevereiro de 2016 (UTC)

Opa, só vi a resposta agora. Eu estou entrando todo dia, mas se preferirem um horário certo acho que podia ser a hora que costumava ser as reuniões, sexta às 17h horário de Brasília. ^Danilo.mac_(discussão) 19h27min de 26 de fevereiro de 2016 (UTC)

Acabei ficando um pouco off mas essa semana vou aparecer por lá esporadicamente mais vezes e sexta 17h estarei online com certeza. Crang115 (discussão) 18h04min de 7 de março de 2016 (UTC)

Time no GitHub

Estou querendo passar o repositório do ptwikis da minha conta para uma conta de time, com isso poderemos também adicionar outros repositórios que podemos criar colaborativamente como robôs e outras ferramentas do Tool Labs. Como no bitbucket os times são limitados a 5 usuários estou pensando em criar um time no GitHub, onde o número de usuários por time e o número de repositórios é ilimitado. Concordam com a criação do time no GitHub? ^Danilo.mac_(discussão) 18h06min de 3 de março de 2016 (UTC)

Por mim tudo bem. Helder 19h54min de 3 de março de 2016 (UTC)

Eu topo também. Sou o henriquecrang por lá. Crang115 (discussão) 18h04min de 7 de março de 2016 (UTC)

Reunião 11-03-2016

Pontos discutidos na reunião pelo IRC:

• Ferramentas Wiki Loves:
  • Decidimos passar a ferramenta WLE para outro projeto do Tool Labs (toollabs:wikiloves, ainda em desenvolvimento).
  • Criamos um projeto no Phabricator para organizar o desenvolvimento da ferramenta (phab:tag/tool-labs-tools-wikiloves).
  • Decidimos criar um banco de dados local (provavelmente em JSON) para os dados, o qual será atualizado via cron e a aplicação web apenas exibirá os dados sem fazer queries.
  • Decidimos criar uma página de configuração na wiki (provavelmente no commons) que concentrará configurações de cada concurso, como data de início e fim, categoria de imagens, etc.
• Ferramentas ptwikis:
  • Decidimos modificar o código do ptwikis para que ferramentas mais complexas estejam em repositórios separados.
• Repositório do GitHub:
  • Concordamos em usar o time no GitHub não só para ferramentas do Tool Labs mas também para robôs e outros projetos desenvolvidos para a wiki.

Participaram da reunião Alchimista, Henrique e eu. Sintam-se livres para comentar os pontos acima, e quem puder apareça no IRC às sextas-feiras 17h (horário de Brasília). ^Danilo.mac_(discussão) 01h12min de 12 de março de 2016 (UTC)

Desenvolvendo o ptwikis localmente

Quem quiser agora pode rodar o aplicativo do ptwikis do Tool Labs localmente de forma mais fácil, fiz uma modificação que faz o código saber se ele está sendo rodado no Tool Labs ou não, e usar a função correta para rodar o aplicativo em cada caso.

Quem quiser rodar localmente precisa baixar o Flask e também o flup, a instalação depende do sistema operacional, no linux tentem usar o gerenciador de pacotes do sua distribuição para instalar o pacote "python-flask" e "python-flup", vejam a documentação de instalação para mais informações. Além do Flask é bom também ter o git instalado para gerenciar o desenvolvimento do código. Tendo o git e o Flask, entrem no terminal, clonem o repositório com git clone https://github.com/ptwikis/ptwikis.git, isso vai clonar o repositório para uma pasta 'ptwikis' dentro do diretório que você estiver, dê cd ptwikis para entrar na pasta e então rodem o aplicativo com python views.py, se não tiver faltando nada vai aparecer a mensagem "Running on http://127.0.0.1:5000/", então é só colocar esse endereço no navegador para abrir o aplicativo. Por estar fora do Labs, os bancos de dados não vão funcionar, mas dá para mexer no layout e fazer esboços de novas ferramentas. ^Danilo.mac_(discussão) 21h53min de 14 de março de 2016 (UTC)

Projeto de Gamificação de contribuições nas Wikipédias

Olá pessoal, eu e o User:Danilo.mac resolvemos tocar uma antiga vontade de uma parte de nossa comunidade e inscrevemos um projeto no IEG chamado Gamification as a service, onde nos propomos a criar uma estrutura que facilite a construção de sistemas gamificados em torno de dados das Wikipédias, utilizando conceitos já consagrados pela indústria dos jogos para estimular a motivação e o engajamento tanto de antigos como de novos usuários. Em nosso projeto também estamos propondo criar um primeiro jogo que se aproveite dessa estrutura e possa ser jogado via web por usuários da Wikipédia. Por favor, leiam a proposta e deixem comentários na página de discussão do projeto. Contamos com esse feedback para refinarmos a proposta nos aprofundando em questões que sejam apontadas pela comunidade. Crang115 (discussão) 18h33min de 27 de abril de 2016 (UTC)

Bug no gráfico

Parece que toollabs:ptwikis/Patrulhamento de IPs tem o mesmo problema reportado em Wikipédia Discussão:Ptwikis/Arquivo#Gráfico de interface móvel com problemas. Helder 02h37min de 23 de maio de 2016 (UTC)

Corrigido. Desta vez a causa do bug foi diferente, a tabela recentchanges do banco de dados, que possui apenas edições dos últimos 30 dias, estava com edições de fevereiro, perguntei no #wikimedia-labs porque isso estava acontecendo mas ninguém respondeu, então coloquei um "LIMIT 30" para forçar a query a ver somente os últimos 30 dias. ^Danilo.mac_(discussão) 20h56min de 30 de maio de 2016 (UTC)

Bug: Minúculas/maiúsculas

O meu problema: creio que as categorias relacionadas com budismo devem usar minúsculas (exemplo: Categoria:!Artigos de importância desconhecida sobre budismo, à semelhança do que acontece com Categoria:!Artigos de importância desconhecida sobre catolicismo), mas os links na ferramenta https://tools.wmflabs.org/ptwikis/Matriz:Budismo apontam todos para Budismo e não para budismo; enquanto que em Matriz:Catolicismo apontam corretamente para catolicismo.

Se alguém souber corrigir e, se possível, explicar como se resolvem esses casos, fico muito agradecido. --Stego (discussão) 21h07min de 12 de agosto de 2016 (UTC)

@Stego: O que a ferramenta da Matriz faz é procurar nas categorias usando o tema conforme está no url, se não for encontrada nenhuma página categorizada com esse termo a busca é refeita invertendo a caixa da primeira letra, por isso que por exemplo Catolicismo exibe os resultados para catolicismo e europa exibe os resultados para Europa. O problema com o budismo era que existia uma página indevidamente categorizada em um categoria com Budismo, o que faz com que a ferramenta da matriz ache que esse é o termo correto e não procure com minúscula. Isso aconteceu porque antes desta sua edição o módulo categorizava na maiúscula porque você adicionou "Budismo" na marca na discussão do artigo, após essa edição o módulo recategorizou para minúscula, mas o cache do MediaWiki ainda não tinha atualizado uma página, quando fiz uma edição sem mudanças o cache atualizou e a Matriz:Budismo voltou a buscar e exibir budismo. ^Danilo.mac_(discussão) 22h52min de 12 de agosto de 2016 (UTC)

Obrigado. --Stego (discussão) 12h55min de 13 de agosto de 2016 (UTC)

<class 'oursql.CollatedWarningsError'>

Não sei se houve alguma mudança recente, mas no momento a página toollabs:ptwikis/Filtros só mostra uma mensagem de erro: Helder 16h30min de 5 de novembro de 2016 (UTC)

corrigido, é porque agora tem os filtros globais que tem um id não numérico, e a função que ordenava transformava em número para ordenar, por isso dava erro. ^Danilo.mac_(discussão) 18h56min de 8 de novembro de 2016 (UTC)

OAuth e registro de dados

Consegui implementar o OAuth, para logar entre em toollabs:ptwikis/login e siga o link. Com o OAuth conseguimos garantir qual é o usuário wiki que usa as ferramentas. O principal uso que imagino para isso no ptwikis é criar ferramentas que registram dados, pois temos a certeza de quem está registrando. Uma ideia antiga é criar uma ferramenta que registre dados de falsos positivos em filtros. Existe o interesse nessa ou em outro tipo de ferramenta de registro de dados? Se sim, que tipo de dados vão ser registrados? O primeiro passo para desenvolver a ferramenta é definir o esquema do banco de dados que vai guardar os dados, ou seja, quantas colunas na tabela e qual o qual o tipo e tamanho de cada. ^Danilo.mac_(discussão) 03h22min de 24 de novembro de 2016 (UTC)

Sim. Ainda tenho interesse. Eu gostaria de usar um banco de dados de verdade em vez de páginas como WP:Filtro de edições/Análise/Filtro 7, para guardar o id de cada detecção do filtro (um número inteiro), juntamente com um "status" (detecção correta? verdadeiro/falso) e um pequeno texto opcional (para um comentário sobre a detecção), e possivelmente alguma data (da análise ou da detecção ou ambas?).

Na versão atual do script, tenho que usar uma regex para analizar cada linha das subpáginas para saber o que foi preenchido (e com isso poder colorir as linhas dos registros conforme o status, ou poder atualizar o status em caso de erro em uma revisão anterior), mas seria muito mais prático obter/definir isso em formato JSON a partir de uma URL (https://tools.wmflabs.org/ptwikis/algumaferramenta/api/etc?ids=99999|8888|77777&action=review&etc=etc...). Imagino que também seria mais simples gerar estatísticas dos filtros.

PS: quando testei o link que enviou, apareceu um erro com a mensagem "A chave OAuth não foi encontrada, E004". Helder 11h34min de 24 de novembro de 2016 (UTC)

@He7d3r: Não consegui reproduzir esse erro, para mim está funcionando, ainda dá o mesmo erro para você? Mais alguém está tendo esse erro?

Sobre o registro, tive a ideia de fazer uma tabela geral, semelhante a tabela de registros do MediaWiki, onde tudo fica na mesma tabela e é diferenciado pela coluna log_type, criei a seguinte tabela:

MariaDB [s51206__ptwikis]> DESC registro;
+---------------+---------------------+------+-----+---------+----------------+
| Field         | Type                | Null | Key | Default | Extra          |
+---------------+---------------------+------+-----+---------+----------------+
| reg_id        | int(10) unsigned    | NO   | PRI | NULL    | auto_increment |
| reg_type      | varchar(30)         | NO   |     | NULL    |                |
| reg_type_id   | int(10) unsigned    | YES  |     | NULL    |                |
| reg_status    | tinyint(3) unsigned | NO   |     | NULL    |                |
| reg_comment   | tinytext            | YES  |     | NULL    |                |
| reg_user      | varchar(50)         | NO   |     | NULL    |                |
| reg_timestamp | varchar(14)         | NO   |     | NULL    |                |
+---------------+---------------------+------+-----+---------+----------------+

Com isso o registro de falsos positivos de filtros poderia ser assim:

• id (reg_id) = número do registro inserido automaticamente
• tipo (reg_type) = filtro (a palavra "filtro", o que identifica que é um registro de filtro)
• tipo-id (reg_type_id) = id do registro de filtro
• status (reg_status) = 0 para correto e 1 para falso positivo (talvez 2 para em dúvida?)
• comentário (reg_comment) = até 255 caracteres (tinytext)
• usuário (reg_user) = preenchido automaticamente pela ferramenta com o login feito com OAuth
• data do registro (reg_timestamp) = também automático

A data do disparo do filtro dá para pegar fazendo um join com a tabela dos registros dos filtros. Com isso dá para usar a mesma ferramenta para outros tipos de registros, se por exemplo formos avaliar alguma característica das edições em artigos (se é vandalismo, é boa fé, etc) o tipo seria outro e o tipo-id seria o id da edição, se estivermos avaliando páginas, o id da página, etc. Então não precisaríamos criar uma tabela e ferramenta diferente para cada pesquisa. Concordam com esse método? O OTAVIO1981 costuma fazer várias pesquisa, talvez queira comentar também. ^Danilo.mac_(discussão) 18h56min de 25 de novembro de 2016 (UTC)

@Danilo.mac:, acho que a reg_id pode ser a própria afl_id da tabela abuse filter log pois assim podemos recuperar outros dados do disparo (e.g. ação tomada). Não entendi para que serviria o campo reg_type. Existem registros que não seriam de filtros? A reg_type_id seria o afl_filter da mesma tabela de log. Acho bom colocar mais de duas opções para o status pois pode ser convencionado deixar os casos mais duvidosos para análise coletiva. O reg_comment e reg_user eu não tenho nada a acrescentar. O campo reg_timestamp, se é a data que foi feita a análise do registro do filtro, eu não consigo ver uma serventia na análise de dados para além de saber quanto tempo faz desde que o filtro foi analisado. Mais importante é registrar afl_timestamp já nesta tabela pois é um dado fundamental nas análises de dados. Se quiser pensar em economia de dados, acho que deixar o reg_id igual ao afl_id e somente os campos de status e comentário é suficiente para cruzar os dados das tabelas e fazer diversas consultas. Sds, OTAVIO1981 (discussão) 20h33min de 25 de novembro de 2016 (UTC)

@OTAVIO1981: Se formos usar a tabela só para registro de falsos positivos de filtros de fato não precisaríamos do reg_type e reg_type_id, minha ideia era deixar a tabela e a ferramenta já pronta para outros tipos de pesquisas, lembra por exemplo desta pesquisa que fizemos manualmente? Teria sido mais fácil se tivesse um script que ao clicar em um botão registrasse em um banco de dados e fosse para a próxima edição. Se for registrar falsos positivos de filtros, reg_type seria 'filtro' e reg_type_id seria o afl_id, se formos fazer uma pesquisa sobre edições de vandalismo, reg_type poderia ser 'vandalismo' e reg_type_id o rev_id, se fosse uma pesquisa sobre alguma classificação de artigos, reg_type poderia ser 'class' e reg_type_id seria o page_id, entendeu? Não precisaríamos criar outra ferramenta quando quisermos fazer alguma outra pesquisa. O afl_timestamp e qualquer outro dado da abuse_filter_log dá para pegar com um INNER JOIN ptwiki_p.abuse_filter_log ON afl_id = reg_type_id na hora de fazer a consulta, pois esse banco de dados está no mesmo servidor do ptwiki_p. O reg_id seria só para ajudar a ordenar a tabela na hora de exibir os últimos registros, não teria outra utilidade além dessa. ^Danilo.mac_(discussão) 21h30min de 25 de novembro de 2016 (UTC)

Ok.OTAVIO1981 (discussão) 00h44min de 26 de novembro de 2016 (UTC)

Acho que o esquema proposto está ok. Também pode ser considerada a possibilidade de cada registro do filtro poder ser avaliado por mais de um usuário, e deixar cada avaliação como um item diferente no banco de dados a ser criado. Assim, os casos duvidosos/controversos seriam aqueles em que houve mais de uma avaliação, e dois ou mais usuários fizeram avaliações diferentes a respeito de tais casos. Mas talvez isso só complique as coisas...

O erro não aconteceu quando testei novamente. Helder 18h33min de 26 de novembro de 2016 (UTC)

Fiz a ferramenta toollabs:ptwikis/registro, sem argumentos exibe a tabela, com ?action=insert insere os dados, para inserir eu usei https://tools.wmflabs.org/ptwikis/registro?action=insert&type=teste&id=1&status=0&comment=primeiro%20teste. Depois vou criar uma forma para exibir a tabela por tipo e retornar a tabela em JSON, mas por enquanto já dá para ir inserindo dados e procurando bugs. @He7d3r: Para inserir dados a partir da Wikipédia deve precisar daquele parâmetro callback que tinha no script que você fez para inserir os dados naquela ferramenta de teste que fiz para o projeto revscoring, usei aquele código como base, então o callback deve funcionar da mesma forma. ^Danilo.mac_(discussão) 19h17min de 26 de novembro de 2016 (UTC)

Mudei o nome do bd para s51206__ptwikis_p, com o _p no final fica acessível para todas ferramentas no Labs e dá para usar o Quarry: https://quarry.wmflabs.org/query/14379. ^Danilo.mac_(discussão) 20h21min de 26 de novembro de 2016 (UTC)

@Danilo.mac: Desculpe a demora!

Criei um novo branch com uma versão (incompleta) do meu script, que submete as avaliações dos registros para o Labs em vez de salvar em páginas wiki. Ainda falta:

1. Incluir código no script para permitir que façamos login
2. Obter os dados gravados no Labs para colorir adequadamente os registros na Especial:AbuseLog

Para o segundo item, é necessário que eu possa obter do Labs um JSON com o status de cada registro (e.g. columns=status&ids=111|222|333 podia retornar { 111: 0, 222: 1, 333:0 } ). Helder 18h13min de 26 de janeiro de 2017 (UTC)

@He7d3r: Para pegar o link para logar pode usar /login?format=json, ainda preciso ver se tem como colocar um &returnto=... para voltar para página que estava, por enquanto o usuário volta para a página de login depois que autorizar o OAuth. Adicionei os parâmetros format, type, id e status para gerar a tabela, então pode pegar os dados por exemplo com /registro?format=json&type=teste&id=3045400&status=1, dá para usar esses parâmetros separadamente também. ^Danilo.mac_(discussão) 19h29min de 17 de fevereiro de 2017 (UTC)

ERROR

Não sei bem o motivo, mas a página https://tools.wmflabs.org/ptwikis/Filters:7wiki está mostrando "ERROR" em vez do conteúdo esperado. Helder 18h19min de 26 de novembro de 2016 (UTC)

Não existe o banco de dados "7wiki". ^Danilo.mac_(discussão) 18h26min de 26 de novembro de 2016 (UTC)

A ferramenta redirecionou para o link acima quando informei o número 7 no campo da toollabs:ptwikis/Filters. Mas vi agora que o campo era para digitar um código de idioma, não o número de um filtro. Talvez fosse melhor validar a entrada e mostrar um aviso. Helder 18h33min de 26 de novembro de 2016 (UTC)

Filtros globais

Notei que os filtros globais que aparecem no final da toollabs:ptwikis/Filters:ptwiki estão com links quebrados. Por exemplo, em vez de

https://pt.wikipedia.org/wiki/Special:AbuseFilter/global-102

deveria ser

https://meta.wikimedia.org/wiki/Special:AbuseFilter/102

Helder 12h24min de 2 de fevereiro de 2017 (UTC)

Salebot

Ao acessar https://tools.wmflabs.org/ptwikis/Salebot:12345 ocorre este erro:

 /data/project/ptwikis/ptwikis/tools/Salebot.py in main(rev=u'12345')
     84     r = []
     85     for rule in rules:
=>   86         match = rule[1].search(adlines)
     87         if match:
     88             r.append((rule[0], match.group(0), rule[1].pattern, rule[2]))
match undefined, rule = (-2, <_sre.SRE_Pattern object>, u'001'), ].search undefined, global adlines = None

<type 'exceptions.TypeError'>: expected string or buffer
      args = ('expected string or buffer',)
      message = 'expected string or buffer'

Talvez seja porque a página estava sendo criada naquela edição? Helder 20h52min de 14 de fevereiro de 2017 (UTC)

Corrigido. Era por isso mesmo. ^Danilo.mac_(discussão) 19h58min de 17 de fevereiro de 2017 (UTC)

Desativação do servidor

Caros. Recebi um e-mail (creio que vocês também receberam) dizendo que o servidor onde está o ptwikis será desativado e, portanto, precisa ser migrado para um novo servidor.

       from: Madhumitha Viswanathan <mviswanathan at wikimedia.org>

       All Tools/bots/webservices running on Ubuntu Precise 12.04 (jsub release=precise)
       will no longer function starting on Monday, March 6, 2017, and will crash with an error.

       Ubuntu Precise was released in April 2012, and support for it
       (including security updates) will cease in April 2017. We need to shut
       down all Precise hosts before the end of support date to ensure that
       Tool Labs remains a secure platform.

       You (username: diego) are registered as admin/maintainer for the following tools,
       that are still on Precise:
          ptwikis

       Please make sure to migrate these over to Trusty as early as possible, to
       ensure continued operation.

       The steps to migrate to Trusty, and more information about the
       Precise deprecation are here -
       https://wikitech.wikimedia.org/wiki/Tools_Precise_deprecation#What_should_I_do.3F.

       A quick tip for webservices - running `webservice stop; webservice start` -
       will migrate it to trusty (webservice restart currently sticks).
       Additional information on running precise jobs can be seen at our Precise tools
       dashboard here - https://tools.wmflabs.org/precise-tools/

       Do feel free to reach out with questions/help at #wikimedia-labs on IRC.

Alguém se propõe para fazer o serviço? :D @Danilo.mac, Alchimista, He7d3r, Jonas AGX, Crang115, Raylton P. Sousa, Rodrigo Padula e Sir Lestaty de Lioncourt: --Diego Queiroz (discussão) 08h23min de 17 de fevereiro de 2017 (UTC)

Eu posso tentar na próxima semana, em princípio não deve ser necessário nada de especial, se tudo correr bem no trusty deve ser só remover a referência à versão na crontab, e verificar se ocorrem problemas. Alchimista ^{Fala comigo!} 09h12min de 17 de fevereiro de 2017 (UTC)

Muitíssimo obrigado Alchimista! Eu não ia saber fazer direito, pois nem sei bem o que está rodando lá. Mas se precisar de ajuda, dá um toque. Abraço, --Diego Queiroz (discussão) 11h18min de 17 de fevereiro de 2017 (UTC)

Diego Queiroz também recebi a mensagem, no momento to pegado de serviço, mas caso precisem de alguma ajuda posso me esforçar aqui Rodrigo Padula^{(Fale comigo)} 12h14min de 17 de fevereiro de 2017 (UTC)

Essa mensagem foi enviada porque o ptwikisBot (robô IRC) estava rodando continuamente desde antes da migração, eu reiniciei ele ontem com isso ele entrou no trusty, então não devemos mais receber esse e-mail. Só está no precise o que roda com jsub/jstart -l release=precise (não temos nada com essa configuração) ou está rodando continuamente desde antes da migração (ptwikisBot até ontem), agora já estamos com tudo no trusty. ^Danilo.mac_(discussão) 14h19min de 17 de fevereiro de 2017 (UTC)

Muito bom saber Danilo.mac!! --Diego Queiroz (discussão) 23h10min de 17 de fevereiro de 2017 (UTC)

Typo e descrição duplicada

No arquivo toolinfo.json há duas entradas para "ptwikis-matrix". Uma delas deveria ser removida. Também há um erro de digitação na segunda, onde consta "articleas" em vez de "article as". Helder 18h07min de 30 de agosto de 2017 (UTC)

Corrigido. ^Danilo.mac_(discussão) 20h39min de 30 de agosto de 2017 (UTC)

<type 'exceptions.TypeError'>

DMaza (WMF) me informou por e-mail que o flack provavelmente está em modo de desenvolvimento (deduzo que isso seja algo ruim/inseguro para uma ferramenta que esteja online?), e consequentemente exibe a pilha de execução quando ocorre um erro. Por exemplo: https://tools.wmflabs.org//ptwikis/Filters:enwiki:sdfsf Helder 12h43min de 28 de novembro de 2017 (UTC)

O código é aberto e as ferramentas não usam dados sensíveis, a única coisa sensível que me vem a cabeça é a senha de acesso ao banco de dados, porém isso só é exibido no debug quando existe uma falha na conexão com o banco de dados, e essa senha só pode ser usada dentro do Labs, e todos com acesso ao Labs têm acesso aos banco de dados, então não chega a ser algo perigoso. Em todo caso desativei agora o modo debug, porém terei que reativar se for desenvolver uma ferramenta, não dá para desenvolver fora do Labs devido ao acesso ao banco de dados. ^Danilo.mac_(discussão) 13h41min de 28 de novembro de 2017 (UTC)

Pull request

Não sei se a cópia do código que está no GitHub é a mais atualizada, mas abri um pequeno pull request para atualizar o nome do Tool Labs, que agora se chama Toolforge. Helder 20h52min de 18 de março de 2018 (UTC)

Dei o merge no GitHub e puxei para o Toolforge. Por mim, podem entrar no no Toolforge e editar lá diretamente, eu costumo fazer assim pois muita coisa só pode ser desenvolvida onde existe o acesso ao banco de dados das wikis. ^Danilo.mac_(discussão) 23h42min de 27 de março de 2018 (UTC)

Certo. Eu fiz pelo Github pela praticidade, pois estava sem acesso ao Toolforge. Helder 11h22min de 28 de março de 2018 (UTC)

Block action feature request

Hi everyone, sorry for writing in english but I don't know portuguese at all. I just linked on itwiki's filters this beautiful tool. However, I noticed that it doesn't show "block" actions. I wonder whether it would be possible to kindly add it, and I'd also be happy to help with the work involved. Many thanks, --Daimona Eaytoy (discussão) 13h23min de 4 de abril de 2018 (UTC)

Hi Daimona!

I think it is possible to add that. This seems to be the code which we need to change: Filters.py#L51-L64. Helder 14h20min de 4 de abril de 2018 (UTC)

Done for the list of all filters. For the graphs it will be more complicated as it need to change some SVG, CSS and javascript code. ^Danilo.mac_(discussão) 14h29min de 4 de abril de 2018 (UTC)

@He7d3r: Thanks for the answer! I'm trying to understand what the code does, but it's not too easy without knowing exactly what a "f" variable is. However, if I understood right, it seems like actions are ordered. If so, we'd need to add a 0 at line 51 and a , action[4] || filters[f][d][xxx] at line 60, where "xxx" is the right number. Finally, adding a 'Blocks' at line 64 should settle everything. In case filters[f][d][xxx] doesn't exist (e.g. blocking isn't enabled), we should also add a check for its existence. Did I get it right? Thanks again

Added after conflict: thanks Danilo for your quick work. --Daimona Eaytoy (discussão) 14h38min de 4 de abril de 2018 (UTC)

500 - Internal Server Error

A ferramenta toollabs:ptwikis/Listas:cat:Geometria não está mais funcionando devido ao erro acima. Helder 11h29min de 16 de novembro de 2018 (UTC)

Migração para o Stretch

O sistema Ubuntu Trusty está sendo depreciado e por isso é necessária a migração das ferramentas do Toolforge para o novo sistema com Debian Stretch. Estou tendo algumas dificuldades para fazer essa migração devido as diferenças entre os dois sistemas, por isso as ferramentas podem ficar por algum tempo fora do ar. ^Danilo.mac_(discussão) 04h46min de 5 de março de 2019 (UTC)

Consegui fazer as mudanças necessárias, as ferramentas já estão funcionando novamente. ^Danilo.mac_(discussão)

Ao revisar o que está funcionando percebi que a Linha do tempo está funcionando mas não é atualizada desde 2015, não consegui entender qual é o erro nos scripts de atualização pois são escritos em shell script, linguagem que entendo muito pouco, como o Jonas e o Henrique que fizeram a ferramenta estão inativos, eu estou apenas removendo os scripts de atualização do crontab. Se alguém se interessar em corrigir esses scripts e precisar de alguma ajuda podem me chamar. ^Danilo.mac_(discussão) 23h03min de 5 de março de 2019 (UTC)

Danilo.mac, onde eu posso dar uma olhada nesses scripts de atualização?--Mister Sanderson (discussão) 14h15min de 6 de março de 2019 (UTC)

Não está em um repositório público, só quem tem acesso ao Toolforge pode ver. ^Danilo.mac_(discussão) 15h56min de 6 de março de 2019 (UTC)

Bug: Matriz de tamanho e acessos

A Matriz de tamanho e acessos fica indefinidamente no estado "Gerando lista, aguarde..." e não mostra a lista de artigos que quero ver.--Mister Sanderson (discussão) 14h13min de 6 de março de 2019 (UTC)

@MisterSanderson: Corrigido. ^Danilo.mac_(discussão) 15h54min de 6 de março de 2019 (UTC)

Matriz de classificação

O artigo Densidade relativa passou nesta edição de qualidade 2 para qualidade 3, por ter ultrapassado o limite de 12 k. A página de discussão do artigo registra corretamente qualidade 3, mas na matriz de classificação ele ainda está com qualidade 2. Py4nf (discussão) 19h11min de 7 de março de 2019 (UTC)

@Py4nf: O mesmo acontece quando a busca é feita com o PetScan, então é por causa de um lag na replicação do banco de dados do Labs. O banco de dados do Labs é uma réplica do banco de dados da Wikipédia, na maior parte do tempo essa replicação é praticamente instantânea, mas as vezes por algum problema no Labs a replicação fica atrasada, o que acontece na Wikipédia demora para ser replicado no banco de dados do Labs que é usado pelas ferramentas. Então provavelmente é um problema temporário que deve ser corrigido em breve. ^Danilo.mac_(discussão) 19h39min de 7 de março de 2019 (UTC)

Entendi. Muito obrigado pela explicação e obrigado por sua dedicação à manutenção dessas ferramentas que são tão importantes para o projeto. Py4nf (discussão) 20h12min de 7 de março de 2019 (UTC)

Apenas para ser mais exato, eu investiguei melhor o problema e perguntei para o pessoal que entende melhor do assunto, as vezes existe de fato o problema de lag das réplicas mas essa questão da categoria é por conta do job queue, o MediaWiki atualiza algumas coisas de modo assíncrono, a categoria aparece na página mas a página ainda não está na categoria, isso é algo que acontece a todo momento, então é comum acontecer de as lista demorarem para ser atualizadas. ^Danilo.mac_(discussão) 21h04min de 7 de março de 2019 (UTC)

Verifiquei agora a matriz de classificação e observei que ela já foi atualizada. Problema resolvido! Py4nf (discussão) 01h00min de 8 de março de 2019 (UTC)

502 Bad Gateway no Ptwikis

Por algum motivo todas as ferramentas do ptwikis estão inacessíveis no momento. Saberia algo a respeito Danilo.mac? Talvez tenhamos que atualizar algum código lá no Toolforge, ou só reiniciar algum serviço? Helder 17h18min de 8 de outubro de 2019 (UTC)