Erros 503 - Service Unavailable frequentes no AOJ

Boas,



Já devem ter reparado que nos últimos tempos têm ocorrido erros do tipo 503 - Service Unavailable no AbreOJogo.

Abri um ticket na Siteground acerca deste problema e a resposta deles é que se estão a consumir muitos recursos do servidor de alojamento (que é partilhado) e por isso eles colocaram um limite à utilização de recursos. Quando esse limite é ultrapassado surem estes erros.



A resposta mais técnica é a seguinte:



#####



I have very carefully investigated your case and I found a lot of similar errors and warnings inside our server logs for your accoint:


Code:
[Fri Dec 21 02:55:38 2012] [warn] [client 184.154.225.18] Timeout waiting for output from CGI script /home/abreojog/public_html/index.php
[Fri Dec 21 02:56:30 2012] [warn] [client 184.154.225.18] Timeout waiting for output from CGI script /home/abreojog/public_html/index.php


After checking the mysql slow log I also found that your application is generating a lot of mysql slow queries because of not well optimized script code.

In order to resolve the issue I could suggest you contact a local professional programmer, who can better understand the inner working of your scripts and thus apply the needed optimization.

If we can further assist you , please do not hesitate to contact us again.

#####

Suponho portanto que esteja a ocorrer algum problema com um script aqui no site.

Algum dos magos pode dar uma vista de olhos nesta situação?

Além desta possibilidade, se calhar vai sendo tempo de começarmos a pensar no que vai ser feito em relação ao alojamento do site quando o ano que actualmente está pago chegar ao fim (Creio que em Março ou Abril de 2013)...

Obrigado a quem puder dar uma ajuda com isto e ao feedback de todos.

Ois,



Parece-me estranho que seja a página inicial ( script /home/abreojog/public_html/index.php ) a dar problemas.



Não investiguei ainda, mas talvez seja possível colocar qualquer coisa para analisar quanto tempo demora a página a carregar e comparar com uma página normal.



Em alternativa poderemos retirar temporariamente vistas da página inicial de modo a verificarmos se a situação melhora.



No entanto, desconfio que o problema possa estar nos processos que são executados em background tais como, envio de notificações, indexação de pesquisa, módulo BGG, etc.



Talvez experimentando desativar temporariamente algumas funcionalidades se possa também verificar se as coisas melhoram (atualização do módulo BGG, feeds, etc…)



Quanto ao alojamento do site, creio que o mesmo termina em 2/Abril/2013.



Tiago duarte

… o módulo do BGG/RPGG não tem de momento nenhum processo a correr em background… não por opção, mas porque não consegui uma forma viável e estável de o fazer… as actualizações são feitas a pedido dos utilizadores ou por mim, manualmente de 15 em 15 dias…

Boas,



A situação continua.

Dei uma vista de olhos na administração do Cron mas não mudei nada porque me pareceu que estava tudo em default…



Também aproveitei para fazer algumas modificações ao Captcha para simplificar porque houve já um par de pessoas que me informou de que era muito difícil perceber o que estava no desafio. Espero não ter simplificado demais.



Gostava de ter sugestões dos restantes administradores acerca de como deveremos proceder para tratar da renovação do alojamento do AoJ.



Devemos fazer uma espécie de peditório, tipo BGG? Será interessante pensar em fazer um upgrade às condições de alojamento para evitar este problemas? Procura-se outra empresa de alojamento?



Eu vou tentar colocar aqui em breve um resumo das condições/custos se nos mantivermos na siteground.



Digam coisas…



Abraço.

[quote=Mallgur]Boas,



Também aproveitei para fazer algumas modificações ao Captcha para simplificar porque houve já um par de pessoas que me informou de que era muito difícil perceber o que estava no desafio. Espero não ter simplificado demais.



Gostava de ter sugestões dos restantes administradores acerca de como deveremos proceder para tratar da renovação do alojamento do AoJ.



Devemos fazer uma espécie de peditório, tipo BGG? Será interessante pensar em fazer um upgrade às condições de alojamento para evitar este problemas? Procura-se outra empresa de alojamento?



Eu vou tentar colocar aqui em breve um resumo das condições/custos se nos mantivermos na siteground.

[/quote]



Ois,



… ultimamente não tenho tido oportunidade para ver sobre os problemas de performance, mas também tenho dúvidas de se conseguirei fazer alguma coisa.



Julgo que para a renovação seria interessante fazer-se esse peditório explicando exatamente qual o valor que se pretende e com que fim.



Alerto que manter o site no siteground deverá ter um custo na casa dos 100 EUR/ano (o 1º ano é com grande preço, mas depois a renovação…) com este tipo de alojamento (que não parece ser suficiente quer em termos de performance quer em termos de espaço de Base de Dados que por vezes passa o limite), mas também não sei de outras alternativas que ofereçam melhores condições com preços competitivos.



Abraços

Podemos optar pelo peditório, não vejo contra nenhum nisso desde que se explique para o que é o dinheiro.



Também estou disponível para contribuir eu com €10 ou €20 para a causa. Se todos o fizermos não será preciso pedir muito mais dinheiro, acho.



Haverá alguma coisa que se possa dar para aqueles que contribuem? Não microbadges nem coisas do genero, mas poderia haver alguma coisa que se pudesse fazer, ou não?



:slight_smile:

… mas é capaz de dar para ter um "sponsor badge", por debaixo do avatar…



Concordo com a abertura de uma secção do donativos (não tem de ser propriamente um "sponsor drive"), e estou disposto a contribuir, 



No entanto, e tendo em conta o objectivo de acesso livre à informação não estou a ver nada que pudesse-mos fornecer como "serviço" adicional…

(não temos publicidade, por isso não podemos oferecer "serviço sem publicidade" a la BGG)



Outra possibilidade, e não estou com isto a dizer que acho que seria melhor, seria repensar a politica de relação com as empresas do sector e criar uma zona com mais destaque (do que a actual zona nos forums e blogs "pessoais"), onde estas, para estarem presentes, teriam de dar uma pequena contribuição. Assim seriam estas a contribuir para a manuntenção do site. Apenas mais uma ideia para dentro do pote.



p.s.: uns tempos atrás (quase à 2 anos atrás), o Pombeiro fez um levantamento por email de quem estava disponível para contribuir para o alojamento/registo de dominio… 

Após algumas horas de análise (num periodo em que o AoJ esteve sempre em baixo) cheguei à conclusão que o site estava a rebentar ao carregar módulos.



Como tenho consciencia própria desconfiei logo dos blocos dos Tops de Boardgames  e RPGs, no entanto desactivar esses dois blocos não solucionou.



Acabei por tomar uma medida mais radical, de retirar TODOS os blocos, e o site começou a responder… 



Adicionei alguns blocos e criei um tópico na pagina principal, e assim que puder vou adicionar os blocos, um a um para perceber se é algum bloco especifico que está a provocar o problema, se é o acumulado dos mesmos…



alguma informação mais técnica…



no ficheiro de log do servidor (https://www.abreojogo.com/php_errorlog), no fim vemos mensagens de erro em que não encontra funções do drupal…

Pelo que estive a ver este tipo de erros acontece quando os ficheiros do sistema não carregam todos em memória… o que pode estar a acontecer por o hosting estar a limitar a memória que nós podemos usar…




 A quem fizesse donativo?



 O jogo poderiamos tentar pedir às editoras/lojas portuguesas ou em último caso a "minha" Associação tratava disso…



 Caso prefiram também vou ter uns quantos brindes habituais de divulgação da RuralCon que podem ser usados com o mesmo fim, assim poderia ser dado um a cada "benfeitor"…

Boas,



Fazer o upgrade para o nível seguinte na Siteground custa $ 95,40.

$ 7,95 por mês mas que é pago tudo quando se faz a encomenda.



Andei a ver algumas alternativas nacionais…



https://www.lusodigital.com/alojamento/index.shtml



https://www.esoterica.pt/loja/?plan=hosting&series_key=5&period=12



https://www.myweb.pt/alojamento-web.htm



Algumas parecem ter preços muito bons mas não vi especificações de limitação de utilização de recursos… Alguém conhece estas opções? Valerá a pena enviar um email a questionar sobre este aspecto?



Entretanto, obrigado ao Nuno por estar a tentar minimizar o downtime do site.






[quote=Mallgur]Boas,



Fazer o upgrade para o nível seguinte na Siteground custa $ 95,40.

$ 7,95 por mês mas que é pago tudo quando se faz a encomenda.



Andei a ver algumas alternativas nacionais…



https://www.lusodigital.com/alojamento/index.shtml



https://www.esoterica.pt/loja/?plan=hosting&series_key=5&period=12



https://www.myweb.pt/alojamento-web.htm



Algumas parecem ter preços muito bons mas não vi especificações de limitação de utilização de recursos… Alguém conhece estas opções? Valerá a pena enviar um email a questionar sobre este aspecto?



Entretanto, obrigado ao Nuno por estar a tentar minimizar o downtime do site.



[/quote]



Não conheço bem em detalhe as alternativas mas sei por experiência própria que a Esoterica me deu bom trabalho. Transferi-mos para lá o site do grupoblisboa e houve umas quantas funcionalidades que deixaram de funcionar (devido à versão do php ou, pior, devido a não permitirem o envio de mails pelo modo habitual do drupal)

Boas,



Hoje o acesso estava mesmo difícil e resolvi mandar para lá uma mensagem por causa disto a dizer que estávamos a ver o que se passava mas que a performance continuava a degradar-se. Suspeiro que eles tenham imposto ainda mais limitações…



A resposta foi a seguinte:



#####



Hello,



The issue was caused by the fact that your MySQL database size was above the allowed limits of the shared hosting environment. Also there were slow queries found and this caused the high server load which this case it about. The database size was 504Mb and allowed size is 500MB. Now your database is 415MB.



The biggest table is search_index size: 102.3MB. In order to prevent slow queries you should consider to decrease this table's size.



We have now removed the applied limits and will follow the case. If the issue re-appears the limits will be applied again.



#####



Parece que temos que limitar outra vez a funcionalidade das pesquisas enquanto não se muda de host. Será isto a origem do problema?





Vou enviar emails às duas empresas nacionais a questionar os limites e o tipo de alojamento.

Depois informo das respostas.



Gostava de ter feedback dos restantes administradores acerca das possibilidades de financiamento.



Abraço.

A Base de Dados aumentar assim de tamanho aconteceu anteriormente por a tabela de watchdog que guarda registos como os dos testes que houve no módulo do BGG ter crescido para mais de 100MB. Isto juntamente com as tabelas de cache que por vezes também aumentam bastante. Não sei qual das tabelas desta vez aumentou assim mas pelos vistos eles já as limparam.



A tabela de pesquisa é realmente grande pois possibilita as pesquisas de conteúdos (páginas e comentários) em todo o site. Gerar a mesma inicialmente foi complicado devido a problemas na sua geração (relativas a páginas php). As actualizações da mesma têm funcionado agora sem problemas e, embora o seu tamanho seja grande, vendo os logs verifica-se que não são feitas assim tantas pesquisas quanto isso para causarem este tipo de problemas. Assim sendo, não recomendo mesmo apagar-se o conteúdo desta tabela ou alterar as palavras a indexar pois isso irá dar novamente bastante trabalho a gerar novamente.



Quanto às possibilidades de financiamento do site, posso contribuir com uma parte mas conforme sugeri acho que se poderia fazer um peditório para o mesmo. Quem sabe não se consegue ter um site bem mais rápido colocando num servidor (mesmo no siteground) com um serviço melhor que o de base. Também já foi sugerido fazer um sorteio de um jogo depois pelos que contribuiram. Poder-se-ia pedir a empresas de jogos que nos oferecessem um jogo (ou mais) para sortear em troca de colocamos uma pequena imagem na parte lateral do site durante um ano para a mesma. Eu por mim não vejo qualquer problema com isso.



Nota: Alerto mais uma vez para que a mudança de servidor com caracteristicas diferentes, que não sei precisar quais são mas que poderão ser desde o modo em que o site é colocado no servidor até às versões de php e mysql, poderá depois ter impactos no funcionamento actual do site, o que poderá exigir alterações de configuração, código de módulos ou mesmo desativação de algumas funcionalidades.

Eu acho que fazer uma campanha de angariamento de fundos e garantir um acesso a doações espontâneas a quem estiver interessado é algo que podemos fazer sem grandes dúvidas e hesitações.



Se criarmos uma licença paga para as empresas temos que pensar em modos simples e padronizados de implementação de banners e afins. Mas sendo assim abandonamos a ideia do fórum "comercial" das editoras e empresas, certo?

Gosto da ideia do supporter badge por baixo do Avatar e se juntarmos isso a uma permissão para ter acesso aos módulos do BGG seria uma boa. Assim só quem é supporter pode usufruir desses módulos.



É avançar com esse upgrade, eu apoio com algum dinheiro.

… não gosto da ideia de restringir funcionalidades… principalmente as da ligação ao BGG…



Uma coisa é novas funcionalidades que surjam doravante… outra são funcionalidades que já todos tiveram acesso a…



Sponsor Badges, e eventualmente o(s) sorteio(s) de jogo(s) é uma ideia…



falou-se (até fui eu a lançar primeiro a ideia…) na possibilidade de haver o apoio das empresas (com um beneficio a determinar, e implicando a revisão da politica de relação com as mesmas)…



e que tal haver também o apoio das Convenções (como organização e não como os seus organizadores a titulo individual)? (também com beneficio a determinar…) 



Tenho mais algumas ideias, mas essas acabam por ter alguns custos para implementar, sendo que o seu proposito maioritário seria a divulgação do portal e angariação de novos utilizadores… e não a angariação directa de dinheiro para pagar alojamento…



    penso que já houve cartões em tempos… ter um banner (que pode ser impresso em papel…) e planfetos presentes nas convenções,



Podiamos ter t-shirts com o logotipo (e eventualmente alguma frase e/ou desenhos relativos a jogos) à venda no site.



Resumindo acho que o site acaba por ter pouca visibilidade… mesmo entre a comunidade… e se calhar podemos aumentar essa visibilidade.

Na minha opinião, tudo o que mexa com dinheiro tem de ficar à conta de uma pessoa que se chegue à frente (não vale a pena criar uma associaçom só para pagar o alojamento). Obter patrocínios para o site poder continuar a existir é uma opção, mas eu preferiria manter um certo grau de independência especialmente no que toca a financiar o alojamento. Digo isto porque, da minha parte, não me importo nada de doar um jogo e/ou entrar numa vaquinha com vocês para ajudar a pagar o servidor.

Boas pessoal,



Recebi a seguinte resposta da Myweb:



#####



Estimado Pedro



Obrigado pelo seu e-mail



Pode fazer o site com Drupal, para tal deve subscrever o plano Premium por 20 Euros por Ano



Pode fazer uso do script pré-instalado no cpanel ou instala manualmente no alojamento



Pode comparar os diferentes planos de alojamento por esta página www.myweb.pt/alojamento-web.htm



Para mais informação técnica aceda a este link: https://199.168.186.146/phpinfo.php



Caso pretenda subscrever o plano de alojamento por favor responda a este e-mail



Se necessitar mais alguma informação não hesite em contactar



Obrigado



João Jorge

myweb.pt



#####



A versão do PHP disponível é a 5.3.19. Qual é a que estamos a usar no Siteground? Algum dos nossos magos do código pode verificar a compatibilidade? E sugerir questões técnicas mais específicas?



A € 20,00/ano isto quase parece bom demais para ser verdade! Corremos o risco de isto estar falido algures durante o ano, se calhar… Parece-vos um risco grande?

Se a opção for esta, acho que nem precisamos de fazer uma angariação de fundos no site… Dá € 2,00 a cada um de nós. Acho que podemos arcar bem com isso.



Vou aguardar pelo vosso feedback e pelas eventuais resposta da outra empresa de alojamento.

Temos até Abril para resolver isto por isso até podemos em pensar em fazer o alojamento de uma cópia do site sem transferir o domínio para termos um período de testes e depois fazer a mudança quando estivesse tudo ok.



Quanto ao rumo dos comentários aqui…



Gostava de não envolver empresas se tal fosse possível. Penso que a comunidade contribuiria o suficiente.



Acho que a questão de falta de visibilidade do site é premente e que se deveria fazer algo quanto a isso.

Pessoalmente penso que a regularidade dos encontros e alguma estabilidade na comunidade são os principais factores para que a malta já não venha tanto aqui. Os regulares já sabem como funciona e os novos depois de aparecerem uma ou duas vezes entram no esquema e já não têm necessidade de vir aqui ver quando é.

A "concorrência" do Facebook e presença dos grupos no mesmo pode ser vista também como um factor. A inclusão da integração com as redes sociais não fez, que eu visse, muita diferença. São poucos os que fazem likes e +1s ou lá que raio é…



A ideia de fazer uma ligação com as Cons é algo que já me passou pela cabeça várias vezes.

Penso que, a termos um alojamento que o permita, poderíamos tornar o AoJ como "guarda-chuva" dos sites das Cons. Ou seja, no nosso espaço de alojamento seriam também alojados os sites das Cons que teriam só que adquirir o registo do domínio, se quisessem, ou usar algo como www.abreojogo.com/XXXXXXXCon estando as páginas alojadas no "nosso" servidor. Deste modo ficava tudo mais integrado, com uma ligação forte ao AoJ. Se cada Con desse uma pequena parte dos fundos que angaria para a sua organização até poderíamos ter aí o suficiente para pagar o alojamento. Acho que a maioria dos organizadores das Cons não estaria contra esta ideia e, de qualquer modo, seria sempre algo opcional e sem qualquer tipo de consequência para quem não o quisesse fazer. A divulgação neste site estaria sempre disponível na mesma.



E, embora os grupos já aqui estejam bem presentes, porque não pensar em algo semelhante em termos de alojamento de sites específicos dos mesmos? Por exemplo, o site do grupo de Lisboa poderia estar alojado no mesmo servidor com domínio próprio e com isso poderíamos ter mais uma série de malta a contribuir para o alojamento dos vários sites, abarcados pelo AoJ. Porquê pagarmos 4 ou cinco serviços de alojamento se pudermos pagar todos só um?



Voltando à visibilidade do site, um outro factor é a falta de conteúdos novos. Aqui parece-me que a questão volta a ser uma certa estabilidade na curva de crescimento da comunidade. Já não existe tanto o sentimento de necessidade de crescer… Já todos temos com quem jogar regularmente, trocamos ideias sobre os jogos em pessoa e já não dedicamos tanto tempo a vir aqui fazê-lo. A comunidade cresceu… Teve as suas dores e crises de crescimento mas agora está a entrar numa fase mais estável. Está a acomodar-se à sua situação. Por um lado é mau, por outro é algo natural.

Se calhar falta algo como os thumbs-up para estimular o pessoal a escrever mais! Não sei…



Concordo com o stormrover em relação ao bloqueio de funcionalidades para os não-contribuintes. O site deve manter a sua natureza gratuita. Recordo-me que as recções à ideia de algo semelhante no BGG foram negativas (inclusive a minha) quando tal se aventou… mesmo a ideia de funcionalidades novas extra só para quem contribui são um pouco antipáticas. O reconhecimento público com algo tipo "sponsor badge" já me agrada mais…



Desculpem a "parede de texto" e alguma falta de estruturação… foi saindo assim! cheeky

A versão do PHP que usamos neste momento é a 5.2.17

Não creio que passar para uma mais recente seja muito problemático… mas… nunca se sabe bem.



Quanto ao plano de alojamento terá de ser o Premium visto que precisamos de mais de 1GB de espaço Web



De resto, a MyWeb parece-me realmente ter uns preços interessantes…



(to be continued…) 

Fazendo o whois na myweb.pt dá um servidor americano: https://whois.domaintools.com/myweb.pt (server stats)

Em princípio, a ideia não era alojar em Portugal?



Gosto da ideia de termos o abreojogo como um domínio, mas penso que isso também tem implicações nas condições de alojamento, pois aí temos de ter a opção de "revender" espaço no servidor para cada grupo organizador montar o seu site como quiser. Se for só para ter um endereço no formato abreojogo.com/qualquercoisa, os grupos já teem essa opção atualmente.



O Mallgur levanta também outras questões importantes sobre o futuro do site, mas acho que podem ficar para outro tópico.