IMPORTANTE - NOVO FORUM LANDMANIA - LER

[VaReTaS]

Boas,

Alguém consegue explicar o que é que se anda a passar com o fórum?!?

Até dá impressão que anda com falta de gasóleo ou com algum problema na BI... é que de vez em quando vai-se abaixo e não dá nada!! E quando volta anda meio-intermitente!

Agora até desapareceu a lista dos tópicos mais recentes que havia na cabeceira!!

Grande LandAbraço

[RR Orange Over]

Assim torna-se um bocado complicado seguir o fórum.

[Marco]

Boa tarde,

Há qualquer coisa no fórum que está a provocar taxas de utilização de CPU muito elevadas que depois levam ao bloqueio do mesmo. Estamos a tentar descobrir o que estará a provocar essa situação "desligando" algumas funcionalidades. A primeira funcionalidade a ser desligada dos últimos tópicos activos.

Teremos de continuar a efectuar alguns testes que podem provocar alguma instabilidade no fórum.

Pedimos desculpa pelo incómodo, mas tem de ser.

Cumprimentos,
Marco

[Corvo]

Isto já é o FMI a cortar....................

[JCRibeiro]

Boa tarde,

Há qualquer coisa no fórum que está a provocar taxas de utilização de CPU muito elevadas que depois levam ao bloqueio do mesmo. Estamos a tentar descobrir o que estará a provocar essa situação "desligando" algumas funcionalidades. A primeira funcionalidade a ser desligada dos últimos tópicos activos.

Teremos de continuar a efectuar alguns testes que podem provocar alguma instabilidade no fórum.

Pedimos desculpa pelo incómodo, mas tem de ser.

Cumprimentos,
Marco

eu cá debruçava-me sobre os suspeitos do costume ...
e apagava qualquer registo de existência deles.

SoftTop,
um topico de apresentação com 140 paginas e qualquer mosquito colado no parabrisas é motivo de actualização ....

FLêGê,
a caminho dos 500.000 posts, por muitas contas que se faça, qualquer pessoa que tenha 10 post por dia desde a criação do forum, não pode ser deste mundo ...

... eu experimentava .... ao menos par ver

[Marco]

eu cá debruçava-me sobre os suspeitos do costume ...
e apagava qualquer registo de existência deles.

SoftTop,
um topico de apresentação com 140 paginas e qualquer mosquito colado no parabrisas é motivo de actualização ....

FLêGê,
a caminho dos 500.000 posts, por muitas contas que se faça, qualquer pessoa que tenha 10 post por dia desde a criação do forum, não pode ser deste mundo ...

... eu experimentava .... ao menos par ver

Agora que falas nisso

[FLG]

A culpa era do FLGFLG

Já o FLG é

agora aquele dibiduo que nós sabemos...

[softop]

bolas... eu agora devo ter uma média de 3 posts por semana....

[FLG]

bolas... eu agora devo ter uma média de 3 posts por semana....

atenção esta semana já só tens direito a mais 2 posts ...

[Marco]

Boas noites a todos,

Como muitos devem ter reparado, na semana que passou tivemos muitos problemas no fórum. De acordo com a empresa que faz a gestão do servidor, o fórum tinha um consumo constante e contínuo de CPU e/ou memória RAM. Para terem uma ideia, cá vai uma imagem que representa um período de 50 minutos.



Com estes picos de utilização constantes, a máquina onde o fórum está alojado simplesmente bloqueava sendo às vezes necessário reiniciar o servidor localmente. Então começamos a tentar descobrir o que se podia estar a passar.

O fórum está na versão mais recente e por mais utilizadores que tenha, por si só, não é suficiente para provocar tantos danos. Havia duas hipóteses que saltavam logo à vista. A primeira era funcionalidade dos últimos tópicos e a outra é o chat no fundo da página. A primeira, é uma funcionalidade que já existe no fórum há algum tempo, mas que não tinha evoluído desde a criação, ao contrário do Fórum.

No fundo, o que a funcionalidade deve fazer (e atenção que isto é uma análise feita a olho, e não possui qualquer fundamento técnico relevante), é, a cada refrescamento da página principal, pesquisar a base de dados do fórum à procura de tópicos novos para apresentar. Se estiverem 20 utilizadores a fazer esta operação, a base de dados é pesquisada 20 vezes. E isto provoca grandes esforço no processador.

Começamos por desligar os "últimos tópicos" e houve uma melhoria muito grande no desempenho do fórum. Desde essa altura, o fórum ainda não "foi abaixo". No entanto, o fórum continuou a apresentar alguns picos de utilização. Não tantos como anteriormente, mas ainda assim, o servidor emitia alguns avisos relativos a tempos de processamento de tópicos, muito demorados.

Como os avisos eram relativos a coisas específicas do fórum, nem mexemos no chat. Depois lembramo-nos das imagens. Estamos numa altura pós-Emotions na Figueira e toda a gente está a colocar fotos (e ainda bem), e mais gente ainda a ver. O processamento de imagens também exige bastante esforço dos processadores, especialmente se estas forem de grandes dimensões.

Então tomamos outra decisão, que passa por limitar o tamanho das fotos colocadas no fórum. Inicialmente, as fotos estarão limitadas a uma largura de 640px. Isto permitirá fotos na resolução mais ou menos padrão de 640x480. Se se verificar que este tamanho não é adequado, vamos estudar outras hipóteses.

A funcionalidade dos "últimos tópicos", por muito útil que seja, tem impactos muito grandes no funcionamento do fórum e por ora, vai manter-se desligada.

Pedimos desculpa pelos incómodos causados, mas é por uma boa causa

Grande Abraço!
Marco

[nmcabecadas]

Mas as imagens não estão alojadas externamente, no Imageshack ou em serviços similares? No forum ficam os códigos, que no fundo é texto, mas não deve daí resultar um aumento substancial de tráfego nem uma grande carga no servidor.

[VaReTaS]

Boas,

Marco valorizo muito o trabalho que têm tido nos últimos tempos, mas desculpa que discorde do que dizes. A fundamentação e a análise dos picos de carga do servidor não podem ir por aí.

Primeiro, como já disse em oportunidades anteriores, as imagens que cada utilizador coloca no fórum não são processadas pelo servidor que aloja o fórum, uma vez que estão alojadas em servidores externos e não influem na carga do servidor. Aqui há que saber separar as águas, uma vez que o servidor só aloja o código, como disse o nmcabecadas.

Segundo, é possível que a lista de últimos posts pode provocar carga no servidor, mas nada que justifique os picos que se vêm no gráfico e, além disso, cada vez que o fórum é acedido por alguma pessoa a base de dados é igualmente acedida para mostrar os últimos posts de cada secção.

Pela pouca experiência que tenho, a query da base de dados, quando alguém acede ao fórum, só por si não provoca a carga que se tem visto e que justifique a "quebra" do servidor a cada duas por três.

Por outro lado, por maior que seja o pico de utilização e carga, não me parece muito normal que o fórum fique inacessível por mais de 12horas... sem que se possa aceder e que provoque uma redundância na ligação.

Assim sendo, parece-me que o planeamento deve ser outro e que a análise deverá ser algo mais profunda.. porque esses picos de utilização às 8h30 da manhã não me parecem normal, se tivermos em conta que a essa hora não há quase ninguém a aceder ao fórum.

Espero que consigam dar com o problema, mas parece-me que será algo que não está directamente relacionado com o phpBB, mas como não conheço o servidor não posso "julgar".

Espero que tenha ajudado algo, com estes comentários.

Grande LandAbraço

[Marco]

Fogo... foi só falar e isto foi abaixo

Obrigado pelos comentários, mas tenho de discordar com alguns pontos... É verdade que as imagens estão alojadas em servidores externos e o tráfego não conta para o consumo do fórum, mas o rendering das imagens para a exibição nos tópicos, a meu ver, é da responsabilidade do servidor onde o fórum está alojado. Posso estar errado, mas é o que me parece que faz mais sentido.

Quanto aos "últimos tópicos", a minha maior preocupação era o facto de ser uma versão bastante desactualizada e que poderia colocar em causa a segurança do fórum. Por outro lado, levantou-se a questão que referi na mensagem anterior. A base de dados do fórum neste momento tem um tamanho superior a 275Mb, (sendo que cento e qualquer coisa dizem respeito à tabela das palavras indexadas na procura).

Não sei o suficiente sobre os "últimos tópicos" para dizer se ele usa o query à base de dados da página principal ou se faz query independentes. Nem sei se havia alguma coisa errada com os "últimos tópicos" que estivesse a ser executada de uma forma mais ou menos contínua que provocasse a utilização de CPU. De qualquer forma, o simples facto de o termos desligados provocou uma diminuição considerável na carga do servidor:



Já agora, acho que aquelas horas que aparecem nos gráficos não são portuguesas e não dá para relacionar com a utilização do fórum a determinada hora.

Voltando às imagens, como vos tinha dito, o problema ainda não está completamente resolvido. O servidor continua a enviar mensagens como as seguintes:

User:forum PID:4770 Run Time:129(secs) Memory:104788(kb) exe:/usr/bin/php cmd:/usr/bin/php /home/forum/public_html/viewtopic.php
User:forum PID:4772 Run Time:125(secs) Memory:104272(kb) exe:/usr/bin/php cmd:/usr/bin/php /home/forum/public_html/viewtopic.php
User:forum PID:4774 Run Time:125(secs) Memory:104272(kb) exe:/usr/bin/php cmd:/usr/bin/php /home/forum/public_html/viewtopic.php
User:forum PID:4779 Run Time:108(secs) Memory:103496(kb) exe:/usr/bin/php cmd:/usr/bin/php /home/forum/public_html/index.php
User:forum PID:4789 Run Time:91(secs) Memory:104272(kb) exe:/usr/bin/php cmd:/usr/bin/php /home/forum/public_html/viewtopic.php
User:forum PID:4792 Run Time:78(secs) Memory:103496(kb) exe:/usr/bin/php cmd:/usr/bin/php /home/forum/public_html/index.php
User:forum PID:4795 Run Time:70(secs) Memory:104272(kb) exe:/usr/bin/php cmd:/usr/bin/php /home/forum/public_html/viewtopic.php
User:forum PID:4800 Run Time:60(secs) Memory:104272(kb) exe:/usr/bin/php cmd:/usr/bin/php /home/forum/public_html/viewtopic.php
User:forum PID:4804 Run Time:49(secs) Memory:104272(kb) exe:/usr/bin/php cmd:/usr/bin/php /home/forum/public_html/viewtopic.php
User:forum PID:4808 Run Time:40(secs) Memory:104272(kb) exe:/usr/bin/php cmd:/usr/bin/php /home/forum/public_html/viewtopic.php
User:forum PID:4811 Run Time:29(secs) Memory:103960(kb) exe:/usr/bin/php cmd:/usr/bin/php /home/forum/public_html/viewforum.php
User:forum PID:4814 Run Time:28(secs) Memory:104272(kb) exe:/usr/bin/php cmd:/usr/bin/php /home/forum/public_html/viewtopic.php
User:forum PID:4822 Run Time:19(secs) Memory:104272(kb) exe:/usr/bin/php cmd:/usr/bin/php /home/forum/public_html/viewtopic.php
User:forum PID:4837 Run Time:7(secs) Memory:104272(kb) exe:/usr/bin/php cmd:/usr/bin/php /home/forum/public_html/viewtopic.php

Como podem ver os problemas estão a surgir principalmente na visualização de tópicos (viewtopic.php) com tempos de execução muito elevados e com muita memória. Não acredito que isto aconteça com tópicos apenas de texto. Se o problema realmente são as imagens, vamos ter de viver com estes problemas mais algum tempo, pois as imagens mais recentes vão ser bastante visualizadas num futuro próximo. Com a limitação do tamanho das imagens, se efectivamente for esta a causa, estas crises irão diminuir com o tempo, esperamos nós.

Já várias vezes me debrucei sobre estes assuntos, e não consigo lembrar-me de mais nada que possa provocar estas situações. Se alguém tiver alguma ideia, por favor, digam, para investigarmos

Quanto às indisponibilidades demoradas do fórum, não tenho como responder, pois não lido directamente com a equipa que administra o servidor.

Não é fácil, mas havemos de lá chegar!

Grande abraço!
Marco

[nmcabecadas]

As imagens pode ser analizada no tráfego dos PC's que acedem e são independentes do forum. O processamento é feito nas máquinas locais, onde é feita a composição da página e não acresce tráfego ou carga de processador para o servidor. Haveria carga se as páginas passassem completas pelo servidor, mas tal obviamente não acontece e não existe processamento gráfico para além do comparativamente pouco aí alojado.

A questão das imagens existe apenas noutra vertente, e depende da programação, concretamente no facto de as páginas serem dadas como concluidas por quem as carrega apenas depois do tráfego externo das imagens, podendo criar no servidor uma pendência que, não sendo carga propriamente dita, é uma tarefa não concluida e que portanto conta para o total em execução.

[rpmarques]

Os meus 2 cent acerca do assunto

O Nuno não podia estar mais correcto.

O tempo de "processamento" é o tempo em que o processo está "vivo", não necessáriamente o tempo que o servidor está a processar info.

O processamento de imagens é tarefa de cliente (browser) e não de servidor, dependendo da ligação à net de cada um, o carregamento da página pode demorar mais ou menos... e esse tempo é o tempo que o processo fica vivo no servidor até o cliente dizer que já recebeu a página toda e o servidor fechar o processo.

Por isso a ocupação efectiva é mais de numero de processos vivos do que processos pesados.

Penso que uma coisa que pode ter impacto (pelo menos se todos forem como eu...) é o facto dos browsers actuais permitirem tabs e cada pessoa que navega no forum, abre vários tabs... criando inumeros processos no servidor por cada "navegante" em cada momento...

Deixa de ser um processo por user ligado mas sim 3 ou 4 ou 5 ou ... 10... processos por user ligado... se cada um estiver a abrir páginas de fotos, vai provocar sobrecarga na sua ligação à intenet e consequentemente mais demora na abertura de cada uma das páginas...

Por isso em termos estatisticos, em vez de termos poucos processo rapidos em cada momento a correr no servidor, passamos a ter muitos processos demorados... isto provoca uma maior carga no servidor e ocupação de CPU e a falsa imagem que ha muita gente ligada em cada momento... há é alguns ligados muitas vezes

[Marco]

Viva!

Se eu bem percebi, o facto de terem várias tabs abertas, por exemplo, num tópico com fotos, vai abrir vários processos no servidor. Enquanto a "nossa" ligação e browser não processarem todas as imagens, o processo fica aberto e consome memória/CPU.

Se realmente é isto, então faz sentido que as fotos sejam mais pequenas, para que os processos desses tópicos sejam processados mais rápido, não faz?

Obrigado pelo feedback!

Abraço!
Marco

[nmcabecadas]

Vão permanecer alocados recursos, mesmo que estes efectivamente não sejam usados, e penso que poderá ser essa uma das razões pelas quais surgem mensagens de indisponibilidade com frequência, mas também com rapidez, como se o servidor admitisse ter poucos recursos, mas respondesse rapidamente, e de forma negativa, à solicitação.

O problema é lidar com algo de externo e que efectivamente não se controla. Se houver uma degradação do sistema de alojamento das fotos ou mesmo da ligação de quem as está a carregar, a finalização do processo continua demorada. Uma opção é limitar o tempo de carregamento de páginas e assumir que tudo o que estava no servidor, essencialmente texto, já foi enviado e que demoras subsquentes derivam de tráfego externo.

[rpmarques]

Não sei se o phpBB permite, ha outros motores que o permitem, mas limitar o numero de imagens por post a por exemplo 10 ou 15 poderia ajudar... se alguem quiser postar muitas fotos (espero que sim ) é obrigado a abrir um novo post por cada 10 fotos... ao fim de 15 posts muda de página... isso leva a que cada página tenho no máximo 150 imagens, o que já é imenso...

Nos post de eventos... que são dos mais consultados... frequentemente vários users postam 20 ou 30 imagens cada um na mesma página do post, criando páginas que demoram imenso a carregar

[VaReTaS]

Boas,

Perdoem-em que volte "à carga" neste tema, mas eu (e digo eu porque é a minha opinião pessoal e corrijam-me se estiver equivocado) continuo a pensar que o problema não terá nada que ver com carregamento de fotos e/ou dados externos.

Cada vez que acedemos a uma página do fórum o phpBB envia o código fonte da página... com todos os elementos da base de dados já tratados e acedidos, pelo que a query da bd (independentemente do tamanho) se se fizer um debug deverá ser à volta de 0,15/0,20 seg ou de preferência muito inferior.

No entanto, e aqui é onde quero chegar. Os browsers actuais "informam" cada fonte de dados imediatamente que o processo é concluído ao terem toda a sua informação recebida. O mesmo é dizer que o phpBB gera o código fonte de cada página e cada user recebe-a e, ao mesmo tempo, vai recebendo as imagens que estiverem associadas e que sejam de servidores externos... mas o processo no servidor já foi fechado independentemente de as imagens demorarem mais ou menos.

Isto é o que tenho visto e experimentado, pelo que me parece que o problema será de outra fonte.

Só umas questões Marco se puderes responder, claro :

» O servidor é dedicado ou partilhado?
» Que processador é que tem instalado? 32-bit ou 64-bit?
» Que versão de PHP e mySQL é que está instalada?

Assim pode ser que se tenha uma ideia melhor.

Espero que ajude.

Grande LandAbraço

[VaReTaS]

Boas,

Como estava com dúvidas acerca do que temos aqui discutido, fiz uma pequena análise ao funcionamento do fórum em termos de estatísticas de utilização da rede e de tempos de resposta com recurso ao Firebug e, realmente, a ideia que eu tinha confirma-se ou, pelo menos, é a interpretação que eu lhe dou ao olhar para os gráficos de tempos de resposta que deixo abaixo.

Segundo parece, um dos recursos externos que mais tempo leva a carregar é o chat que existe no fundo da página, mas que não tem nada que ver com o servidor, nem afecta o tempo de carregamento das páginas enviadas pelo servidor.

Mas como uma imagem normalmente vale mais que mil palavras, aqui ficam os resultados que obtive num acesso à página principal do fórum e a esta outra página: http://forum.landmania.pt/viewtopic.php ... &start=255






Espero que assim a ideia que tentei transmitir nos posts anteriores possa ficar mais clara

Grande LandAbraço