You probably want to do some standard LAMP tuning - look at your Apache setup, see how many processes it's running etc.<br><br>Is this a home-grown web app, or a canned package? <br><br>You may need to spend some time doing some fine-tuning on the application and database. Just doing some simple SQL optimization (i.e. make sure there are indexes on the join conditions), I've seen queries go from 15 seconds to under a second.<br>
<br>-dc<br><br><div class="gmail_quote">On Tue, Jun 28, 2011 at 12:06 PM, Kenneth Younger <span dir="ltr"><<a href="mailto:kenny@sheerfocus.com">kenny@sheerfocus.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
I'm not sure what exactly occurred. It's a basic LAMP server with an nginx proxy doing some caching there.<br><br>Running this server has been humbling, because I used to think I knew what I was doing with regard to running a server - but this thing has given me a new respect for the subtle configuring that an expert can make.<br>

<br>I know this isn't HUGE traffic, but it was getting 3000-4000 pageviews an hour at peak, which is the most traffic I've ever seen on a site I run. I think my problem is I just don't know how to tell what went wrong after the fact...<br>

<br>How would tell if it ran out of memory, or the CPU was just fully pegged, or the disk started thrashing?<br><br>-Kenny<div><div></div><div class="h5"><br><br><div class="gmail_quote">On Tue, Jun 28, 2011 at 11:10 AM, Nicolai <span dir="ltr"><<a href="mailto:nicolai-cialug@chocolatine.org" target="_blank">nicolai-cialug@chocolatine.org</a>></span> wrote:<br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div>On Mon, Jun 27, 2011 at 04:39:20PM -0500, Kenneth Younger wrote:<br>
> I had a sever crush under load the other day, so much so that it made SSHing<br>
> into the box impossible. There's got to be a way to keep that admin tool<br>
> available until the end, right?<br>
<br>
</div>Hi Kenny,<br>
<br>
Indeed there is: it's called daemontools.  Combine it with resource<br>
limits and you've got a reasonably stable system.<br>
<br>
 <a href="http://cr.yp.to/daemontools.html" target="_blank">http://cr.yp.to/daemontools.html</a><br>
<br>
daemontools is from the same guy who wrote qmail, djbdns, and a long<br>
list of other quality software.  I've been using it on almost every<br>
system I've had in the last 11 years, and it has never crashed or<br>
failed.  It's solid.<br>
<br>
Basically, it's a collection of tiny tools, one of which runs quietly in<br>
the background, monitoring whatever daemons you want, and restarting<br>
them if they happen to exit for some reason.<br>
<br>
IF you:<br>
<br>
 1. Monitor critical daemons using daemontools and<br>
 2. Have resource limits properly configured,<br>
<br>
Then you're unlikely to see this problem re-occur.<br>
<br>
What exactly happened, though?  Knowing this will help guide you in your<br>
tuning of resource limits.  And I'm pretty curious!<br>
<font color="#888888"><br>
Nicolai<br>
</font><div><div></div><div>_______________________________________________<br>
Cialug mailing list<br>
<a href="mailto:Cialug@cialug.org" target="_blank">Cialug@cialug.org</a><br>
<a href="http://cialug.org/mailman/listinfo/cialug" target="_blank">http://cialug.org/mailman/listinfo/cialug</a><br>
</div></div></blockquote></div><br><br clear="all"><br></div></div><div><div></div><div class="h5">-- <br><font color="#888888">Kenneth Younger III<br>Founder, Sheer Focus Inc.<br>e: <a href="mailto:kenny@sheerfocus.com" target="_blank">kenny@sheerfocus.com</a><br>

p: <a href="tel:%28515%29%20367-0001" value="+15153670001" target="_blank">(515) 367-0001</a><br>t: <a href="http://twitter.com/kenny" target="_blank">@kenny</a></font><br>
</div></div><br>_______________________________________________<br>
Cialug mailing list<br>
<a href="mailto:Cialug@cialug.org">Cialug@cialug.org</a><br>
<a href="http://cialug.org/mailman/listinfo/cialug" target="_blank">http://cialug.org/mailman/listinfo/cialug</a><br>
<br></blockquote></div><br>