I'm not sure what exactly occurred. It's a basic LAMP server with an nginx proxy doing some caching there.<br><br>Running this server has been humbling, because I used to think I knew what I was doing with regard to running a server - but this thing has given me a new respect for the subtle configuring that an expert can make.<br>
<br>I know this isn't HUGE traffic, but it was getting 3000-4000 pageviews an hour at peak, which is the most traffic I've ever seen on a site I run. I think my problem is I just don't know how to tell what went wrong after the fact...<br>
<br>How would tell if it ran out of memory, or the CPU was just fully pegged, or the disk started thrashing?<br><br>-Kenny<br><br><div class="gmail_quote">On Tue, Jun 28, 2011 at 11:10 AM, Nicolai <span dir="ltr"><<a href="mailto:nicolai-cialug@chocolatine.org">nicolai-cialug@chocolatine.org</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;"><div class="im">On Mon, Jun 27, 2011 at 04:39:20PM -0500, Kenneth Younger wrote:<br>
> I had a sever crush under load the other day, so much so that it made SSHing<br>
> into the box impossible. There's got to be a way to keep that admin tool<br>
> available until the end, right?<br>
<br>
</div>Hi Kenny,<br>
<br>
Indeed there is: it's called daemontools.  Combine it with resource<br>
limits and you've got a reasonably stable system.<br>
<br>
 <a href="http://cr.yp.to/daemontools.html" target="_blank">http://cr.yp.to/daemontools.html</a><br>
<br>
daemontools is from the same guy who wrote qmail, djbdns, and a long<br>
list of other quality software.  I've been using it on almost every<br>
system I've had in the last 11 years, and it has never crashed or<br>
failed.  It's solid.<br>
<br>
Basically, it's a collection of tiny tools, one of which runs quietly in<br>
the background, monitoring whatever daemons you want, and restarting<br>
them if they happen to exit for some reason.<br>
<br>
IF you:<br>
<br>
 1. Monitor critical daemons using daemontools and<br>
 2. Have resource limits properly configured,<br>
<br>
Then you're unlikely to see this problem re-occur.<br>
<br>
What exactly happened, though?  Knowing this will help guide you in your<br>
tuning of resource limits.  And I'm pretty curious!<br>
<font color="#888888"><br>
Nicolai<br>
</font><div><div></div><div class="h5">_______________________________________________<br>
Cialug mailing list<br>
<a href="mailto:Cialug@cialug.org">Cialug@cialug.org</a><br>
<a href="http://cialug.org/mailman/listinfo/cialug" target="_blank">http://cialug.org/mailman/listinfo/cialug</a><br>
</div></div></blockquote></div><br><br clear="all"><br>-- <br><font color="#888888">Kenneth Younger III<br>Founder, Sheer Focus Inc.<br>e: <a href="mailto:kenny@sheerfocus.com" target="_blank">kenny@sheerfocus.com</a><br>
p: (515) 367-0001<br>t: <a href="http://twitter.com/kenny" target="_blank">@kenny</a></font><br>