← Back to branch summary

~loggerhead-team/loggerhead/trunk-rich

« back to all changes in this revision

Viewing changes to start-loggerhead.py

  • Committer: Robey Pointer
  • Date: 2007-01-14 23:46:10 UTC
  • Revision ID: robey@lag.net-20070114234610-z3cn5j8eky0vqsg3
add a decorator to strip the whitespace from the generated html in the big
pages.  (kid theoretically can do this on its own, but it's not hooked up
from turbogears, and even if it was, it doesn't seem to work on html.)
removing whitespace appears to trim a good 20-30% from the generated pages,
so may help a lot for slow links.  in combination with the trimmed-down
javascript names, some of the worst offenders (revisions with gigantic
diffs) are now nearly half the size they were a few days ago.

Show diffs side-by-side

added added

removed removed

Lines of Context:
start-loggerhead.py
1
 
#!/usr/bin/env python
2
 
# This program is free software; you can redistribute it and/or modify
3
 
# it under the terms of the GNU General Public License as published by
4
 
# the Free Software Foundation; either version 2 of the License, or
5
 
# (at your option) any later version.
6
 
#
7
 
# This program is distributed in the hope that it will be useful,
8
 
# but WITHOUT ANY WARRANTY; without even the implied warranty of
9
 
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
10
 
# GNU General Public License for more details.
11
 
#
12
 
# You should have received a copy of the GNU General Public License
13
 
# along with this program; if not, write to the Free Software
14
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
15
 
 
16
 
"""A script for starting the loggerhead process."""
17
 
 
 
1
#!/usr/bin/env python2.4
 
2
 
 
3
import pkg_resources
 
4
pkg_resources.require("TurboGears")
18
5
 
19
6
import logging
20
 
import logging.handlers
21
 
from optparse import OptionParser
22
7
import os
 
8
 
 
9
import turbogears
 
10
import cherrypy
 
11
cherrypy.lowercase_api = True
 
12
 
23
13
import sys
24
 
import urlparse
25
 
 
26
 
from bzrlib.plugin import load_plugins
27
 
from bzrlib.util.configobj.configobj import ConfigObj
28
 
 
29
 
from paste import httpserver
30
 
from paste.httpexceptions import make_middleware
31
 
from paste.translogger import make_filter
32
 
 
33
 
from loggerhead import daemon
34
 
from loggerhead.apps.config import Root
35
 
from loggerhead.trace import make_handler, setup_logging
36
 
from loggerhead.apps.error import ErrorHandlerApp
37
 
 
38
 
 
39
 
def main():
40
 
    home = os.path.realpath(os.path.dirname(__file__))
41
 
    default_pidfile = os.path.join(home, 'loggerhead.pid')
42
 
    default_configfile = os.path.join(home, 'loggerhead.conf')
43
 
    default_log_folder = os.path.join(home, 'logs')
44
 
    parser = OptionParser(usage='usage: %prog [options]', version='%prog')
45
 
    parser.add_option('-f', '--foreground',
46
 
                      action='store_true', dest='foreground', default=False,
47
 
                      help="run in the foreground; don't daemonize")
48
 
    parser.add_option('-C', '--check', action='store_true',
49
 
                      dest='check', default=False,
50
 
                      help=("only start if not already running (useful for "
51
 
                            "cron jobs)"))
52
 
    parser.add_option('-p', '--pidfile', dest="pidfile",
53
 
                      default=default_pidfile,
54
 
                      type=str, help="override pidfile location")
55
 
    parser.add_option('-c', '--config-file', dest="configfile",
56
 
                      default=default_configfile,
57
 
                      type=str, help="override configuration file location")
58
 
    parser.add_option('-L', '--log-folder', dest="log_folder",
59
 
                      default=default_log_folder,
60
 
                      type=str, help="override log file directory")
61
 
    options, args = parser.parse_args()
62
 
    if len(args) > 0:
63
 
        parser.error('No filename arguments are used, only options.')
64
 
 
65
 
    if options.check:
66
 
        if daemon.is_running(options.pidfile):
67
 
            sys.exit(0)
68
 
        sys.stderr.write('Did not find loggerhead running in %r;' % (
69
 
                         options.pidfile))
70
 
        sys.stderr.write(' restarting...\n')
71
 
 
72
 
    # read loggerhead config
73
 
 
74
 
    config = ConfigObj(options.configfile, encoding='utf-8')
75
 
    extra_path = config.get('bzrpath', None)
76
 
    if extra_path:
77
 
        sys.path.insert(0, extra_path)
78
 
 
79
 
    potential_overrides = [('server.socket_port', int),
80
 
                           ('server.webpath', str),
81
 
                           ('server.thread_pool', int),
82
 
                           ('server.socket_host', str)]
83
 
    server_port = int(config.get('server.socket_port', 8080))
84
 
    nworkers = int(config.get('server.thread_pool', 10))
85
 
    server_host = config.get('server.socket_host', '0.0.0.0')
86
 
    webpath = config.get('server.webpath', None)
87
 
 
88
 
    for key, keytype in potential_overrides:
89
 
        value = config.get(key, None)
90
 
        if value is not None:
91
 
            value = keytype(value)
92
 
 
93
 
    if not options.foreground:
94
 
        sys.stderr.write('\n')
95
 
        sys.stderr.write('Launching loggerhead into the background.\n')
96
 
        sys.stderr.write('PID file: %s\n' % options.pidfile)
97
 
        sys.stderr.write('\n')
98
 
 
99
 
        daemon.daemonize(options.pidfile, home)
100
 
 
101
 
    setup_logging(options.log_folder, config, foreground=options.foreground)
102
 
 
103
 
    log = logging.getLogger('loggerhead')
104
 
    log.info('Starting up...')
105
 
 
106
 
    app = Root(config)
107
 
 
108
 
    app = app
109
 
    app = make_middleware(app)
110
 
    app = make_filter(app, None, logger_name=log.name+'.access')
111
 
    app = ErrorHandlerApp(app)
112
 
 
113
 
    if webpath:
114
 
        scheme, netloc, path, blah, blah, blah = urlparse.urlparse(webpath)
115
 
 
116
 
        def app(environ, start_response, orig=app):
117
 
            environ['SCRIPT_NAME'] = path
118
 
            environ['HTTP_HOST'] = netloc
119
 
            environ['wsgi.url_scheme'] = scheme
120
 
            return orig(environ, start_response)
121
 
 
122
 
    load_plugins()
123
 
 
 
14
 
 
15
 
 
16
def setup_logging(home, foreground):
 
17
    # i hate that stupid logging config format, so just set up logging here.
 
18
 
 
19
    log_folder = os.path.join(home, 'logs')
 
20
    if not os.path.exists(log_folder):
 
21
        os.mkdir(log_folder)
 
22
    
 
23
    f = logging.Formatter('%(levelname)-.3s [%(asctime)s.%(msecs)03d] %(name)s: %(message)s',
 
24
                          '%Y%m%d-%H:%M:%S')
 
25
    debug_log = logging.FileHandler(os.path.join(log_folder, 'debug.log'))
 
26
    debug_log.setLevel(logging.DEBUG)
 
27
    debug_log.setFormatter(f)
 
28
    if foreground:
 
29
        stdout_log = logging.StreamHandler(sys.stdout)
 
30
        stdout_log.setLevel(logging.DEBUG)
 
31
        stdout_log.setFormatter(f)
 
32
    f = logging.Formatter('[%(asctime)s.%(msecs)03d] %(message)s',
 
33
                          '%Y%m%d-%H:%M:%S')
 
34
    access_log = logging.FileHandler(os.path.join(log_folder, 'access.log'))
 
35
    access_log.setLevel(logging.INFO)
 
36
    access_log.setFormatter(f)
 
37
    
 
38
    logging.getLogger('').addHandler(debug_log)
 
39
    logging.getLogger('turbogears.access').addHandler(access_log)
 
40
    logging.getLogger('turbogears.controllers').setLevel(logging.INFO)
 
41
    
 
42
    if foreground:
 
43
        logging.getLogger('').addHandler(stdout_log)
 
44
    
 
45
 
 
46
 
 
47
foreground = False
 
48
if len(sys.argv) > 1:
 
49
    if sys.argv[1] == '-f':
 
50
        foreground = True
 
51
 
 
52
home = os.path.realpath(os.path.dirname(__file__))
 
53
pidfile = os.path.join(home, 'loggerhead.pid')
 
54
 
 
55
# read loggerhead config
 
56
 
 
57
from configobj import ConfigObj
 
58
config = sys._loggerhead_config = ConfigObj(os.path.join(home, 'loggerhead.conf'), encoding='utf-8')
 
59
extra_path = config.get('bzrpath', None)
 
60
if extra_path:
 
61
    sys.path.insert(0, extra_path)
 
62
 
 
63
turbogears.update_config(configfile="dev.cfg", modulename="loggerhead.config")
 
64
 
 
65
potential_overrides = [ ('server.socket_port', int), ('server.webpath', str), ('server.thread_pool', int) ]
 
66
for key, keytype in potential_overrides:
 
67
    value = config.get(key, None)
 
68
    if value is not None:
 
69
        value = keytype(value)
 
70
        turbogears.config.update({ key: value })
 
71
 
 
72
 
 
73
if not foreground:
 
74
    sys.stderr.write('\n')
 
75
    sys.stderr.write('Launching loggerhead into the background.\n')
 
76
    sys.stderr.write('PID file: %s\n' % (pidfile,))
 
77
    sys.stderr.write('\n')
 
78
 
 
79
    from loggerhead.daemon import daemonize
 
80
    daemonize(pidfile, home)
 
81
 
 
82
setup_logging(home, foreground=foreground)
 
83
    
 
84
log = logging.getLogger('loggerhead')
 
85
log.info('Starting up...')
 
86
 
 
87
from loggerhead.controllers import Root
 
88
 
 
89
# re-index every 6 hours
 
90
index_freq = 6 * 3600
 
91
turbogears.scheduler.add_interval_task(initialdelay=1, interval=index_freq, action=Root._check_rebuild)
 
92
 
 
93
try:
 
94
    turbogears.start_server(Root)
 
95
finally:
 
96
    log.info('Shutdown.')
124
97
    try:
125
 
        httpserver.serve(
126
 
            app, host=server_host, port=server_port,
127
 
            threadpool_workers=nworkers)
128
 
    finally:
129
 
        log.info('Shutdown.')
130
 
        try:
131
 
            os.remove(options.pidfile)
132
 
        except OSError:
133
 
            pass
134
 
 
135
 
 
136
 
if __name__ == '__main__':
137
 
    main()
 
98
        os.remove(pidfile)
 
99
    except OSError:
 
100
        pass
 
101
 
 
102