← Back to branch summary

~loggerhead-team/loggerhead/trunk-rich

« back to all changes in this revision

Viewing changes to serve-branches

score one for the memory profiling we did at pycon: store the "where merged"
information in small tuples, not small sets.
this makes the 'whole history' cache for a launchpad branch take up about 15%
less RAM.

Show diffs side-by-side

added added

removed removed

Lines of Context:
serve-branches
1
 
#
2
 
# Copyright (C) 2008, 2009 Canonical Ltd
3
 
#
 
1
#!/usr/bin/env python
4
2
# This program is free software; you can redistribute it and/or modify
5
3
# it under the terms of the GNU General Public License as published by
6
4
# the Free Software Foundation; either version 2 of the License, or
28
26
from paste.translogger import TransLogger
29
27
 
30
28
from loggerhead import __version__
31
 
from loggerhead.apps.transport import (
32
 
    BranchesFromTransportRoot, UserBranchesFromTransportRoot)
 
29
from loggerhead.apps.filesystem import (
 
30
    BranchesFromFileSystemRoot, UserBranchesFromFileSystemRoot)
33
31
from loggerhead.config import LoggerheadConfig
34
32
from loggerhead.util import Reloader
35
33
from loggerhead.apps.error import ErrorHandlerApp
36
34
 
37
35
 
38
 
def get_config_and_path(args):
39
 
    config = LoggerheadConfig(args)
 
36
def main(args):
 
37
    config = LoggerheadConfig()
40
38
 
41
39
    if config.get_option('show_version'):
42
 
        print "loggerhead %s" % (__version__,)
 
40
        print "loggerhead %s" % __version__
43
41
        sys.exit(0)
44
42
 
45
43
    if config.arg_count > 1:
46
44
        config.print_help()
47
45
        sys.exit(1)
48
46
    elif config.arg_count == 1:
49
 
        base = config.get_arg(0)
50
 
    else:
51
 
        base = '.'
52
 
 
53
 
    if not config.get_option('allow_writes'):
54
 
        base = 'readonly+' + base
55
 
 
56
 
    return config, base
57
 
 
58
 
 
59
 
def setup_logging(config, init_logging=True, log_file=None):
60
 
    log_level = config.get_log_level()
61
 
    if init_logging:
62
 
        logging.basicConfig()
63
 
        if log_level is not None:
64
 
            logging.getLogger('').setLevel(log_level)
65
 
    logger = logging.getLogger('loggerhead')
66
 
    if log_level is not None:
67
 
        logger.setLevel(log_level)
68
 
    if log_file is not None:
69
 
        handler = logging.StreamHandler(log_file)
70
 
    else:
71
 
        if config.get_option('log_folder'):
72
 
            logfile_path = os.path.join(
73
 
                config.get_option('log_folder'), 'serve-branches.log')
74
 
        else:
75
 
            logfile_path = 'serve-branches.log'
76
 
        handler = logging.FileHandler(logfile_path, 'a')
77
 
        formatter = logging.Formatter('%(asctime)s %(levelname)-8s %(name)s:'
78
 
                                      ' %(message)s')
79
 
        handler.setFormatter(formatter)
80
 
    # We set the handler to accept all messages, the *logger* won't emit them
81
 
    # if it is configured to suppress it
82
 
    handler.setLevel(logging.DEBUG)
83
 
    logger.addHandler(handler)
84
 
    def _restrict_logging(logger_name):
85
 
        logger = logging.getLogger(logger_name)
86
 
        if logger.getEffectiveLevel() < logging.INFO:
87
 
            logger.setLevel(logging.INFO)
88
 
    # simpleTAL is *very* verbose in DEBUG mode, which is otherwise the
89
 
    # default. So quiet it up a bit.
90
 
    _restrict_logging('simpleTAL')
91
 
    _restrict_logging('simpleTALES')
92
 
    return logger
93
 
 
94
 
 
95
 
def make_app_for_config_and_path(config, base):
 
47
        path = config.get_arg(0)
 
48
    else:
 
49
        path = '.'
 
50
 
 
51
    if not os.path.isdir(path):
 
52
        print "%s is not a directory" % path
 
53
        sys.exit(1)
 
54
 
96
55
    if config.get_option('trunk_dir') and not config.get_option('user_dirs'):
97
56
        print "--trunk-dir is only valid with --user-dirs"
98
57
        sys.exit(1)
107
66
        if not config.get_option('trunk_dir'):
108
67
            print "You didn't specify a directory for the trunk directories."
109
68
            sys.exit(1)
110
 
        app = UserBranchesFromTransportRoot(base, config)
111
 
    else:
112
 
        app = BranchesFromTransportRoot(base, config)
113
 
 
114
 
    setup_logging(config)
115
 
 
 
69
        app = UserBranchesFromFileSystemRoot(path, config)
 
70
    else:
 
71
        app = BranchesFromFileSystemRoot(path, config)
 
72
 
 
73
    # setup_logging()
 
74
    logging.basicConfig()
 
75
    logging.getLogger('').setLevel(logging.DEBUG)
 
76
    logger = getattr(app, 'log', logging.getLogger('loggerhead'))
 
77
    if config.get_option('log_folder'):
 
78
        logfile_path = os.path.join(
 
79
            config.get_option('log_folder'), 'serve-branches.log')
 
80
    else:
 
81
        logfile_path = 'serve-branches.log'
 
82
    logfile = logging.FileHandler(logfile_path, 'a')
 
83
    formatter = logging.Formatter('%(asctime)s %(levelname)-8s %(name)s:'
 
84
                                  ' %(message)s')
 
85
    logfile.setFormatter(formatter)
 
86
    logfile.setLevel(logging.DEBUG)
 
87
    logger.addHandler(logfile)
 
88
 
 
89
    if config.get_option('memory_profile'):
 
90
        memprofile = logging.getLogger('loggerhead-memprofile')
 
91
        memprofile.setLevel(logging.DEBUG)
 
92
        memprofile.addHandler(logging.FileHandler('loggerhead-memprofile'))
 
93
 
 
94
    # setup_logging() #end
 
95
 
 
96
    app = TransLogger(app, logger=logger)
116
97
    if config.get_option('profile'):
117
98
        from loggerhead.middleware.profile import LSProfMiddleware
118
99
        app = LSProfMiddleware(app)
119
100
    if config.get_option('memory_profile'):
120
 
        from dozer import Dozer
121
 
        app = Dozer(app)
 
101
        from loggerhead.middleware.profile import MemoryProfileMiddleware
 
102
        app = MemoryProfileMiddleware(app)
122
103
 
123
104
    if not config.get_option('user_prefix'):
124
105
        prefix = '/'
147
128
 
148
129
    app = HTTPExceptionHandler(app)
149
130
    app = ErrorHandlerApp(app)
150
 
    app = TransLogger(app, logger=logging.getLogger('loggerhead'))
151
 
 
152
 
    return app
153
 
 
154
 
 
155
 
def main(args):
156
 
    load_plugins()
157
 
 
158
 
    config, path = get_config_and_path(args)
159
 
 
160
 
    app = make_app_for_config_and_path(config, path)
161
131
 
162
132
    if not config.get_option('user_port'):
163
133
        port = '8080'
169
139
    else:
170
140
        host = config.get_option('user_host')
171
141
 
172
 
    if not config.get_option('protocol'):
173
 
        protocol = 'http'
174
 
    else:
175
 
        protocol = config.get_option('protocol')
176
 
 
177
 
    if protocol == 'http':
178
 
        httpserver.serve(app, host=host, port=port)
179
 
    else:
180
 
        if protocol == 'fcgi':
181
 
            from flup.server.fcgi import WSGIServer
182
 
        elif protocol == 'scgi':
183
 
            from flup.server.scgi import WSGIServer
184
 
        elif protocol == 'ajp':
185
 
            from flup.server.ajp import WSGIServer
186
 
        else:
187
 
            print 'Unknown protocol: %s.' % (protocol)
188
 
            sys.exit(1)
189
 
        WSGIServer(app, bindAddress=(host, int(port))).run()
 
142
    load_plugins()
 
143
 
 
144
    httpserver.serve(app, host=host, port=port)
 
145
 
 
146
 
 
147
if __name__ == "__main__":
 
148
    main(sys.argv)