← Back to branch summary

~loggerhead-team/loggerhead/trunk-rich

« back to all changes in this revision

Viewing changes to serve-branches.py

  • Committer: Michael Hudson
  • Date: 2008-06-25 06:18:13 UTC
  • mfrom: (174.1.8 streaming)
  • Revision ID: michael.hudson@canonical.com-20080625061813-3cr5iax8sdz0e67s
merge my streaming branch which:
 * most importantly, streams the pages as they render to the client, which 
   reduces memory usage on large pages and feels better for the user
 * makes the stuff in controller/ have a more wsgi-ish interface
 * restores the stripping of excess whitespace from the output

Show diffs side-by-side

added added

removed removed

Lines of Context:
serve-branches.py
1
 
#
2
 
# Copyright (C) 2008, 2009 Canonical Ltd
3
 
#
4
 
# This program is free software; you can redistribute it and/or modify
5
 
# it under the terms of the GNU General Public License as published by
6
 
# the Free Software Foundation; either version 2 of the License, or
7
 
# (at your option) any later version.
8
 
#
9
 
# This program is distributed in the hope that it will be useful,
10
 
# but WITHOUT ANY WARRANTY; without even the implied warranty of
11
 
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12
 
# GNU General Public License for more details.
13
 
#
14
 
# You should have received a copy of the GNU General Public License
15
 
# along with this program; if not, write to the Free Software
16
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
17
 
 
18
 
"""Search for branches underneath a directory and serve them all."""
19
 
 
 
1
#!/usr/bin/env python
20
2
import logging
21
 
import os
22
3
import sys
23
4
 
24
 
from bzrlib.plugin import load_plugins
25
 
 
26
5
from paste import httpserver
27
 
from paste.httpexceptions import HTTPExceptionHandler, HTTPInternalServerError
 
6
from paste.httpexceptions import HTTPExceptionHandler
28
7
from paste.translogger import TransLogger
29
8
 
30
 
from loggerhead import __version__
31
 
from loggerhead.apps.transport import (
32
 
    BranchesFromTransportRoot, UserBranchesFromTransportRoot)
33
 
from loggerhead.config import LoggerheadConfig
34
 
from loggerhead.util import Reloader
35
 
from loggerhead.apps.error import ErrorHandlerApp
36
 
 
37
 
 
38
 
def get_config_and_path(args):
39
 
    config = LoggerheadConfig(args)
40
 
 
41
 
    if config.get_option('show_version'):
42
 
        print "loggerhead %s" % (__version__,)
43
 
        sys.exit(0)
44
 
 
45
 
    if config.arg_count > 1:
46
 
        config.print_help()
47
 
        sys.exit(1)
48
 
    elif config.arg_count == 1:
49
 
        base = config.get_arg(0)
50
 
    else:
51
 
        base = '.'
52
 
 
53
 
    if not config.get_option('allow_writes'):
54
 
        base = 'readonly+' + base
55
 
 
56
 
    return config, base
57
 
 
58
 
 
59
 
def setup_logging(config, init_logging=True, log_file=None):
60
 
    log_level = config.get_log_level()
61
 
    if init_logging:
62
 
        logging.basicConfig()
63
 
        if log_level is not None:
64
 
            logging.getLogger('').setLevel(log_level)
65
 
    logger = logging.getLogger('loggerhead')
66
 
    if log_level is not None:
67
 
        logger.setLevel(log_level)
68
 
    if log_file is not None:
69
 
        handler = logging.StreamHandler(log_file)
70
 
    else:
71
 
        if config.get_option('log_folder'):
72
 
            logfile_path = os.path.join(
73
 
                config.get_option('log_folder'), 'serve-branches.log')
74
 
        else:
75
 
            logfile_path = 'serve-branches.log'
76
 
        handler = logging.FileHandler(logfile_path, 'a')
77
 
        formatter = logging.Formatter('%(asctime)s %(levelname)-8s %(name)s:'
78
 
                                      ' %(message)s')
79
 
        handler.setFormatter(formatter)
80
 
    # We set the handler to accept all messages, the *logger* won't emit them
81
 
    # if it is configured to suppress it
82
 
    handler.setLevel(logging.DEBUG)
83
 
    logger.addHandler(handler)
84
 
    def _restrict_logging(logger_name):
85
 
        logger = logging.getLogger(logger_name)
86
 
        if logger.getEffectiveLevel() < logging.INFO:
87
 
            logger.setLevel(logging.INFO)
88
 
    # simpleTAL is *very* verbose in DEBUG mode, which is otherwise the
89
 
    # default. So quiet it up a bit.
90
 
    _restrict_logging('simpleTAL')
91
 
    _restrict_logging('simpleTALES')
92
 
    return logger
93
 
 
94
 
 
95
 
def make_app_for_config_and_path(config, base):
96
 
    if config.get_option('trunk_dir') and not config.get_option('user_dirs'):
97
 
        print "--trunk-dir is only valid with --user-dirs"
98
 
        sys.exit(1)
99
 
 
100
 
    if config.get_option('reload'):
101
 
        if Reloader.is_installed():
102
 
            Reloader.install()
103
 
        else:
104
 
            return Reloader.restart_with_reloader()
105
 
 
106
 
    if config.get_option('user_dirs'):
107
 
        if not config.get_option('trunk_dir'):
108
 
            print "You didn't specify a directory for the trunk directories."
109
 
            sys.exit(1)
110
 
        app = UserBranchesFromTransportRoot(base, config)
111
 
    else:
112
 
        app = BranchesFromTransportRoot(base, config)
113
 
 
114
 
    setup_logging(config)
115
 
 
116
 
    if config.get_option('profile'):
117
 
        from loggerhead.middleware.profile import LSProfMiddleware
118
 
        app = LSProfMiddleware(app)
119
 
    if config.get_option('memory_profile'):
120
 
        from dozer import Dozer
121
 
        app = Dozer(app)
122
 
 
123
 
    if not config.get_option('user_prefix'):
124
 
        prefix = '/'
125
 
    else:
126
 
        prefix = config.get_option('user_prefix')
127
 
        if not prefix.startswith('/'):
128
 
            prefix = '/' + prefix
129
 
 
130
 
    try:
131
 
        from paste.deploy.config import PrefixMiddleware
132
 
    except ImportError:
133
 
        cant_proxy_correctly_message = (
134
 
            'Unsupported configuration: PasteDeploy not available, but '
135
 
            'loggerhead appears to be behind a proxy.')
136
 
        def check_not_proxied(app):
137
 
            def wrapped(environ, start_response):
138
 
                if 'HTTP_X_FORWARDED_SERVER' in environ:
139
 
                    exc = HTTPInternalServerError()
140
 
                    exc.explanation = cant_proxy_correctly_message
141
 
                    raise exc
142
 
                return app(environ, start_response)
143
 
            return wrapped
144
 
        app = check_not_proxied(app)
145
 
    else:
146
 
        app = PrefixMiddleware(app, prefix=prefix)
147
 
 
148
 
    app = HTTPExceptionHandler(app)
149
 
    app = ErrorHandlerApp(app)
150
 
    app = TransLogger(app, logger=logging.getLogger('loggerhead'))
151
 
 
152
 
    return app
153
 
 
154
 
 
155
 
def main(args):
156
 
    load_plugins()
157
 
 
158
 
    config, path = get_config_and_path(args)
159
 
 
160
 
    app = make_app_for_config_and_path(config, path)
161
 
 
162
 
    if not config.get_option('user_port'):
163
 
        port = '8080'
164
 
    else:
165
 
        port = config.get_option('user_port')
166
 
 
167
 
    if not config.get_option('user_host'):
168
 
        host = '0.0.0.0'
169
 
    else:
170
 
        host = config.get_option('user_host')
171
 
 
172
 
    if not config.get_option('protocol'):
173
 
        protocol = 'http'
174
 
    else:
175
 
        protocol = config.get_option('protocol')
176
 
 
177
 
    if protocol == 'http':
178
 
        httpserver.serve(app, host=host, port=port)
179
 
    else:
180
 
        if protocol == 'fcgi':
181
 
            from flup.server.fcgi import WSGIServer
182
 
        elif protocol == 'scgi':
183
 
            from flup.server.scgi import WSGIServer
184
 
        elif protocol == 'ajp':
185
 
            from flup.server.ajp import WSGIServer
186
 
        else:
187
 
            print 'Unknown protocol: %s.' % (protocol)
188
 
            sys.exit(1)
189
 
        WSGIServer(app, bindAddress=(host, int(port))).run()
 
9
from loggerhead.apps.filesystem import BranchesFromFileSystemRoot
 
10
 
 
11
 
 
12
logging.basicConfig()
 
13
logging.getLogger().setLevel(logging.DEBUG)
 
14
 
 
15
if len(sys.argv) > 1:
 
16
    path = sys.argv[1]
 
17
else:
 
18
    path = '.'
 
19
 
 
20
app = BranchesFromFileSystemRoot(path)
 
21
 
 
22
app = HTTPExceptionHandler(app)
 
23
app = TransLogger(app)
 
24
 
 
25
try:
 
26
    from paste.deploy.config import PrefixMiddleware
 
27
except ImportError:
 
28
    pass
 
29
else:
 
30
    app = PrefixMiddleware(app)
 
31
 
 
32
#from paste.evalexception import EvalException
 
33
#app = EvalException(app)
 
34
 
 
35
httpserver.serve(app, host='0.0.0.0', port='8080')