← Back to branch summary

~unity-2d-team/unity-2d/Shell-MultiMonitor

« back to all changes in this revision

Viewing changes to grackle/server/model.py

  • Committer: William Grant
  • Date: 2012-01-22 08:27:01 UTC
  • Revision ID: william.grant@canonical.com-20120122082701-b7iiqxdxsbpj3krq
Test add_message a little.

Show diffs side-by-side

added added

removed removed

Lines of Context:
grackle/server/model.py
18
18
import dateutil.tz
19
19
import email.parser
20
20
from email.utils import parsedate_tz
21
 
import functools
22
21
import logging
23
 
import time
24
22
import uuid
25
23
 
26
24
import pycassa
29
27
    SystemManager,
30
28
    TIME_UUID_TYPE,
31
29
    )
32
 
from pycassa.util import convert_time_to_uuid
33
 
 
34
 
from grackle.cassandra import workaround_1779
35
 
 
36
 
 
37
 
def create_schema(host, keyspace, clobber=False, create_keyspace=False):
 
30
 
 
31
from grackle.server.cassandra import workaround_1779
 
32
 
 
33
 
 
34
def create_schema(host, keyspace, clobber=False):
38
35
    mgr = SystemManager(host)
39
36
 
40
 
    if create_keyspace:
41
 
        mgr.create_keyspace(keyspace, replication_factor=1)
42
 
 
43
37
    if clobber:
44
38
        for cf in mgr.get_keyspace_column_families(keyspace):
45
39
            mgr.drop_column_family(keyspace, cf)
57
51
        mgr.close()
58
52
 
59
53
 
60
 
def _parse_message(message):
61
 
    """Get a date and dict of an RFC822 message."""
62
 
    parsed = email.parser.Parser().parsestr(message)
63
 
    message_dict = {}
64
 
 
65
 
    for key in ('from', 'to', 'subject', 'message-id'):
66
 
        value = parsed.get(key, None)
67
 
        if value is not None:
68
 
            message_dict[key] = value
69
 
 
70
 
    date = parsed.get('date')
71
 
    if date is not None:
72
 
        try:
73
 
            pdate = parsedate_tz(date)
74
 
            date = datetime.datetime(
75
 
                *pdate[:6],
76
 
                tzinfo=dateutil.tz.tzoffset('', pdate[9]))
77
 
        except ValueError:
78
 
            pass
79
 
    message_dict['date'] = date.isoformat() if date is not None else None
80
 
 
81
 
    return date, message_dict
82
 
 
83
 
 
84
 
def _utc_datetime(dt):
85
 
    return dt.astimezone(dateutil.tz.tzutc())
86
 
 
87
 
 
88
 
def _utc_timestamp(dt):
89
 
    return time.mktime(_utc_datetime(dt).timetuple()) - time.timezone
90
 
 
91
 
 
92
 
def _utc_timeuuid(dt, lowest_val=True):
93
 
    return convert_time_to_uuid(_utc_timestamp(dt), lowest_val)
94
 
 
95
 
 
96
 
def _cmp_timeuuid(a, b):
97
 
    if a.time != b.time:
98
 
        return cmp(a.time, b.time)
99
 
    return cmp(a, b)
100
 
 
101
 
 
102
 
def _bound_timeuuid(a, b, max=False):
103
 
    if a == '' or _cmp_timeuuid(b, a) == (1 if max else -1):
104
 
        return b
105
 
    return a
106
 
 
107
 
 
108
 
def _make_bounds(memo, range_start, range_finish, backward):
109
 
    start = finish = ''
110
 
    if memo != '':
111
 
        memo = uuid.UUID(memo)
112
 
    if backward:
113
 
        finish = memo
114
 
    else:
115
 
        start = memo
116
 
    if range_start is not None:
117
 
        start = _bound_timeuuid(
118
 
            start, _utc_timeuuid(range_start), max=True)
119
 
    if range_finish is not None:
120
 
        finish = _bound_timeuuid(
121
 
            finish, _utc_timeuuid(range_finish, lowest_val=False))
122
 
    return memo, start, finish
123
 
 
124
 
 
125
 
LEGAL_HEADERS = set([
126
 
    'date', 'from', 'subject', 'message-id',
127
 
    ])
128
 
 
129
 
 
130
 
def _format_message(want, message):
131
 
    data = {}
132
 
    for key in want:
133
 
        data[key] = message.get(key)
134
 
    return data
135
 
 
136
 
 
137
 
def _format_all(headers):
138
 
    assert not set(headers).difference(LEGAL_HEADERS)
139
 
    want = list(headers) + ['content']
140
 
    return want, functools.partial(_format_message, want)
141
 
 
142
 
 
143
 
FORMATS = {
144
 
    'all': _format_all,
145
 
    }
146
 
 
147
 
 
148
54
class CassandraConnection(object):
149
55
 
150
56
    def __init__(self, keyspace, host):
162
68
 
163
69
    def add_message(self, archive_uuid, message):
164
70
        message_uuid = uuid.uuid4()
165
 
        message_date, message_dict = _parse_message(message)
166
 
        message_dict['content'] = message
167
 
        message_dict['date_created'] = (
168
 
            datetime.datetime.utcnow().isoformat() + 'Z')
169
 
        self.messages.insert(message_uuid, message_dict)
 
71
        parsed = email.parser.Parser().parsestr(message)
 
72
        date = parsed.get('date')
 
73
        if date is not None:
 
74
            try:
 
75
                pdate = parsedate_tz(date)
 
76
                date = datetime.datetime(
 
77
                    *pdate[:6],
 
78
                    tzinfo=dateutil.tz.tzoffset('', pdate[9]))
 
79
            except ValueError:
 
80
                pass
 
81
        self.messages.insert(
 
82
            message_uuid,
 
83
            {'date_created': datetime.datetime.utcnow().isoformat() + 'Z',
 
84
             'content': message,
 
85
             'from': parsed.get('From'),
 
86
             'to': parsed.get('To'),
 
87
             'subject': parsed.get('Subject'),
 
88
             'date': date.isoformat() if date is not None else None,
 
89
             'message_id': parsed.get('Message-ID'),
 
90
             })
170
91
        self.archive_messages.insert(
171
92
            archive_uuid,
172
 
            {_utc_timestamp(message_date): message_uuid})
 
93
            {date.astimezone(dateutil.tz.tzutc()): message_uuid})
173
94
        logging.debug(
174
 
            'Imported %s into %s'
175
 
            % (message_dict.get('message-id', None), archive_uuid))
 
95
            'Imported %s into %s' % (parsed.get('Message-ID'), archive_uuid))
176
96
        return message_uuid
177
97
 
178
 
    def _trim(self, sequence, end):
179
 
        """Return the sequence with one of the ends trimmed.
180
 
 
181
 
        :param end: if true, remove the last element. otherwise remove
182
 
            the first.
183
 
        """
184
 
        if end:
185
 
            return sequence[:-1]
186
 
        else:
187
 
            return sequence[1:]
188
 
 
189
 
    def get_messages(self, archive_uuid, order, count, memo, backward=False,
190
 
                     start_date=None, finish_date=None, format='all',
191
 
                     headers=['from', 'date', 'subject', 'message-id']):
 
98
    def _format_message(self, message):
 
99
        return {
 
100
            'date': message['date'],
 
101
            'from': message['from'],
 
102
            'subject': message['subject'],
 
103
            }
 
104
 
 
105
    def get_messages(self, archive_uuid, order, count, start):
192
106
        if order in ("date", "-date"):
193
107
            reversed = order[0] == '-'
194
108
        else:
195
109
            raise AssertionError("Unsupported order.")
196
 
 
197
 
        memo, start, finish = _make_bounds(
198
 
            memo, start_date, finish_date, backward)
199
 
 
200
 
        # Get up to n+1 messages from the memo: the last item of the
201
 
        # previous batch (because that's where the memo starts) + this
202
 
        # batch.
203
110
        pairs = self.archive_messages.get(
204
 
            archive_uuid, column_count=count + 1, column_start=start,
205
 
            column_finish=finish, column_reversed=reversed).items()
206
 
 
207
 
        if len(pairs) and memo and pairs[0][0] <= memo:
208
 
            # The memo (from the previous batch) was included in the result.
209
 
            # Trim it.
210
 
            pairs = self._trim(pairs, False ^ backward)
211
 
        elif len(pairs) > count:
212
 
            # There was no memo in the result, so the n+1th element is
213
 
            # unnecessary. Kill it.
214
 
            pairs = self._trim(pairs, True ^ backward)
215
 
 
216
 
        if len(pairs) == 0:
217
 
            return (None, [], None)
218
 
 
219
 
        assert 0 < len(pairs) <= count
220
 
 
221
 
        # We've narrowed down the message references. Fetch the messages.
 
111
            archive_uuid, column_count=count + 1,
 
112
            column_start=start, column_reversed=reversed).items()
222
113
        ids = [v for k, v in pairs]
223
 
 
224
 
        wanted_cols, func = FORMATS[format](headers)
225
 
 
226
 
        # XXX: No need to get all columns. Restrict based on format.
227
 
        messages = self.messages.multiget(ids)
228
 
 
 
114
        messages = self.messages.multiget(
 
115
            ids, columns=['date', 'from', 'subject'])
 
116
        actual_count = len(pairs)
 
117
        if len(pairs) > count:
 
118
            assert len(pairs) == count + 1
 
119
            actual_count -= 1
 
120
            next_memo = str(pairs[count][0])
 
121
        else:
 
122
            next_memo = None
229
123
        return (
230
 
            str(pairs[0][0]),
231
 
            [func(messages[id]) for id in ids],
232
 
            str(pairs[-1][0]),
 
124
            [self._format_message(messages[id]) for id in ids[:actual_count]],
 
125
            next_memo,
233
126
            )