← Back to branch summary

~unity-2d-team/unity-2d/Shell-MultiMonitor

« back to all changes in this revision

Viewing changes to grackle/model.py

  • Committer: William Grant
  • Date: 2012-01-23 02:09:48 UTC
  • Revision ID: william.grant@canonical.com-20120123020948-3s4csog015czk3ni
Test the format.

Show diffs side-by-side

added added

removed removed

Lines of Context:
grackle/model.py
 
1
# Copyright (c) 2012 Canonical Ltd
 
2
#
 
3
# This program is free software: you can redistribute it and/or modify
 
4
# it under the terms of the GNU Affero General Public License as published by
 
5
# the Free Software Foundation, either version 3 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU Affero General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU Affero General Public
 
14
# License along with this program. If not, see
 
15
# <http://www.gnu.org/licenses/>.
 
16
 
 
17
import datetime
 
18
import dateutil.tz
 
19
import email.parser
 
20
from email.utils import parsedate_tz
 
21
import logging
 
22
import time
 
23
import uuid
 
24
 
 
25
import pycassa
 
26
from pycassa.system_manager import (
 
27
    LEXICAL_UUID_TYPE,
 
28
    SystemManager,
 
29
    TIME_UUID_TYPE,
 
30
    )
 
31
from pycassa.util import convert_time_to_uuid
 
32
 
 
33
from grackle.cassandra import workaround_1779
 
34
 
 
35
 
 
36
def create_schema(host, keyspace, clobber=False, create_keyspace=False):
 
37
    mgr = SystemManager(host)
 
38
 
 
39
    if create_keyspace:
 
40
        mgr.create_keyspace(keyspace, replication_factor=1)
 
41
 
 
42
    if clobber:
 
43
        for cf in mgr.get_keyspace_column_families(keyspace):
 
44
            mgr.drop_column_family(keyspace, cf)
 
45
 
 
46
    try:
 
47
        workaround_1779(
 
48
            mgr.create_column_family, keyspace, 'message',
 
49
            key_validation_class=LEXICAL_UUID_TYPE)
 
50
        workaround_1779(
 
51
            mgr.create_column_family, keyspace, 'archive_message',
 
52
            comparator_type=TIME_UUID_TYPE,
 
53
            default_validation_class=LEXICAL_UUID_TYPE)
 
54
        pass
 
55
    finally:
 
56
        mgr.close()
 
57
 
 
58
 
 
59
def _parse_message(message):
 
60
    """Get a date and dict of an RFC822 message."""
 
61
    parsed = email.parser.Parser().parsestr(message)
 
62
    message_dict = {}
 
63
 
 
64
    for key in ('from', 'to', 'subject', 'message-id'):
 
65
        value = parsed.get(key, None)
 
66
        if value is not None:
 
67
            message_dict[key] = value
 
68
 
 
69
    date = parsed.get('date')
 
70
    if date is not None:
 
71
        try:
 
72
            pdate = parsedate_tz(date)
 
73
            date = datetime.datetime(
 
74
                *pdate[:6],
 
75
                tzinfo=dateutil.tz.tzoffset('', pdate[9]))
 
76
        except ValueError:
 
77
            pass
 
78
    message_dict['date'] = date.isoformat() if date is not None else None
 
79
 
 
80
    return date, message_dict
 
81
 
 
82
 
 
83
def _utc_datetime(dt):
 
84
    return dt.astimezone(dateutil.tz.tzutc())
 
85
 
 
86
 
 
87
def _utc_timestamp(dt):
 
88
    return time.mktime(_utc_datetime(dt).timetuple()) - time.timezone
 
89
 
 
90
 
 
91
def _utc_timeuuid(dt, lowest_val=True):
 
92
    return convert_time_to_uuid(_utc_timestamp(dt), lowest_val)
 
93
 
 
94
 
 
95
def _cmp_timeuuid(a, b):
 
96
    if a.time != b.time:
 
97
        return cmp(a.time, b.time)
 
98
    return cmp(a, b)
 
99
 
 
100
 
 
101
def _bound_timeuuid(a, b, max=False):
 
102
    if a == '' or _cmp_timeuuid(b, a) == (1 if max else -1):
 
103
        return b
 
104
    return a
 
105
 
 
106
 
 
107
def _make_bounds(memo, range_start, range_finish, backward):
 
108
    start = finish = ''
 
109
    if memo != '':
 
110
        memo = uuid.UUID(memo)
 
111
    if backward:
 
112
        finish = memo
 
113
    else:
 
114
        start = memo
 
115
    if range_start is not None:
 
116
        start = _bound_timeuuid(
 
117
            start, _utc_timeuuid(range_start), max=True)
 
118
    if range_finish is not None:
 
119
        finish = _bound_timeuuid(
 
120
            finish, _utc_timeuuid(range_finish, lowest_val=False))
 
121
    return memo, start, finish
 
122
 
 
123
 
 
124
def _format_message(message):
 
125
    return {
 
126
        'date': message.get('date'),
 
127
        'from': message.get('from'),
 
128
        'subject': message.get('subject'),
 
129
        'message-id': message.get('message-id'),
 
130
        'content': message.get('content'),
 
131
        }
 
132
 
 
133
 
 
134
class CassandraConnection(object):
 
135
 
 
136
    def __init__(self, keyspace, host):
 
137
        self._keyspace = keyspace
 
138
        self._host = host
 
139
        self._connection = self._connect()
 
140
        self.messages = self._column_family('message')
 
141
        self.archive_messages = self._column_family('archive_message')
 
142
 
 
143
    def _connect(self):
 
144
        return pycassa.connect(self._keyspace, self._host)
 
145
 
 
146
    def _column_family(self, name):
 
147
        return pycassa.ColumnFamily(self._connection, name)
 
148
 
 
149
    def add_message(self, archive_uuid, message):
 
150
        message_uuid = uuid.uuid4()
 
151
        message_date, message_dict = _parse_message(message)
 
152
        message_dict['content'] = message
 
153
        message_dict['date_created'] = (
 
154
            datetime.datetime.utcnow().isoformat() + 'Z')
 
155
        self.messages.insert(message_uuid, message_dict)
 
156
        self.archive_messages.insert(
 
157
            archive_uuid,
 
158
            {_utc_timestamp(message_date): message_uuid})
 
159
        logging.debug(
 
160
            'Imported %s into %s'
 
161
            % (message_dict.get('message-id', None), archive_uuid))
 
162
        return message_uuid
 
163
 
 
164
    def _trim(self, sequence, end):
 
165
        """Return the sequence with one of the ends trimmed.
 
166
 
 
167
        :param end: if true, remove the last element. otherwise remove
 
168
            the first.
 
169
        """
 
170
        if end:
 
171
            return sequence[:-1]
 
172
        else:
 
173
            return sequence[1:]
 
174
 
 
175
    def get_messages(self, archive_uuid, order, count, memo, backward=False,
 
176
                     start_date=None, finish_date=None):
 
177
        if order in ("date", "-date"):
 
178
            reversed = order[0] == '-'
 
179
        else:
 
180
            raise AssertionError("Unsupported order.")
 
181
 
 
182
        memo, start, finish = _make_bounds(
 
183
            memo, start_date, finish_date, backward)
 
184
 
 
185
        # Get up to n+1 messages from the memo: the last item of the
 
186
        # previous batch (because that's where the memo starts) + this
 
187
        # batch.
 
188
        pairs = self.archive_messages.get(
 
189
            archive_uuid, column_count=count + 1, column_start=start,
 
190
            column_finish=finish, column_reversed=reversed).items()
 
191
 
 
192
        if len(pairs) and memo and pairs[0][0] <= memo:
 
193
            # The memo (from the previous batch) was included in the result.
 
194
            # Trim it.
 
195
            pairs = self._trim(pairs, False ^ backward)
 
196
        elif len(pairs) > count:
 
197
            # There was no memo in the result, so the n+1th element is
 
198
            # unnecessary. Kill it.
 
199
            pairs = self._trim(pairs, True ^ backward)
 
200
 
 
201
        if len(pairs) == 0:
 
202
            return (None, [], None)
 
203
 
 
204
        assert 0 < len(pairs) <= count
 
205
 
 
206
        # We've narrowed down the message references. Fetch the messages.
 
207
        ids = [v for k, v in pairs]
 
208
        messages = self.messages.multiget(
 
209
            ids, columns=['date', 'from', 'subject', 'message-id', 'content'])
 
210
 
 
211
        return (
 
212
            str(pairs[0][0]),
 
213
            [_format_message(messages[id]) for id in ids],
 
214
            str(pairs[-1][0]),
 
215
            )