← Back to branch summary

~unity-2d-team/unity-2d/Shell-MultiMonitor

« back to all changes in this revision

Viewing changes to grackle/model.py

  • Committer: William Grant
  • Date: 2012-04-20 02:20:58 UTC
  • mfrom: (6.1.70 trunk)
  • Revision ID: william.grant@canonical.com-20120420022058-3nkracsmlg7akydu
Merge trunk.

Show diffs side-by-side

added added

removed removed

Lines of Context:
grackle/model.py
14
14
# License along with this program. If not, see
15
15
# <http://www.gnu.org/licenses/>.
16
16
 
 
17
import calendar
17
18
import datetime
18
 
import dateutil.tz
19
19
import email.parser
20
20
from email.utils import parsedate_tz
 
21
import functools
21
22
import logging
22
23
import uuid
23
24
 
24
 
import pycassa
 
25
import dateutil.tz
 
26
import pycassa.pool
25
27
from pycassa.system_manager import (
26
28
    LEXICAL_UUID_TYPE,
27
29
    SystemManager,
28
30
    TIME_UUID_TYPE,
29
31
    )
 
32
from pycassa.util import convert_time_to_uuid
30
33
 
31
34
from grackle.cassandra import workaround_1779
32
35
 
78
81
    return date, message_dict
79
82
 
80
83
 
 
84
def _utc_datetime(dt):
 
85
    return dt.astimezone(dateutil.tz.tzutc())
 
86
 
 
87
 
 
88
def _utc_timestamp(dt):
 
89
    return calendar.timegm(_utc_datetime(dt).timetuple())
 
90
 
 
91
 
 
92
def _utc_timeuuid(dt, lowest_val=True):
 
93
    return convert_time_to_uuid(_utc_timestamp(dt), lowest_val)
 
94
 
 
95
 
 
96
def _cmp_timeuuid(a, b):
 
97
    if a.time != b.time:
 
98
        return cmp(a.time, b.time)
 
99
    return cmp(a, b)
 
100
 
 
101
 
 
102
def _bound_timeuuid(a, b, max=False):
 
103
    if a == '' or _cmp_timeuuid(b, a) == (1 if max else -1):
 
104
        return b
 
105
    return a
 
106
 
 
107
 
 
108
def _make_bounds(memo, range_start, range_finish, backward):
 
109
    start = finish = ''
 
110
    if memo != '':
 
111
        memo = uuid.UUID(memo)
 
112
    if backward:
 
113
        finish = memo
 
114
    else:
 
115
        start = memo
 
116
    if range_start is not None:
 
117
        start = _bound_timeuuid(
 
118
            start, _utc_timeuuid(range_start), max=True)
 
119
    if range_finish is not None:
 
120
        finish = _bound_timeuuid(
 
121
            finish, _utc_timeuuid(range_finish, lowest_val=False))
 
122
    return memo, start, finish
 
123
 
 
124
 
 
125
LEGAL_HEADERS = set([
 
126
    'date', 'from', 'subject', 'message-id',
 
127
    ])
 
128
 
 
129
 
 
130
def _format_message(message, headers=[], include_raw=False):
 
131
    data = {}
 
132
 
 
133
    if headers:
 
134
        assert not set(headers).difference(LEGAL_HEADERS)
 
135
        hdict = {}
 
136
        for header in headers:
 
137
            hdict[header] = message.get(header)
 
138
        data['headers'] = hdict
 
139
 
 
140
    if include_raw:
 
141
        data['raw'] = message['raw']
 
142
 
 
143
    return data
 
144
 
 
145
 
81
146
class CassandraConnection(object):
82
147
 
83
 
    def __init__(self, keyspace, host):
 
148
    def __init__(self, keyspace, hosts):
84
149
        self._keyspace = keyspace
85
 
        self._host = host
 
150
        self._hosts = hosts
86
151
        self._connection = self._connect()
 
152
        self._pool = self._connect()
87
153
        self.messages = self._column_family('message')
88
154
        self.archive_messages = self._column_family('archive_message')
89
155
 
90
156
    def _connect(self):
91
 
        return pycassa.connect(self._keyspace, self._host)
 
157
        return pycassa.pool.ConnectionPool(self._keyspace, self._hosts)
92
158
 
93
159
    def _column_family(self, name):
94
 
        return pycassa.ColumnFamily(self._connection, name)
 
160
        return pycassa.ColumnFamily(self._pool, name)
95
161
 
96
162
    def add_message(self, archive_uuid, message):
97
163
        message_uuid = uuid.uuid4()
98
164
        message_date, message_dict = _parse_message(message)
99
 
        message_dict['content'] = message
 
165
        message_dict['raw'] = message
100
166
        message_dict['date_created'] = (
101
167
            datetime.datetime.utcnow().isoformat() + 'Z')
102
168
        self.messages.insert(message_uuid, message_dict)
103
169
        self.archive_messages.insert(
104
170
            archive_uuid,
105
 
            {message_date.astimezone(dateutil.tz.tzutc()): message_uuid})
 
171
            {_utc_timestamp(message_date): message_uuid})
106
172
        logging.debug(
107
173
            'Imported %s into %s'
108
174
            % (message_dict.get('message-id', None), archive_uuid))
109
175
        return message_uuid
110
176
 
111
 
    def _format_message(self, message):
112
 
        return {
113
 
            'date': message.get('date'),
114
 
            'from': message.get('from'),
115
 
            'subject': message.get('subject'),
116
 
            'message-id': message.get('message-id'),
117
 
            }
118
 
 
119
177
    def _trim(self, sequence, end):
 
178
        """Return the sequence with one of the ends trimmed.
 
179
 
 
180
        :param end: if true, remove the last element. otherwise remove
 
181
            the first.
 
182
        """
120
183
        if end:
121
184
            return sequence[:-1]
122
185
        else:
123
186
            return sequence[1:]
124
187
 
125
 
    def get_messages(self, archive_uuid, order, count, memo, backward=False):
 
188
    def get_messages(self, archive_uuid, order, count, memo, backward=False,
 
189
                     start_date=None, finish_date=None, format='all',
 
190
                     headers=['from', 'date', 'subject', 'message-id']):
126
191
        if order in ("date", "-date"):
127
192
            reversed = order[0] == '-'
128
193
        else:
129
194
            raise AssertionError("Unsupported order.")
130
 
        if memo != '':
131
 
            memo = uuid.UUID(memo)
 
195
 
 
196
        memo, start, finish = _make_bounds(
 
197
            memo, start_date, finish_date, backward)
 
198
 
132
199
        # Get up to n+1 messages from the memo: the last item of the
133
200
        # previous batch (because that's where the memo starts) + this
134
201
        # batch.
135
 
        if backward:
136
 
            start = ''
137
 
            finish = memo
138
 
        else:
139
 
            start = memo
140
 
            finish = ''
141
202
        pairs = self.archive_messages.get(
142
203
            archive_uuid, column_count=count + 1, column_start=start,
143
204
            column_finish=finish, column_reversed=reversed).items()
144
 
        if memo and len(pairs) and pairs[0][0] <= memo:
 
205
 
 
206
        if len(pairs) and memo and pairs[0][0] <= memo:
 
207
            # The memo (from the previous batch) was included in the result.
 
208
            # Trim it.
145
209
            pairs = self._trim(pairs, False ^ backward)
146
210
        elif len(pairs) > count:
 
211
            # There was no memo in the result, so the n+1th element is
 
212
            # unnecessary. Kill it.
147
213
            pairs = self._trim(pairs, True ^ backward)
148
214
 
149
215
        if len(pairs) == 0:
151
217
 
152
218
        assert 0 < len(pairs) <= count
153
219
 
 
220
        # We've narrowed down the message references. Fetch the messages.
154
221
        ids = [v for k, v in pairs]
155
 
        messages = self.messages.multiget(
156
 
            ids, columns=['date', 'from', 'subject', 'message-id'])
 
222
        formatter = functools.partial(
 
223
            _format_message, headers=headers, include_raw=True)
 
224
        # XXX: No need to get all columns. Restrict based on format.
 
225
        messages = self.messages.multiget(ids)
157
226
 
158
227
        return (
159
228
            str(pairs[0][0]),
160
 
            [self._format_message(messages[id]) for id in ids],
 
229
            [formatter(messages[id]) for id in ids],
161
230
            str(pairs[-1][0]),
162
231
            )