← Back to branch summary

~unity-2d-team/unity-2d/Shell-MultiMonitor

« back to all changes in this revision

Viewing changes to grackle/model.py

  • Committer: William Grant
  • Date: 2012-01-22 12:35:09 UTC
  • Revision ID: william.grant@canonical.com-20120122123509-hh1m5nc5sv718t2o
Fix batching to almost work backwards too.

Show diffs side-by-side

added added

removed removed

Lines of Context:
grackle/model.py
19
19
import email.parser
20
20
from email.utils import parsedate_tz
21
21
import logging
22
 
import time
23
22
import uuid
24
23
 
25
24
import pycassa
28
27
    SystemManager,
29
28
    TIME_UUID_TYPE,
30
29
    )
31
 
from pycassa.util import convert_time_to_uuid
32
30
 
33
31
from grackle.cassandra import workaround_1779
34
32
 
80
78
    return date, message_dict
81
79
 
82
80
 
83
 
def _utc_datetime(dt):
84
 
    return dt.astimezone(dateutil.tz.tzutc())
85
 
 
86
 
 
87
 
def _utc_timestamp(dt):
88
 
    return time.mktime(_utc_datetime(dt).timetuple()) - time.timezone
89
 
 
90
 
 
91
 
def _utc_timeuuid(dt, lowest_val=True):
92
 
    return convert_time_to_uuid(_utc_timestamp(dt), lowest_val)
93
 
 
94
 
 
95
 
def _cmp_timeuuid(a, b):
96
 
    if a.time != b.time:
97
 
        return cmp(a.time, b.time)
98
 
    return cmp(a, b)
99
 
 
100
 
 
101
 
def _bound_timeuuid(a, b, max=False):
102
 
    if a == '' or _cmp_timeuuid(b, a) == (1 if max else -1):
103
 
        return b
104
 
    return a
105
 
 
106
 
 
107
81
class CassandraConnection(object):
108
82
 
109
83
    def __init__(self, keyspace, host):
128
102
        self.messages.insert(message_uuid, message_dict)
129
103
        self.archive_messages.insert(
130
104
            archive_uuid,
131
 
            {_utc_timestamp(message_date): message_uuid})
 
105
            {message_date.astimezone(dateutil.tz.tzutc()): message_uuid})
132
106
        logging.debug(
133
107
            'Imported %s into %s'
134
108
            % (message_dict.get('message-id', None), archive_uuid))
142
116
            'message-id': message.get('message-id'),
143
117
            }
144
118
 
145
 
    def _trim(self, sequence, end):
146
 
        """Return the sequence with one of the ends trimmed.
147
 
 
148
 
        :param end: if true, remove the last element. otherwise remove
149
 
            the first.
150
 
        """
151
 
        if end:
152
 
            return sequence[:-1]
153
 
        else:
154
 
            return sequence[1:]
155
 
 
156
 
    def get_messages(self, archive_uuid, order, count, memo, backward=False,
157
 
                     start_date=None, finish_date=None):
 
119
    def get_messages(self, archive_uuid, order, count, memo):
158
120
        if order in ("date", "-date"):
159
121
            reversed = order[0] == '-'
160
122
        else:
161
123
            raise AssertionError("Unsupported order.")
162
124
        if memo != '':
163
125
            memo = uuid.UUID(memo)
164
 
        if backward:
165
 
            start = ''
166
 
            finish = memo
167
 
        else:
168
 
            start = memo
169
 
            finish = ''
170
 
        if start_date is not None:
171
 
            start = _bound_timeuuid(
172
 
                start, _utc_timeuuid(start_date, lowest_val=False), max=True)
173
 
        if finish_date is not None:
174
 
            finish = _bound_timeuuid(
175
 
                finish, _utc_timeuuid(finish_date, lowest_val=False))
176
 
 
177
126
        # Get up to n+1 messages from the memo: the last item of the
178
127
        # previous batch (because that's where the memo starts) + this
179
128
        # batch.
180
129
        pairs = self.archive_messages.get(
181
 
            archive_uuid, column_count=count + 1, column_start=start,
182
 
            column_finish=finish, column_reversed=reversed).items()
 
130
            archive_uuid, column_count=count + 1,
 
131
            column_start=memo, column_reversed=reversed).items()
183
132
 
184
 
        if len(pairs) and memo and pairs[0][0] <= memo:
185
 
            # The memo (from the previous batch) was included in the result.
186
 
            # Trim it.
187
 
            pairs = self._trim(pairs, False ^ backward)
 
133
        if memo and len(pairs) and pairs[0][0] <= memo:
 
134
            pairs = pairs[1:]
188
135
        elif len(pairs) > count:
189
 
            # There was no memo in the result, so the n+1th element is
190
 
            # unnecessary. Kill it.
191
 
            pairs = self._trim(pairs, True ^ backward)
 
136
            pairs = pairs[:-1]
192
137
 
193
138
        if len(pairs) == 0:
194
139
            return (None, [], None)
195
140
 
196
141
        assert 0 < len(pairs) <= count
197
142
 
198
 
        # We've narrowed down the message references. Fetch the messages.
199
143
        ids = [v for k, v in pairs]
200
144
        messages = self.messages.multiget(
201
145
            ids, columns=['date', 'from', 'subject', 'message-id'])