← Back to branch summary

~launchpad-pqm/launchpad/devel

« back to all changes in this revision

Viewing changes to lib/devscripts/ec2test/instance.py

  • Committer: Curtis Hovey
  • Date: 2011-08-21 14:21:06 UTC
  • mto: This revision was merged to the branch mainline in revision 13745.
  • Revision ID: curtis.hovey@canonical.com-20110821142106-x93hajd6iguma8gx
Update test that was enforcing bad grammar.

Show diffs side-by-side

added added

removed removed

Lines of Context:
lib/devscripts/ec2test/instance.py
9
9
    ]
10
10
 
11
11
import code
12
 
from datetime import datetime
13
12
import errno
14
13
import glob
15
14
import os
25
24
import paramiko
26
25
 
27
26
 
28
 
DEFAULT_INSTANCE_TYPE = 'm2.xlarge'
29
 
DEFAULT_REGION = 'us-east-1'
30
 
AVAILABLE_INSTANCE_TYPES = (
31
 
    'm1.large', 'm1.xlarge', 'm2.xlarge', 'm2.2xlarge', 'm2.4xlarge',
32
 
    'c1.xlarge', 'cc1.4xlarge', 'cc1.8xlarge')
 
27
DEFAULT_INSTANCE_TYPE = 'c1.xlarge'
 
28
AVAILABLE_INSTANCE_TYPES = ('m1.large', 'm1.xlarge', 'c1.xlarge')
33
29
 
34
30
 
35
31
class AcceptAllPolicy:
75
71
# -e  Exit immediately if a command exits with a non-zero status.
76
72
set -xe
77
73
 
78
 
# They end up as just one stream; this avoids ordering problems.
79
 
exec 2>&1
80
 
 
81
74
sed -ie 's/main universe/main universe multiverse/' /etc/apt/sources.list
82
75
 
83
76
. /etc/lsb-release
84
77
 
85
 
mount -o remount,data=writeback,commit=3600,async,relatime /
86
 
 
87
78
cat >> /etc/apt/sources.list << EOF
88
79
deb http://ppa.launchpad.net/launchpad/ubuntu $DISTRIB_CODENAME main
89
80
deb http://ppa.launchpad.net/bzr/ubuntu $DISTRIB_CODENAME main
 
81
deb http://ppa.launchpad.net/bzr-beta-ppa/ubuntu $DISTRIB_CODENAME main
 
82
deb http://us.ec2.archive.ubuntu.com/ubuntu/ $DISTRIB_CODENAME multiverse
 
83
deb-src http://us.ec2.archive.ubuntu.com/ubuntu/ $DISTRIB_CODENAME main
90
84
EOF
91
85
 
92
 
export DEBIAN_FRONTEND=noninteractive
93
 
 
94
 
# PPA keys
95
 
apt-key adv --recv-keys --keyserver pool.sks-keyservers.net 2af499cb24ac5f65461405572d1ffb6c0a5174af # launchpad
96
 
apt-key adv --recv-keys --keyserver pool.sks-keyservers.net ece2800bacf028b31ee3657cd702bf6b8c6c1efd # bzr
97
 
 
98
 
aptitude update
99
 
 
100
 
# Do this first so later things don't complain about locales:
101
 
LANG=C aptitude -y install language-pack-en
102
 
 
103
 
aptitude -y full-upgrade
104
 
 
105
86
# This next part is cribbed from rocketfuel-setup
106
87
dev_host() {
107
88
  sed -i \"s/^127.0.0.88.*$/&\ ${hostname}/\" /etc/hosts
144
125
127.0.0.99      bazaar.launchpad.dev
145
126
' >> /etc/hosts
146
127
 
147
 
apt-get -y install launchpad-developer-dependencies apache2 apache2-mpm-worker
 
128
# Add the keys for the three PPAs added to sources.list above.
 
129
apt-key adv --recv-keys --keyserver pool.sks-keyservers.net 2af499cb24ac5f65461405572d1ffb6c0a5174af
 
130
apt-key adv --recv-keys --keyserver pool.sks-keyservers.net ece2800bacf028b31ee3657cd702bf6b8c6c1efd
 
131
apt-key adv --recv-keys --keyserver pool.sks-keyservers.net cbede690576d1e4e813f6bb3ebaf723d37b19b80
 
132
 
 
133
aptitude update
 
134
aptitude -y full-upgrade
 
135
 
 
136
DEBIAN_FRONTEND=noninteractive apt-get -y install launchpad-developer-dependencies apache2 apache2-mpm-worker
148
137
 
149
138
# Create the ec2test user, give them passwordless sudo.
150
139
adduser --gecos "" --disabled-password ec2test
167
156
# -e  Exit immediately if a command exits with a non-zero status.
168
157
set -xe
169
158
 
170
 
# They end up as just one stream; this avoids ordering problems.
171
 
exec 2>&1
172
 
 
173
159
bzr launchpad-login %(launchpad-login)s
174
160
bzr init-repo --2a /var/launchpad
175
161
bzr branch lp:~launchpad-pqm/launchpad/devel /var/launchpad/test
196
182
 
197
183
    @classmethod
198
184
    def make(cls, name, instance_type, machine_id, demo_networks=None,
199
 
             credentials=None, region=None):
 
185
             credentials=None):
200
186
        """Construct an `EC2Instance`.
201
187
 
202
188
        :param name: The name to use for the key pair and security group for
211
197
        :param demo_networks: A list of networks to add to the security group
212
198
            to allow access to the instance.
213
199
        :param credentials: An `EC2Credentials` object.
214
 
        :param region: A string region name eg 'us-east-1'.
215
200
        """
216
201
        # This import breaks in the test environment.  Do it here so
217
202
        # that unit tests (which don't use this factory) can still
225
210
        from devscripts.ec2test.credentials import EC2Credentials
226
211
 
227
212
        assert isinstance(name, EC2SessionName)
 
213
        if instance_type not in AVAILABLE_INSTANCE_TYPES:
 
214
            raise ValueError('unknown instance_type %s' % (instance_type,))
228
215
 
229
216
        # We call this here so that it has a chance to complain before the
230
217
        # instance is started (which can take some time).
231
218
        user_key = get_user_key()
232
219
 
233
220
        if credentials is None:
234
 
            credentials = EC2Credentials.load_from_file(region_name=region)
 
221
            credentials = EC2Credentials.load_from_file()
235
222
 
236
223
        # Make the EC2 connection.
237
224
        account = credentials.connect(name)
259
246
            raise BzrCommandError(
260
247
                'you must have set your launchpad login in bzr.')
261
248
 
262
 
        instance = EC2Instance(
 
249
        return EC2Instance(
263
250
            name, image, instance_type, demo_networks, account,
264
 
            from_scratch, user_key, login, region)
265
 
        instance._credentials = credentials
266
 
        return instance
 
251
            from_scratch, user_key, login)
267
252
 
268
253
    def __init__(self, name, image, instance_type, demo_networks, account,
269
 
                 from_scratch, user_key, launchpad_login, region):
 
254
                 from_scratch, user_key, launchpad_login):
270
255
        self._name = name
271
256
        self._image = image
272
257
        self._account = account
276
261
        self._from_scratch = from_scratch
277
262
        self._user_key = user_key
278
263
        self._launchpad_login = launchpad_login
279
 
        self._region = region
280
264
 
281
265
    def log(self, msg):
282
266
        """Log a message on stdout, flushing afterwards."""
313
297
            self._ec2test_user_has_keys = False
314
298
        else:
315
299
            raise BzrCommandError(
316
 
                "failed to start: %s: %r\n" % (
317
 
                    self._boto_instance.state,
318
 
                    self._boto_instance.state_reason,
319
 
                    ))
 
300
                'failed to start: %s\n' % self._boto_instance.state)
320
301
 
321
302
    def shutdown(self):
322
303
        """Shut down the instance."""
325
306
            return
326
307
        self._boto_instance.update()
327
308
        if self._boto_instance.state not in ('shutting-down', 'terminated'):
328
 
            self.log("terminating %s..." % self._boto_instance)
329
 
            self._boto_instance.terminate()
 
309
            # terminate instance
 
310
            self._boto_instance.stop()
330
311
            self._boto_instance.update()
331
 
            self.log(" done\n")
332
312
        self.log('instance %s\n' % (self._boto_instance.state,))
333
313
 
334
314
    @property
341
321
        """Connect to the instance as `user`. """
342
322
        ssh = paramiko.SSHClient()
343
323
        ssh.set_missing_host_key_policy(AcceptAllPolicy())
344
 
        self.log('ssh connect to %s: ' % self.hostname)
345
324
        connect_args = {
346
325
            'username': username,
347
326
            'pkey': self.private_key,
348
327
            'allow_agent': False,
349
328
            'look_for_keys': False,
350
329
            }
351
 
        for count in range(20):
352
 
            caught_errors = (
353
 
                socket.error,
354
 
                paramiko.AuthenticationException,
355
 
                EOFError,
356
 
                )
 
330
        for count in range(10):
357
331
            try:
358
332
                ssh.connect(self.hostname, **connect_args)
359
 
            except caught_errors as e:
360
 
                self.log('.')
361
 
                not_connected = [
362
 
                    errno.ECONNREFUSED,
363
 
                    errno.ETIMEDOUT,
364
 
                    errno.EHOSTUNREACH,
365
 
                    ]
366
 
                if getattr(e, 'errno', None) not in not_connected:
367
 
                    self.log('ssh _connect: %r\n' % (e,))
 
333
            except (socket.error, paramiko.AuthenticationException), e:
 
334
                self.log('_connect: %r\n' % (e,))
368
335
                if count < 9:
369
336
                    time.sleep(5)
 
337
                    self.log('retrying...')
370
338
                else:
371
339
                    raise
372
340
            else:
373
341
                break
374
 
        self.log(' ok!\n')
375
342
        return EC2InstanceConnection(self, username, ssh)
376
343
 
377
344
    def _upload_local_key(self, conn, remote_filename):
433
400
                from_scratch_ec2test
434
401
                % {'launchpad-login': self._launchpad_login})
435
402
            self._from_scratch = False
436
 
            self.log('done running from_scratch setup\n')
437
403
            return conn
438
404
        self._ensure_ec2test_user_has_keys()
439
405
        return self._connect('ec2test')
527
493
                '%r must match a single %s file' % (pattern, file_kind))
528
494
        return matches[0]
529
495
 
530
 
    def check_bundling_prerequisites(self, name):
 
496
    def check_bundling_prerequisites(self, name, credentials):
531
497
        """Check, as best we can, that all the files we need to bundle exist.
532
498
        """
 
499
        if subprocess.call(['which', 'ec2-register']):
 
500
            raise BzrCommandError(
 
501
                '`ec2-register` command not found.  '
 
502
                'Try `sudo apt-get install ec2-api-tools`.')
533
503
        local_ec2_dir = os.path.expanduser('~/.ec2')
534
504
        if not os.path.exists(local_ec2_dir):
535
505
            raise BzrCommandError(
547
517
        # The bucket `name` needs to exist and be accessible. We create it
548
518
        # here to reserve the name. If the bucket already exists and conforms
549
519
        # to the above requirements, this is a no-op.
550
 
        #
551
 
        # The API for region creation is a little quirky: you apparently can't
552
 
        # explicitly ask for 'us-east-1' you must just say '', etc.
553
 
        location = self._credentials.region_name
554
 
        if location.startswith('us-east'):
555
 
            location = ''
556
 
        elif location.startswith('eu'):
557
 
            location = 'EU'
558
 
        self._credentials.connect_s3().create_bucket(
559
 
            name, location=location)
 
520
        credentials.connect_s3().create_bucket(name)
560
521
 
561
522
    def bundle(self, name, credentials):
562
523
        """Bundle, upload and register the instance as a new AMI.
563
524
 
564
 
        :param name: The name-to-be of the new AMI, eg 'launchpad-ec2test500'.
 
525
        :param name: The name-to-be of the new AMI.
565
526
        :param credentials: An `EC2Credentials` object.
566
527
        """
567
528
        connection = self.connect()
611
572
        mfilename = os.path.basename(manifest)
612
573
        manifest_path = os.path.join(name, mfilename)
613
574
 
614
 
        now = datetime.strftime(datetime.utcnow(), "%Y-%m-%d %H:%M:%S UTC")
615
 
        description = "launchpad ec2test created %s by %r on %s" % (
616
 
            now,
617
 
            os.environ.get('EMAIL', '<unknown>'),
618
 
            socket.gethostname())
619
 
 
620
 
        self.log('registering image: ')
621
 
        image_id = credentials.connect('bundle').conn.register_image(
622
 
            name=name,
623
 
            description=description,
624
 
            image_location=manifest_path,
625
 
            )
626
 
        self.log('ok\n')
627
 
        self.log('** new instance: %r\n' % (image_id,))
 
575
        env = os.environ.copy()
 
576
        if 'JAVA_HOME' not in os.environ:
 
577
            env['JAVA_HOME'] = '/usr/lib/jvm/default-java'
 
578
        cmd = [
 
579
            'ec2-register',
 
580
            '--private-key=%s' % self.local_pk,
 
581
            '--cert=%s' % self.local_cert,
 
582
            '--name=%s' % (name,),
 
583
            manifest_path,
 
584
            ]
 
585
        self.log("Executing command: %s" % ' '.join(cmd))
 
586
        subprocess.check_call(cmd, env=env)
628
587
 
629
588
 
630
589
class EC2InstanceConnection:
640
599
    def sftp(self):
641
600
        if self._sftp is None:
642
601
            self._sftp = self._ssh.open_sftp()
643
 
        if self._sftp is None:
644
 
            raise AssertionError("failed to open sftp connection")
645
602
        return self._sftp
646
603
 
647
604
    def perform(self, cmd, ignore_failure=False, out=None, err=None):