Что нового в Python 2.5¶

PEP 308: Условные выражения¶

В течение долгого времени люди искали способ написания условных выражений, которые возвращают значение A или значение B в зависимости от того, является ли логическое значение истинным или ложным. Условное выражение позволяет вам написать один оператор присваивания, который имеет тот же эффект, что и следующий:

if condition:
    x = true_value
else:
    x = false_value

Велись бесконечные утомительные дискуссии о синтаксисе как на python-dev, так и на comp.lang.python. Было даже проведено голосование, в ходе которого выяснилось, что большинство проголосовавших хотели бы использовать условные выражения в той или иной форме, но не было синтаксиса, который был бы предпочтителен для явного большинства. Среди кандидатов были буквы С cond ? true_v : false_v, if cond then true_v else false_v, и 16 других вариантов.

Гвидо ван Россум в конце концов выбрал удивительный синтаксис:

x = true_value if condition else false_value

Вычисление по-прежнему выполняется медленно, как и в существующих логических выражениях, поэтому порядок вычисления немного меняется. Выражение condition в середине вычисляется первым, а выражение true_value вычисляется только в том случае, если условие было истинным. Аналогично, выражение false_value вычисляется только в том случае, если условие равно false.

Этот синтаксис может показаться странным и задним числом; почему условие помещается в середину выражения, а не в начало, как в C c ? x : y? Решение было проверено путем применения нового синтаксиса к модулям стандартной библиотеки и просмотра того, как читается полученный код. Во многих случаях, когда используется условное выражение, одно значение, по-видимому, является «обычным случаем», а другое - «исключительным случаем», используемым только в редких случаях, когда условие не выполняется. Условный синтаксис делает этот шаблон немного более очевидным:

contents = ((doc + '\n') if doc else '')

Я прочитал приведенное выше утверждение как означающее «здесь contents обычно присваивается значение doc+'\n'; иногда doc пуст, и в этом особом случае возвращается пустая строка». Я сомневаюсь, что буду часто использовать условные выражения там, где нет четкого определения общего и необычного случая.

Обсуждался вопрос о том, должен ли язык требовать, чтобы условные выражения заключались в круглые скобки. Было принято решение не использовать круглые скобки в грамматике языка Python, но я думаю, что с точки зрения стиля вам всегда следует их использовать. Рассмотрим эти два утверждения:

# First version -- no parens
level = 1 if logging else 0

# Second version -- with parens
level = (1 if logging else 0)

В первой версии, я думаю, читатель мог бы сгруппировать оператор в «level = 1», «if logging», «else 0» и подумать, что условие определяет, будет ли выполнено присвоение level. На мой взгляд, вторая версия читается лучше, потому что в ней ясно дается понять, что присваивание выполняется всегда и выбор делается между двумя значениями.

Еще одна причина для включения скобок: несколько странных комбинаций значений списка и лямбд могут выглядеть как некорректные условные выражения. Некоторые примеры приведены в PEP 308. Если вы заключите свои условные выражения в круглые скобки, вы не столкнетесь с таким случаем.

PEP 309: Частичное применение функций¶

Модуль functools предназначен для того, чтобы содержать инструменты для программирования в функциональном стиле.

Одним из полезных инструментов в этом модуле является функция partial(). Для программ, написанных в функциональном стиле, иногда может потребоваться создать варианты существующих функций, в которых будут заполнены некоторые параметры. Рассмотрим функцию Python f(a, b, c); вы могли бы создать новую функцию g(b, c), которая была бы эквивалентна f(1, b, c). Это называется «применение частичной функции».

partial() принимает аргументы (function, arg1, arg2, ... kwarg1=value1, kwarg2=value2). Результирующий объект доступен для вызова, поэтому вы можете просто вызвать его, чтобы вызвать функцию с заполненными аргументами.

Вот небольшой, но реалистичный пример:

import functools

def log (message, subsystem):
    "Write the contents of 'message' to the specified subsystem."
    print '%s: %s' % (subsystem, message)
    ...

server_log = functools.partial(log, subsystem='server')
server_log('Unable to open socket')

Вот еще один пример из программы, использующей PyGTK. Здесь динамически создается контекстно-зависимое всплывающее меню. Обратный вызов, предусмотренный для опции меню, является частично примененной версией метода open_item(), в котором был указан первый аргумент.

...
class Application:
    def open_item(self, path):
       ...
    def init (self):
        open_func = functools.partial(self.open_item, item_path)
        popup_menu.append( ("Open", open_func, 1) )

Другой функцией в модуле functools является функция update_wrapper(wrapper, wrapped), которая помогает вам создавать корректные декораторы. update_wrapper() копирует имя, модуль и атрибут docstring в функцию-оболочку, чтобы упростить понимание обратной трассировки внутри функции-оболочки. Например, вы можете написать:

def my_decorator(f):
    def wrapper(*args, **kwds):
        print 'Calling decorated function'
        return f(*args, **kwds)
    functools.update_wrapper(wrapper, f)
    return wrapper

wraps() - это декоратор, который можно использовать внутри ваших собственных декораторов для копирования информации о обернутой функции. Альтернативной версией предыдущего примера может быть:

def my_decorator(f):
    @functools.wraps(f)
    def wrapper(*args, **kwds):
        print 'Calling decorated function'
        return f(*args, **kwds)
    return wrapper

PEP 314: Метаданные для пакетов программного обеспечения Python версии 1.1¶

В Distutils была добавлена простая поддержка зависимостей. Функция setup() теперь имеет параметры ключевых слов requires, provides, и obsoletes. Когда вы создаете исходный код дистрибутива с помощью команды sdist, информация о зависимостях будет записана в файл PKG-INFO.

Другим новым параметром ключевого слова является download_url, который должен быть установлен в качестве URL-адреса для исходного кода пакета. Это означает, что теперь можно искать запись в индексе пакета, определять зависимости для пакета и загружать необходимые пакеты.

VERSION = '1.0'
setup(name='PyPackage',
      version=VERSION,
      requires=['numarray', 'zlib (>=1.1.4)'],
      obsoletes=['OldPackage']
      download_url=('http://www.example.com/pypackage/dist/pkg-%s.tar.gz'
                    % VERSION),
     )

Еще одно новое усовершенствование в индексе пакетов Python по адресу https://pypi.org - это хранение исходных текстов и двоичных архивов для пакета. Новая команда upload Distutils загрузит пакет в репозиторий.

Перед загрузкой пакета вы должны иметь возможность создать дистрибутив с помощью команды sdist Distutils. Как только это сработает, вы можете запустить python setup.py upload, чтобы добавить свой пакет в архив PyPI. При желании вы можете подписать пакет GPG-подписью, указав параметры --sign и --identity.

Загрузка пакетов была осуществлена Мартином фон Левисом и Ричардом Джонсом.

PEP 328: Абсолютный и относительный импорт¶

Более простая часть PEP 328 была реализована в Python 2.4: теперь можно использовать круглые скобки для заключения имен, импортированных из модуля с помощью инструкции from ... import ..., что упрощает импорт множества различных имен.

Более сложная часть была реализована в Python 2.5: при импорте модуля можно указать, что он использует абсолютный импорт или импорт, относящийся к пакету. Планируется, что в будущих версиях Python абсолютный импорт будет использоваться по умолчанию.

Допустим, у вас есть такой каталог пакетов, как этот:

pkg/
pkg/__init__.py
pkg/main.py
pkg/string.py

Это определяет пакет с именем pkg, содержащий подмодули pkg.main и pkg.string.

Рассмотрим код в модуле main.py. Что произойдет, если он выполнит инструкцию import string? В Python 2.4 и более ранних версиях сначала выполняется поиск в каталоге пакета для выполнения относительного импорта, находит pkg/string.py, импортирует содержимое этого файла как модуль pkg.string, и этот модуль привязывается к имени string в пространстве имен модуля pkg.main.

Это нормально, если вы хотели pkg.string. Но что, если вам нужен стандартный модуль string для Python? Не существует простого способа игнорировать pkg.string и искать стандартный модуль; как правило, вам приходилось просматривать содержимое sys.modules, которое немного нечетко. Пакет Holger Krekel py.std предоставляет более удобный способ выполнения импорта из стандартной библиотеки import py; py.std.string.join(), но этот пакет доступен не во всех установках Python.

Чтение кода, основанного на относительном импорте, также менее понятно, поскольку читатель может запутаться в том, какой модуль, string или pkg.string, предназначен для использования. Пользователи Python вскоре научились не дублировать названия стандартных библиотечных модулей в названиях подмодулей своих пакетов, но вы не можете защититься от того, что имя вашего подмодуля будет использовано для нового модуля, добавленного в будущую версию Python.

В Python 2.5 вы можете переключить поведение import на абсолютный импорт, используя директиву from __future__ import absolute_import. Это поведение при абсолютном импорте станет стандартным в будущей версии (вероятно, в Python 2.7). Как только абсолютный импорт будет установлен по умолчанию, import string всегда будет доступна версия стандартной библиотеки. Рекомендуется, чтобы пользователи как можно чаще использовали абсолютный импорт, поэтому предпочтительнее начать с написания from pkg import string в вашем коде.

Относительный импорт по-прежнему возможен путем добавления начальной точки к названию модуля при использовании формы from ... import:

# Import names from pkg.string
from .string import name1, name2
# Import pkg.string
from . import string

Это импортирует модуль string относительно текущего пакета, поэтому в pkg.main будут импортированы name1 и name2 из pkg.string. Дополнительные начальные точки выполняют относительный импорт, начиная с родительского элемента текущего пакета. Например, код в модуле A.B.C может выполнять:

from . import D                 # Imports A.B.D
from .. import E                # Imports A.E
from ..F import G               # Imports A.F.G

Начальные точки нельзя использовать с формой import modname инструкции по импорту, только с формой from ... import.

PEP 338: Выполнение модулей в виде сценариев¶

Переключатель -m, добавленный в Python 2.4 для выполнения модуля в виде сценария, получил еще несколько возможностей. Вместо того, чтобы быть реализованным в коде на C внутри интерпретатора Python, переключатель теперь использует реализацию в новом модуле, runpy.

Модуль runpy реализует более сложный механизм импорта, так что теперь можно запускать модули в пакете, таком как pychecker.checker. Модуль также поддерживает альтернативные механизмы импорта, такие как модуль zipimport. Это означает, что вы можете добавить путь к zip-архиву в sys.path, а затем использовать переключатель -m для выполнения кода из архива.

PEP 341: Единая попытка/исключение/окончательно¶

До версии Python 2.5 оператор try существовал в двух вариантах. Вы могли бы использовать блок finally, чтобы гарантировать постоянное выполнение кода, или один или несколько блоков except для перехвата определенных исключений. Вы не могли объединить оба блока except и блок finally, потому что генерация правильного байт-кода для объединенной версии была сложной, и было неясно, какой должна быть семантика объединенного оператора.

Гвидо ван Россум некоторое время работал с Java, которая поддерживает эквивалент объединения блоков except и блока finally, и это прояснило, что должен означать оператор. В Python 2.5 теперь вы можете написать:

try:
    block-1 ...
except Exception1:
    handler-1 ...
except Exception2:
    handler-2 ...
else:
    else-block
finally:
    final-block

Выполняется код в блоке-1. Если код генерирует исключение, проверяются различные блоки except: если исключение относится к классу Exception1, выполняется обработчик-1; в противном случае, если оно относится к классу Exception2, обработчик-2 выполняется и так далее. Если исключение не возникает, выполняется else-block.

Независимо от того, что произошло ранее, final-block выполняется после завершения блока кода и обработки всех возникших исключений. Даже если в обработчике исключений или в else-block произошла ошибка и возникло новое исключение, код в final-block все равно выполняется.

PEP 342: Новые возможности генератора¶

В Python 2.5 добавлен простой способ передачи значений в генератор. Как и в Python 2.3, генераторы генерируют только выходные данные; как только код генератора был вызван для создания итератора, не было возможности передать какую-либо новую информацию в функцию при возобновлении ее выполнения. Иногда была бы полезна возможность передавать некоторую информацию. Хакерские решения для этого включают в себя просмотр кода генератора в глобальной переменной и последующее изменение значения глобальной переменной или передачу некоторого изменяемого объекта, который затем модифицируют вызывающие программы.

Чтобы освежить в вашей памяти базовые генераторы, вот простой пример:

def counter (maximum):
    i = 0
    while i < maximum:
        yield i
        i += 1

Когда вы вызываете counter(10), результатом является итератор, который возвращает значения от 0 до 9. При обнаружении инструкции yield итератор возвращает указанное значение и приостанавливает выполнение функции, сохраняя локальные переменные. Выполнение возобновляется при следующем вызове метода итератора next(), который выполняется после инструкции yield.

В Python 2.3 yield был оператором; он не возвращал никакого значения. В версии 2.5 yield теперь является выражением, возвращающим значение, которое может быть присвоено переменной или с которым можно работать иным образом:

val = (yield i)

Я рекомендую вам всегда заключать выражение yield в круглые скобки, когда вы что-то делаете с возвращаемым значением, как в приведенном выше примере. Круглые скобки не всегда необходимы, но проще всегда добавлять их, вместо того чтобы вспоминать, когда они понадобятся.

(PEP 342 объясняет точные правила, которые заключаются в том, что yield-выражение всегда должно быть заключено в круглые скобки, за исключением случаев, когда оно встречается в выражении верхнего уровня в правой части присваивания. Это означает, что вы можете написать val = yield i, но должны использовать круглые скобки при выполнении операции, как в val = (yield i) + 12.)

Значения передаются в генератор путем вызова его метода send(value). Затем код генератора возобновляется, и выражение yield возвращает указанное значение. Если вызывается обычный метод next(), то метод yield возвращает None.

Вот предыдущий пример, измененный таким образом, чтобы можно было изменять значение внутреннего счетчика.

def counter (maximum):
    i = 0
    while i < maximum:
        val = (yield i)
        # If value provided, change counter
        if val is not None:
            i = val
        else:
            i += 1

А вот пример замены счетчика:

>>> it = counter(10)
>>> print it.next()
0
>>> print it.next()
1
>>> print it.send(8)
8
>>> print it.next()
9
>>> print it.next()
Traceback (most recent call last):
  File "t.py", line 15, in ?
    print it.next()
StopIteration

yield обычно возвращает None, поэтому вы всегда должны проверять наличие этого параметра. Не используйте его значение в выражениях, если только вы не уверены, что метод send() будет единственным методом, используемым для возобновления работы вашего генератора.

В дополнение к send(), в генераторах есть еще два новых метода:

• throw(type, value=None, traceback=None) используется для создания исключения внутри генератора; исключение создается выражением yield, при котором выполнение генератора приостанавливается.

• close() генерирует новое исключение GeneratorExit внутри генератора, чтобы завершить итерацию. При получении этого исключения код генератора должен либо вызвать GeneratorExit, либо StopIteration. Перехват исключения GeneratorExit и возврат значения недопустимы и вызовут RuntimeError; если функция вызывает какое-либо другое исключение, это исключение передается вызывающей стороне. close() также будет вызываться сборщиком мусора Python при сборке мусора генератором.

  Если вам нужно запустить код очистки при возникновении GeneratorExit, я предлагаю использовать набор try: ... finally: вместо перехвата GeneratorExit.

Совокупный эффект этих изменений заключается в том, что они превращают генераторов из односторонних производителей информации в производителей и потребителей одновременно.

Генераторы также становятся «сопрограммами», более обобщенной формой подпрограмм. Подпрограммы вводятся в одной точке и завершаются в другой (начало функции и оператор return), но сопрограммы могут вводиться, завершаться и возобновляться в разных точках (операторы yield). Нам нужно будет разработать шаблоны для эффективного использования сопрограмм в Python.

Добавление метода close() имеет один побочный эффект, который не очевиден. close() вызывается, когда генератор собирает мусор, поэтому это означает, что код генератора получает последний шанс на запуск перед уничтожением генератора. Этот последний шанс означает, что теперь можно гарантировать работу операторов try...finally в генераторах; предложение finally теперь всегда будет иметь шанс на выполнение. Таким образом, синтаксическое ограничение, согласно которому вы не могли смешивать yield операторов с набором try...finally, было снято. Это кажется незначительной языковой проблемой, но использование генераторов и try...finally на самом деле необходимо для реализации инструкции with, описанной в PEP 343. Я рассмотрю эту новую инструкцию в следующем разделе.

Еще один, еще более загадочный эффект этого изменения: ранее атрибутом gi_frame генератора всегда был объект frame. Теперь gi_frame может быть None, как только генератор будет исчерпан.

PEP 343: Утверждение «with»¶

Оператор „with разъясняет код, который ранее использовал блоки try...finally для обеспечения выполнения кода очистки. В этом разделе я обсудим этот оператор в том виде, в каком он будет часто использоваться. В следующем разделе я рассмотрю детали реализации и покажу, как писать объекты для использования с этим оператором.

Оператор „with“ представляет собой новую структуру потока управления, базовая структура которой:

with expression [as variable]:
    with-block

Вычисляется выражение, и в результате должен быть создан объект, поддерживающий протокол управления контекстом (то есть имеющий методы __enter__() и __exit__()).

Объект __enter__() вызывается перед выполнением with-block и, следовательно, может запускать установочный код. Он также может возвращать значение, привязанное к имени переменной, если оно задано. (Внимательно обратите внимание, что переменной не присваивается результат выражения.)

После завершения выполнения with-block вызывается метод объекта __exit__(), даже если блок вызвал исключение, и, следовательно, может быть запущен код очистки.

Чтобы включить эту инструкцию в Python 2.5, вам нужно добавить в свой модуль следующую директиву:

from __future__ import with_statement

Этот оператор всегда будет включен в Python 2.6.

Некоторые стандартные объекты Python теперь поддерживают протокол управления контекстом и могут использоваться с инструкцией «with». Одним из примеров являются файловые объекты:

with open('/etc/passwd', 'r') as f:
    for line in f:
        print line
        ... more processing code ...

После выполнения этой инструкции файловый объект в f будет автоматически закрыт, даже если цикл for вызвал исключение на полпути через блок.

Блокировки модуля threading и переменные условий также поддерживают оператор „with“:

lock = threading.Lock()
with lock:
    # Critical section of code
    ...

Блокировка вводится перед выполнением блока и всегда снимается после завершения блока.

Новая функция localcontext() в модуле decimal упрощает сохранение и восстановление текущего десятичного контекста, который обеспечивает требуемую точность и округление значений для вычислений:

from decimal import Decimal, Context, localcontext

# Displays with default precision of 28 digits
v = Decimal('578')
print v.sqrt()

with localcontext(Context(prec=16)):
    # All code in this block uses a precision of 16 digits.
    # The original context is restored on exiting the block.
    print v.sqrt()

db_connection = DatabaseConnection()
with db_connection as cursor:
    cursor.execute('insert into ...')
    cursor.execute('delete from ...')
    # ... more operations ...

class DatabaseConnection:
    # Database interface
    def cursor (self):
        "Returns a cursor object and starts a new transaction"
    def commit (self):
        "Commits current transaction"
    def rollback (self):
        "Rolls back current transaction"

class DatabaseConnection:
    ...
    def __enter__ (self):
        # Code to start a new transaction
        cursor = self.cursor()
        return cursor

class DatabaseConnection:
    ...
    def __exit__ (self, type, value, tb):
        if tb is None:
            # No exception, so commit
            self.commit()
        else:
            # Exception occurred, so rollback.
            self.rollback()
            # return False

from contextlib import contextmanager

@contextmanager
def db_transaction (connection):
    cursor = connection.cursor()
    try:
        yield cursor
    except:
        connection.rollback()
        raise
    else:
        connection.commit()

db = DatabaseConnection()
with db_transaction(db) as cursor:
    ...

lock = threading.Lock()
with nested (db_transaction(db), lock) as (cursor, locked):
    ...

import urllib, sys
from contextlib import closing

with closing(urllib.urlopen('http://www.yahoo.com')) as f:
    for line in f:
        sys.stdout.write(line)

PEP 352: Исключения как классы нового стиля¶

Классы исключений теперь могут быть классами нового стиля, а не только классическими классами, а встроенный класс Exception и все стандартные встроенные исключения (NameError, ValueError, и т.д.) Теперь являются классами нового стиля.

Иерархия наследования исключений была немного изменена. В версии 2.5 отношения наследования представлены следующим образом:

BaseException       # New in Python 2.5
|- KeyboardInterrupt
|- SystemExit
|- Exception
   |- (all other current built-in exceptions)

Эта перестановка была произведена потому, что люди часто хотят перехватывать все исключения, указывающие на программные ошибки. Однако KeyboardInterrupt и SystemExit не являются ошибками и обычно представляют собой явное действие, такое как нажатие пользователем Control-C или вызов кода sys.exit(). Простое except: перехватит все исключения, поэтому вам обычно нужно перечислить KeyboardInterrupt и SystemExit, чтобы повторно вызвать их. Обычная схема такова:

try:
    ...
except (KeyboardInterrupt, SystemExit):
    raise
except:
    # Log error...
    # Continue running program...

В Python 2.5 теперь вы можете написать except Exception для достижения того же результата, перехватывая все исключения, которые обычно указывают на ошибки, но оставляя KeyboardInterrupt и SystemExit в покое. Как и в предыдущих версиях, простой except: по-прежнему перехватывает все исключения.

Цель Python 3.0 - потребовать, чтобы любой класс, созданный в качестве исключения, производился от BaseException или какого-либо потомка BaseException, и в будущих версиях серии Python 2.x может начаться применение этого ограничения. Поэтому я предлагаю вам начать создавать все ваши классы исключений производными от Exception прямо сейчас. Было высказано предположение, что в Python 3.0 следует удалить пустую форму except:, но Гвидо ван Россум еще не решил, делать это или нет.

Использование строк в качестве исключений, как в инструкции raise "Error occurred", устарело в Python 2.5 и вызовет предупреждение. Цель состоит в том, чтобы иметь возможность удалить функцию исключения строк в нескольких версиях.

PEP 353: Использование ssize_t в качестве типа индекса¶

Масштабное изменение C API Python с использованием нового определения типа Py_ssize_t вместо int позволит интерпретатору обрабатывать больше данных на 64-разрядных платформах. Это изменение не влияет на производительность Python на 32-разрядных платформах.

Различные части интерпретатора Python использовали тип C int для хранения размеров или количества; например, количество элементов в списке или кортеже сохранялось в виде int. Компиляторы C для большинства 64-разрядных платформ по-прежнему определяют int как 32-разрядный тип, что означает, что списки могут содержать только 2**31 - 1 = 2147483647 элементов. (На самом деле существует несколько различных моделей программирования, которые могут использовать 64-разрядные компиляторы C - см. https://unix.org/version2/whatsnew/lp64_wp.html для обсуждения - но наиболее распространенная модель оставляет: c:expr:int 32-разрядным.)

Ограничение в 2147483647 элементов на самом деле не имеет значения на 32-разрядной платформе, потому что у вас закончится память до достижения предела длины. Для каждого элемента списка требуется пространство для указателя, которое составляет 4 байта, плюс пространство для символа PyObject, представляющего элемент. 2147483647*4 - это уже больше байт, чем может содержать 32-разрядное адресное пространство.

Однако на 64-разрядной платформе можно использовать такой объем памяти. Указатели для списка такого размера потребовали бы всего 16 гигабайт свободного пространства, поэтому нет ничего удивительного в том, что программисты на Python могут создавать списки такого размера. Поэтому интерпретатор Python пришлось изменить, чтобы использовать какой-либо другой тип, отличный от int, и это будет 64-разрядный тип на 64-разрядных платформах. Это изменение приведет к несовместимости на 64-разрядных компьютерах, поэтому было сочтено целесообразным осуществить переход сейчас, пока число пользователей 64-разрядных систем все еще относительно невелико. (Возможно, через 5 или 10 лет мы все перейдем на 64-разрядные компьютеры, и тогда переход будет более болезненным.)

Это изменение наиболее сильно затрагивает авторов модулей расширения C. Строки и типы контейнеров Python, такие как списки и кортежи, теперь используют Py_ssize_t для сохранения своего размера. Такие функции, как PyList_Size(), теперь возвращают Py_ssize_t. Поэтому в коде модулей расширения может потребоваться изменить некоторые переменные на Py_ssize_t.

Функции PyArg_ParseTuple() и Py_BuildValue() имеют новый код преобразования, n, для Py_ssize_t. PyArg_ParseTuple()-это s# и t# по-прежнему выводят int по умолчанию, но вы можете определить макрос PY_SSIZE_T_CLEAN перед включением Python.h, чтобы они возвращали Py_ssize_t.

PEP 353 содержит раздел о рекомендациях по преобразованию, который авторы расширений должны прочитать, чтобы узнать о поддержке 64-разрядных платформ.

PEP 357: Метод «__index__»¶

Разработчики NumPy столкнулись с проблемой, которую можно было решить, только добавив новый специальный метод, __index__(). При использовании записи фрагментов, как в [start:stop:step], значения индексов start, stop и step должны быть либо целыми числами, либо длинными целыми числами. NumPy определяет множество специализированных целочисленных типов, соответствующих целым числам без знака и со знаковым значением 8, 16, 32 и 64 бит, но не было способа указать, что эти типы могут использоваться в качестве индексов срезов.

При нарезке нельзя просто использовать существующий метод __int__(), потому что этот метод также используется для приведения к целочисленным значениям. Если бы при нарезке использовалось __int__(), числа с плавающей запятой также стали бы допустимыми индексами среза, а это явно нежелательное поведение.

Вместо этого был добавлен новый специальный метод, называемый __index__(). Он не принимает аргументов и возвращает целое число, задающее индекс среза для использования. Например:

class C:
    def __index__ (self):
        return self.value

Возвращаемое значение должно быть либо целым числом Python, либо длинным целым числом. Интерпретатор проверит правильность возвращаемого типа и выдаст TypeError, если это требование не выполнено.

Соответствующий слот nb_index был добавлен в структуру C-level PyNumberMethods, чтобы позволить расширениям C реализовать этот протокол. PyNumber_Index(obj) может использоваться в коде расширения для вызова функции __index__() и получения ее результата.

Другие языковые изменения¶

Вот все изменения, которые Python 2.5 вносит в основной язык Python.

• В типе dict добавлена новая функция, позволяющая подклассам предоставлять значение по умолчанию, когда ключ не содержится в словаре. Когда ключ не найден, будет вызван метод dictionary __missing__(key). Этот хук используется для реализации нового класса defaultdict в модуле collections. В следующем примере определяется словарь, который возвращает ноль для любого отсутствующего ключа:

  class zerodict (dict):
      def __missing__ (self, key):
          return 0
  
  d = zerodict({1:1, 2:2})
  print d[1], d[2]   # Prints 1, 2
  print d[3], d[4]   # Prints 0, 0
  

• Как в 8-разрядных строках, так и в Юникоде есть новые методы partition(sep) и rpartition(sep), которые упрощают общий вариант использования.

  Метод find(S) часто используется для получения индекса, который затем используется для разрезания строки и получения фрагментов, которые находятся до и после разделителя. partition(sep) объединяет этот шаблон в один вызов метода, который возвращает кортеж из 3 элементов, содержащий подстроку перед разделителем, сам разделитель и подстрока после разделителя. Если разделитель не найден, то первым элементом кортежа будет вся строка целиком, а два других элемента будут пустыми. rpartition(sep) также возвращает кортеж из 3 элементов, но начинает поиск с конца строки; r означает «обратный».

  Вот несколько примеров:

  >>> ('http://www.python.org').partition('://')
  ('http', '://', 'www.python.org')
  >>> ('file:/usr/share/doc/index.html').partition('://')
  ('file:/usr/share/doc/index.html', '', '')
  >>> (u'Subject: a quick question').partition(':')
  (u'Subject', u':', u' a quick question')
  >>> 'www.python.org'.rpartition('.')
  ('www.python', '.', 'org')
  >>> 'www.python.org'.rpartition(':')
  ('', '', 'www.python.org')
  

  (Реализовано Фредриком Лундом по предложению Раймонда Хеттингера.)

• Методы startswith() и endswith() типов string теперь принимают кортежи строк для проверки.

  def is_image_file (filename):
      return filename.endswith(('.gif', '.jpg', '.tiff'))
  

  (Реализовано Георгом Брандлом по предложению Тома Линна.)

• Встроенные функции min() и max() получили параметр ключевого слова key, аналогичный аргументу key для sort(). Этот параметр предоставляет функцию, которая принимает один аргумент и вызывается для каждого значения в списке; min()/max() возвращает элемент с наименьшим/наибольшим возвращаемым значением из этой функции. Например, чтобы найти самую длинную строку в списке, вы можете сделать:

  L = ['medium', 'longest', 'short']
  # Prints 'longest'
  print max(L, key=len)
  # Prints 'short', because lexicographically 'short' has the largest value
  print max(L)
  

  (Авторы: Стивен Бетхард и Рэймонд Хеттингер.)

• Две новые встроенные функции, any() и all(), оценивают, содержит ли итератор какие-либо истинные или ложные значения. any() возвращает True, если любое значение, возвращаемое итератором, равно true; в противном случае оно вернет False. all() возвращает True только в том случае, если все значения, возвращаемые итератором, оцениваются как true. (Предложено Гвидо ван Россумом и реализовано Раймондом Хеттингером).

• Результатом выполнения метода класса __hash__() теперь может быть либо длинное целое число, либо обычное целое число. Если возвращается длинное целое число, берется хэш этого значения. В более ранних версиях хэш-значение должно было быть обычным целым числом, но в версии 2.5 встроенный параметр id() был изменен, чтобы всегда возвращать неотрицательные числа, и пользователи часто используют методы id(self) в __hash__(). (хотя это и не приветствуется).

• ASCII теперь является кодировкой по умолчанию для модулей. Теперь синтаксическая ошибка возникает, если модуль содержит строковые литералы с 8-разрядными символами, но не имеет описания кодировки. В Python 2.4 это вызвало предупреждение, а не синтаксическую ошибку. Смотрите PEP 263, чтобы узнать, как объявить кодировку модуля; например, вы можете добавить строку, подобную этой, в начало исходного файла:

  # -*- coding: latin1 -*-
  

• Новое предупреждение UnicodeWarning выдается при попытке сравнить строку в Юникоде и 8-разрядную строку, которая не может быть преобразована в Юникод с использованием кодировки ASCII по умолчанию. Результат сравнения - false:

  >>> chr(128) == unichr(128)   # Can't convert chr(128) to Unicode
  __main__:1: UnicodeWarning: Unicode equal comparison failed
    to convert both arguments to Unicode - interpreting them
    as being unequal
  False
  >>> chr(127) == unichr(127)   # chr(127) can be converted
  True
  

  Ранее это вызывало бы исключение UnicodeDecodeError, но в версии 2.5 это могло привести к загадочным проблемам при доступе к словарю. Если бы вы посмотрели unichr(128) и в качестве ключа использовался chr(128), вы бы получили исключение UnicodeDecodeError. Другие изменения в версии 2.5 привели к тому, что это исключение было вызвано, а не подавлено кодом в dictobject.c, который реализует словари.

  Создание исключения для такого сравнения строго корректно, но это изменение могло привести к нарушению кода, поэтому вместо этого было введено UnicodeWarning.

  (Реализовано Марком-Андре Лембургом.)

• Одна из ошибок, которую иногда допускают программисты на Python, заключается в том, что они забывают включить модуль __init__.py в каталог пакетов. Отладка этой ошибки может привести к путанице и обычно требует запуска Python с переключателем -v для регистрации всех найденных путей. В Python 2.5 появляется новое предупреждение ImportWarning, когда при импорте каталог должен был быть выбран как пакет, но не был найден __init__.py. По умолчанию это предупреждение игнорируется автоматически; укажите параметр -Wd при запуске исполняемого файла Python, чтобы отобразить предупреждающее сообщение. (Реализовано Томасом Ваутерсом).

• Список базовых классов в определении класса теперь может быть пустым. Например, теперь это разрешено:

  class C():
      pass
  

  (Реализовано Бреттом Кэнноном.)

>>> quit
'Use Ctrl-D (i.e. EOF) to exit.'

Новые, улучшенные и удаленные модули¶

В Python 2.5 стандартная библиотека получила множество улучшений и исправлений ошибок. Вот неполный список наиболее заметных изменений, отсортированных в алфавитном порядке по названию модуля. Обратитесь к файлу Misc/NEWS в дереве исходного кода для получения более полного списка изменений или просмотрите журналы SVN для получения всех подробностей.

• Модуль audioop теперь поддерживает кодировку a-LAW, а код для кодировки u-LAW был улучшен. (Автор: Ларс Иммиш.)

• Модуль codecs получил поддержку инкрементных кодеков. Функция codec.lookup() теперь возвращает экземпляр CodecInfo вместо кортежа. Экземпляры CodecInfo ведут себя как кортеж из 4 элементов для сохранения обратной совместимости, но также имеют атрибуты encode, decode, incrementalencoder, incrementaldecoder, streamwriter, и streamreader. Инкрементные кодеки могут получать входные данные и выдавать выходные данные несколькими блоками; выходные данные будут такими же, как если бы все входные данные были переданы в неинкрементный кодек. Подробности см. в документации по модулю codecs. (Разработан и внедрен Вальтером Дервальдом.)

• Модуль collections получил новый тип, defaultdict, который является подклассом стандартного типа dict. Новый тип в основном ведет себя как словарь, но создает значение по умолчанию, когда ключ отсутствует, автоматически добавляя его в словарь для запрашиваемого значения ключа.

  Первый аргумент конструктора defaultdict - это фабричная функция, которая вызывается всякий раз, когда запрашивается ключ, но он не найден. Эта фабричная функция не принимает аргументов, поэтому вы можете использовать встроенные конструкторы типов, такие как list() или int(). Например, вы можете создать индекс слов на основе их начальной буквы следующим образом:

  words = """Nel mezzo del cammin di nostra vita
  mi ritrovai per una selva oscura
  che la diritta via era smarrita""".lower().split()
  
  index = defaultdict(list)
  
  for w in words:
      init_letter = w[0]
      index[init_letter].append(w)
  

  Печать index приводит к следующему результату:

  defaultdict(<type 'list'>, {'c': ['cammin', 'che'], 'e': ['era'],
          'd': ['del', 'di', 'diritta'], 'm': ['mezzo', 'mi'],
          'l': ['la'], 'o': ['oscura'], 'n': ['nel', 'nostra'],
          'p': ['per'], 's': ['selva', 'smarrita'],
          'r': ['ritrovai'], 'u': ['una'], 'v': ['vita', 'via']}
  

  (Автор: Гвидо ван Россум.)

• Тип двусторонней очереди deque, предоставляемый модулем collections, теперь имеет метод remove(value), который удаляет первое вхождение value в очередь, вызывая ValueError, если значение не указано в очереди.не найден. (Автор - Раймонд Хеттингер.)

• Новый модуль: Модуль contextlib содержит вспомогательные функции для использования с новой инструкцией „with. Подробнее об этом модуле смотрите в разделе Модуль contextlib.

• Новый модуль: Модуль cProfile является реализацией на языке Си существующего модуля profile, который имеет гораздо меньшие накладные расходы. Интерфейс модуля такой же, как у profile: вы запускаете cProfile.run('main()') для профилирования функции, можете сохранить данные профиля в файл и т.д. Пока неизвестно, будет ли по-прежнему поддерживаться профилировщик Hotshot, который также написан на C, но не соответствует интерфейсу модуля profile, в будущих версиях Python. (Автор Армин Риго).

  Кроме того, модуль pstats для анализа данных, измеренных профилировщиком, теперь поддерживает направление выходных данных в любой файловый объект, предоставляя аргумент stream конструктору Stats. (Добавлено Скипом Монтанаро).

• Модуль csv, который обрабатывает файлы в формате значений, разделенных запятыми, получил несколько улучшений и исправлений ошибок. Теперь вы можете задать максимальный размер поля в байтах, вызвав функцию csv.field_size_limit(new_limit); если опустить аргумент new_limit, будет возвращено текущее установленное ограничение. Класс reader теперь имеет атрибут line_num, который подсчитывает количество физических строк, считываемых из источника; записи могут занимать несколько физических строк, поэтому line_num не совпадает с количеством прочитанных записей.

  Синтаксический анализатор CSV теперь более строго относится к многострочным полям, заключенным в кавычки. Ранее, если строка заканчивалась внутри поля, заключенного в кавычки, без завершающего символа новой строки, в возвращаемое поле вставлялась новая строка. Такое поведение вызывало проблемы при чтении файлов, содержащих символы возврата каретки в полях, поэтому код был изменен таким образом, чтобы возвращать поле без вставки новых строк. Как следствие, если новые строки, встроенные в поля, важны, вводимые данные следует разбить на строки таким образом, чтобы сохранить символы новой строки.

  (Авторы - Скип Монтанаро и Эндрю Макнамара.)

• Класс datetime в модуле datetime теперь имеет метод strptime(string, format) для синтаксического анализа строк даты, разработанный Джошем Споерри. В нем используются символы того же формата, что и time.strptime() и time.strftime():

  from datetime import datetime
  
  ts = datetime.strptime('10:13:15 2006-03-07',
                         '%H:%M:%S %Y-%m-%d')
  

• Метод SequenceMatcher.get_matching_blocks() в модуле difflib теперь гарантирует получение минимального списка блоков, описывающих совпадающие подпоследовательности. Ранее алгоритм иногда разбивал блок совпадающих элементов на две записи списка. (Усовершенствование Тима Питерса).

• Модуль doctest получил опцию SKIP, которая вообще запрещает выполнение примера. Это предназначено для фрагментов кода, которые являются примерами использования, предназначенными для читателя, и на самом деле не являются тестовыми примерами.

  В функцию testfile() и класс DocFileSuite был добавлен параметр encoding для указания кодировки файла. Это упрощает использование символов, отличных от ASCII, в тестах, содержащихся в строке документации. (Автор: Бьорн Тиллениус.)

• Пакет email был обновлен до версии 4.0. (автор - Барри Уоршоу).

• Модуль fileinput был сделан более гибким. Теперь поддерживаются имена файлов в юникоде, а в функцию input() добавлен параметр mode, значение которого по умолчанию равно "r", позволяющий открывать файлы в двоичном или universal newlines режиме. Другой новый параметр, openhook, позволяет использовать функцию, отличную от open(), для открытия входных файлов. После того, как вы выполните итерацию по набору файлов, объект FileInput new fileno() возвращает файловый дескриптор для текущего открытого файла. (Автор: Георг Брандл.)

• В модуле gc новая функция get_count() возвращает кортеж из 3 элементов, содержащий текущие значения коллекции для трех поколений GC. Это учетная информация для сборщика мусора; когда эти значения достигнут заданного порогового значения, будет произведена проверка сбора мусора. Существующая функция gc.collect() теперь принимает необязательный аргумент generation, равный 0, 1 или 2, чтобы указать, какое поколение собирать. (Автор: Барри Уоршоу.)

• Функции nsmallest() и nlargest() в модуле heapq теперь поддерживают параметр ключевого слова key, аналогичный параметру, предоставляемому функциями min()/max() и методами sort(). Например:

  >>> import heapq
  >>> L = ["short", 'medium', 'longest', 'longer still']
  >>> heapq.nsmallest(2, L)  # Return two lowest elements, lexicographically
  ['longer still', 'longest']
  >>> heapq.nsmallest(2, L, key=len)   # Return two shortest elements
  ['short', 'medium']
  

  (Автор - Раймонд Хеттингер.)

• Функция itertools.islice() теперь принимает None в качестве аргументов start и step. Это делает ее более совместимой с атрибутами объектов slice, так что теперь вы можете написать следующее:

  s = slice(5)     # Create slice object
  itertools.islice(iterable, s.start, s.stop, s.step)
  

  (Автор - Раймонд Хеттингер.)

• Функция format() в модуле locale была изменена, и были добавлены две новые функции: format_string() и currency().

  Параметр val функции format() ранее мог быть строкой, если отображалось не более одного спецификатора %char; теперь параметр должен содержать ровно один спецификатор %char без окружающего текста. Также был добавлен необязательный параметр monetary, который, если True, будет использовать правила языкового стандарта для форматирования валюты при размещении разделителя между группами из трех цифр.

  Для форматирования строк с несколькими спецификаторами %char используйте новую функцию format_string(), которая работает как format(), но также поддерживает смешивание спецификаторов %char с произвольным текстом.

  Также была добавлена новая функция currency(), которая форматирует число в соответствии с текущими настройками языка.

  (Автор: Георг Брандл.)

• Модуль mailbox подвергся масштабной переработке, чтобы добавить возможность изменять почтовые ящики в дополнение к их чтению. Новый набор классов, включающий в себя mbox, MH, и Maildir, используются для чтения почтовых ящиков и имеют add(message) метод для добавления сообщений, remove(key) для удаления сообщений и lock()/unlock() для блокировки/разблокировки почтового ящика. В следующем примере почтовый ящик в формате maildir преобразуется в почтовый ящик в формате mbox:

  import mailbox
  
  # 'factory=None' uses email.Message.Message as the class representing
  # individual messages.
  src = mailbox.Maildir('maildir', factory=None)
  dest = mailbox.mbox('/tmp/mbox')
  
  for msg in src:
      dest.add(msg)
  

  (Автор - Грегори К. Джонсон. Финансирование было предоставлено компанией Google в рамках программы Summer of Code 2005.)

• Новый модуль: модуль msilib позволяет создавать файлы установщика Microsoft .msi и CAB-файлы. Также включена некоторая поддержка чтения базы данных .msi. (Автор - Мартин фон Левис).

• Модуль nis теперь поддерживает доступ к доменам, отличным от системного домена по умолчанию, путем предоставления аргумента domain функциям nis.match() и nis.maps(). (Автор - Бен Белл).

• Функции модуля operator itemgetter() и attrgetter() теперь поддерживают несколько полей. Вызов, такой как operator.attrgetter('a', 'b'), вернет функцию, которая извлекает атрибуты a и b. Сочетание этой новой функции с параметром sort() метода key позволяет легко сортировать списки, используя несколько полей. (Автор - Раймонд Хеттингер).

• Модуль optparse был обновлен до версии 1.5.1 библиотеки Optik. Класс OptionParser получил атрибут epilog, строку, которая будет напечатана после справочного сообщения, и метод destroy(), позволяющий разорвать циклы ссылок, созданные объектом. (Автор: Грег Уорд).

• Модуль os претерпел несколько изменений. Переменная stat_float_times теперь по умолчанию имеет значение true, что означает, что os.stat() теперь будет возвращать значения времени с плавающей точкой. (Это не обязательно означает, что os.stat() возвращает время с точностью до долей секунды; не все системы поддерживают такую точность.)

  Добавлены константы с именами os.SEEK_SET, os.SEEK_CUR, и os.SEEK_END; это параметры функции os.lseek(). Две новые константы для блокировки - это os.O_SHLOCK и os.O_EXLOCK.

  Были добавлены две новые функции, wait3() и wait4(). Они похожи на функцию waitpid(), которая ожидает завершения дочернего процесса и возвращает идентификатор процесса и его статус завершения, но wait3() и wait4() возвращают дополнительную информацию. wait3() не принимает идентификатор процесса в качестве входных данных, поэтому ожидает завершения любого дочернего процесса и возвращает 3 кортежа из process-id, exit-status, resource-usage, возвращенных из resource.getrusage() функция. wait4(pid) принимает идентификатор процесса. (Автор: Чад Дж. Шредер.)

  Во FreeBSD функция os.stat() теперь возвращает значения времени с наносекундным разрешением, а возвращаемый объект теперь имеет значения st_gen и st_birthtime. Атрибут st_flags также доступен, если платформа его поддерживает. ((Авторы - Антти Луко и Диего Петтено.)

• Отладчик Python, предоставляемый модулем pdb, теперь может хранить списки команд, которые должны выполняться при достижении точки останова и прекращении выполнения. Как только точка останова #1 будет создана, введите commands 1 и введите последовательность команд, которые необходимо выполнить, завершая список end. Список команд может включать команды, которые возобновляют выполнение, такие как continue или next. (Автор: Грегуар Думс).

• Модули pickle и cPickle больше не принимают возвращаемое значение None из метода __reduce__(); вместо этого метод должен возвращать набор аргументов. Возможность возвращать None была признана устаревшей в Python 2.4, так что это завершает удаление этой функции.

• Модуль pkgutil, содержащий различные служебные функции для поиска пакетов, был усовершенствован для поддержки перехватчиков импорта PEP 302 и теперь также работает с пакетами, хранящимися в архивах формата ZIP. (Автор: Phillip J. Eby.)

• Пакет тестов pybench от Марка-Андре Лембурга не включен в каталог Tools/pybench. Пакет pybench suite является усовершенствованием широко используемой программы pystone.py, поскольку pybench обеспечивает более детальное измерение скорости интерпретатора. Он рассчитывает время выполнения определенных операций, таких как вызовы функций, разбиение кортежей, поиск методов и числовые операции, вместо того, чтобы выполнять множество различных операций и сводить результат к одному числу, как это делает pystone.py.

• Модуль pyexpat теперь использует синтаксический анализатор Expat версии 2.0. (Автор - Трент Мик).

• Класс Queue, предоставляемый модулем Queue, получил два новых метода. join() блокирует до тех пор, пока не будут извлечены все элементы в очереди и не будет завершена вся работа по обработке элементов. Рабочие потоки вызывают другой новый метод, task_done(), чтобы сообщить о завершении обработки элемента. (Автор - Раймонд Хеттингер).

• Старые модули regex и regsub, которые считались устаревшими еще со времен Python 2.0, наконец-то были удалены. Другие удаленные модули: statcache, tzparse, whrandom.

• Также удален: был удален каталог lib-old, который содержит старые модули, такие как dircmp и ni. lib-old не был установлен по умолчанию в sys.path, поэтому, если ваши программы явно не добавили каталог в sys.path, это удаление не должно повлиять на ваш код.

• Модуль rlcompleter больше не зависит от импорта модуля readline и, следовательно, теперь работает на платформах, отличных от Unix. ((Исправление от Роберта Киндла.)

• Классы SimpleXMLRPCServer и DocXMLRPCServer теперь имеют атрибут rpc_paths, который ограничивает операции XML-RPC ограниченным набором URL-адресов; по умолчанию разрешены только '/' и '/RPC2'. Установка rpc_paths на None или пустой кортеж отключает эту проверку пути.

• Модуль socket теперь поддерживает AF_NETLINK сокеты в Linux, благодаря патчу от Philippe Biondi. Сокеты Netlink - это специфичный для Linux механизм обмена данными между процессом в пользовательском пространстве и кодом ядра; вводная статья о них находится по адресу https://www.linuxjournal.com/article/7356. В коде Python адреса netlink представлены в виде кортежа из 2 целых чисел, (pid, group_mask).

  Два новых метода для объектов socket, recv_into(buffer) и recvfrom_into(buffer), сохраняют полученные данные в объекте, поддерживающем протокол buffer, вместо того, чтобы возвращать данные в виде строки. Это означает, что вы можете поместить данные непосредственно в массив или файл, отображенный в памяти.

  Объекты сокета также получили методы доступа getfamily(), gettype(), и getproto() для получения значений семейства, типа и протокола для сокета.

• Новый модуль: модуль spwd предоставляет функции для доступа к базе данных теневых паролей в системах, поддерживающих теневые пароли.

• Функция struct теперь работает быстрее, поскольку она компилирует строки формата в объекты Struct с помощью методов pack() и unpack(). Это похоже на то, как модуль re позволяет создавать скомпилированные объекты регулярных выражений. Вы все еще можете использовать функции уровня модуля pack() и unpack(); они будут создавать Struct объектов и кэшировать их. Или вы можете напрямую использовать экземпляры Struct:

  s = struct.Struct('ih3s')
  
  data = s.pack(1972, 187, 'abc')
  year, number, name = s.unpack(data)
  

  Вы также можете напрямую загружать и распаковывать данные в объекты buffer и из них, используя методы pack_into(buffer, offset, v1, v2, ...) и unpack_from(buffer, offset). Это позволяет сохранять данные непосредственно в массиве или файле, отображаемом в памяти.

  (Struct объекты были реализованы Бобом Ипполито в Need For Speed sprint. Поддержка буферных объектов была добавлена Мартином Блейсом, также в NeedForSpeed sprint.)

• Разработчики Python перешли с CVS на Subversion в процессе разработки версии 2.5. Информация о точной версии сборки доступна в виде переменной sys.subversion, состоящей из 3 кортежей (interpreter-name, branch-name, revision-range). Например, на момент написания этой статьи в моем экземпляре версии 2.5 содержался отчет ('CPython', 'trunk', '45313:45315').

  Эта информация также доступна для расширений C с помощью функции Py_GetBuildInfo(), которая возвращает строку информации о сборке, подобную этой: "trunk:45355:45356M, Apr 13 2006, 07:42:19". ( Предоставлено Barry Warsaw.)

• Другая новая функция, sys._current_frames(), возвращает текущие стековые фреймы для всех запущенных потоков в виде словаря, сопоставляющего идентификаторы потоков с самым верхним стековым фреймом, который в данный момент активен в этом потоке на момент вызова функции. (Автор: Тим Питерс).

• Класс TarFile в модуле tarfile теперь имеет метод extractall(), который извлекает все элементы из архива в текущий рабочий каталог. Также можно указать другой каталог в качестве объекта извлечения и распаковать только часть элементов архива.

  Сжатие, используемое для файла tarf, открытого в потоковом режиме, теперь может быть автоматически определено с помощью режима 'r|*'. (Автор: Ларс Густабель).

• Модуль threading теперь позволяет устанавливать размер стека, используемый при создании новых потоков. Функция stack_size([*size*]) возвращает текущий размер стека, а при указании необязательного параметра size устанавливается новое значение. Не все платформы поддерживают изменение размера стека, но Windows, POSIX threading и OS/2 поддерживают это. (Автор Эндрю Макинтайр).

• Модуль unicodedata был обновлен для использования версии 4.1.0 базы данных символов Unicode. Некоторые спецификации требуют версии 3.2.0, поэтому он по-прежнему доступен как unicodedata.ucd_3_2_0.

• Новый модуль: модуль uuid генерирует универсально уникальные идентификаторы (UUID) в соответствии с RFC 4122. RFC определяет несколько различных версий UUID, которые генерируются из начальной строки, из системных свойств или чисто случайным образом. Этот модуль содержит класс UUID и функции с именами uuid1(), uuid3(), uuid4(), и uuid5() для генерации различных версий UUID. (UUID версии 2 не указаны в RFC 4122 и не поддерживаются этим модулем.)

  >>> import uuid
  >>> # make a UUID based on the host ID and current time
  >>> uuid.uuid1()
  UUID('a8098c1a-f86e-11da-bd1a-00112444be1e')
  
  >>> # make a UUID using an MD5 hash of a namespace UUID and a name
  >>> uuid.uuid3(uuid.NAMESPACE_DNS, 'python.org')
  UUID('6fa459ea-ee8a-3ca4-894e-db77e160355e')
  
  >>> # make a random UUID
  >>> uuid.uuid4()
  UUID('16fd2706-8baf-433b-82eb-8c7fada847da')
  
  >>> # make a UUID using a SHA-1 hash of a namespace UUID and a name
  >>> uuid.uuid5(uuid.NAMESPACE_DNS, 'python.org')
  UUID('886313e1-3b8a-5372-9b90-0c9aee199e5d')
  

  (Автор: Ка-Пинг Йи.)

• Типы weakref модуля WeakKeyDictionary и WeakValueDictionary получили новые методы для перебора слабых ссылок, содержащихся в словаре. Методы iterkeyrefs() и keyrefs() были добавлены в WeakKeyDictionary, а методы itervaluerefs() и valuerefs() были добавлены в WeakValueDictionary. (Автор: Фред Л. Дрейк-младший)

• Модуль webbrowser получил ряд улучшений. Теперь его можно использовать как скрипт с python -m webbrowser, который принимает URL в качестве аргумента; есть несколько переключателей для управления поведением (-n для нового окна браузера, -t для новой вкладки). Для поддержки этого были добавлены новые функции на уровне модуля, open_new() и open_new_tab(). Функция модуля open() поддерживает дополнительную функцию - параметр autoraise, который указывает, следует ли открывать окно, когда это возможно. В список поддерживаемых браузеров был добавлен ряд дополнительных браузеров, таких как Firefox, Opera, Konqueror и elinks. (Авторы - Олег Бройтман и Георг Брандл.)

• Модуль xmlrpclib теперь поддерживает возврат объектов datetime для типа данных XML-RPC. Укажите use_datetime=True для функции loads() или класса Unmarshaller, чтобы включить эту функцию. (Автор - Скип Монтанаро.)

• Модуль zipfile теперь поддерживает версию формата ZIP64, что означает, что размер архива .zip теперь может превышать 4 гигабайта и содержать отдельные файлы размером более 4 гигабайт. (Автор: Рональд Оуссорен).

• Объекты zlib модуля Compress и Decompress теперь поддерживают метод copy(), который создает копию внутреннего состояния объекта и возвращает новый Compress или Decompress объект. (Автор: Крис Этли.)

import ctypes

libc = ctypes.CDLL('libc.so.6')
result = libc.printf("Line of output\n")

s = "this is a string"
buf = ctypes.create_string_buffer(s)
libc.strfry(buf)

>>> libc.atof('2.71828')
-1783957616
>>> libc.atof.restype = ctypes.c_double
>>> libc.atof('2.71828')
2.71828

import ctypes

d = {}
ctypes.pythonapi.PyObject_SetItem(ctypes.py_object(d),
          ctypes.py_object("abc"),  ctypes.py_object(1))
# d is now {'abc', 1}.

from xml.etree import ElementTree as ET

tree = ET.parse('ex-1.xml')

feed = urllib.urlopen(
          'http://planet.python.org/rss10.xml')
tree = ET.parse(feed)

svg = ET.XML("""<svg width="10px" version="1.0">
             </svg>""")
svg.set('height', '320px')
svg.append(elem1)

if elem.tag is ET.Comment:
    ...
elif elem.tag is ET.ProcessingInstruction:
    ...

# Encoding is US-ASCII
tree.write('output.xml')

# Encoding is UTF-8
f = open('output.xml', 'w')
tree.write(f, encoding='utf-8')

# Old versions
h = md5.md5()
h = md5.new()

# New version
h = hashlib.md5()

# Old versions
h = sha.sha()
h = sha.new()

# New version
h = hashlib.sha1()

# Hash that weren't previously available
h = hashlib.sha224()
h = hashlib.sha256()
h = hashlib.sha384()
h = hashlib.sha512()

# Alternative form
h = hashlib.new('md5')          # Provide algorithm as a string

conn = sqlite3.connect('/tmp/example')

c = conn.cursor()

# Create table
c.execute('''create table stocks
(date text, trans text, symbol text,
 qty real, price real)''')

# Insert a row of data
c.execute("""insert into stocks
          values ('2006-01-05','BUY','RHAT',100,35.14)""")

# Never do this -- insecure!
symbol = 'IBM'
c.execute("... where symbol = '%s'" % symbol)

# Do this instead
t = (symbol,)
c.execute('select * from stocks where symbol=?', t)

# Larger example
for t in (('2006-03-28', 'BUY', 'IBM', 1000, 45.00),
          ('2006-04-05', 'BUY', 'MSOFT', 1000, 72.00),
          ('2006-04-06', 'SELL', 'IBM', 500, 53.00),
         ):
    c.execute('insert into stocks values (?,?,?,?,?)', t)

>>> c = conn.cursor()
>>> c.execute('select * from stocks order by price')
>>> for row in c:
...    print row
...
(u'2006-01-05', u'BUY', u'RHAT', 100, 35.140000000000001)
(u'2006-03-28', u'BUY', u'IBM', 1000, 45.0)
(u'2006-04-06', u'SELL', u'IBM', 500, 53.0)
(u'2006-04-05', u'BUY', u'MSOFT', 1000, 72.0)
>>>

from wsgiref import simple_server

wsgi_app = ...

host = ''
port = 8000
httpd = simple_server.make_server(host, port, wsgi_app)
httpd.serve_forever()

Изменения в сборке и C API¶

Изменения в процессе сборки Python и в C API включают:

• Дерево исходных текстов Python было преобразовано из CVS в Subversion в результате сложной процедуры миграции, которая контролировалась и безупречно выполнялась Мартином фон Левисом. Процедура была разработана как PEP 347.

• Компания Coverity, которая продает инструмент для анализа исходного кода под названием Prevent, предоставила результаты своего анализа исходного кода Python. В ходе анализа было обнаружено около 60 ошибок, которые были быстро исправлены. Многие из ошибок были связаны с повторным подсчетом проблем, часто возникающих в коде обработки ошибок. Смотрите статистику https://scan.coverity.com.

• Самое большое изменение в C API было внесено в PEP 353, которое изменяет интерпретатор, чтобы использовать определение типа : c:type:Py_ssize_t вместо int. Смотрите предыдущий раздел PEP 353: Использование ssize_t в качестве типа индекса для обсуждения этого изменения.

• Дизайн компилятора байт-кода сильно изменился, он больше не генерирует байт-код путем обхода дерева синтаксического анализа. Вместо этого дерево синтаксического анализа преобразуется в абстрактное синтаксическое дерево (или AST), и именно абстрактное синтаксическое дерево обрабатывается для создания байт-кода.

  Код на Python может получать объекты AST, используя встроенный compile() и указывая _ast.PyCF_ONLY_AST в качестве значения параметра flags:

  from _ast import PyCF_ONLY_AST
  ast = compile("""a=0
  for i in range(10):
      a += i
  """, "<string>", 'exec', PyCF_ONLY_AST)
  
  assignment = ast.body[0]
  for_loop = ast.body[1]
  

  Официальная документация по AST-коду еще не написана, но в PEP 339 обсуждается его дизайн. Чтобы начать изучать код, ознакомьтесь с определением различных узлов AST в Parser/Python.asdl. Скрипт на Python считывает этот файл и генерирует набор определений структуры C в Include/Python-ast.h. Команды PyParser_ASTFromString() и PyParser_ASTFromFile(), определенные в Include/pythonrun.h, принимают исходный код Python в качестве входных данных и возвращают корень AST, представляющий содержимое. Затем это действие можно преобразовать в объектный код с помощью PyAST_Compile(). Для получения дополнительной информации ознакомьтесь с исходным кодом, а затем задавайте вопросы по python-dev.

  Кодекс AST был разработан под руководством Джереми Хилтона и внедрен (в алфавитном порядке) Бреттом Кэнноном, Ником Когланом, Грантом Эдвардсом, Джоном Эресманом, Куртом Кайзером, Нилом Норвицем, Тимом Питерсом, Армином Риго и Нилом Шеменауэром, а также участниками ряда спринтов AST на таких конференциях, как ПиКон.

• Был применен патч Эвана Джонса для obmalloc, впервые описанный в докладе на PyCon DC 2005. Python 2.4 разместил небольшие объекты в областях размером 256 КБ, но никогда не освобождал области. С помощью этого исправления Python освободит арены, когда они будут пусты. В результате на некоторых платформах, когда вы размещаете много объектов, использование памяти Python может фактически снизиться при их удалении, и память может быть возвращена операционной системе. (Реализовано Эваном Джонсом и переработано Тимом Питерсом.)

  Обратите внимание, что это изменение означает, что модули расширения должны быть более осторожны при выделении памяти. API Python имеет множество различных функций для выделения памяти, которые сгруппированы в семейства. Например, PyMem_Malloc(), PyMem_Realloc() и PyMem_Free() являются одним семейством, которое выделяет необработанную память, в то время как PyObject_Malloc(), PyObject_Realloc(), и PyObject_Free() - это еще одно семейство, которое предполагается использовать для создания объектов Python.

  Ранее все эти различные семейства сводились к функциям платформы malloc() и free(). Это означало, что не имело значения, если вы что-то неправильно поняли и выделили память с помощью функции PyMem, но освободили ее с помощью функции PyObject. С изменениями obmalloc в версии 2.5 эти семейства теперь работают по-разному, и несоответствия, вероятно, приведут к сбою сегмента. Вам следует тщательно протестировать свои модули расширения C с помощью Python 2.5.

• Встроенные типы наборов теперь имеют официальный C API. Вызовите PySet_New() и PyFrozenSet_New(), чтобы создать новый набор, PySet_Add() и PySet_Discard(), чтобы добавлять и удалять элементы, и PySet_Contains() и PySet_Size() для проверки состояния набора. (Автор - Раймонд Хеттингер.)

• Код на C теперь может получать информацию о точной редакции интерпретатора Python, вызывая функцию Py_GetBuildInfo(), которая возвращает строку информации о сборке, подобную этой: "trunk:45355:45356M, Apr 13 2006, 07:42:19". ( Автор: Barry Warsaw.)

• Два новых макроса могут быть использованы для указания функций C, которые являются локальными для текущего файла, что позволяет использовать соглашение о более быстром вызове. Py_LOCAL(type) объявляет функцию как возвращающую значение указанного типа и использует квалификатор быстрого вызова. Py_LOCAL_INLINE(type) делает то же самое, а также запрашивает встроенную функцию. Если макрос PY_LOCAL_AGGRESSIVE определен до включения python.h, для модуля включается набор более агрессивных оптимизаций; вам следует сравнить результаты, чтобы выяснить, действительно ли эти оптимизации ускоряют код. ((Автор: Фредрик Лунд из NeedForSpeed sprint.)

• PyErr_NewException(name, base, dict) теперь может принимать кортеж базовых классов в качестве аргумента base. (Автор - Георг Брандл.)

• Функция PyErr_Warn() для выдачи предупреждений теперь устарела в пользу PyErr_WarnEx(category, message, stacklevel), которая позволяет вам указать количество фреймов стека, разделяющих эту функцию и вызывающий объект. stacklevel, равный 1, - это функция, вызывающая PyErr_WarnEx(), 2 - функция, расположенная выше этой, и так далее. (Добавлено Нилом Норвицем.)

• Интерпретатор CPython по-прежнему написан на C, но теперь код может быть скомпилирован с помощью компилятора C++ без ошибок. (Реализовано Энтони Бакстером, Мартином фон Левисом, Скипом Монтанаро.)

• Функция PyRange_New() была удалена. Она никогда не документировалась, никогда не использовалась в основном коде и имела опасно слабую проверку на ошибки. В маловероятном случае, если ваши расширения использовали ее, вы можете заменить ее чем-то вроде следующего:

  range = PyObject_CallFunction((PyObject*) &PyRange_Type, "lll",
                                start, stop, step);
  

Перенос на Python 2.5¶

В этом разделе перечислены ранее описанные изменения, которые могут потребовать внесения изменений в ваш код:

• ASCII теперь является кодировкой по умолчанию для модулей. Теперь синтаксическая ошибка возникает, если модуль содержит строковые литералы с 8-разрядными символами, но не имеет описания кодировки. В Python 2.4 это вызвало предупреждение, а не синтаксическую ошибку.

• Ранее атрибутом gi_frame генератора всегда был объект frame. Из-за изменений в PEP 342, описанных в разделе PEP 342: Новые возможности генератора, теперь для gi_frame возможно изменение на None.

• Новое предупреждение, UnicodeWarning, выдается при попытке сравнить строку в Юникоде и 8-разрядную строку, которая не может быть преобразована в Юникод с использованием кодировки ASCII по умолчанию. Ранее при таком сравнении возникало исключение UnicodeDecodeError.

• Библиотека: модуль csv теперь более строго относится к полям, заключенным в многострочные кавычки. Если ваши файлы содержат новые строки, встроенные в поля, вводимые данные следует разбить на строки таким образом, чтобы сохранить символы новой строки.

• Библиотека: функция locale модуля format() ранее принимала бы любую строку, если бы отображалось не более одного спецификатора %char. В Python 2.5 аргумент должен содержать ровно один спецификатор %char без окружающего текста.

• Библиотека: Модули pickle и cPickle больше не принимают возвращаемое значение None из метода __reduce__(); вместо этого метод должен возвращать набор аргументов. Модули также больше не принимают устаревший параметр ключевого слова bin.

• Библиотека: Классы SimpleXMLRPCServer и DocXMLRPCServer теперь имеют атрибут rpc_paths, который ограничивает операции XML-RPC ограниченным набором URL-адресов; по умолчанию разрешены только '/' и '/RPC2'. Установка rpc_paths на None или пустой кортеж отключает эту проверку пути.

• C API: Многие функции теперь используют : c:type:Py_ssize_t вместо int, что позволяет обрабатывать больше данных на 64-разрядных компьютерах. Возможно, потребуется внести те же изменения в код расширения, чтобы избежать предупреждений и поддерживать 64-разрядные компьютеры. Смотрите предыдущий раздел PEP 353: Использование ssize_t в качестве типа индекса для обсуждения этого изменения.

• C API: Изменения в obmalloc означают, что вы должны быть осторожны и не смешивать использование семейств функций PyMem_* и PyObject_*. Память, выделенная для одного семейства *_Malloc, должна быть освобождена с помощью функции соответствующего семейства *_Free.

Признание¶

Автор хотел бы поблагодарить следующих людей за предложения, исправления и помощь в работе над различными вариантами этой статьи: Георга Брандла, Ника Коглана, Филиппа Дж. Эби, Ларса Густабеля, Раймонда Хеттингера, Ральфа У. Гроссе-Кунстлеве, Кента Джонсона, Иэна Лоу, Мартина фон Левиса, Фредрика Лунда, Эндрю Макнамару., Скип Монтанаро, Густаво Нимейер, Пол Прескод, Джеймс Прайор, Майк Ровнер, Скотт Вайкарт, Барри Варшава, Томас Ваутерс.