Что нового в Python 3.2¶

электронная почта¶

Удобство использования пакета email в Python 3 было в основном исправлено благодаря активным усилиям Р. Дэвида Мюррея. Проблема заключалась в том, что электронные письма обычно читаются и хранятся в виде bytes, а не str текста, и они могут содержать несколько кодировок в пределах одного письма. Поэтому пакет email необходимо было расширить для разбора и генерации сообщений электронной почты в формате байтов.

• Новые функции message_from_bytes() и message_from_binary_file(), а также новые классы BytesFeedParser и BytesParser позволяют разбирать данные двоичных сообщений на объекты модели.

• Если в модель введены байты, get_payload() по умолчанию декодирует тело сообщения, имеющее Content-Transfer-Encoding в 8bit, используя charset, указанный в MIME-заголовках, и возвращает полученную строку.

• Учитывая входные байты в модель, Generator будет преобразовывать тела сообщений, которые имеют Content-Transfer-Encoding из 8 бит в 7 бит Content-Transfer-Encoding.

  Заголовки с некодированными байтами, не являющимися байтами ASCII, считаются RFC 2047- закодированными с использованием неизвестного-8-битного набора символов.

• Новый класс BytesGenerator производит байты в качестве выходных данных, сохраняя все неизменные данные не в формате ASCII, которые присутствовали во входных данных, использованных для построения модели, включая тела сообщений с Content-Transfer-Encoding, равным 8bit.

• Класс smtplib SMTP теперь принимает байтовую строку для аргумента msg метода sendmail(), а новый метод send_message() принимает объект Message и может по желанию получать адреса from_addr и to_addrs непосредственно из объекта.

(Предложено и реализовано Р. Дэвидом Мюрреем, bpo-4661 и bpo-10321).

дерево элементов¶

Пакет xml.etree.ElementTree и его аналог xml.etree.cElementTree были обновлены до версии 1.3.

Добавлено несколько новых и полезных функций и методов:

• xml.etree.ElementTree.fromstringlist() который строит XML-документ из последовательности фрагментов

• xml.etree.ElementTree.register_namespace() для регистрации префикса глобального пространства имен

• xml.etree.ElementTree.tostringlist() для представления строки, включая все подсписки

• xml.etree.ElementTree.Element.extend() для добавления последовательности из нуля или более элементов

• xml.etree.ElementTree.Element.iterfind() осуществляет поиск элемента и подэлементов

• xml.etree.ElementTree.Element.itertext() создает текстовый итератор по элементу и его подэлементам

• xml.etree.ElementTree.TreeBuilder.end() закрывает текущий элемент

• xml.etree.ElementTree.TreeBuilder.doctype() обрабатывает объявление doctype

Два метода были устаревшими:

• xml.etree.ElementTree.getchildren() вместо этого используйте list(elem).

• xml.etree.ElementTree.getiterator() вместо этого используйте Element.iter.

Подробности обновления см. в разделе Introducing ElementTree на сайте Фредрика Лунда.

(При участии Флорана Ксиклуна и Фредрика Лунда, bpo-6472).

functools¶

• Модуль functools включает новый декоратор для кэширования вызовов функций. functools.lru_cache() может сохранять повторяющиеся запросы к внешнему ресурсу, когда ожидается, что результаты будут одинаковыми.

  Например, добавление декоратора кэширования к функции запроса к базе данных может сохранить доступ к базе данных для популярных поисковых запросов:

  >>> import functools
  >>> @functools.lru_cache(maxsize=300)
  ... def get_phone_number(name):
  ...     c = conn.cursor()
  ...     c.execute('SELECT phonenumber FROM phonelist WHERE name=?', (name,))
  ...     return c.fetchone()[0]
  

  >>> for name in user_requests:        
  ...     get_phone_number(name)        # cached lookup
  

  Чтобы помочь в выборе эффективного размера кэша, функция wrapped оснащена инструментами для отслеживания статистики кэша:

  >>> get_phone_number.cache_info()     
  CacheInfo(hits=4805, misses=980, maxsize=300, currsize=300)
  

  Если таблица телефонного списка обновляется, устаревшее содержимое кэша может быть очищено с помощью:

  >>> get_phone_number.cache_clear()
  

  (При участии Раймонда Хеттингера и с использованием идей дизайна Джима Бейкера, Мики Тебека и Ника Коглана; см. recipe 498245, recipe 577479, bpo-10586 и bpo-10593).

• Декоратор functools.wraps() теперь добавляет атрибут __wrapped__, указывающий на исходную вызываемую функцию. Это позволяет интроспективно исследовать обернутые функции. Он также копирует __annotations__, если он определен. И теперь он также изящно пропускает недостающие атрибуты, такие как __doc__, которые могут быть не определены для обернутой вызываемой функции.

  В приведенном выше примере кэш можно удалить, восстановив исходную функцию:

  >>> get_phone_number = get_phone_number.__wrapped__    # uncached function
  

  (Авторы Ник Коглан и Терренс Коул; bpo-9567, bpo-3445 и bpo-8814).

• Чтобы помочь написать классы с богатыми методами сравнения, новый декоратор functools.total_ordering() будет использовать существующие методы равенства и неравенства для заполнения оставшихся методов.

  Например, ввод __eq__ и __lt__ позволит total_ordering() заполнить __le__, __gt__ и __ge__:

  @total_ordering
  class Student:
      def __eq__(self, other):
          return ((self.lastname.lower(), self.firstname.lower()) ==
                  (other.lastname.lower(), other.firstname.lower()))
  
      def __lt__(self, other):
          return ((self.lastname.lower(), self.firstname.lower()) <
                  (other.lastname.lower(), other.firstname.lower()))
  

  С декоратором total_ordering остальные методы сравнения заполняются автоматически.

  (При участии Раймонда Хеттингера.)

• Для облегчения переноса программ с Python 2 функция functools.cmp_to_key() преобразует функцию сравнения старого стиля в современную key function:

  >>> # locale-aware sort order
  >>> sorted(iterable, key=cmp_to_key(locale.strcoll)) 
  

  Примеры сортировки и краткое руководство по сортировке см. в руководстве Sorting HowTo.

  (При участии Раймонда Хеттингера.)

itertools¶

• В модуле itertools появилась новая функция accumulate(), созданная по образцу оператора scan языка APL и функции accumulate языка Numpy:

  >>> from itertools import accumulate
  >>> list(accumulate([8, 2, 50]))
  [8, 10, 60]
  

  >>> prob_dist = [0.1, 0.4, 0.2, 0.3]
  >>> list(accumulate(prob_dist))      # cumulative probability distribution
  [0.1, 0.5, 0.7, 1.0]
  

  Пример использования accumulate() см. в examples for the random module.

  (При участии Раймонда Хеттингера и с учетом предложений Марка Дикинсона по дизайну).

коллекции¶

• Класс collections.Counter теперь имеет две формы вычитания на месте: существующий оператор -= для saturating subtraction и новый метод subtract() для обычного вычитания. Первый подходит для multisets, которые имеют только положительные отсчеты, а второй больше подходит для случаев использования, допускающих отрицательные отсчеты:

  >>> from collections import Counter
  >>> tally = Counter(dogs=5, cats=3)
  >>> tally -= Counter(dogs=2, cats=8)    # saturating subtraction
  >>> tally
  Counter({'dogs': 3})
  

  >>> tally = Counter(dogs=5, cats=3)
  >>> tally.subtract(dogs=2, cats=8)      # regular subtraction
  >>> tally
  Counter({'dogs': 3, 'cats': -5})
  

  (При участии Раймонда Хеттингера.)

• Класс collections.OrderedDict имеет новый метод move_to_end(), который принимает существующий ключ и перемещает его на первую или последнюю позицию в упорядоченной последовательности.

  По умолчанию элемент перемещается на последнюю позицию. Это эквивалентно обновлению записи с помощью od[k] = od.pop(k).

  Быстрая операция перехода к концу полезна для повторного упорядочивания записей. Например, упорядоченный словарь можно использовать для отслеживания порядка доступа путем старения записей от самой старой к самой последней.

  >>> from collections import OrderedDict
  >>> d = OrderedDict.fromkeys(['a', 'b', 'X', 'd', 'e'])
  >>> list(d)
  ['a', 'b', 'X', 'd', 'e']
  >>> d.move_to_end('X')
  >>> list(d)
  ['a', 'b', 'd', 'e', 'X']
  

  (При участии Раймонда Хеттингера.)

• Класс collections.deque оброс двумя новыми методами count() и reverse(), которые делают их более заменяемыми для объектов list:

  >>> from collections import deque
  >>> d = deque('simsalabim')
  >>> d.count('s')
  2
  >>> d.reverse()
  >>> d
  deque(['m', 'i', 'b', 'a', 'l', 'a', 's', 'm', 'i', 's'])
  

  (При участии Раймонда Хеттингера.)

нарезание резьбы¶

Модуль threading содержит новый класс синхронизации Barrier, позволяющий заставить несколько потоков ждать, пока все они не достигнут общей точки барьера. Барьеры полезны для обеспечения того, чтобы задача с несколькими предварительными условиями не выполнялась, пока не завершатся все предшествующие задачи.

Барьеры могут работать с произвольным числом потоков. Это обобщение Rendezvous, которое определяется только для двух потоков.

Реализованные в виде двухфазного циклического барьера, объекты Barrier подходят для использования в циклах. Раздельные фазы заполнения и слива гарантируют, что все потоки будут освобождены (слиты) до того, как любой из них сможет вернуться в цикл и снова войти в барьер. Барьер полностью сбрасывается после каждого цикла.

Пример использования барьеров:

from threading import Barrier, Thread

def get_votes(site):
    ballots = conduct_election(site)
    all_polls_closed.wait()        # do not count until all polls are closed
    totals = summarize(ballots)
    publish(site, totals)

all_polls_closed = Barrier(len(sites))
for site in sites:
    Thread(target=get_votes, args=(site,)).start()

В данном примере барьер обеспечивает выполнение правила, согласно которому голоса не могут быть подсчитаны ни на одном избирательном участке до тех пор, пока все избирательные участки не будут закрыты. Обратите внимание, что решение с барьером похоже на решение с threading.Thread.join(), но потоки остаются живыми и продолжают выполнять работу (подведение итогов голосования) после пересечения точки барьера.

Если какая-либо из задач-предшественниц может зависнуть или задержаться, может быть создан барьер с необязательным параметром timeout. Тогда, если период таймаута истекает до того, как все задачи-предшественники достигнут точки барьера, все ожидающие потоки освобождаются и возникает исключение BrokenBarrierError:

def get_votes(site):
    ballots = conduct_election(site)
    try:
        all_polls_closed.wait(timeout=midnight - time.now())
    except BrokenBarrierError:
        lockbox = seal_ballots(ballots)
        queue.put(lockbox)
    else:
        totals = summarize(ballots)
        publish(site, totals)

В этом примере барьер применяет более надежное правило. Если некоторые избирательные участки не заканчивают работу до полуночи, барьер отключается, бюллетени опечатываются и помещаются в очередь для последующей обработки.

Дополнительные примеры использования барьеров в параллельных вычислениях см. в Barrier Synchronization Patterns. Также простое, но подробное объяснение барьеров есть в The Little Book of Semaphores, раздел 3.6.

(Внесено Кристьяном Валуром Йонссоном, обзор API сделан Джеффри Ясскином в bpo-8777).

время и дата¶

• В модуле datetime появился новый тип timezone, который реализует интерфейс tzinfo, возвращая фиксированное смещение UTC и название таймзоны. Это упрощает создание объектов datetime с учетом временных зон:

  >>> from datetime import datetime, timezone
  
  >>> datetime.now(timezone.utc)
  datetime.datetime(2010, 12, 8, 21, 4, 2, 923754, tzinfo=datetime.timezone.utc)
  
  >>> datetime.strptime("01/01/2000 12:00 +0000", "%m/%d/%Y %H:%M %z")
  datetime.datetime(2000, 1, 1, 12, 0, tzinfo=datetime.timezone.utc)
  

• Также объекты timedelta теперь могут умножаться на float и делиться на float и int. А объекты timedelta теперь могут делить друг друга.

• Метод datetime.date.strftime() больше не ограничивается годами после 1900 года. Новый поддерживаемый диапазон годов - от 1000 до 9999 включительно.

• Всякий раз, когда в кортеже времени используется двузначный год, его интерпретация регулируется time.accept2dyear. По умолчанию используется True, что означает, что для двухзначного года век угадывается в соответствии с правилами POSIX, регулирующими формат %y strptime.

  Начиная с Py3.2, использование эвристики угадывания века будет выдавать DeprecationWarning. Вместо этого рекомендуется установить time.accept2dyear в False, чтобы можно было использовать большие диапазоны дат без догадок:

  >>> import time, warnings
  >>> warnings.resetwarnings()      # remove the default warning filters
  
  >>> time.accept2dyear = True      # guess whether 11 means 11 or 2011
  >>> time.asctime((11, 1, 1, 12, 34, 56, 4, 1, 0))
  Warning (from warnings module):
    ...
  DeprecationWarning: Century info guessed for a 2-digit year.
  'Fri Jan  1 12:34:56 2011'
  
  >>> time.accept2dyear = False     # use the full range of allowable dates
  >>> time.asctime((11, 1, 1, 12, 34, 56, 4, 1, 0))
  'Fri Jan  1 12:34:56 11'
  

  Некоторые функции теперь имеют значительно расширенные диапазоны дат. Когда time.accept2dyear равно false, функция time.asctime() будет принимать любой год, который помещается в C int, а функции time.mktime() и time.strftime() будут принимать полный диапазон, поддерживаемый соответствующими функциями операционной системы.

(Внесено Александром Белопольским и Виктором Стиннером в bpo-1289118, bpo-5094, bpo-6641, bpo-2706, bpo-1777412, bpo-8013 и bpo-10827).

математика¶

Модуль math был обновлен шестью новыми функциями, вдохновленными стандартом C99.

Функция isfinite() обеспечивает надежный и быстрый способ определения специальных значений. Она возвращает True для обычных чисел и False для Nan или Infinity:

>>> from math import isfinite
>>> [isfinite(x) for x in (123, 4.56, float('Nan'), float('Inf'))]
[True, True, False, False]

Функция expm1() вычисляет e**x-1 для малых значений x без потери точности, которая обычно сопровождает вычитание почти равных величин:

>>> from math import expm1
>>> expm1(0.013671875)   # more accurate way to compute e**x-1 for a small x
0.013765762467652909

Функция erf() вычисляет интеграл вероятности или Gaussian error function. Дополнительная функция ошибки, erfc(), является 1 - erf(x):

>>> from math import erf, erfc, sqrt
>>> erf(1.0/sqrt(2.0))   # portion of normal distribution within 1 standard deviation
0.682689492137086
>>> erfc(1.0/sqrt(2.0))  # portion of normal distribution outside 1 standard deviation
0.31731050786291404
>>> erf(1.0/sqrt(2.0)) + erfc(1.0/sqrt(2.0))
1.0

Функция gamma() является непрерывным расширением функции факториала. Подробнее см. https://en.wikipedia.org/wiki/Gamma_function. Поскольку функция связана с факториалами, она растет даже для малых значений x, поэтому существует также функция lgamma() для вычисления натурального логарифма гамма-функции:

>>> from math import gamma, lgamma
>>> gamma(7.0)           # six factorial
720.0
>>> lgamma(801.0)        # log(800 factorial)
4551.950730698041

(При участии Марка Дикинсона.)

abc¶

Модуль abc теперь поддерживает abstractclassmethod() и abstractstaticmethod().

Эти инструменты позволяют определить abstract base class, который требует реализации определенного classmethod() или staticmethod():

class Temperature(metaclass=abc.ABCMeta):
    @abc.abstractclassmethod
    def from_fahrenheit(cls, t):
        ...
    @abc.abstractclassmethod
    def from_celsius(cls, t):
        ...

(Патч предоставлен Даниэлем Урбаном; bpo-5867).

io¶

В io.BytesIO появился новый метод getbuffer(), который обеспечивает функциональность, аналогичную memoryview(). Он создает редактируемое представление данных без создания копии. Произвольный доступ к буферу и поддержка нотации срезов хорошо подходят для редактирования на месте:

>>> REC_LEN, LOC_START, LOC_LEN = 34, 7, 11

>>> def change_location(buffer, record_number, location):
...     start = record_number * REC_LEN + LOC_START
...     buffer[start: start+LOC_LEN] = location

>>> import io

>>> byte_stream = io.BytesIO(
...     b'G3805  storeroom  Main chassis    '
...     b'X7899  shipping   Reserve cog     '
...     b'L6988  receiving  Primary sprocket'
... )
>>> buffer = byte_stream.getbuffer()
>>> change_location(buffer, 1, b'warehouse  ')
>>> change_location(buffer, 0, b'showroom   ')
>>> print(byte_stream.getvalue())
b'G3805  showroom   Main chassis    '
b'X7899  warehouse  Reserve cog     '
b'L6988  receiving  Primary sprocket'

(Внесено Антуаном Питру из bpo-5506).

reprlib¶

При написании метода __repr__() для пользовательского контейнера легко забыть обработать случай, когда член ссылается обратно на сам контейнер. Встроенные объекты Python, такие как list и set, обрабатывают самоссылку, отображая «…» в рекурсивной части строки представления.

Чтобы помочь в написании таких методов __repr__(), модуль reprlib имеет новый декоратор recursive_repr() для обнаружения рекурсивных вызовов __repr__() и подстановки вместо них строки-заполнителя:

>>> class MyList(list):
...     @recursive_repr()
...     def __repr__(self):
...         return '<' + '|'.join(map(repr, self)) + '>'
...
>>> m = MyList('abc')
>>> m.append(m)
>>> m.append('x')
>>> print(m)
<'a'|'b'|'c'|...|'x'>

(Внесено Раймондом Хеттингером в bpo-9826 и bpo-9840).

ведение журнала¶

В дополнение к описанной выше конфигурации на основе словаря, пакет logging имеет множество других улучшений.

Документация по логированию была дополнена basic tutorial, advanced tutorialи cookbook рецептами логирования. Эти документы - самый быстрый способ узнать о протоколировании.

Функция установки logging.basicConfig() получила аргумент style для поддержки трех различных типов форматирования строк. По умолчанию он принимает значение «%» для традиционного %-форматирования, может быть установлен в «{» для нового стиля str.format(), или может быть установлен в «$» для форматирования в стиле оболочки, предоставляемого string.Template. Следующие три конфигурации эквивалентны:

>>> from logging import basicConfig
>>> basicConfig(style='%', format="%(name)s -> %(levelname)s: %(message)s")
>>> basicConfig(style='{', format="{name} -> {levelname} {message}")
>>> basicConfig(style='$', format="$name -> $levelname: $message")

Если перед возникновением события регистрации не задана конфигурация, теперь существует конфигурация по умолчанию, использующая StreamHandler, направленную на sys.stderr для событий уровня WARNING или выше. Раньше событие, возникающее до установки конфигурации, либо вызывало исключение, либо молча отбрасывало событие в зависимости от значения параметра logging.raiseExceptions. Новый обработчик по умолчанию хранится в logging.lastResort.

Использование фильтров было упрощено. Вместо того чтобы создавать объект Filter, предикатом может быть любой вызываемый объект Python, который возвращает True или False.

Был внесен ряд других улучшений, которые добавляют гибкость и упрощают настройку. Полный список изменений в Python 3.2 см. в документации к модулю.

csv¶

Модуль csv теперь поддерживает новый диалект unix_dialect, который применяет кавычки для всех полей и традиционный стиль Unix с '\n' в качестве терминатора строки. Зарегистрированное имя диалекта - unix.

В csv.DictWriter появился новый метод writeheader() для записи начальной строки для документирования имен полей:

>>> import csv, sys
>>> w = csv.DictWriter(sys.stdout, ['name', 'dept'], dialect='unix')
>>> w.writeheader()
"name","dept"
>>> w.writerows([
...     {'name': 'tom', 'dept': 'accounting'},
...     {'name': 'susan', 'dept': 'Salesl'}])
"tom","accounting"
"susan","sales"

(Новый диалект, предложенный Джеем Талботом в bpo-5975, и новый метод, предложенный Эдом Абрахамом в bpo-1537721).

contextlib¶

Существует новый и немного умопомрачительный инструмент ContextDecorator, который полезен для создания context manager, выполняющего двойную функцию декоратора функций.

В качестве удобства, эта новая функциональность используется contextmanager(), чтобы не требовалось дополнительных усилий для поддержки обеих ролей.

Основная идея заключается в том, что и контекстные менеджеры, и декораторы функций могут быть использованы для обертки до и после выполнения действия. Контекстные менеджеры оборачивают группу утверждений с помощью оператора with, а декораторы функций оборачивают группу утверждений, заключенных в функцию. Поэтому иногда возникает необходимость написать обертку для пред- или пост-действия, которую можно использовать в любой роли.

Например, иногда полезно обернуть функции или группы операторов регистратором, который может отслеживать время входа и время выхода. Вместо того чтобы писать декоратор функции и менеджер контекста для задачи, contextmanager() предоставляет обе возможности в одном определении:

from contextlib import contextmanager
import logging

logging.basicConfig(level=logging.INFO)

@contextmanager
def track_entry_and_exit(name):
    logging.info('Entering: %s', name)
    yield
    logging.info('Exiting: %s', name)

Раньше это можно было использовать только в качестве менеджера контекста:

with track_entry_and_exit('widget loader'):
    print('Some time consuming activity goes here')
    load_widget()

Теперь его можно использовать и как декоратор:

@track_entry_and_exit('widget loader')
def activity():
    print('Some time consuming activity goes here')
    load_widget()

Попытка выполнить две роли одновременно накладывает некоторые ограничения на технику. Контекстные менеджеры обычно имеют возможность возвращать аргумент, используемый оператором with, но для декораторов функций параллели нет.

В приведенном выше примере нет чистого способа для контекстного менеджера track_entry_and_exit вернуть экземпляр журнала для использования в теле вложенных операторов.

(Внесено Майклом Фоордом из bpo-9110).

десятичные и дробные дроби¶

Марк Дикинсон разработал элегантную и эффективную схему, гарантирующую, что различные числовые типы данных будут иметь одинаковое хэш-значение, когда их фактические значения равны (bpo-8188):

assert hash(Fraction(3, 2)) == hash(1.5) == \
       hash(Decimal("1.5")) == hash(complex(1.5, 0))

Некоторые детали хэширования раскрываются через новый атрибут sys.hash_info, который описывает битовую ширину значения хэша, простой модуль, значения хэша для бесконечность и нан, а также множитель, используемый для мнимой части числа:

>>> sys.hash_info 
sys.hash_info(width=64, modulus=2305843009213693951, inf=314159, nan=0, imag=1000003)

Раннее решение об ограничении совместимости различных числовых типов было смягчено. По-прежнему не поддерживается (и не рекомендуется) неявное смешивание в арифметических выражениях, таких как Decimal('1.1') + float('1.1'), поскольку при этом теряется информация в процессе построения двоичного float. Однако, поскольку существующее значение с плавающей точкой может быть без потерь преобразовано в десятичное или рациональное представление, имеет смысл добавить их в конструктор и поддерживать сравнения смешанного типа.

• Конструктор decimal.Decimal теперь принимает объекты float напрямую, поэтому больше нет необходимости использовать метод from_float() (bpo-8257).

• Сравнение смешанных типов теперь полностью поддерживается, так что объекты Decimal можно напрямую сравнивать с float и fractions.Fraction (bpo-2531 и bpo-8188).

Аналогичные изменения были внесены в fractions.Fraction, так что методы from_float() и from_decimal() больше не нужны (bpo-8294):

>>> from decimal import Decimal
>>> from fractions import Fraction
>>> Decimal(1.1)
Decimal('1.100000000000000088817841970012523233890533447265625')
>>> Fraction(1.1)
Fraction(2476979795053773, 2251799813685248)

Еще одним полезным изменением для модуля decimal является то, что атрибут Context.clamp теперь является публичным. Это полезно при создании контекстов, соответствующих десятичным форматам обмена, указанным в IEEE 754 (см. bpo-8540).

(При участии Марка Дикинсона и Раймонда Хеттингера).

ftp¶

Класс ftplib.FTP теперь поддерживает протокол управления контекстом для безусловного потребления исключений socket.error и закрытия FTP-соединения по завершении работы:

>>> from ftplib import FTP
>>> with FTP("ftp1.at.proftpd.org") as ftp:
        ftp.login()
        ftp.dir()

'230 Anonymous login ok, restrictions apply.'
dr-xr-xr-x   9 ftp      ftp           154 May  6 10:43 .
dr-xr-xr-x   9 ftp      ftp           154 May  6 10:43 ..
dr-xr-xr-x   5 ftp      ftp          4096 May  6 10:43 CentOS
dr-xr-xr-x   3 ftp      ftp            18 Jul 10  2008 Fedora

Другие файлоподобные объекты, такие как mmap.mmap и fileinput.input(), также обзавелись автозакрывающимися контекстными менеджерами:

with fileinput.input(files=('log1.txt', 'log2.txt')) as f:
    for line in f:
        process(line)

(При участии Тарека Зиаде и Джампаоло Родола в bpo-4972, и Георга Брандла в bpo-8046 и bpo-1286).

Класс FTP_TLS теперь принимает параметр context, который представляет собой объект ssl.SSLContext, позволяющий объединить параметры конфигурации SSL, сертификаты и закрытые ключи в единую (потенциально долгоживущую) структуру.

(Внесено Джампаоло Родола; bpo-8806).

popen¶

Функции os.popen() и subprocess.Popen() теперь поддерживают операторы with для автоматического закрытия дескрипторов файлов.

(Вклад Антуана Питру и Брайана Куртина в bpo-7461 и bpo-10554).

выберите¶

Модуль select теперь раскрывает новый постоянный атрибут PIPE_BUF, который дает минимальное количество байтов, которые гарантированно не будут блокироваться, когда select.select() говорит, что труба готова к записи.

>>> import select
>>> select.PIPE_BUF  
512

(Доступно на Unix-системах. Исправление Себастьена Сабле в bpo-9862)

gzip и zipfile¶

gzip.GzipFile теперь реализует io.BufferedIOBase abstract base class (за исключением truncate()). Он также имеет метод peek() и поддерживает объекты файлов с неискомым и нулевым заполнением.

Модуль gzip также получил функции compress() и decompress() для упрощения сжатия и распаковки в памяти. Помните, что перед сжатием и распаковкой текст должен быть закодирован как bytes:

>>> import gzip
>>> s = 'Three shall be the number thou shalt count, '
>>> s += 'and the number of the counting shall be three'
>>> b = s.encode()                        # convert to utf-8
>>> len(b)
89
>>> c = gzip.compress(b)
>>> len(c)
77
>>> gzip.decompress(c).decode()[:42]      # decompress and convert to text
'Three shall be the number thou shalt count'

(При участии Ананда Б. Пиллая в bpo-3488; и Антуана Питру, Нира Айдеса и Брайана Кертина в bpo-9962, bpo-1675951, bpo-7471 и bpo-2846).

Кроме того, класс zipfile.ZipExtFile был переработан для представления файлов, хранящихся в архиве. Новая реализация значительно быстрее и может быть обернута в объект io.BufferedReader для большего ускорения. Также решена проблема, когда чередующиеся вызовы read и readline давали неверные результаты.

(Патч предоставлен Ниром Эйдесом в bpo-7610).

tarfile¶

Класс TarFile теперь можно использовать в качестве менеджера контекста. Кроме того, его метод add() имеет новый параметр filter, который контролирует, какие файлы добавляются в архив, и позволяет редактировать метаданные файла.

Новый параметр filter заменяет старый, менее гибкий параметр exclude, который уже устарел. Если указан, необязательный параметр filter должен быть keyword argument. Пользовательская функция filter принимает объект TarInfo и возвращает обновленный объект TarInfo, или, если она хочет, чтобы файл был исключен, функция может вернуть None:

>>> import tarfile, glob

>>> def myfilter(tarinfo):
...     if tarinfo.isfile():             # only save real files
...         tarinfo.uname = 'monty'      # redact the user name
...         return tarinfo

>>> with tarfile.open(name='myarchive.tar.gz', mode='w:gz') as tf:
...     for filename in glob.glob('*.txt'):
...         tf.add(filename, filter=myfilter)
...     tf.list()
-rw-r--r-- monty/501        902 2011-01-26 17:59:11 annotations.txt
-rw-r--r-- monty/501        123 2011-01-26 17:59:11 general_questions.txt
-rw-r--r-- monty/501       3514 2011-01-26 17:59:11 prion.txt
-rw-r--r-- monty/501        124 2011-01-26 17:59:11 py_todo.txt
-rw-r--r-- monty/501       1399 2011-01-26 17:59:11 semaphore_notes.txt

(Предложено Тареком Зиаде и реализовано Ларсом Густебелем в bpo-6856).

hashlib¶

Модуль hashlib имеет два новых константных атрибута, перечисляющих алгоритмы хэширования, гарантированно присутствующие во всех реализациях и доступные в текущей реализации:

>>> import hashlib

>>> hashlib.algorithms_guaranteed
{'sha1', 'sha224', 'sha384', 'sha256', 'sha512', 'md5'}

>>> hashlib.algorithms_available
{'md2', 'SHA256', 'SHA512', 'dsaWithSHA', 'mdc2', 'SHA224', 'MD4', 'sha256',
'sha512', 'ripemd160', 'SHA1', 'MDC2', 'SHA', 'SHA384', 'MD2',
'ecdsa-with-SHA1','md4', 'md5', 'sha1', 'DSA-SHA', 'sha224',
'dsaEncryption', 'DSA', 'RIPEMD160', 'sha', 'MD5', 'sha384'}

(Предложено Карлом Чене в bpo-7418).

ast¶

Модуль ast представляет собой замечательный инструмент общего назначения для безопасной оценки строк выражений с использованием синтаксиса литералов Python. Функция ast.literal_eval() служит безопасной альтернативой встроенной функции eval(), которой легко злоупотреблять. Python 3.2 добавляет литералы bytes и set к списку поддерживаемых типов: строки, байты, числа, кортежи, списки, дикты, множества, булевы и None.

>>> from ast import literal_eval

>>> request = "{'req': 3, 'func': 'pow', 'args': (2, 0.5)}"
>>> literal_eval(request)
{'args': (2, 0.5), 'req': 3, 'func': 'pow'}

>>> request = "os.system('do something harmful')"
>>> literal_eval(request)
Traceback (most recent call last):
  ...
ValueError: malformed node or string: <_ast.Call object at 0x101739a10>

(Реализовано Бенджамином Петерсоном и Георгом Брандлом.)

os¶

Различные операционные системы используют различные кодировки для имен файлов и переменных окружения. Модуль os предоставляет две новые функции, fsencode() и fsdecode(), для кодирования и декодирования имен файлов:

>>> import os
>>> filename = 'Sehenswürdigkeiten'
>>> os.fsencode(filename)
b'Sehensw\xc3\xbcrdigkeiten'

Некоторые операционные системы разрешают прямой доступ к закодированным байтам в среде. Если это так, то константа os.supports_bytes_environ будет истиной.

Для прямого доступа к закодированным переменным окружения (если они доступны), используйте новую функцию os.getenvb() или используйте os.environb, которая является байтовой версией os.environ.

(При участии Виктора Стиннера.)

shutil¶

Функция shutil.copytree() имеет две новые опции:

• ignore_dangling_symlinks: когда symlinks=False, чтобы функция копировала файл, на который указывает симлинк, а не сам симлинк. Эта опция заглушает ошибку, возникающую, если файл не существует.

• copy_function: является вызываемой функцией, которая будет использоваться для копирования файлов. По умолчанию используется shutil.copy2().

(При участии Тарека Зиаде.)

Кроме того, модуль shutil теперь поддерживает archiving operations для zip-файлов, несжатых tar-файлов, gzipped tar-файлов и bzipped tar-файлов. Также есть функции для регистрации дополнительных форматов архивных файлов (таких как xz сжатые tarfiles или пользовательские форматы).

Основными функциями являются make_archive() и unpack_archive(). По умолчанию обе работают с текущим каталогом (который может быть задан командой os.chdir()) и с любыми подкаталогами. Имя архивного файла должно быть указано полным именем пути. Этап архивирования является неразрушающим (исходные файлы остаются без изменений).

>>> import shutil, pprint

>>> os.chdir('mydata')  # change to the source directory
>>> f = shutil.make_archive('/var/backup/mydata',
...                         'zip')      # archive the current directory
>>> f                                   # show the name of archive
'/var/backup/mydata.zip'
>>> os.chdir('tmp')                     # change to an unpacking
>>> shutil.unpack_archive('/var/backup/mydata.zip')  # recover the data

>>> pprint.pprint(shutil.get_archive_formats())  # display known formats
[('bztar', "bzip2'ed tar-file"),
 ('gztar', "gzip'ed tar-file"),
 ('tar', 'uncompressed tar file'),
 ('zip', 'ZIP file')]

>>> shutil.register_archive_format(     # register a new archive format
...     name='xz',
...     function=xz.compress,           # callable archiving function
...     extra_args=[('level', 8)],      # arguments to the function
...     description='xz compression'
... )

(При участии Тарека Зиаде.)

sqlite3¶

Модуль sqlite3 был обновлен до версии pysqlite 2.6.0. В нем появились две новые возможности.

• Атрибут sqlite3.Connection.in_transit является истинным, если существует активная транзакция для незафиксированных изменений.

• Методы sqlite3.Connection.enable_load_extension() и sqlite3.Connection.load_extension() позволяют загружать расширения SQLite из файлов «.so». Одним из известных расширений является расширение полнотекстового поиска, распространяемое вместе с SQLite.

(При участии Р. Дэвида Мюррея и Шашвата Ананда; bpo-8845).

html¶

Был введен новый модуль html с единственной функцией escape(), которая используется для экранирования зарезервированных символов из HTML-разметки:

>>> import html
>>> html.escape('x > 2 && x < 7')
'x &gt; 2 &amp;&amp; x &lt; 7'

розетка¶

Модуль socket имеет два новых усовершенствования.

• Объекты Socket теперь имеют метод detach(), который переводит сокет в закрытое состояние без фактического закрытия базового дескриптора файла. Последний затем может быть повторно использован для других целей. (Добавлено Антуаном Питру; bpo-8524).

• socket.create_connection() теперь поддерживает протокол управления контекстом для безусловного потребления исключений socket.error и закрытия сокета после завершения работы. (Внесено Джампаоло Родола; bpo-9794).

ssl¶

Модуль ssl добавил ряд функций для удовлетворения общих требований к безопасным (зашифрованным, аутентифицированным) интернет-соединениям:

• Новый класс SSLContext служит контейнером для постоянных данных SSL, таких как настройки протокола, сертификаты, закрытые ключи и различные другие параметры. Он включает wrap_socket() для создания SSL-сокета из SSL-контекста.

• Новая функция, ssl.match_hostname(), поддерживает проверку идентичности сервера для протоколов более высокого уровня, реализуя правила HTTPS (из RFC 2818), которые также подходят для других протоколов.

• Функция конструктора ssl.wrap_socket() теперь принимает аргумент ciphers. В строке ciphers перечислены допустимые алгоритмы шифрования в формате, описанном в OpenSSL documentation.

• При использовании последних версий OpenSSL модуль ssl теперь поддерживает расширение Server Name Indication для протокола TLS, позволяющее использовать несколько «виртуальных хостов» с разными сертификатами на одном IP-порту. Это расширение поддерживается только в режиме клиента и активируется путем передачи аргумента server_hostname в ssl.SSLContext.wrap_socket().

• В модуль ssl были добавлены различные опции, например, OP_NO_SSLv2, которая отключает небезопасный и устаревший протокол SSLv2.

• Расширение теперь загружает все шифры и алгоритмы дайджеста OpenSSL. Если некоторые SSL-сертификаты не могут быть проверены, о них сообщается как об ошибке «неизвестный алгоритм».

• Используемая версия OpenSSL теперь доступна с помощью атрибутов модуля ssl.OPENSSL_VERSION (строка), ssl.OPENSSL_VERSION_INFO (кортеж из 5 букв) и ssl.OPENSSL_VERSION_NUMBER (целое число).

(Внесено Антуаном Питру в bpo-8850, bpo-1589, bpo-8322, bpo-5639, bpo-4870, bpo-8484 и bpo-8321).

nntp¶

Модуль nntplib имеет обновленную реализацию с улучшенной семантикой байтов и текста, а также более практичными API. Эти улучшения нарушают совместимость с версией nntplib в Python 3.1, которая сама по себе была частично неработоспособной.

Также добавлена поддержка безопасных соединений через неявный (с использованием nntplib.NNTP_SSL) и явный (с использованием nntplib.NNTP.starttls()) TLS.

(При участии Антуана Питру из bpo-9360 и Эндрю Ванта из bpo-1926).

сертификаты¶

http.client.HTTPSConnection, urllib.request.HTTPSHandler и urllib.request.urlopen() теперь принимают необязательные аргументы, позволяющие проверить сертификат сервера по набору центров сертификации, как это рекомендуется при публичном использовании HTTPS.

(Добавлено Антуаном Питру, bpo-9003).

imaplib¶

Поддержка явного TLS в стандартных соединениях IMAP4 была добавлена с помощью нового метода imaplib.IMAP4.starttls.

(При участии Лоренцо М. Катуччи и Антуана Питру, bpo-4471).

http.client¶

В модуле http.client был сделан ряд небольших улучшений API. Старый стиль простых ответов HTTP 0.9 больше не поддерживается, а параметр strict устарел во всех классах.

Классы HTTPConnection и HTTPSConnection теперь имеют параметр source_address для кортежа (host, port), указывающего, откуда устанавливается HTTP-соединение.

В HTTPSConnection была добавлена поддержка проверки сертификатов и виртуальных хостов HTTPS.

Метод request() на объектах соединения допускал необязательный аргумент body, чтобы file object можно было использовать для передачи содержимого запроса. Удобно, что аргумент body теперь также принимает объект iterable, если он включает явный заголовок Content-Length. Этот расширенный интерфейс гораздо более гибкий, чем раньше.

Для установления HTTPS-соединения через прокси-сервер существует новый метод set_tunnel(), который устанавливает хост и порт для туннелирования HTTP Connect.

Чтобы соответствовать поведению http.server, клиентская библиотека HTTP теперь также кодирует заголовки в кодировке ISO-8859-1 (Latin-1). Она уже делала это для входящих заголовков, так что теперь поведение согласовано как для входящего, так и для исходящего трафика. (См. работу Армина Ронахера в bpo-10980).

unittest¶

Модуль unittest имеет ряд улучшений, поддерживающих обнаружение тестов для пакетов, более легкое экспериментирование в интерактивной подсказке, новые методы тесткейсов, улучшенные диагностические сообщения о неудачах тестов и более удобные имена методов.

• Вызов командной строки python -m unittest теперь может принимать пути к файлам вместо имен модулей для запуска определенных тестов (bpo-10620). Новое обнаружение тестов может находить тесты внутри пакетов, обнаруживая любой тест, импортируемый из каталога верхнего уровня. Каталог верхнего уровня может быть указан с помощью опции -t, шаблон для поиска файлов с помощью -p, а каталог для начала обнаружения с помощью -s:

  $ python -m unittest discover -s my_proj_dir -p _test.py
  

  (При участии Майкла Фоорда.)

• Экспериментировать в интерактивной подсказке стало проще, поскольку класс unittest.case.TestCase теперь можно инстанцировать без аргументов:

  >>> from unittest import TestCase
  >>> TestCase().assertEqual(pow(2, 3), 8)
  

  (При участии Майкла Фоорда.)

• Модуль unittest имеет два новых метода, assertWarns() и assertWarnsRegex() для проверки того, что данный тип предупреждения вызван тестируемым кодом:

  with self.assertWarns(DeprecationWarning):
      legacy_function('XYZ')
  

  (Внесено Антуаном Питру, bpo-9754).

  Еще один новый метод, assertCountEqual(), используется для сравнения двух итераций, чтобы определить, равны ли их количества элементов (присутствуют ли одинаковые элементы с одинаковым количеством вхождений независимо от порядка):

  def test_anagram(self):
      self.assertCountEqual('algorithm', 'logarithm')
  

  (При участии Раймонда Хеттингера.)

• Главной особенностью модуля unittest является попытка выдать содержательную диагностику при неудачном выполнении теста. Когда это возможно, сбой записывается вместе с диф. выводом. Это особенно полезно для анализа журнальных файлов неудачных запусков тестов. Однако, поскольку диффы иногда могут быть объемными, появился новый атрибут maxDiff, задающий максимальную длину отображаемых диффов.

• Кроме того, имена методов в модуле подверглись некоторой чистке.

  Например, assertRegex() - это новое название для assertRegexpMatches(), который был назван неправильно, потому что в тесте используется re.search(), а не re.match(). Другие методы, использующие регулярные выражения, теперь называются сокращенно «Regex», а не «Regexp» - это соответствует именам, используемым в других реализациях unittest, соответствует старому названию модуля Python re, и имеет однозначный верблюжий регистр.

  (Внесено Раймондом Хеттингером и реализовано Эцио Мелотти).

• Для улучшения согласованности некоторые давно используемые псевдонимы методов отменяются в пользу предпочтительных имен:

  Старое имя	Предпочитаемое имя
  assert_()	assertTrue()
  assertEquals()	assertEqual()
  assertNotEquals()	assertNotEqual()
  assertAlmostEquals()	assertAlmostEqual()
  assertNotAlmostEquals()	assertNotAlmostEqual()

  Аналогично, методы TestCase.fail*, устаревшие в Python 3.1, как ожидается, будут удалены в Python 3.3. Также смотрите раздел Утратившие актуальность псевдонимы в документации unittest.

  (Внесено Эцио Мелотти; bpo-9424).

• Метод assertDictContainsSubset() был устаревшим, потому что он был неправильно реализован с аргументами в неправильном порядке. Это создавало трудноотлаживаемые оптические иллюзии, при которых тесты типа TestCase().assertDictContainsSubset({'a':1, 'b':2}, {'a':1}) проваливались.

  (При участии Раймонда Хеттингера.)

случайный¶

Целочисленные методы в модуле random теперь лучше справляются с получением равномерных распределений. Ранее они вычисляли выборки с помощью int(n*random()), который имел небольшое смещение всякий раз, когда n не являлось степенью двойки. Теперь множественные выборки производятся из диапазона до следующей степени двойки, и выборка сохраняется только тогда, когда она попадает в диапазон 0 <= x < n. Затронуты функции и методы randrange(), randint(), choice(), shuffle() и sample().

(Внесено Раймондом Хеттингером; bpo-9025).

poplib¶

Класс POP3_SSL теперь принимает параметр context, который представляет собой объект ssl.SSLContext, позволяющий объединить параметры конфигурации SSL, сертификаты и закрытые ключи в единую (потенциально долгоживущую) структуру.

(Внесено Джампаоло Родола; bpo-8807).

asyncore¶

asyncore.dispatcher теперь предоставляет метод handle_accepted(), возвращающий пару (sock, addr), который вызывается, когда соединение действительно было установлено с новой удаленной конечной точкой. Предполагается, что он будет использоваться в качестве замены старого handle_accept() и избавит пользователя от необходимости напрямую вызывать accept().

(Внесено Джампаоло Родола; bpo-6706).

tempfile¶

Модуль tempfile имеет новый менеджер контекста TemporaryDirectory, который обеспечивает легкую детерминированную очистку временных каталогов:

with tempfile.TemporaryDirectory() as tmpdirname:
    print('created temporary dir:', tmpdirname)

(При участии Нила Шеменауэра и Ника Коглана; bpo-5178).

проверять¶

• В модуле inspect появилась новая функция getgeneratorstate(), позволяющая легко определить текущее состояние генератора-итератора:

  >>> from inspect import getgeneratorstate
  >>> def gen():
  ...     yield 'demo'
  >>> g = gen()
  >>> getgeneratorstate(g)
  'GEN_CREATED'
  >>> next(g)
  'demo'
  >>> getgeneratorstate(g)
  'GEN_SUSPENDED'
  >>> next(g, None)
  >>> getgeneratorstate(g)
  'GEN_CLOSED'
  

  (При участии Родольфо Экхардта и Ника Коглана, bpo-10220).

• Для поддержки поиска без возможности активации динамического атрибута в модуле inspect появилась новая функция getattr_static(). В отличие от hasattr(), это настоящий поиск только для чтения, который гарантированно не изменит состояние во время поиска:

  >>> class A:
  ...     @property
  ...     def f(self):
  ...         print('Running')
  ...         return 10
  ...
  >>> a = A()
  >>> getattr(a, 'f')
  Running
  10
  >>> inspect.getattr_static(a, 'f')
  <property object at 0x1022bd788>
  

(При участии Майкла Фоорда.)

pydoc¶

Модуль pydoc теперь предоставляет значительно улучшенный интерфейс веб-сервера, а также новую опцию командной строки -b для автоматического открытия окна браузера для отображения этого сервера:

$ pydoc3.2 -b

(Внесено Роном Адамом; bpo-2001).

dis¶

В модуле dis появились две новые функции для проверки кода, code_info() и show_code(). Обе предоставляют подробную информацию об объекте кода для заданной функции, метода, строки исходного кода или объекта кода. Первая возвращает строку, а вторая печатает ее:

>>> import dis, random
>>> dis.show_code(random.choice)
Name:              choice
Filename:          /Library/Frameworks/Python.framework/Versions/3.2/lib/python3.2/random.py
Argument count:    2
Kw-only arguments: 0
Number of locals:  3
Stack size:        11
Flags:             OPTIMIZED, NEWLOCALS, NOFREE
Constants:
   0: 'Choose a random element from a non-empty sequence.'
   1: 'Cannot choose from an empty sequence'
Names:
   0: _randbelow
   1: len
   2: ValueError
   3: IndexError
Variable names:
   0: self
   1: seq
   2: i

Кроме того, функция dis() теперь принимает строковые аргументы, так что распространенная идиома dis(compile(s, '', 'eval')) может быть сокращена до dis(s):

>>> dis('3*x+1 if x%2==1 else x//2')
  1           0 LOAD_NAME                0 (x)
              3 LOAD_CONST               0 (2)
              6 BINARY_MODULO
              7 LOAD_CONST               1 (1)
             10 COMPARE_OP               2 (==)
             13 POP_JUMP_IF_FALSE       28
             16 LOAD_CONST               2 (3)
             19 LOAD_NAME                0 (x)
             22 BINARY_MULTIPLY
             23 LOAD_CONST               1 (1)
             26 BINARY_ADD
             27 RETURN_VALUE
        >>   28 LOAD_NAME                0 (x)
             31 LOAD_CONST               0 (2)
             34 BINARY_FLOOR_DIVIDE
             35 RETURN_VALUE

Вместе взятые, эти улучшения облегчают изучение того, как реализован CPython, и позволяют увидеть своими глазами, что делает синтаксис языка «под землей».

(Внесено Ником Когланом из bpo-9147).

dbm¶

Все модули баз данных теперь поддерживают методы get() и setdefault().

(Предложено Рэем Алленом в bpo-9523).

ctypes¶

Новый тип ctypes.c_ssize_t представляет тип данных C ssize_t.

сайт¶

Модуль site содержит три новые функции, полезные для составления отчетов о деталях данной установки Python.

• getsitepackages() перечисляет все глобальные каталоги site-packages.

• getuserbase() сообщает о базовом каталоге пользователя, в котором могут храниться данные.

• getusersitepackages() раскрывает путь к директории site-packages для конкретного пользователя.

>>> import site
>>> site.getsitepackages()
['/Library/Frameworks/Python.framework/Versions/3.2/lib/python3.2/site-packages',
 '/Library/Frameworks/Python.framework/Versions/3.2/lib/site-python',
 '/Library/Python/3.2/site-packages']
>>> site.getuserbase()
'/Users/raymondhettinger/Library/Python/3.2'
>>> site.getusersitepackages()
'/Users/raymondhettinger/Library/Python/3.2/lib/python/site-packages'

Удобно, что некоторые функции сайта доступны непосредственно из командной строки:

$ python -m site --user-base
/Users/raymondhettinger/.local
$ python -m site --user-site
/Users/raymondhettinger/.local/lib/python3.2/site-packages

(Внесено Тареком Зиаде в bpo-6693).

sysconfig¶

Новый модуль sysconfig позволяет легко обнаружить пути установки и переменные конфигурации, которые различаются на разных платформах и установках.

Модуль предлагает функции простого доступа к информации о платформе и версии:

• get_platform() возвращает значения типа linux-i586 или macosx-10.6-ppc.

• get_python_version() возвращает строку версии Python, например, «3.2».

Он также предоставляет доступ к путям и переменным, соответствующим одной из семи именованных схем, используемых distutils. К ним относятся posix_prefix, posix_home, posix_user, nt, nt_user, os2, os2_home:

• get_paths() создает словарь, содержащий пути установки для текущей схемы установки.

• get_config_vars() возвращает словарь переменных, специфичных для платформы.

Также имеется удобный интерфейс командной строки:

C:\Python32>python -m sysconfig
Platform: "win32"
Python version: "3.2"
Current installation scheme: "nt"

Paths:
        data = "C:\Python32"
        include = "C:\Python32\Include"
        platinclude = "C:\Python32\Include"
        platlib = "C:\Python32\Lib\site-packages"
        platstdlib = "C:\Python32\Lib"
        purelib = "C:\Python32\Lib\site-packages"
        scripts = "C:\Python32\Scripts"
        stdlib = "C:\Python32\Lib"

Variables:
        BINDIR = "C:\Python32"
        BINLIBDEST = "C:\Python32\Lib"
        EXE = ".exe"
        INCLUDEPY = "C:\Python32\Include"
        LIBDEST = "C:\Python32\Lib"
        SO = ".pyd"
        VERSION = "32"
        abiflags = ""
        base = "C:\Python32"
        exec_prefix = "C:\Python32"
        platbase = "C:\Python32"
        prefix = "C:\Python32"
        projectbase = "C:\Python32"
        py_version = "3.2"
        py_version_nodot = "32"
        py_version_short = "3.2"
        srcdir = "C:\Python32"
        userbase = "C:\Documents and Settings\Raymond\Application Data\Python"

(Перемещено из Distutils Тареком Зиаде).

pdb¶

Модуль отладчика pdb получил ряд улучшений в удобстве использования:

• pdb.py теперь имеет опцию -c, которая выполняет команды, заданные в файле сценария .pdbrc.

• Файл сценария .pdbrc может содержать команды continue и next, которые продолжают отладку.

• Конструктор класса Pdb теперь принимает аргумент nosigint.

• Новые команды: l(list), ll(long list) и source для листинга исходного кода.

• Новые команды: display и undisplay для показа или скрытия значения выражения, если оно изменилось.

• Новая команда: interact для запуска интерактивного интерпретатора, содержащего глобальные и локальные имена, найденные в текущей области видимости.

• Точки останова могут быть очищены по номеру точки останова.

(При участии Георга Брандла, Антонио Куни и Ильи Сандлера).

configparser¶

Модуль configparser был изменен для улучшения удобства использования и предсказуемости парсера по умолчанию и поддерживаемого им синтаксиса INI. Старый класс ConfigParser был удален в пользу SafeConfigParser, который в свою очередь был переименован в ConfigParser. Поддержка встроенных комментариев теперь отключена по умолчанию, а дублирование секций и опций в одном источнике конфигурации не допускается.

Парсеры конфигурации получили новый API, основанный на протоколе сопоставления:

>>> parser = ConfigParser()
>>> parser.read_string("""
... [DEFAULT]
... location = upper left
... visible = yes
... editable = no
... color = blue
...
... [main]
... title = Main Menu
... color = green
...
... [options]
... title = Options
... """)
>>> parser['main']['color']
'green'
>>> parser['main']['editable']
'no'
>>> section = parser['options']
>>> section['title']
'Options'
>>> section['title'] = 'Options (editable: %(editable)s)'
>>> section['title']
'Options (editable: no)'

Новый API реализован поверх классического API, поэтому пользовательские подклассы парсеров должны иметь возможность использовать его без изменений.

Структура INI-файла, принимаемая парсерами конфигурации, теперь может быть настроена. Пользователи могут указать альтернативные разделители опций/значений и префиксы комментариев, изменить имя секции DEFAULT или переключить синтаксис интерполяции.

Имеется поддержка подключаемой интерполяции, включая дополнительный обработчик интерполяции ExtendedInterpolation:

>>> parser = ConfigParser(interpolation=ExtendedInterpolation())
>>> parser.read_dict({'buildout': {'directory': '/home/ambv/zope9'},
...                   'custom': {'prefix': '/usr/local'}})
>>> parser.read_string("""
... [buildout]
... parts =
...   zope9
...   instance
... find-links =
...   ${buildout:directory}/downloads/dist
...
... [zope9]
... recipe = plone.recipe.zope9install
... location = /opt/zope
...
... [instance]
... recipe = plone.recipe.zope9instance
... zope9-location = ${zope9:location}
... zope-conf = ${custom:prefix}/etc/zope.conf
... """)
>>> parser['buildout']['find-links']
'\n/home/ambv/zope9/downloads/dist'
>>> parser['instance']['zope-conf']
'/usr/local/etc/zope.conf'
>>> instance = parser['instance']
>>> instance['zope-conf']
'/usr/local/etc/zope.conf'
>>> instance['zope9-location']
'/opt/zope'

Также был представлен ряд более мелких возможностей, таких как поддержка указания кодировки в операциях чтения, указание запасных значений для функций get, или чтение непосредственно из словарей и строк.

(Все изменения внесены Лукашем Ланга).

urllib.parse¶

Для модуля urllib.parse был сделан ряд улучшений в плане удобства использования.

Функция urlparse() теперь поддерживает адреса IPv6, как описано в RFC 2732:

>>> import urllib.parse
>>> urllib.parse.urlparse('http://[dead:beef:cafe:5417:affe:8FA3:deaf:feed]/foo/') 
ParseResult(scheme='http',
            netloc='[dead:beef:cafe:5417:affe:8FA3:deaf:feed]',
            path='/foo/',
            params='',
            query='',
            fragment='')

Функция urldefrag() теперь возвращает named tuple:

>>> r = urllib.parse.urldefrag('http://python.org/about/#target')
>>> r
DefragResult(url='http://python.org/about/', fragment='target')
>>> r[0]
'http://python.org/about/'
>>> r.fragment
'target'

Кроме того, функция urlencode() стала более гибкой, принимая в качестве аргумента query либо строку, либо тип байта. Если это строка, то параметры safe, encoding и error передаются в quote_plus() для кодирования:

>>> urllib.parse.urlencode([
...      ('type', 'telenovela'),
...      ('name', '¿Dónde Está Elisa?')],
...      encoding='latin-1')
'type=telenovela&name=%BFD%F3nde+Est%E1+Elisa%3F'

Как подробно описано в Разбор байтов в кодировке ASCII, все функции urllib.parse теперь принимают на вход байтовые строки в ASCII-кодировке, если они не смешаны с обычными строками. Если в качестве параметров передаются байтовые строки в ASCII-кодировке, возвращаемые типы также будут байтовыми строками в ASCII-кодировке:

>>> urllib.parse.urlparse(b'http://www.python.org:80/about/') 
ParseResultBytes(scheme=b'http', netloc=b'www.python.org:80',
                 path=b'/about/', params=b'', query=b'', fragment=b'')

(Работы Ника Коглана, Дэна Мана и Сентхила Кумарана в bpo-2987, bpo-5468 и bpo-9873).

почтовый ящик¶

Благодаря совместным усилиям Р. Дэвида Мюррея, модуль mailbox был исправлен для Python 3.2. Проблема заключалась в том, что почтовый ящик изначально был разработан с текстовым интерфейсом, но сообщения электронной почты лучше всего представлять с помощью bytes, поскольку различные части сообщения могут иметь разные кодировки.

Решение использовало бинарную поддержку пакета email для разбора произвольных сообщений электронной почты. Кроме того, решение потребовало внесения ряда изменений в API.

Как и ожидалось, метод add() для объектов mailbox.Mailbox теперь принимает двоичный вход.

StringIO и ввод из текстового файла устарели. Кроме того, ввод строк будет завершаться неудачей, если используются символы, отличные от ASCII. Ранее это происходило, когда письмо обрабатывалось на более позднем этапе.

Также появилась поддержка двоичного вывода. Метод get_file() теперь возвращает файл в двоичном режиме (раньше он ошибочно устанавливал файл в текстовый режим). Также есть новый метод get_bytes(), который возвращает bytes представление сообщения, соответствующего заданному ключу.

Все еще можно получить недвоичный вывод, используя метод get_string() старого API, но этот подход не очень полезен. Вместо этого лучше всего извлекать сообщения из объекта Message или загружать их из двоичного ввода.

(Внесено Р. Дэвидом Мюрреем при участии Штеффена Даоде Нурпмесо и первоначального исправления Виктора Стиннера в bpo-9124).

turtledemo¶

Демонстрационный код для модуля turtle был перемещен из каталога Demo в основную библиотеку. Он включает более дюжины примеров скриптов с живым отображением. Находясь на sys.path, он теперь может быть запущен непосредственно из командной строки:

$ python -m turtledemo

(Перемещено из каталога Demo Александром Белопольским в bpo-10199).