Что нового в Python 3.6¶

PEP 498: Форматированные строковые литералы¶

PEP 498 вводит новый вид строковых литералов: f-строки, или formatted string literals.

Форматированные строковые литералы имеют префикс 'f' и аналогичны строкам формата, принимаемым в str.format(). Они содержат заменяющие поля, заключенные в фигурные скобки. Заменяющие поля - это выражения, которые вычисляются во время выполнения, а затем форматируются с использованием протокола format():

>>> name = "Fred"
>>> f"He said his name is {name}."
'He said his name is Fred.'
>>> width = 10
>>> precision = 4
>>> value = decimal.Decimal("12.34567")
>>> f"result: {value:{width}.{precision}}"  # nested fields
'result:      12.35'

PEP 526: Синтаксис для аннотаций переменных¶

PEP 484 введен стандарт для аннотаций типов параметров функций, он же подсказки по типу. Этот PEP добавляет в Python синтаксис для аннотирования типов переменных, включая переменные класса и переменные экземпляра:

primes: List[int] = []

captain: str  # Note: no initial value!

class Starship:
    stats: Dict[str, int] = {}

Как и в случае с аннотациями функций, интерпретатор Python не придает никакого особого значения аннотациям переменных и сохраняет их только в атрибуте __annotations__ класса или модуля.

В отличие от объявлений переменных в языках со статической типизацией, цель синтаксиса аннотаций - предоставить простой способ задания метаданных структурированного типа для сторонних инструментов и библиотек с помощью дерева абстрактного синтаксиса и атрибута __annotations__.

PEP 515: Подчеркивания в числовых литералах¶

PEP 515 добавлена возможность использовать символы подчеркивания в числовых литералах для улучшения читаемости. Например:

>>> 1_000_000_000_000_000
1000000000000000
>>> 0x_FF_FF_FF_FF
4294967295

Одиночные символы подчеркивания допускаются между цифрами и после любого базового указателя. Начальные, конечные или множественные символы подчеркивания подряд не допускаются.

В языке string formatting также теперь поддерживается опция '_', указывающая на использование символа подчеркивания в качестве разделителя тысяч для типов представления с плавающей запятой и для целочисленного типа представления 'd'. Для целых типов представления 'b', 'o', 'x', и 'X' через каждые 4 цифры будут вставлены символы подчеркивания:

>>> '{:_}'.format(1000000)
'1_000_000'
>>> '{:_x}'.format(0xFFFFFFFF)
'ffff_ffff'

PEP 525: Асинхронные генераторы¶

PEP 492 добавлена поддержка встроенных сопрограмм и синтаксиса async / await в Python 3.5. Заметным недостатком реализации Python 3.5 является то, что было невозможно использовать await и yield в одном и том же теле функции. В Python 3.6 это ограничение было снято, что позволило определить * асинхронные генераторы*:

async def ticker(delay, to):
    """Yield numbers from 0 to *to* every *delay* seconds."""
    for i in range(to):
        yield i
        await asyncio.sleep(delay)

Новый синтаксис позволяет создавать более быстрый и лаконичный код.

PEP 530: Асинхронное понимание¶

PEP 530 добавлена поддержка использования async for в понятиях list, set, dict и генераторных выражениях:

result = [i async for i in aiter() if i % 2]

Кроме того, выражения await поддерживаются во всех видах понимания:

result = [await fun() for fun in funcs if await condition()]

PEP 487: Упрощенная настройка процесса создания классов¶

Теперь можно настроить создание подкласса без использования метакласса. Новый __init_subclass__ classmethod будет вызываться в базовом классе всякий раз, когда создается новый подкласс:

class PluginBase:
    subclasses = []

    def __init_subclass__(cls, **kwargs):
        super().__init_subclass__(**kwargs)
        cls.subclasses.append(cls)

class Plugin1(PluginBase):
    pass

class Plugin2(PluginBase):
    pass

Чтобы обеспечить корректную работу вызовов с нулевым аргументом super() из реализаций __init_subclass__(), пользовательские метаклассы должны гарантировать, что новая запись пространства имен __classcell__ будет распространена на type.__new__ (как описано в Создание объекта класса).

PEP 487: Усовершенствования протокола дескрипторов¶

PEP 487 расширяет протокол дескриптора, включая новый необязательный метод __set_name__(). Всякий раз, когда определяется новый класс, новый метод будет вызываться для всех дескрипторов, включенных в определение, предоставляя им ссылку на определяемый класс и имя, присвоенное дескриптору в пространстве имен класса. Другими словами, экземпляры дескрипторов теперь могут знать имя атрибута дескриптора в классе owner:

class IntField:
    def __get__(self, instance, owner):
        return instance.__dict__[self.name]

    def __set__(self, instance, value):
        if not isinstance(value, int):
            raise ValueError(f'expecting integer in {self.name}')
        instance.__dict__[self.name] = value

    # this is the new initializer:
    def __set_name__(self, owner, name):
        self.name = name

class Model:
    int_field = IntField()

PEP 519: Добавление протокола пути к файловой системе¶

Пути к файловой системе исторически представлялись в виде объектов str или bytes. Это привело к тому, что люди, пишущие код, который оперирует путями к файловой системе, предположили, что такие объекты являются только одним из этих двух типов (int, представляющий файловый дескриптор, не учитывается, поскольку это не путь к файлу). К сожалению, это предположение не позволяет альтернативным объектным представлениям путей к файловой системе, таким как pathlib, работать с уже существующим кодом, включая стандартную библиотеку Python.

Чтобы исправить эту ситуацию, был определен новый интерфейс, представленный как os.PathLike. При реализации метода __fspath__() объект сигнализирует о том, что он представляет собой путь. Затем объект может предоставить низкоуровневое представление пути к файловой системе в виде объекта str или bytes. Это означает, что объект считается path-like, если он реализует os.PathLike или является объектом str или bytes, который представляет путь к файловой системе. Код может использовать os.fspath(), os.fsdecode(), или os.fsencode(), чтобы явно получить str и/или bytes представление объекта, подобного пути.

Встроенная функция open() была обновлена для приема объектов os.PathLike, как и все соответствующие функции в модулях os и os.path, а также большинство других функций и классов в стандартной библиотеке. Класс os.DirEntry и соответствующие классы в pathlib также были обновлены для реализации os.PathLike.

Есть надежда, что обновление основных функций для работы с путями файловой системы приведет к тому, что сторонний код будет неявно поддерживать все path-like objects без каких-либо изменений кода или, по крайней мере, очень минимальных (например, вызов os.fspath() в начале кода перед началом работы на объекте, похожем на путь).

Вот несколько примеров того, как новый интерфейс позволяет более легко и прозрачно использовать pathlib.Path с уже существующим кодом.:

>>> import pathlib
>>> with open(pathlib.Path("README")) as f:
...     contents = f.read()
...
>>> import os.path
>>> os.path.splitext(pathlib.Path("some_file.txt"))
('some_file', '.txt')
>>> os.path.join("/a/b", pathlib.Path("c"))
'/a/b/c'
>>> import os
>>> os.fspath(pathlib.Path("some_file.txt"))
'some_file.txt'

(Реализовано Бреттом Кэнноном, Итаном Фурманом, Дасти Филлипсом и Джелле Зейлстрой.)

PEP 495: Устранение неоднозначности по местному времени¶

В большинстве стран мира были и будут периоды, когда местные часы переводятся назад. В такие периоды вводятся интервалы, при которых местные часы показывают одно и то же время дважды в течение одного дня. В таких ситуациях информации, отображаемой на локальных часах (или хранящейся в экземпляре Python datetime), недостаточно для определения конкретного момента времени.

PEP 495 добавляет новый атрибут fold к экземплярам классов datetime.datetime и datetime.time, чтобы различать два момента времени, для которых местное время совпадает:

>>> u0 = datetime(2016, 11, 6, 4, tzinfo=timezone.utc)
>>> for i in range(4):
...     u = u0 + i*HOUR
...     t = u.astimezone(Eastern)
...     print(u.time(), 'UTC =', t.time(), t.tzname(), t.fold)
...
04:00:00 UTC = 00:00:00 EDT 0
05:00:00 UTC = 01:00:00 EDT 0
06:00:00 UTC = 01:00:00 EST 1
07:00:00 UTC = 02:00:00 EST 0

Значения атрибута fold имеют значение 0 для всех экземпляров, за исключением тех, которые представляют второй (хронологически) момент времени в неоднозначном случае.

PEP 529: Измените кодировку файловой системы Windows на UTF-8¶

Для представления путей к файловой системе лучше всего использовать str (Unicode), а не байты. Однако в некоторых ситуациях достаточно и корректно использовать байты.

До выхода Python 3.6 использование байтовых путей в Windows могло привести к потере данных. Благодаря этому изменению в Windows теперь поддерживается использование байтов для представления путей при условии, что эти байты закодированы в кодировке, возвращаемой sys.getfilesystemencoding(), которая теперь по умолчанию равна 'utf-8'.

Приложения, которые не используют str для представления путей, должны использовать os.fsencode() и os.fsdecode(), чтобы убедиться, что их байты правильно закодированы. Чтобы вернуться к предыдущему режиму, установите PYTHONLEGACYWINDOWSFSENCODING или вызовите sys._enablelegacywindowsfsencoding().

Смотрите PEP 529 для получения дополнительной информации и обсуждения изменений кода, которые могут потребоваться.

PEP 528: Измените кодировку консоли Windows на UTF-8¶

Консоль по умолчанию в Windows теперь будет принимать все символы Unicode и предоставлять корректно считываемые объекты str в коде Python. sys.stdin, sys.stdout и sys.stderr теперь по умолчанию используется кодировка utf-8.

Это изменение применяется только при использовании интерактивной консоли, но не при перенаправлении файлов или каналов. Чтобы вернуться к предыдущему режиму работы с интерактивной консолью, установите PYTHONLEGACYWINDOWSSTDIO.

PEP 520: Сохранение порядка определения атрибутов класса¶

Атрибуты в тексте определения класса имеют естественный порядок: тот же порядок, в котором имена отображаются в источнике. Этот порядок теперь сохранен в атрибуте нового класса __dict__.

Кроме того, эффективный класс по умолчанию execution namespace (возвращаемый из type.__prepare__()) теперь является отображением, сохраняющим порядок вставки.

PEP 468: Сохранение порядка аргументов ключевых слов¶

**kwargs в сигнатуре функции теперь гарантированно будет отображение, сохраняющее порядок вставки.

Новая реализация dict¶

Тип dict теперь использует «компактное» представление, основанное на a proposal by Raymond Hettinger, которое было first implemented by PyPy. Использование памяти в новом dict() на 20-25% меньше по сравнению с Python 3.5.

Аспект сохранения порядка в этой новой реализации рассматривается как деталь реализации, и на него не следует полагаться (это может измениться в будущем, но желательно, чтобы эта новая реализация dict использовалась в языке в течение нескольких выпусков, прежде чем изменять спецификацию языка, чтобы предписать семантику сохранения порядка для всех текущих и будущие реализации Python; это также помогает сохранить обратную совместимость со старыми версиями языка, где все еще действует случайный порядок итераций, например, Python 3.5).

(Автор: ИНАДА Наоки в статье bpo-27350. Идея originally suggested by Raymond Hettinger.)

PEP 523: Добавление API для оценки фреймов в CPython¶

Хотя Python предоставляет обширную поддержку для настройки того, как выполняется код, единственное место, где этого не сделано, - это вычисление фреймовых объектов. Если вы хотели каким-то образом перехватить вычисление фреймов в Python, на самом деле не было никакого способа без прямого манипулирования указателями на определенные функции.

PEP 523 это можно изменить, предоставив API, позволяющий подключать оценку фреймов на уровне C. Это позволит таким инструментам, как отладчики и Jets, перехватывать оценку фреймов до начала выполнения кода на Python. Это позволяет использовать альтернативные реализации оценки для кода на Python, оценки фреймов отслеживания и т.д.

Этот API не является частью ограниченного C API и помечен как закрытый, что указывает на то, что использование этого API будет ограничено и применимо только к очень избранным низкоуровневым вариантам использования. Семантика API будет изменяться в Python по мере необходимости.

Переменная среды PYTHON MALLOC¶

Новая переменная окружения PYTHONMALLOC позволяет устанавливать распределители памяти Python и устанавливать отладочные перехватчики.

Теперь можно устанавливать отладочные перехватчики для распределителей памяти Python на Python, скомпилированном в режиме выпуска, используя PYTHONMALLOC=debug. Эффекты отладочных перехватчиков:

• Вновь выделенная память заполняется байтом 0xCB

• Освобожденная память заполняется байтом 0xDB

• Выявлять нарушения API-интерфейса распределения памяти Python. Например, PyObject_Free() вызывается для блока памяти, выделенного с помощью PyMem_Malloc().

• Обнаружение операций записи перед запуском буфера (переполнение буфера)

• Обнаружение операций записи после окончания буфера (переполнение буфера)

• Убедитесь, что GIL удерживается при выполнении функций распределения для PYMEM_DOMAIN_OBJ (например: PyObject_Malloc()) и PYMEM_DOMAIN_MEM (например: PyMem_Malloc()) вызываются домены.

Проверка наличия GIL также является новой функцией Python 3.6.

Смотрите функцию PyMem_SetupDebugHooks() для отладочных перехватчиков в распределителях памяти Python.

Теперь также можно принудительно использовать распределитель malloc() библиотеки C для всех распределений памяти Python, используя PYTHONMALLOC=malloc. Это полезно при использовании отладчиков внешней памяти, таких как Valgrind, на Python, скомпилированном в режиме выпуска.

При ошибке отладочные перехватчики в распределителях памяти Python теперь используют модуль tracemalloc, чтобы получить обратную трассировку места, где был выделен блок памяти.

Пример фатальной ошибки при переполнении буфера с использованием python3.6 -X tracemalloc=5 (сохранение 5 кадров в трассировках):

Debug memory block at address p=0x7fbcd41666f8: API 'o'
    4 bytes originally requested
    The 7 pad bytes at p-7 are FORBIDDENBYTE, as expected.
    The 8 pad bytes at tail=0x7fbcd41666fc are not all FORBIDDENBYTE (0xfb):
        at tail+0: 0x02 *** OUCH
        at tail+1: 0xfb
        at tail+2: 0xfb
        at tail+3: 0xfb
        at tail+4: 0xfb
        at tail+5: 0xfb
        at tail+6: 0xfb
        at tail+7: 0xfb
    The block was made by call #1233329 to debug malloc/realloc.
    Data at p: 1a 2b 30 00

Memory block allocated at (most recent call first):
  File "test/test_bytes.py", line 323
  File "unittest/case.py", line 600
  File "unittest/case.py", line 648
  File "unittest/suite.py", line 122
  File "unittest/suite.py", line 84

Fatal Python error: bad trailing pad byte

Current thread 0x00007fbcdbd32700 (most recent call first):
  File "test/test_bytes.py", line 323 in test_hex
  File "unittest/case.py", line 600 in run
  File "unittest/case.py", line 648 in __call__
  File "unittest/suite.py", line 122 in run
  File "unittest/suite.py", line 84 in __call__
  File "unittest/suite.py", line 122 in run
  File "unittest/suite.py", line 84 in __call__
  ...

(Автор - Виктор Стиннер в bpo-26516 и bpo-26564.)

Поддержка зондирования DTrace и SystemTap¶

Теперь можно создать Python --with-dtrace, который позволяет использовать статические маркеры для следующих событий в интерпретаторе:

• вызов/возврат функции

• сбор мусора начат/завершен

• строка кода выполнена.

Это может быть использовано для управления запущенными интерпретаторами в рабочей среде без необходимости перекомпилировать определенный debug builds или предоставлять код профилирования/отладки для конкретного приложения.

Более подробная информация в разделе Инструментирование CPython с помощью DTrace и SystemTap.

Текущая реализация тестируется на Linux и Mac OS. В будущем могут быть добавлены дополнительные маркеры.

(Автор - Лукаш Ланга в bpo-21590, на основе исправлений Хесуса Сеа Авиона, Дэвида Малкольма и Нихила Бенеша.)

секреты¶

Основная цель нового модуля secrets - предоставить очевидный способ надежной генерации криптографически стойких псевдослучайных значений, подходящих для управления секретами, такими как аутентификация учетной записи, токены и тому подобное.

массив¶

Исчерпанные итераторы array.array теперь будут оставаться исчерпанными, даже если итерируемый массив будет расширен. Это согласуется с поведением других изменяемых последовательностей.

Автор: Сергей Сторчака в bpo-26492.

аст¶

Добавлен новый узел AST ast.Constant. Он может использоваться внешними оптимизаторами AST для постоянного сворачивания.

Автор: Виктор Стиннер в статье bpo-26146.

асинхронный¶

Начиная с версии Python 3.6, модуль asyncio больше не является временным, и его API считается стабильным.

Заметные изменения в модуле asyncio, начиная с версии Python 3.5.0 (все перенесено на версию 3.5.x из-за временного статуса):

• Функция get_event_loop() была изменена таким образом, чтобы она всегда возвращала текущий цикл при вызове из сопрограмм и обратных вызовов. (Добавлено Юрием Селивановым в bpo-28613.)

• Функция ensure_future() и все функции, которые ее используют, такие как loop.run_until_complete(), теперь принимают все виды awaitable objects. (Автор - Юрий Селиванов.)

• Новая функция run_coroutine_threadsafe() для отправки сопрограмм в циклы обработки событий из других потоков. ((Автор - Винсент Мишель.)

• Новый Transport.is_closing() способ проверить, закрывается ли транспорт. (Автор - Юрий Селиванов.)

• Метод loop.create_server() теперь может принимать список хостов. (Автор - Ян Сионно.)

• Новый метод loop.create_future() для создания будущих объектов. Это позволяет использовать альтернативные реализации цикла обработки событий, такие как uvloop, для обеспечения более быстрой реализации asyncio.Future. (Автор: Юрий Селиванов в статье bpo-27041.)

• Новый метод loop.get_exception_handler() для получения текущего обработчика исключений. (Добавлено Юрием Селивановым в bpo-27040.)

• Новый метод StreamReader.readuntil() для чтения данных из потока до тех пор, пока не появится последовательность байтов-разделителей. (Автор: Марк Коренберг).

• Улучшена производительность StreamReader.readexactly(). (Добавлено Марком Коренбергом в bpo-28370.)

• Метод loop.getaddrinfo() оптимизирован для того, чтобы избежать вызова системной функции getaddrinfo, если адрес уже определен. (Автор: А. Джесси Джирью Дэвис).

• Метод loop.stop() был изменен таким образом, чтобы цикл останавливался сразу после текущей итерации. Все новые обратные вызовы, запланированные в результате последней итерации, будут отменены. (Добавлено Гвидо ван Россумом в bpo-25593.)

• Future.set_exception теперь будет вызывать TypeError при передаче экземпляра исключения StopIteration. (Добавлено Крисом Анджелико в bpo-26221.)

• Новый метод loop.connect_accepted_socket(), который будет использоваться серверами, принимающими соединения за пределами asyncio, но использующими asyncio для их обработки. (Добавлено Джимом Фултоном в bpo-27392.)

• флаг TCP_NODELAY теперь установлен по умолчанию для всех протоколов передачи данных по протоколу TCP. (Добавлено Юрием Селивановым в bpo-27456.)

• Добавлено loop.shutdown_asyncgens() для корректного отключения ожидающих выполнения асинхронных генераторов перед завершением цикла. (Добавлено Юрием Селивановым в bpo-28003.)

• Классы Future и Task теперь имеют оптимизированную реализацию на C, которая ускоряет выполнение кода asyncio на 30%. (Авторы - Юрий Селиванов и ИНАДА Наоки в bpo-26081 и bpo-28544.)

бинаскии¶

Функция b2a_base64() теперь принимает необязательный аргумент ключевого слова newline, чтобы контролировать, добавляется ли символ новой строки к возвращаемому значению. (Добавлено Виктором Стиннером в bpo-25357.)

смат¶

Добавлена новая константа cmath.tau (τ).(Добавлено Лизой Роуч в bpo-12345, подробности смотрите в PEP 628.)

Новые константы: cmath.inf и cmath.nan, чтобы соответствовать math.inf и math.nan, а также cmath.infj и cmath.nanj, чтобы соответствовать формату, используемому сложными репр. (Автор: Марк Дикинсон в bpo-23229.)

коллекции¶

Был добавлен новый абстрактный базовый класс Collection для представления итерируемых контейнерных классов определенного размера. (Автор - Иван Левкивский, документы - Нил Гирдхар в bpo-27598.)

Новый абстрактный базовый класс Reversible представляет собой повторяющиеся классы, которые также предоставляют метод __reversed__(). (Автор Иван Левкивский в статье bpo-25987).

Новый абстрактный базовый класс AsyncGenerator представляет асинхронные генераторы. (Добавлено Юрием Селивановым в bpo-28720.)

Функция namedtuple() теперь принимает необязательный аргумент с ключевым словом module, который, если он указан, используется для атрибута __module__ возвращаемого именованного класса кортежей. (Добавлено Раймондом Хеттингером в bpo-17941.)

Аргументы verbose и rename для namedtuple() теперь используются только для ключевых слов. (Добавлено Раймондом Хеттингером в bpo-25628.)

Рекурсивные экземпляры collections.deque теперь можно выбирать. (Добавлено Сергеем Сторчакой в bpo-26482.)

параллельные фьючерсы¶

Конструктор класса ThreadPoolExecutor теперь принимает необязательный аргумент thread_name_prefix, позволяющий настраивать имена потоков, создаваемых пулом. (Добавлено Грегори П. Смитом в bpo-27664.)

контекстная библиотека¶

Класс contextlib.AbstractContextManager был добавлен, чтобы предоставить абстрактный базовый класс для контекстных менеджеров. Он предоставляет разумную реализацию по умолчанию для __enter__(), которая возвращает self и оставляет __exit__() абстрактным методом. Соответствующий класс был добавлен в модуль typing как typing.ContextManager. (Добавлено Бреттом Кэнноном в bpo-25609.)

дата и время¶

Классы datetime и time имеют новый атрибут fold, используемый для устранения неоднозначности местного времени, когда это необходимо. Многие функции в datetime были обновлены для поддержки устранения неоднозначности местного времени. Смотрите раздел Local Time Disambiguation для получения дополнительной информации. (Автор - Александр Белопольский в статье bpo-24773.)

Методы datetime.strftime() и date.strftime() теперь поддерживают директивы по дате ISO 8601 %G, %u и %V. (Автор: Эшли Андерсон в статье bpo-12006.)

Функция datetime.isoformat() теперь принимает необязательный аргумент timespec, который определяет количество включаемых дополнительных компонентов значения времени. ((Добавлено Алессандро Куччи и Александром Белопольским в bpo-19475.)

Параметр datetime.combine() теперь принимает необязательный аргумент tzinfo. (Добавлено Александром Белопольским в bpo-27661.)

десятичный¶

Новый метод Decimal.as_integer_ratio(), который возвращает пару (n, d) целых чисел, представляющих данный экземпляр Decimal в виде дроби, с наименьшим значением и положительным знаменателем:

>>> Decimal('-3.14').as_integer_ratio()
(-157, 50)

(Материалы предоставлены Стефаном Крахом и Марком Дикинсоном в bpo-25928.)

дистрибутивы¶

Атрибут default_format был удален из distutils.command.sdist.sdist, а для атрибута formats по умолчанию установлено значение ['gztar']. Хотя это и не ожидается, любой код, основанный на наличии default_format, возможно, потребуется адаптировать. Более подробную информацию смотрите в bpo-27819.

электронная почта¶

Новый email API, доступный различным конструкторам с помощью ключевого слова policy, больше не является временным. Документация email была реорганизована и переписана таким образом, чтобы сфокусироваться на новом API, сохранив при этом старую документацию для устаревшего API. (Подготовлено Р. Дэвидом Мюрреем в bpo-24277.)

Все классы email.mime теперь принимают необязательное ключевое слово policy. (Добавлено Беркером Пексагом в bpo-27331.)

DecodedGenerator Теперь поддерживает ключевое слово policy.

Существует новый атрибут policy, message_factory, который определяет, какой класс используется по умолчанию, когда синтаксический анализатор создает новые объекты сообщений. Для политики email.policy.compat32 это Message, для новых политик это EmailMessage. (Добавлено Р. Дэвидом Мюрреем в bpo-20476.)

кодировки¶

В Windows добавлена кодировка 'oem' для использования CP_OEMCP и псевдоним 'ansi' для существующей кодировки 'mbcs', которая использует кодовую страницу CP_ACP. (Автор: Стив Дауэр в статье bpo-27959.)

перечисление¶

В модуль enum добавлены два новых базовых класса перечисления: Flag и IntFlags. Оба они используются для определения констант, которые можно комбинировать с помощью побитовых операторов. (Автор: Итан Фурман в bpo-23591.)

Многие стандартные библиотечные модули были обновлены, чтобы использовать класс IntFlags в качестве своих констант.

Новое значение enum.auto можно использовать для автоматического присвоения значений элементам перечисления:

>>> from enum import Enum, auto
>>> class Color(Enum):
...     red = auto()
...     blue = auto()
...     green = auto()
...
>>> list(Color)
[<Color.red: 1>, <Color.blue: 2>, <Color.green: 3>]

исправитель ошибок¶

В Windows модуль faulthandler теперь устанавливает обработчик исключений Windows: смотрите faulthandler.enable(). (Добавлено Виктором Стиннером в bpo-23848.)

ввод файла¶

hook_encoded() теперь поддерживается аргумент errors. (Добавлено Джозефом Хэкманом в bpo-25788.)

хэшлиб¶

hashlib поддерживает OpenSSL 1.1.0. Минимальная рекомендуемая версия - 1.0.2. (Добавлено Кристианом Хеймсом в bpo-26470.)

В модуль добавлены хэш-функции BLAKE2. blake2b() и blake2s() всегда доступны и поддерживают полный набор функций BLAKE2. (Добавлено Кристианом Хеймсом в bpo-26798 на основе кода Дмитрия Честных и Самуэля Невеса. Документация написана Дмитрием Честных.)

Были добавлены хэш-функции SHA-3 sha3_224(), sha3_256(), sha3_384(), sha3_512(), и SHAKE-хэш-функции shake_128() и shake_256(). ((Автор: Кристиан Хеймс в bpo-16113. Пакет кодов для Кеккака, подготовленный Гвидо Бертони, Джоан Деймен, Михаэлем Питерсом, Жилем Ван Ашем и Ронни Ван Киером.)

Функция получения ключа на основе пароля scrypt() теперь доступна в OpenSSL 1.1.0 и более поздних версиях. (Автор: Кристиан Хеймс в статье bpo-27928).

http.клиент¶

HTTPConnection.request() и endheaders() теперь поддерживают разделенные тела запросов на кодирование. (Авторы Демиан Брехт и Рольф Краль в bpo-12319).

idlelib и ХОЛОСТОЙ ход¶

Пакет idlelib модернизируется и реорганизовывается, чтобы улучшить внешний вид и работу IDLE, а также упростить понимание, тестирование и улучшение кода. Частью улучшения внешнего вида IDLE, особенно в Linux и Mac, является использование виджетов ttk, в основном в диалоговых окнах. В результате IDLE больше не работает с tcl/tk 8.4. Теперь для него требуется tcl/tk 8.5 или 8.6. Мы рекомендуем использовать последнюю версию любого из них.

«Модернизация» включает в себя переименование и консолидацию модулей idlelib. Переименование файлов с неполными именами в верхнем регистре аналогично переименованию, например, Tkinter и tkFont в tkinter и tkinter tkinters.шрифт в версии 3.0. В результате импорт файлов idlelib, которые работали в версии 3.5, обычно не будет работать в версии 3.6. Потребуется, как минимум, изменить название модуля (см. idlelib/README.txt), а иногда и больше. ((Изменения названия были внесены Элом Свигартом и Терри Риди в bpo-24225. Большинство исправлений для idlelib с тех пор были и будут частью этого процесса.)

В качестве компенсации, в конечном итоге, некоторые классы idlelib станут проще в использовании, с улучшенными API и документацией, объясняющей их. Дополнительная полезная информация будет добавлена в idlelib, когда она будет доступна.

Новое в версии 3.6.2:

Несколько исправлений для автозавершения. (Добавлено Луи Лу в bpo-15786.)

Новое в версии 3.6.3:

Обозреватель модулей (в меню «Файл», ранее называвшемся «Обозреватель классов») теперь отображает вложенные функции и классы в дополнение к функциям и классам верхнего уровня. (Авторы: Гильерме Поло, Шерил Сабелла и Терри Ян Риди в bpo-1612262.)

Функции IDLE, ранее реализованные в виде расширений, были переопределены как обычные функции. Их настройки были перенесены со вкладки «Расширения» на другие вкладки диалогового окна. (Авторы Чарльз Вольгангер и Терри Ян Риди в bpo-27099).

Диалоговое окно настроек (Options, Configure IDLE) было частично переписано, чтобы улучшить внешний вид и функциональность. (Авторы - Шерил Сабелла и Терри Джен Риди в нескольких выпусках).

Новое в версии 3.6.4:

Образец шрифта теперь включает в себя набор нелатинских символов, чтобы пользователи могли лучше видеть эффект от выбора определенного шрифта. (Автор: Терри Джен Риди в bpo-13802.) Образец можно отредактировать, включив в него другие символы. (Автор - Сергей Сторчака в bpo-31860.)

Новое в версии 3.6.6:

Изменен параметр контекста кода редактора. В окне отображаются все контекстные строки, вплоть до максимального количества строк. Щелчок по контекстной строке приводит к переходу редактора к этой строке. Цвета контекста для пользовательских тем добавлены на вкладку «Основные моменты» диалогового окна настроек. (Авторы: Шерил Сабелла и Терри Джен Риди в статье bpo-33642, bpo-33768, и bpo-33679.)

В Windows новый вызов API сообщает Windows, что tk масштабируется с учетом DPI. В Windows 8.1+ или 10, при неизменных свойствах совместимости с DPI в двоичном коде Python и разрешении монитора более 96 точек на дюйм, это должно сделать текст и линии более четкими. В противном случае это не возымеет никакого эффекта. (Автор: Терри Джен Риди в bpo-33656.)

Новое в версии 3.6.7:

Вывод в N строках (по умолчанию 50) сокращается до размера кнопки. N можно изменить в разделе PyShell на странице «Общие» диалогового окна настроек. Меньшее количество строк, но, возможно, и более длинных, можно сжать, щелкнув правой кнопкой мыши на выводе. Сжатый вывод можно развернуть на месте, дважды щелкнув по кнопке, или перенести в буфер обмена, или в отдельное окно, щелкнув по кнопке правой кнопкой мыши. (Добавлено Tal Einat в bpo-1529353.)

импортный файл¶

Импорт теперь вызывает новое исключение ModuleNotFoundError (подкласс ImportError), когда не удается найти модуль. Код, который в настоящее время проверяет наличие ImportError (в try-except), по-прежнему будет работать. (Автор: Эрик Сноу в bpo-15767.)

importlib.util.LazyLoader теперь вызывает create_module() в встроенном загрузчике, снимая ограничение на то, что importlib.machinery.BuiltinImporter и importlib.machinery.ExtensionFileLoader нельзя использовать с importlib.util.LazyLoader.

importlib.util.cache_from_source(), importlib.util.source_from_cache(), и importlib.util.spec_from_file_location() теперь примите значение path-like object.

проверить¶

Функция inspect.signature() теперь сообщает о неявных параметрах .0, сгенерированных компилятором для областей понимания и генерации выражений, как если бы они были параметрами только для позиции, называемыми implicit0. (Автор: Джелле Зейлстра в статье bpo-19611.)

Чтобы уменьшить отток кода при обновлении с Python 2.7 и устаревшего inspect.getargspec() API, ранее задокументированное снижение inspect.getfullargspec() было отменено. Хотя эта функция удобна для кодовых баз Python 2/3 с одним исходным кодом, более богатый интерфейс inspect.signature() остается рекомендуемым подходом для нового кода. (Автор Ник Коглан в bpo-27172)

json-файл¶

json.load() и json.loads() теперь поддерживают двоичный ввод. Кодированный JSON должен быть представлен с использованием UTF-8, UTF-16 или UTF-32. (Автор - Сергей Сторчака в bpo-17909.)

регистрация¶

Был добавлен новый метод WatchedFileHandler.reopenIfNeeded(), позволяющий проверить, нужно ли повторно открывать файл журнала. (Автор Мариан Горбан в bpo-24884.)

математика¶

Константа tau (τ) была добавлена в модули math и cmath.(Добавлено Лизой Роуч в bpo-12345, подробности смотрите в PEP 628.)

многопроцессорная обработка¶

Proxy Objects, возвращаемый multiprocessing.Manager(), теперь может быть вложенным. (Добавлено Дэвином Поттсом в bpo-6766.)

ос¶

Смотрите краткое описание PEP 519 для получения подробной информации о том, как модули os и os.path теперь поддерживают path-like objects.

scandir() теперь поддерживает bytes пути в Windows.

Новый метод close() позволяет явно закрыть итератор scandir(). Итератор scandir() теперь поддерживает протокол context manager. Если итератор scandir() не исчерпан и не закрыт явно, в его деструкторе будет запущен ResourceWarning. (Добавлено Сергеем Сторчакой в bpo-25994.)

В Linux os.urandom() теперь блокируется до тех пор, пока не будет инициализирован системный пул энтропии urandom для повышения безопасности. Объяснение приведено в PEP 524.

Системный вызов Linux getrandom() (получение случайных байт) теперь доступен как новая функция os.getrandom(). (Автор - Виктор Стиннер, участник PEP 524)

файл пути¶

pathlib теперь поддерживается path-like objects. (Добавлено Бреттом Кэнноном в bpo-27186.)

Более подробную информацию смотрите в сводке по PEP 519.

pdb (почтовый индекс)¶

Конструктор класса Pdb имеет новый необязательный аргумент readrc, который определяет, следует ли считывать файлы .pdbrc.

соленый огурец¶

Объекты, для которых требуется __new__, вызываемые с помощью аргументов ключевого слова, теперь можно выбрать, используя pickle protocols более старую версию протокола, чем версия 4. Версия протокола 4 уже поддерживает этот случай. (Добавлено Сергеем Сторчакой в bpo-24164.)

соленые огурцы¶

pickletools.dis() теперь выводит неявный индекс memo для кода операции MEMOIZE. (Добавлено Сергеем Сторчакой в bpo-25382.)

pydoc¶

Модуль pydoc научился учитывать переменную среды MANPAGER. (Автор - Маттиас Клозе в статье bpo-8637).

help() и pydoc теперь можно отображать именованные поля кортежей в том порядке, в котором они были определены, а не в алфавитном порядке. (Добавлено Раймондом Хеттингером в bpo-24879.)

случайный¶

Новая функция choices() возвращает список элементов заданного размера из заданной совокупности с необязательными весами. (Добавлено Раймондом Хеттингером в bpo-18844.)

ре¶

Добавлена поддержка диапазонов модификаторов в регулярных выражениях. Примеры: '(?i:p)ython' соответствует 'python' и 'Python', но не соответствует 'PYTHON'; '(?i)g(?-i:v)r' 'GvR' и 'gvr', но не соответствует 'GVR'. (Автор: Сергей Сторчака в bpo-433028.)

Для доступа к соответствующим группам объектов используется __getitem__, что эквивалентно group(). Таким образом, mo['name'] теперь эквивалентно mo.group('name'). (Автор: Эрик Смит в статье bpo-24454.)

Match объекты теперь поддерживают index-like objects в качестве групповых индексов. (Добавлено Йеруном Демейером и Сян Чжаном в bpo-27177.)

строка чтения¶

Добавлено set_auto_history(), чтобы включить или отключить автоматическое добавление вводимых данных в список истории. (Добавлено Тайлером Кромптоном в bpo-26870.)

rlкомплектер¶

Имена частных и специальных атрибутов теперь опускаются, если только префикс не начинается с подчеркивания. После некоторых завершенных ключевых слов добавляется пробел или двоеточие. (Автор Сергей Сторчака в bpo-25011 и bpo-25209).

шлекс¶

В shlex есть много improved shell compatibility благодаря новому аргументу punctuation_chars, который определяет, какие символы будут рассматриваться как знаки препинания. (Добавлено Винаем Саджипом в bpo-1521950.)

сайт¶

При указании путей для добавления в sys.path в файле .pth теперь вы можете указывать пути к файлам поверх каталогов (например, zip-файлов). (Добавлено Вольфгангом Лангнером в bpo-26587).

sqlite3¶

sqlite3.Cursor.lastrowid теперь поддерживается оператор REPLACE. ((Добавлено Алексом Лордторсеном в bpo-16864.)

разъем¶

Функция ioctl() теперь поддерживает управляющий код SIO_LOOPBACK_FAST_PATH. (Добавлено Дэниелом Стоксом в bpo-26536.)

Теперь поддерживаются константы getsockopt() SO_DOMAIN, SO_PROTOCOL, SO_PEERSEC, и SO_PASSSEC. (Автор: Кристиан Хеймс в bpo-26907.)

В setsockopt() теперь поддерживается форма setsockopt(level, optname, None, optlen: int). (Добавлено Кристианом Хеймсом в bpo-27744.)

Модуль socket теперь поддерживает семейство адресов AF_ALG для взаимодействия с crypto API ядра Linux. ALG_*, SOL_ALG добавлены sendmsg_afalg(). (Материал подготовлен Кристианом Хеймсом в bpo-27744 при поддержке Виктора Стиннера.)

Добавлены новые константы Linux TCP_USER_TIMEOUT и TCP_CONGESTION. (Автор - Омар Сандовал, bpo-26273).

сокетсервер¶

Серверы, основанные на модуле socketserver, включая те, которые определены в http.server, xmlrpc.server и wsgiref.simple_server, теперь поддерживают протокол context manager. (Автор: Авив Паливода в bpo-26404.)

Атрибут wfile классов StreamRequestHandler теперь реализует доступный для записи интерфейс io.BufferedIOBase. В частности, при вызове write() теперь гарантируется отправка данных в полном объеме. (Автор: Мартин Пантер в статье bpo-26721.)

протокол ssl¶

ssl поддерживает OpenSSL 1.1.0. Минимальная рекомендуемая версия - 1.0.2. (Добавлено Кристианом Хеймсом в bpo-26470.)

Из стандартных наборов шифров был удален 3DES и добавлены наборы шифров ChaCha20 Poly1305. (Автор: Кристиан Хеймс в bpo-27850 и bpo-27766.)

SSLContext имеет улучшенную конфигурацию по умолчанию для параметров и шифров. (Добавлено Кристианом Хеймсом в bpo-28043.)

Сеанс SSL может быть скопирован из одного клиентского соединения в другое с помощью нового класса SSLSession. Возобновление сеанса TLS может ускорить первоначальное подтверждение связи, уменьшить задержку и повысить производительность (автор Кристиан Хеймс в статье bpo-19500 на основе черновика Алекса Уорхока).

Новый метод get_ciphers() может быть использован для получения списка разрешенных шифров в порядке приоритета шифрования.

Все константы и флаги были преобразованы в IntEnum и IntFlags. (Добавлено Кристианом Хеймсом в bpo-28025.)

Добавлены серверные и клиентские протоколы TLS для SSLContext. (Автор Кристиан Хеймс в bpo-28085).

Добавлено ssl.SSLContext.post_handshake_auth для включения и ssl.SSLSocket.verify_client_post_handshake() для инициализации аутентификации по протоколу TLS 1.3 после подтверждения связи. (Автор Кристиан Хеймс в gh-78851).

статистика¶

Добавлена новая функция harmonic_mean(). (Автор Стивен Д’Апрано в статье bpo-27181).

структура¶

struct теперь поддерживается IEEE 754 с плавающей точкой половинной точности с помощью спецификатора формата 'e'. (Авторы: Эли Стивенс, Марк Дикинсон в bpo-11734).

подпроцесс¶

subprocess.Popen деструктор теперь выдает предупреждение ResourceWarning, если дочерний процесс все еще запущен. Используйте протокол контекстного менеджера (with proc: ...) или явно вызовите метод wait(), чтобы прочитать статус завершения дочернего процесса. (Автор Виктор Стиннер в bpo-26741).

Конструктор subprocess.Popen и все функции, которые передают ему аргументы, теперь принимают аргументы encoding и errors. Указание любого из них включит текстовый режим для потоков stdin, stdout и stderr. (Автор: Стив Дауэр в статье bpo-6135.)

sys¶

Новая функция getfilesystemencodeerrors() возвращает название режима ошибки, используемого для преобразования имен файлов в кодировке Unicode в байты. (Добавлено Стивом Дауэром в bpo-27781.)

В Windows возвращаемое значение функции getwindowsversion() теперь включает поле platform_version, которое содержит точную основную версию, второстепенную версию и номер сборки текущей операционной системы, а не версию, которая эмулируется для процесса (добавлено Стивом Дауэром в bpo-27932.)

telnetlib - телнетлиб¶

Telnet теперь является контекстным менеджером (вклад Стефана Виртеля в bpo-25485).

время¶

Атрибуты struct_time tm_gmtoff и tm_zone теперь доступны на всех платформах.

время это¶

Был добавлен новый удобный метод Timer.autorange() для повторного вызова Timer.timeit(), так что общее время выполнения больше или равно 200 миллисекундам. (Автор: Стивен Д’Апрано в статье bpo-6422.)

timeit теперь предупреждает о существенной (в 4 раза) разнице между лучшим и худшим временем. (Автор Сергей Сторчака в bpo-23552).

ткинтер¶

Добавлены методы trace_add(), trace_remove() и trace_info() в классе tkinter.Variable. Они заменяют старые методы trace_variable(), trace(), trace_vdelete() и trace_vinfo(), которые используют устаревшие команды Tcl и могут не работать в будущих версиях Tcl. (Автор - Сергей Сторчака в bpo-22115).

обратная связь¶

Как модуль обратной трассировки, так и встроенный в интерпретатор индикатор исключений теперь сокращают длинные последовательности повторяющихся строк в обратных трассировках, как показано в следующем примере:

>>> def f(): f()
...
>>> f()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "<stdin>", line 1, in f
  File "<stdin>", line 1, in f
  File "<stdin>", line 1, in f
  [Previous line repeated 995 more times]
RecursionError: maximum recursion depth exceeded

(Автор: Эмануэль Барри в bpo-26823.)

трассировочный блок¶

Модуль tracemalloc теперь поддерживает отслеживание распределения памяти в нескольких разных адресных пространствах.

Добавлен новый класс фильтра DomainFilter для фильтрации трассировок блоков по их адресному пространству (домену).

(Автор: Виктор Стиннер в bpo-26588.)

печатание¶

Поскольку модулем typing является provisional, все изменения, внесенные в Python 3.6, также были перенесены в Python 3.5.x.

В модуле typing значительно улучшена поддержка псевдонимов универсальных типов. Например, Dict[str, Tuple[S, T]] теперь является допустимой аннотацией к типу. (Добавлено Гвидо ван Россумом в Github #195).

Был добавлен класс typing.ContextManager для представления contextlib.AbstractContextManager. (Добавлено Бреттом Кэнноном в bpo-25609.)

Был добавлен класс typing.Collection для представления collections.abc.Collection. (Добавлено Иваном Левкивским в bpo-27598.)

Для обозначения переменных класса была добавлена конструкция типа typing.ClassVar. Как описано в PEP 526, аннотация к переменной, заключенная в ClassVar, указывает на то, что данный атрибут предназначен для использования в качестве переменной класса и не должен устанавливаться в экземплярах этого класса. (Автор - Иван Левкивский в Github #280.)

Новая константа TYPE_CHECKING, которая, как предполагается, равна True при проверке статического типа, но во время выполнения равна False. (Добавлено Гвидо ван Россумом в Github #230.)

Добавлена новая вспомогательная функция NewType() для создания упрощенных различных типов аннотаций:

from typing import NewType

UserId = NewType('UserId', int)
some_id = UserId(524313)

Средство статической проверки типов будет обрабатывать новый тип так, как если бы он был подклассом исходного типа. (Добавлено Иваном Левкивским в Github #189.)

данные в юникоде¶

Модуль unicodedata теперь использует данные из Unicode 9.0.0. (Автор - Бенджамин Питерсон.)

единичный тест.имитация¶

Класс Mock имеет следующие улучшения:

• Два новых метода, Mock.assert_called() и Mock.assert_called_once(), позволяют проверить, был ли вызван фиктивный объект. (Добавлено Амитом Сахой в bpo-26323.)

• Метод Mock.reset_mock() теперь имеет два необязательных аргумента только для ключевых слов: return_value и side_effect. (Добавлено Кушалом Дасом в bpo-21271.)

urllib.запрос¶

Если HTTP-запрос содержит файл или повторяемое тело (отличное от объекта bytes), но не содержит заголовка Content-Length, вместо того, чтобы выдавать ошибку, AbstractHTTPHandler теперь можно использовать кодировку фрагментированной передачи. (Материалы предоставлены Демианом Брехтом и Рольфом Кралем в bpo-12319.)

urllib.робот-анализатор¶

RobotFileParser теперь поддерживает расширения Crawl-delay и Request-rate. (Добавлено Николаем Богойчевым в bpo-16099.)

венв¶

venv принимает новый параметр --prompt. Этот параметр предоставляет альтернативный префикс для виртуальной среды. (Предложено Лукашем Бальцержаком и перенесено на версию 3.6 Стефаном Виртелем в bpo-22829.)

предупреждения¶

В функцию warnings.warn_explicit() был добавлен новый необязательный параметр source: уничтоженный объект, который испускал сигнал ResourceWarning. Атрибут source также был добавлен в warnings.WarningMessage (добавлен Виктором Стиннером в bpo-26568 и bpo-26567).

Когда регистрируется предупреждение ResourceWarning, модуль tracemalloc теперь используется для попытки восстановить трассировку, по которой был размещен уничтоженный объект.

Пример со скриптом example.py:

import warnings

def func():
    return open(__file__)

f = func()
f = None

Вывод команды python3.6 -Wd -X tracemalloc=5 example.py:

example.py:7: ResourceWarning: unclosed file <_io.TextIOWrapper name='example.py' mode='r' encoding='UTF-8'>
  f = None
Object allocated at (most recent call first):
  File "example.py", lineno 4
    return open(__file__)
  File "example.py", lineno 6
    f = func()

Обратная трассировка «Объект, выделенный при» является новой и отображается только в том случае, если tracemalloc отслеживает выделение памяти Python и если модуль warnings уже был импортирован.

winreg (выигрывать)¶

Добавлен 64-разрядный целочисленный тип REG_QWORD. (Добавлено Клементом Руо в bpo-23026.)

выигрышный звук¶

Разрешенные аргументы ключевых слов для передачи в Beep, MessageBeep, и PlaySound (bpo-27982).

xmlrpc.клиент¶

Модуль xmlrpc.client теперь поддерживает отмену привязки дополнительных типов данных, используемых реализацией Apache XML-RPC для числовых данных и None. (Добавлено Сергеем Сторчакой в bpo-26885.)

почтовый файл¶

Новый метод класса ZipInfo.from_file() позволяет создавать экземпляр ZipInfo из файла файловой системы. Новый метод ZipInfo.is_dir() можно использовать для проверки того, представляет ли экземпляр ZipInfo каталог. (Автор Томас Клюйвер в статье bpo-26039.)

Метод ZipFile.open() теперь можно использовать для записи данных в ZIP-файл, а также для извлечения данных. (Добавлено Томасом Клюйвером в bpo-26039.)

злиб¶

Функции compress() и decompress() теперь принимают аргументы по ключевым словам. (Добавлено Авивом Паливодой в bpo-26243 и Сян Чжаном в bpo-16764 соответственно.)

Новые ключевые слова¶

async и await не рекомендуется использовать в качестве имен переменных, классов, функций или модулей. Введенные PEP 492 в Python 3.5, они станут подходящими ключевыми словами в Python 3.7. Начиная с Python 3.6, использование async или await в качестве имен приведет к появлению DeprecationWarning.

Устаревшее поведение Python¶

Создание исключения StopIteration внутри генератора теперь будет генерировать DeprecationWarning и вызовет RuntimeError в Python 3.7. Подробности смотрите в PEP 479: Измените обработку остановки внутри генераторов.

Ожидается, что метод __aiter__() теперь будет возвращать асинхронный итератор напрямую, а не доступный, как ранее. Выполнение первого из них вызовет DeprecationWarning. Обратная совместимость будет удалена в Python 3.7. (Добавлено Юрием Селивановым в bpo-27243.)

Пара символов обратной косой черты, которая не является допустимой escape-последовательностью, теперь генерирует DeprecationWarning. Хотя в конечном итоге это будет SyntaxError, этого не будет в нескольких версиях Python. (Автор: Эмануэль Барри в bpo-27364.)

При выполнении относительного импорта возврат к __name__ и __path__ из вызывающего модуля, когда __spec__ или __package__ не определены, теперь вызывает ImportWarning. (Автор: Роуз Эймс в bpo-25791.)

Устаревшие модули, функции и методы Python¶

xml-код¶

• В качестве защиты от DTD и поиска внешних объектов модули xml.dom.minidom и xml.sax больше не обрабатывают внешние объекты по умолчанию. (Автор Кристиан Хеймс в статье gh-61441).

Устаревшие функции и типы C API¶

Недокументированные функции PyUnicode_AsEncodedObject(), PyUnicode_AsDecodedObject(), PyUnicode_AsEncodedUnicode() и PyUnicode_AsDecodedUnicode() теперь считаются устаревшими. Вместо них используйте generic codec based API.

Устаревшие параметры сборки¶

Флаг --with-system-ffi configure теперь включен по умолчанию на UNIX-платформах, отличных от macOS. Это может быть отключено с помощью --without-system-ffi, но использование этого флага устарело и не будет принято в Python 3.7. Это изменение не повлияет на macOS. Обратите внимание, что многие дистрибутивы ОС уже используют флаг --with-system-ffi при сборке своей системы на Python.

Удаление API и функций¶

• Неизвестные значения, состоящие из '\' и буквы ASCII в регулярных выражениях, теперь будут вызывать ошибку. В шаблонах замены re.sub() они по-прежнему разрешены, но не рекомендуются. Флаг re.LOCALE теперь можно использовать только с бинарными шаблонами.

• inspect.getmoduleinfo() был удален (устарел, поскольку для получения имени модуля для заданного пути следует использовать Python 3.3). inspect.getmodulename(). (Добавлено Юрием Селивановым в bpo-13248.)

• traceback.Ignore класс и traceback.usage, traceback.modname, traceback.fullmodname, traceback.find_lines_from_code, traceback.find_lines, traceback.find_strings, traceback.find_executable_lines методы были удалены из модуля traceback. Это были недокументированные методы, устаревшие начиная с версии Python 3.2, и эквивалентная функциональность доступна из частных методов.

• Фиктивные методы tk_menuBar() и tk_bindForTraversal() в классах виджетов tkinter были удалены (соответствующие команды Tk устарели начиная с версии Tk 4.0).

• Метод open() класса zipfile.ZipFile больше не поддерживает режим 'U' (устарел начиная с версии Python 3.4). Используйте io.TextIOWrapper для чтения сжатых текстовых файлов в режиме universal newlines.

• Недокументированные модули IN, CDROM, DLFCN, TYPES, CDIO, и STROPTS были удалены. Они были доступны в каталогах, относящихся к конкретной платформе Lib/plat-*/, но постоянно устаревали, были непоследовательно доступны на разных платформах и не поддерживались. Сценарий, который создал эти модули, по-прежнему доступен в исходном коде по адресу Tools/scripts/h2py.py.

• Устаревший класс asynchat.fifo был удален.

Изменения в поведении команды «python»¶

• Вывод специальной сборки Python с определенными макросами COUNT_ALLOCS, SHOW_ALLOC_COUNT или SHOW_TRACK_COUNT теперь по умолчанию отключен. Его можно снова включить, используя опцию -X showalloccount. Теперь он выводит значение stderr вместо stdout. (Добавлено Сергеем Сторчакой в bpo-23034.)

Изменения в Python API¶

• open() больше не позволит комбинировать флаг режима 'U' с флагом режима '+'. (Авторы Джефф Балог и Джон О’Коннор в bpo-2091.)

• sqlite3 больше не выполняется неявная фиксация открытой транзакции перед инструкциями DDL.

• В Linux os.urandom() теперь блокируется до тех пор, пока не будет инициализирован системный пул энтропии urandom для повышения безопасности.

• Когда определен importlib.abc.Loader.exec_module(), также должен быть определен importlib.abc.Loader.create_module().

• PyErr_SetImportError() теперь устанавливает TypeError, когда его аргумент msg не задан. Ранее возвращалось только NULL.

• Формат атрибута co_lnotab объектов code изменен, чтобы поддерживать значение с отрицательной разницей в числе строк. По умолчанию Python не генерирует байт-код с отрицательной разницей в числе строк. Функции, использующие frame.f_lineno, PyFrame_GetLineNumber() или PyCode_Addr2Line(), не затрагиваются. Функции, непосредственно декодирующие co_lnotab, должны быть обновлены, чтобы использовать 8-разрядный целочисленный тип со знаком для разности номеров строк, но это требуется только для поддержки приложений, использующих отрицательную разность номеров строк. Смотрите Objects/lnotab_notes.txt для получения информации о формате co_lnotab и о том, как его расшифровать, а также смотрите PEP 511 для получения обоснования.

• Функции в модуле compileall теперь возвращают логические значения вместо 1 или 0 для представления успеха или неудачи соответственно. Поскольку логические значения являются подклассом целых чисел, это должно быть проблемой только в том случае, если вы выполняли проверку подлинности для 1 или 0. Смотрите bpo-25768.

• Чтение атрибута port для urllib.parse.urlsplit() и urlparse() результатов теперь приводит к появлению ValueError для значений, выходящих за пределы диапазона, вместо того, чтобы возвращать None. См. bpo-20059.

• Модуль imp теперь генерирует DeprecationWarning вместо PendingDeprecationWarning.

• __all__`Последовательные модули имели пропавшие без вести APIs, добавленные к ним <<<0 > > > attributes, чтобы соответствовать документированному APIs: :mod:`calendar, cgi, csv, ElementTree, enum, fileinput, ftplib, logging, mailbox, mimetypes, optparse, plistlib, smtpd, subprocess, tarfile, threading и wave. This import * means they will export new symbols when << < 18 > > > is used. (Contributed by Joel Taddei and Jacek Kołodziej in bpo-23883.)

• При выполнении относительного импорта, если значение __package__ не соответствует значению __spec__.parent, то значение ImportWarning увеличивается. (Добавлено Бреттом Кэнноном в bpo-25791.)

• Когда выполняется относительный импорт и родительский пакет неизвестен, то будет поднят ImportError. Ранее можно было поднять SystemError. (Добавлено Бреттом Кэнноном в bpo-18018.)

• Серверы, основанные на модуле socketserver, включая те, которые определены в http.server, xmlrpc.server и wsgiref.simple_server, теперь перехватывают только исключения, полученные из Exception. Следовательно, если обработчик запроса больше не вызывает исключение типа SystemExit или KeyboardInterrupt, handle_error(), то это исключение остановит однопоточный сервер. (Автор: Мартин Пантер в bpo-23430.)

• spwd.getspnam() теперь выдает PermissionError вместо KeyError, если у пользователя нет привилегий.

• Метод socket.socket.close() теперь генерирует исключение, если системный вызов, лежащий в его основе, сообщает об ошибке (например, EBADF). (Добавлено Мартином Пантером в bpo-26685).

• Аргументом decode_data для конструкторов smtpd.SMTPChannel и smtpd.SMTPServer теперь по умолчанию является False. Это означает, что аргумент, передаваемый в process_message(), теперь по умолчанию является объектом bytes, а process_message() будет передаваться в качестве ключевого слова arguments. Код, который уже был обновлен в соответствии с предупреждением об устаревании, сгенерированным в версии 3.5, не будет затронут.

• Все необязательные аргументы функций dump(), dumps(), load() и loads() и конструкторов классов JSONEncoder и JSONDecoder в модуле json теперь являются keyword-only. (Автор: Сергей Сторчака в bpo-18726.)

• Подклассы type, которые не переопределяют type.__new__, могут больше не использовать форму с одним аргументом для получения типа объекта.

• Как часть PEP 487, обработка аргументов ключевого слова, передаваемых в type (кроме подсказки о метаклассе, metaclass), теперь последовательно делегируется в object.__init_subclass__(). Это означает, что type.__new__() и type.__init__() теперь принимают произвольные аргументы ключевого слова, но object.__init_subclass__() (который вызывается из type.__new__()) по умолчанию будет отклонять их. Пользовательские метаклассы, принимающие дополнительные аргументы ключевого слова, должны будут соответствующим образом настроить свои вызовы на type.__new__() (будь то прямые или через super).

• В distutils.command.sdist.sdist атрибут default_format был удален и больше не используется. Вместо этого на всех платформах по умолчанию используется формат tar в сжатом виде, и выбор для конкретной платформы не производится. В средах, где дистрибутивы создаются на базе Windows и требуются zip-дистрибутивы, настройте проект с помощью файла setup.cfg, содержащего следующее:

  [sdist]
  formats=zip
  

  Это поведение также было перенесено в более ранние версии Python с помощью Setuptools 26.0.0.

• В модуле urllib.request и методе http.client.HTTPConnection.request(), если поле заголовка Content-Length не указано, а тело запроса является файловым объектом, оно теперь отправляется с фрагментированной кодировкой HTTP 1.1. Если файловый объект должен быть отправлен на сервер HTTP 1.0, вызывающий сервер теперь должен указывать значение длины содержимого. (Авторы Демиан Брехт и Рольф Краль с изменениями Мартина Пантера в bpo-12319.)

• DictReader Теперь возвращает строки типа OrderedDict. (Добавлено Стивом Холденом в bpo-27842.)

• Параметр crypt.METHOD_CRYPT больше не будет добавляться в crypt.methods, если он не поддерживается платформой. (Добавлено Виктором Стиннером в bpo-25287.)

• Аргументы verbose и rename для namedtuple() теперь используются только для ключевых слов. (Добавлено Раймондом Хеттингером в bpo-25628.)

• В Linux ctypes.util.find_library() теперь ищет разделяемые библиотеки в LD_LIBRARY_PATH. (Добавлено Винаем Саджипом в bpo-9998.)

• Класс imaplib.IMAP4 теперь обрабатывает флаги, содержащие символ ']' в сообщениях, отправляемых с сервера, для улучшения совместимости с реальным миром. (Добавлено Литой Чо в bpo-21815.)

• Функция mmap.write() теперь возвращает количество записанных байт, как и другие методы записи. (Добавлено Якубом Стасиаком в bpo-26335.)

• Функции pkgutil.iter_modules() и pkgutil.walk_packages() теперь возвращают ModuleInfo именованных кортежа. (Добавлено Рамчандрой Апте в bpo-17211.)

• re.sub() теперь выдает ошибку для недопустимых ссылок на числовые группы в шаблонах замены, даже если шаблон не найден в строке. Сообщение об ошибке для недопустимых ссылок на группы теперь содержит индекс группы и положение ссылки. (Автор: SilentGhost, Сергей Сторчака в bpo-25953.)

• zipfile.ZipFile теперь будет отображаться NotImplementedError для нераспознанных значений сжатия. Ранее отображалось простое значение RuntimeError. Кроме того, вызов методов ZipFile для закрытого ZIP-файла или вызов метода write() для Zip-файла, созданного в режиме 'r', вызовет ValueError. Ранее в этих сценариях поднималось значение RuntimeError.

• когда пользовательские метаклассы объединяются с нулевым аргументом super() или прямыми ссылками из методов на неявную переменную замыкания __class__, неявная запись пространства имен __classcell__ теперь должна быть передана в type.__new__ для инициализации. Невыполнение этого требования приведет к появлению DeprecationWarning в Python 3.6 и RuntimeError в Python 3.8.

• С введением ModuleNotFoundError пользователи импортной системы могут начать ожидать, что замена импортной системы вызовет это более конкретное исключение, когда это необходимо, а не менее конкретное ImportError. Чтобы обеспечить будущую совместимость с такими потребителями, разработчикам альтернативных систем импорта, которые полностью заменяют __import__(), необходимо будет обновить свои реализации, чтобы создать новый подкласс, когда модуль вообще не может быть найден. Разработчикам плагинов, совместимых с системой импорта по умолчанию, не нужно вносить никаких изменений, поскольку система импорта по умолчанию создаст новый подкласс, когда это будет необходимо.

Изменения в C API¶

• Семейство распределителей PyMem_Malloc() теперь использует pymalloc allocator, а не system malloc(). Приложения, вызывающие PyMem_Malloc() без удержания GIL, теперь могут завершать работу с ошибкой. Установите для переменной окружения PYTHONMALLOC значение debug, чтобы проверить использование распределителей памяти в вашем приложении. Смотрите bpo-26249.

• Py_Exit() (и основной интерпретатор) теперь заменяют статус завершения на 120, если не удалось очистить буферизованные данные. Смотрите bpo-5319.

Изменения в байт-коде CPython¶

В Python 3.6 было внесено несколько серьезных изменений в bytecode.

• Интерпретатор Python теперь использует 16-битный текстовый код вместо байт-кода. (Добавлено автором Demur Rumed с использованием материалов и отзывов Сергея Сторчаки и Виктора Стиннера в bpo-26647 и bpo-28050.)

• Новые коды операций FORMAT_VALUE и BUILD_STRING как часть реализации formatted string literal. (Авторы: Эрик Смит в bpo-25483 и Сергей Сторчака в bpo-27078.)

• Новый BUILD_CONST_KEY_MAP код операции для оптимизации создания словарей с постоянными ключами. (Добавлено Сергеем Сторчакой в bpo-27140.)

• Коды операций вызова функций были сильно переработаны для повышения производительности и упрощения реализации. Коды операций MAKE_FUNCTION, CALL_FUNCTION, CALL_FUNCTION_KW и BUILD_MAP_UNPACK_WITH_CALL были изменены, добавлены новые CALL_FUNCTION_EX и BUILD_TUPLE_UNPACK_WITH_CALL, а коды операций CALL_FUNCTION_VAR, CALL_FUNCTION_VAR_KW и MAKE_CLOSURE были удалены. (Материалы предоставлены Демуром Румедом в bpo-27095 и Сергеем Сторчакой в bpo-27213, bpo-28257.)

• Добавлены новые коды операций SETUP_ANNOTATIONS и STORE_ANNOTATION для поддержки нового синтаксиса variable annotation. (Автор Иван Левкивский в bpo-27985.)

Новая цель построения make regen-all¶

Чтобы упростить перекрестную компиляцию и обеспечить надежную компиляцию CPython без необходимости наличия существующей версии Python, система сборки на основе autotools больше не пытается неявно перекомпилировать сгенерированные файлы в зависимости от времени изменения файла.

Вместо этого была добавлена новая команда make regen-all для принудительной регенерации этих файлов по желанию (например, после того, как начальная версия Python уже была собрана на основе предварительно сгенерированных версий).

Также определены более избирательные цели регенерации - подробнее смотрите в разделе Makefile.pre.in.

(Автор: Виктор Стиннер в bpo-23404.)

Удаление make touch целевого объекта сборки¶

Цель сборки make touch, ранее использовавшаяся для запроса неявной регенерации сгенерированных файлов путем обновления времени их модификации, была удалена.

Он был заменен новой целью make regen-all.

(Автор: Виктор Стиннер в bpo-23404.)