10. Краткая экскурсия по Стандартной библиотеке¶
10.1. Интерфейс операционной системы¶
Модуль os
предоставляет десятки функций для взаимодействия с операционной системой:
>>> import os
>>> os.getcwd() # Return the current working directory
'C:\\Python311'
>>> os.chdir('/server/accesslogs') # Change current working directory
>>> os.system('mkdir today') # Run the command mkdir in the system shell
0
Обязательно используйте стиль import os
вместо from os import *
. Это убережет os.open()
от затенения встроенной функции open()
, которая работает совсем по-другому.
Встроенные функции dir()
и help()
полезны в качестве интерактивных средств для работы с большими модулями, такими как os
:
>>> import os
>>> dir(os)
<returns a list of all module functions>
>>> help(os)
<returns an extensive manual page created from the module's docstrings>
Для повседневных задач по управлению файлами и каталогами модуль shutil
предоставляет интерфейс более высокого уровня, который проще в использовании:
>>> import shutil
>>> shutil.copyfile('data.db', 'archive.db')
'archive.db'
>>> shutil.move('/build/executables', 'installdir')
'installdir'
10.2. Файловые подстановочные знаки¶
Модуль glob
предоставляет функцию для создания списков файлов на основе поиска по шаблону в каталоге:
>>> import glob
>>> glob.glob('*.py')
['primes.py', 'random.py', 'quote.py']
10.3. Аргументы командной строки¶
Обычным служебным скриптам часто требуется обрабатывать аргументы командной строки. Эти аргументы хранятся в атрибуте argv модуля sys
в виде списка. Например, при запуске python demo.py one two three
в командной строке выводится следующий результат:
>>> import sys
>>> print(sys.argv)
['demo.py', 'one', 'two', 'three']
Модуль argparse
предоставляет более сложный механизм обработки аргументов командной строки. Следующий скрипт извлекает одно или несколько имен файлов и необязательное количество строк для отображения:
import argparse
parser = argparse.ArgumentParser(
prog='top',
description='Show top lines from each file')
parser.add_argument('filenames', nargs='+')
parser.add_argument('-l', '--lines', type=int, default=10)
args = parser.parse_args()
print(args)
При запуске в командной строке с python top.py --lines=5 alpha.txt beta.txt
скрипт устанавливает для args.lines
значение 5
, а для args.filenames
значение ['alpha.txt', 'beta.txt']
.
10.4. Перенаправление выходных данных об ошибке и завершение работы программы¶
Модуль sys
также имеет атрибуты для stdin, stdout и stderr. Последний параметр полезен для выдачи предупреждений и сообщений об ошибках, чтобы они были видны даже при перенаправлении stdout:
>>> sys.stderr.write('Warning, log file not found starting a new one\n')
Warning, log file not found starting a new one
Самый прямой способ завершить работу скрипта - это использовать sys.exit()
.
10.5. Сопоставление строк с образцом¶
Модуль re
предоставляет инструменты регулярных выражений для расширенной обработки строк. Для сложных сопоставлений и манипуляций регулярные выражения предлагают сжатые оптимизированные решения:
>>> import re
>>> re.findall(r'\bf[a-z]*', 'which foot or hand fell fastest')
['foot', 'fell', 'fastest']
>>> re.sub(r'(\b[a-z]+) \1', r'\1', 'cat in the the hat')
'cat in the hat'
Когда требуются только простые возможности, предпочтение отдается строковым методам, поскольку их легче читать и отлаживать:
>>> 'tea for too'.replace('too', 'two')
'tea for two'
10.6. Математика¶
Модуль math
предоставляет доступ к базовым функциям библиотеки C для математических вычислений с плавающей запятой:
>>> import math
>>> math.cos(math.pi / 4)
0.70710678118654757
>>> math.log(1024, 2)
10.0
Модуль random
предоставляет инструменты для произвольного выбора:
>>> import random
>>> random.choice(['apple', 'pear', 'banana'])
'apple'
>>> random.sample(range(100), 10) # sampling without replacement
[30, 83, 16, 4, 8, 81, 41, 50, 18, 33]
>>> random.random() # random float
0.17970987693706186
>>> random.randrange(6) # random integer chosen from range(6)
4
Модуль statistics
вычисляет основные статистические свойства (среднее, медиана, дисперсия и т.д.) числовых данных:
>>> import statistics
>>> data = [2.75, 1.75, 1.25, 0.25, 0.5, 1.25, 3.5]
>>> statistics.mean(data)
1.6071428571428572
>>> statistics.median(data)
1.25
>>> statistics.variance(data)
1.3720238095238095
В проекте SciPy <https://scipy.org> есть много других модулей для численных вычислений.
10.7. Доступ в Интернет¶
Существует несколько модулей для доступа в Интернет и обработки интернет-протоколов. Два из самых простых - urllib.request
для получения данных из URL-адресов и smtplib
для отправки почты:
>>> from urllib.request import urlopen
>>> with urlopen('http://worldtimeapi.org/api/timezone/etc/UTC.txt') as response:
... for line in response:
... line = line.decode() # Convert bytes to a str
... if line.startswith('datetime'):
... print(line.rstrip()) # Remove trailing newline
...
datetime: 2022-01-01T01:36:47.689215+00:00
>>> import smtplib
>>> server = smtplib.SMTP('localhost')
>>> server.sendmail('soothsayer@example.org', 'jcaesar@example.org',
... """To: jcaesar@example.org
... From: soothsayer@example.org
...
... Beware the Ides of March.
... """)
>>> server.quit()
((Обратите внимание, что для второго примера требуется почтовый сервер, работающий на локальном хостинге.)
10.8. Даты и время¶
Модуль datetime
предоставляет классы для управления датами и временем как простыми, так и сложными способами. Хотя поддерживается арифметика даты и времени, основное внимание в реализации уделяется эффективному извлечению элементов для форматирования выходных данных и манипулирования ими. Модуль также поддерживает объекты, зависящие от часового пояса.
>>> # dates are easily constructed and formatted
>>> from datetime import date
>>> now = date.today()
>>> now
datetime.date(2003, 12, 2)
>>> now.strftime("%m-%d-%y. %d %b %Y is a %A on the %d day of %B.")
'12-02-03. 02 Dec 2003 is a Tuesday on the 02 day of December.'
>>> # dates support calendar arithmetic
>>> birthday = date(1964, 7, 31)
>>> age = now - birthday
>>> age.days
14368
10.9. Сжатие данных¶
Распространенные форматы архивации и сжатия данных напрямую поддерживаются такими модулями, как: zlib
, gzip
, bz2
, lzma
, zipfile
и tarfile
.
>>> import zlib
>>> s = b'witch which has which witches wrist watch'
>>> len(s)
41
>>> t = zlib.compress(s)
>>> len(t)
37
>>> zlib.decompress(t)
b'witch which has which witches wrist watch'
>>> zlib.crc32(s)
226805979
10.10. Измерение производительности¶
Некоторые пользователи Python проявляют большой интерес к оценке относительной эффективности различных подходов к решению одной и той же задачи. Python предоставляет инструмент измерения, который сразу же дает ответы на эти вопросы.
Например, может возникнуть соблазн использовать функцию упаковки и распаковки кортежей вместо традиционного подхода к замене аргументов. Модуль timeit
быстро демонстрирует небольшое преимущество в производительности:
>>> from timeit import Timer
>>> Timer('t=a; a=b; b=t', 'a=1; b=2').timeit()
0.57535828626024577
>>> Timer('a,b = b,a', 'a=1; b=2').timeit()
0.54962537085770791
В отличие от timeit
с высоким уровнем детализации, модули profile
и pstats
предоставляют инструменты для определения критичных по времени участков в больших блоках кода.
10.11. Контроль качества¶
Одним из подходов к разработке высококачественного программного обеспечения является написание тестов для каждой функции по мере ее разработки и частое выполнение этих тестов в процессе разработки.
Модуль doctest
предоставляет инструмент для сканирования модуля и проверки тестов, встроенных в строки документации программы. Создание тестов так же просто, как вырезание и вставка обычного вызова вместе с его результатами в строку документации. Это улучшает документацию, предоставляя пользователю пример, и позволяет модулю doctest убедиться, что код соответствует документации:
def average(values):
"""Computes the arithmetic mean of a list of numbers.
>>> print(average([20, 30, 70]))
40.0
"""
return sum(values) / len(values)
import doctest
doctest.testmod() # automatically validate the embedded tests
Модуль unittest
не так прост, как модуль doctest
, но он позволяет поддерживать более полный набор тестов в отдельном файле:
import unittest
class TestStatisticalFunctions(unittest.TestCase):
def test_average(self):
self.assertEqual(average([20, 30, 70]), 40.0)
self.assertEqual(round(average([1, 5, 7]), 1), 4.3)
with self.assertRaises(ZeroDivisionError):
average([])
with self.assertRaises(TypeError):
average(20, 30, 70)
unittest.main() # Calling from the command line invokes all tests
10.12. Батарейки в комплекте¶
Философия Python основана на принципе «батарейки включены». Это лучше всего видно по сложным и надежным возможностям его более крупных пакетов. Например:
Модули
xmlrpc.client
иxmlrpc.server
превращают реализацию удаленных вызовов процедур в почти тривиальную задачу. Несмотря на названия модулей, непосредственное знание XML или работа с ним не требуются.Пакет
email
представляет собой библиотеку для управления сообщениями электронной почты, включая MIME и другие документы сообщений на основе RFC 2822. В отличие отsmtplib
иpoplib
, которые фактически отправляют и получают сообщения, пакет электронной почты имеет полный набор инструментов для создания или декодирования сложных структур сообщений (включая вложения) и для реализации интернет-кодирования и протоколов заголовков.Пакет
json
обеспечивает надежную поддержку синтаксического анализа этого популярного формата обмена данными. Модульcsv
поддерживает прямое чтение и запись файлов в формате значений, разделенных запятыми, который обычно поддерживается базами данных и электронными таблицами. Обработка XML поддерживается пакетамиxml.etree.ElementTree
,xml.dom
иxml.sax
. Вместе эти модули и пакеты значительно упрощают обмен данными между приложениями на Python и другими инструментами.Модуль
sqlite3
является оболочкой для библиотеки баз данных SQLite, предоставляя постоянную базу данных, которую можно обновлять и к которой можно обращаться, используя несколько нестандартный синтаксис SQL.Интернационализация поддерживается рядом модулей, включая
gettext
,locale
, и пакетcodecs
.