Когда выходит очередная версия Python, все внимание достается новым фичам языка: моржовому оператору, слиянию словарей, паттерн-матчингу. Еще много пишут об изменениях в асинхронной работе (модуль asyncio) и типизации (модуль typing) — эти модули на виду и бурно развиваются.
Остальным модулям стандартной библиотеки достается незаслуженно мало внимания. Хочу это исправить и рассказать, что интересного появилось в версиях 3.8–3.10.
array • base64 • bisect • builtins • dataclasses • datetime • fractions • functools • glob • graphlib • itertools • math • random • shlex • shutil • statistics • zoneinfo
Все примеры рабочие. Выполнять можно в песочнице (ссылки под примерами), либо локально. Если локально у вас старый Python — запускайте через Docker:
$ docker run -it --rm python:3.10-alpine
Модуль array предоставляет компактные однотипные числовые массивы. Используется намного реже, чем знаменитый собрат list.
Метод array.index() находит значение в массиве и возвращает индекс найденного элемента. Теперь он поддерживает необязательные параметры start и stop, которые задают интервал поиска (3.10+):
from array import array
arr = array("i", [7, 11, 19, 42])
idx = arr.index(11)
# idx == 1
idx = arr.index(11, 2)
# ValueError: array.index(x): x not in array
песочница
Разработчики: Anders Lorentsen • Zackery Spytz
Модуль base64 кодирует бинарные данные в ASCII-строки по алгоритмам Base16, Base32 и Base64.
Он обзавелся парой новых функций b32hexencode() и b32hexdecode(), которые используют расширенный 32-символьный алфавит согласно RFC 4648 (3.10+):
import base64
bytes = b"python is awesome"
base64.b32encode(bytes)
# b'OB4XI2DPNYQGS4ZAMF3WK43PNVSQ===='
base64.b32hexencode(bytes)
# b'E1SN8Q3FDOG6ISP0C5RMASRFDLIG===='
песочница
Разработчик: Filipe Laíns
Модуль bisect работает с отсортированными списками методом бинарного поиска. Основные функции:
import bisect
lst = [7, 11, 19, 42]
idx = bisect.bisect(lst, 12)
# idx == 2
bisect.insort(lst, 12)
# [7, 11, 12, 19, 42]
С версии 3.10 все функции модуля поддерживают необязательный параметр key. Это функция, которая возвращает значение элемента списка. Удобно использовать, если элементы напрямую несравнимы:
import bisect
import operator
p1 = {"id": 11, "name": "Diane"}
p2 = {"id": 12, "name": "Bob"}
p3 = {"id": 13, "name": "Emma"}
key = operator.itemgetter("name")
people = sorted([p1, p2, p3], key=key)
# Bob, Diane, Emma
idx = bisect.bisect(people, "Dan")
# TypeError: '<' not supported between instances of 'str' and 'dict'
idx = bisect.bisect(people, "Dan", key=key)
# idx == 1
песочница
Разработчик: Raymond Hettinger
Модуль builtins содержит все «встроенные» функции и классы, которые программисты используют без всяких импортов: int, list, len(), open() и тому подобное.
import builtins
list is builtins.list
# True
len is builtins.len
# True
У строки появились методы str.removeprefix() и str.removesuffix(), которые отрезают голову и хвост соответственно (3.9+):
s = "Python is awesome"
s.removeprefix("Python is ")
# 'awesome'
s.removesuffix(" is awesome")
# 'Python'
У целого числа добавился метод int.bit_count(), который возвращает количество единиц в бинарном представлении числа (3.10+):
n = 42
bin
# '0b101010'
n.bit_count()
# 3
Методы словаря dict.keys(), dict.values() и dict.items() возвращают объекты-представления (view objects), которые не дублируют данные словаря, а ссылаются на них. Раньше из этих объектов нельзя было получить обратную ссылку на словарь, а теперь можно — через атрибут .mapping (3.10+):
people = {
"Diane": 70,
"Bob": 78,
"Emma": 84
}
keys = people.keys()
# dict_keys(['Diane', 'Bob', 'Emma'])
keys.mapping["Bob"]
# 78
Функция объединения коллекций zip() получила параметр strict. Он проверяет, что последовательности одинаковой длины (3.10+):
keys = ["Diane", "Bob", "Emma"]
vals = [70, 78, 84, 42]
pairs = zip(keys, vals)
list(pairs)
# [('Diane', 70), ('Bob', 78), ('Emma', 84)]
pairs = zip(keys, vals, strict=True)
list(pairs)
# ValueError: zip() argument 2 is longer than argument 1
песочница
Разработчики: Dennis Sweeney • Niklas Fiekas • Brandt Bucher
Модуль dataclasses генерит классы по спецификации.
Датаклассы теперь могут использовать слоты (slots) для компактных объектов с фиксированным набором свойств (3.10+).
Обычный датакласс:
from dataclasses import dataclass
@dataclass
class Person:
id: int
name: str
diane = Person(id=11, name="Diane")
diane.__dict__
# {'id': 11, 'name': 'Diane'}
diane.salary = 70
# ok
Со слотами:
from dataclasses import dataclass
@dataclass(slots=True)
class SlotPerson:
id: int
name: str
bob = SlotPerson(id=12, name="Bob")
bob.__dict__
# AttributeError: 'SlotPerson' object has no attribute '__dict__'
bob.__slots__
# ('id', 'name')
bob.salary = 78
# AttributeError: 'SlotPerson' object has no attribute 'salary'
Кроме того, датакласс теперь можно заставить принимать только словарные (keyword-only) параметры при создании объекта (3.10+):
from dataclasses import dataclass
@dataclass(kw_only=True)
class KeywordPerson:
id: int
name: str
diane = KeywordPerson(id=11, name="Diane")
# ok
diane = KeywordPerson(11, "Diane")
# TypeError: KeywordPerson.__init__() takes 1 positional argument but 3 were given
песочница
Разработчики: Yurii Karabas • Eric V. Smith
Модуль datetime работает с датой и временем.
Добавились конструкторы date.fromisocalendar() и datetime.fromisocalendar(), которые создают дату из троицы (год, неделя, день_недели) (3.8+):
import datetime as dt
day = dt.date(2022, 9, 13)
day.isocalendar()
# datetime.IsoCalendarDate(year=2022, week=37, weekday=2)
year, week, day = day.isocalendar()
next_day = dt.date.fromisocalendar(year, week, day+1)
# datetime.date(2022, 9, 14)
Кроме того, метод .isocalendar() теперь возвращает не обычный кортеж, а именованный IsoCalendarDate (3.9+). Это видно в примере выше.
песочница
Разработчики: Paul Ganssle • Dong-hee Na
Модуль fractions работает с рациональными числами.
Он получил метод Fraction.as_integer_ratio() и научился возвращать дробь как пару (числитель, знаменатель), тем самым исправив вековой позор обычного float (3.8+):
(0.25).as_integer_ratio()
# (1, 4)
(0.5).as_integer_ratio()
# (1, 2)
(0.2).as_integer_ratio()
# (3602879701896397, 18014398509481984)
# oopsie
from fractions import Fraction
Fraction("0.2").as_integer_ratio()
# (1, 5)
# so much better
Справедливости ради, decimal.Decimal научился так делать еще в 3.6. Но все равно приятно.
песочница
Разработчики: Lisa Roach • Raymond Hettinger
Модуль functools — сборник вспомогательных функций высшего порядка. Одна из них — lru_cache(), которая кеширует дорогие вычисления:
import functools
import time
@functools.lru_cache(maxsize=256)
def find_user(name):
# imitating slow search
time.sleep(1)
user = {"id": 11, "name": "Diane"}
return user
find_user("Diane")
# kinda slow
find_user("Diane")
# blazingly fast
Раньше у нее всегда нужно было указывать размер кеша. А теперь можно указать @lru_cache без аргументов, и будет использоваться умолчательный размер 128 (3.8+).
Кроме того, можно узнать параметры кеша (3.9+):
find_user.cache_parameters()
# {'maxsize': 256, 'typed': False}
Если памяти вам не жалко, вместо @lru_cache можно использовать @cache — он безразмерный (3.9+).
Новый декоратор @cached_property кеширует вычисляемое свойство объекта (3.8+):
import functools
import statistics
class Dataset:
def __init__(self, seq):
self._data = tuple(seq)
@functools.cached_property
def stdev(self):
return statistics.stdev(self._data)
dataset = Dataset(range(1_000_000))
dataset.stdev
# kinda slow
dataset.stdev
# blazingly fast
А @singledispatchmethod перегружает работу метода в зависимости от типа параметра (3.8+):
import functools
class Divider:
@functools.singledispatchmethod
def divide(self, dividend, divisor):
raise NotImplementedError("Do not know how to divide those")
@divide.register
def _(self, dividend: int, divisor: int):
return dividend // divisor
@divide.register
def _(self, dividend: str, divisor: int):
# this is really stupid, I know
newlen = len(dividend) // divisor
return dividend[:newlen]
divider = Divider()
divider.divide(10, 2)
# 5
divider.divide("hello world", 2)
# 'hello'
Чувствуете, джавой потянуло?
песочница
Разработчики: Raymond Hettinger • Carl Meyer • Ethan Smith
Модуль glob находит файлы и каталоги, подходящие под шаблон.
Теперь благодаря параметру root_dir в glob() и iglob() можно указать корневую директорию поиска (3.10+):
import glob
import os
os.getcwd()
# '/'
glob.glob("*", root_dir="/usr")
# ['local', 'share', 'bin', 'lib', 'sbin', 'src']
Пустячок, а приятно.
песочница
Разработчик: Serhiy Storchaka
Модуль graphlib работает с графами. И знаете что? Это абсолютно новый модуль! (3.9+)
Пока у него только одна возможность — топологическая сортировка графов (такой порядок вершин, что для любых u → v, вершина u идет перед v):
from graphlib import TopologicalSorter
graph = {"Diane": {"Bob", "Cindy"}, "Cindy": {"Alice"}, "Bob": {"Alice"}}
# Alice → Bob → Diane
# ↳ Cindy ↗
sorter = TopologicalSorter(graph)
list(sorter.static_order())
# ['Alice', 'Cindy', 'Bob', 'Diane']
песочница
Разработчики: Pablo Galindo • Tim Peters • Larry Hastings
Модуль itertools предоставляет разнообразные итераторы для эффективной работы с коллекциями (эффективной с точки зрения использования памяти).
Одна из функций — accumulate() — рассчитывает скользящий агрегат. Теперь у нее появился параметр initial, который задает начальное значение (3.8+):
import itertools
seq = [7, 11, 19, 42]
accumulator = itertools.accumulate(seq)
list(accumulator)
# [7, 18, 37, 79]
accumulator = itertools.accumulate(seq, initial=100)
list(accumulator)
# [100, 107, 118, 137, 179]
А новая замечательная функция pairwise() проходит по коллекции и возвращает пары последовательных элементов (3.10+):
import itertools
seq = [7, 11, 19, 42]
pairer = itertools.pairwise(seq)
list(pairer)
# [(7, 11), (11, 19), (19, 42)]
песочница
Разработчики: Lisa Roach • Raymond Hettinger
Модуль math включает вагон и маленькую тележку математических функций.
Тут много нового:
import math
math.dist((1,1), (4, 5))
# 5.0
math.perm(5, 2)
# 20
math.comb(5, 2)
# 10
math.lcm(9, 27, 60)
# 540
math.gcd(9, 27, 60)
# 3
А prod() перемножает элементы последовательности (3.8+):
import math
seq = range(3, 9)
math.prod(seq)
# 20160
песочница
Разработчики: Raymond Hettinger • Yash Aggarwal • Keller Fuchs • Serhiy Storchaka • Mark Dickinson • Ananthakrishnan • Pablo Galindo
Модуль random работает со случайными числами.
Новый метод randbytes() генерит случайную байтовую строку (3.9+):
import random
random.randbytes(4)
# b'\x8b\xd4\x8f\xc9'
песочница
Разработчик: Victor Stinner
Модуль shlex бьет строку на токены по правилам командной строки Unix.
А теперь не только бьет, но и обратно объединяет — благодаря функции join() (3.8+):
import shlex
tokens = ["echo", "-n", "Python is awesome"]
shlex.join(tokens)
# "echo -n 'Python is awesome'"
песочница
Разработчик: Bo Bayles
Модуль shutil работает с файлами и каталогами: копирует, переносит, удаляет.
И копировать каталоги теперь стало немного удобнее — благодаря параметру dirs_exist_ok в функции copytree() (3.8+). С ним функция не сломается, даже если целевой каталог уже существует:
from pathlib import Path
import shutil
tmp = Path("/tmp")
src = tmp.joinpath("src")
src.mkdir()
src.joinpath("src.txt").touch()
# /tmp/src
# /tmp/src/src.txt
dst = tmp.joinpath("dst")
dst.mkdir()
# /tmp/dst
shutil.copytree(src, dst)
# FileExistsError: [Errno 17] File exists: '/tmp/dst'
shutil.copytree(src, dst, dirs_exist_ok=True)
# PosixPath('/tmp/dst')
песочница
Разработчик: Josh Bronson
Модуль statistics работает с математической статистикой. Как и math, он заметно развился в последних версиях. Это еще не scipy, но уже и не тот детский сад, что был в 3.4.
Судите сами:
import statistics
seq = list(range(1, 10))
statistics.fmean(seq)
# 5.0
statistics.geometric_mean(seq)
# 4.147166274396913
statistics.multimode(seq)
# [1, 2, 3, 4, 5, 6, 7, 8, 9]
statistics.multimode("python is awesome")
# ['o', ' ', 's', 'e']
statistics.quantiles(seq)
# [2.5, 5.0, 7.5]
NormalDist описывает нормальное распределение случайной величины (3.8+):
from statistics import NormalDist
birth_weights = NormalDist.from_samples([2.5, 3.1, 2.1, 2.4, 2.7, 3.5])
drug_effects = NormalDist(0.4, 0.15)
combined = birth_weights + drug_effects
round(combined.mean, 1)
# 3.1
round(combined.stdev, 1)
# 0.5
Появились корреляция Пирсона correlation() и ковариация covariance() (3.10+):
import statistics
x = [1, 2, 3, 4, 5, 6, 7, 8, 9]
y = [9, 8, 7, 6, 5, 4, 3, 2, 1]
statistics.correlation(x, x)
# 1.0
statistics.correlation(x, y)
# -1.0
statistics.covariance(x, x)
# 7.5
statistics.covariance(x, y)
# -7.5
И даже линейная регрессия linear_regression() (3.10+):
import statistics
movies_by_year = {
2000: 371,
2003: 507,
2006: 608,
2009: 520,
2012: 669,
2015: 708,
2018: 873,
2021: 403,
}
x = movies_by_year.keys()
y = movies_by_year.values()
slope, intercept = statistics.linear_regression(x, y)
year_2022 = round(slope * 2022 + intercept)
# 697
Кстати, модуль statistics славится еще и шикарной документацией. Рекомендую.
песочница
Разработчики: Raymond Hettinger • Steven D’Aprano • Timothy Wolodzko
Модуль zoneinfo предоставляет информацию о часовых поясах по всему миру. Еще один новый модуль! (3.9+)
До появления zoneinfo питон щеголял единственным часовым поясом timezone.utc, удивляя разработчиков из других языков. Теперь это исправили:
import datetime as dt
from zoneinfo import ZoneInfo
utc = dt.datetime(2022, 9, 13, hour=21, tzinfo=dt.timezone.utc)
# 2022-09-13 21:00:00+00:00
paris = utc.astimezone(ZoneInfo("Europe/Paris"))
# 2022-09-13 23:00:00+02:00
tokyo = utc.astimezone(ZoneInfo("Asia/Tokyo"))
# 2022-09-14 06:00:00+09:00
sydney = utc.astimezone(ZoneInfo("Australia/Sydney"))
# 2022-09-14 07:00:00+10:00
песочница
Разработчик: Paul Ganssle
Мы рассмотрели аж 17 модулей от 27 разработчиков — и это без учета asyncio, typing и великого множества прочих, более низкоуровневых. Как видите, стандартная библиотека активно развивается. И фичи, на мой взгляд, добавляют весьма разумно. Буду рад, если что-то из новшеств пригодится вам в работе!
habr.com
Остальным модулям стандартной библиотеки достается незаслуженно мало внимания. Хочу это исправить и рассказать, что интересного появилось в версиях 3.8–3.10.
Модули идут в алфавитном порядке, так что если заскучаете на первых (малоизвестных) представителях, не унывайте — дальше будет интереснее.
array • base64 • bisect • builtins • dataclasses • datetime • fractions • functools • glob • graphlib • itertools • math • random • shlex • shutil • statistics • zoneinfo
Все примеры рабочие. Выполнять можно в песочнице (ссылки под примерами), либо локально. Если локально у вас старый Python — запускайте через Docker:
$ docker run -it --rm python:3.10-alpine
array
Модуль array предоставляет компактные однотипные числовые массивы. Используется намного реже, чем знаменитый собрат list.
Метод array.index() находит значение в массиве и возвращает индекс найденного элемента. Теперь он поддерживает необязательные параметры start и stop, которые задают интервал поиска (3.10+):
from array import array
arr = array("i", [7, 11, 19, 42])
idx = arr.index(11)
# idx == 1
idx = arr.index(11, 2)
# ValueError: array.index(x): x not in array
песочница
Разработчики: Anders Lorentsen • Zackery Spytz
base64
Модуль base64 кодирует бинарные данные в ASCII-строки по алгоритмам Base16, Base32 и Base64.
Он обзавелся парой новых функций b32hexencode() и b32hexdecode(), которые используют расширенный 32-символьный алфавит согласно RFC 4648 (3.10+):
import base64
bytes = b"python is awesome"
base64.b32encode(bytes)
# b'OB4XI2DPNYQGS4ZAMF3WK43PNVSQ===='
base64.b32hexencode(bytes)
# b'E1SN8Q3FDOG6ISP0C5RMASRFDLIG===='
песочница
Разработчик: Filipe Laíns
bisect
Модуль bisect работает с отсортированными списками методом бинарного поиска. Основные функции:
import bisect
lst = [7, 11, 19, 42]
idx = bisect.bisect(lst, 12)
# idx == 2
bisect.insort(lst, 12)
# [7, 11, 12, 19, 42]
С версии 3.10 все функции модуля поддерживают необязательный параметр key. Это функция, которая возвращает значение элемента списка. Удобно использовать, если элементы напрямую несравнимы:
import bisect
import operator
p1 = {"id": 11, "name": "Diane"}
p2 = {"id": 12, "name": "Bob"}
p3 = {"id": 13, "name": "Emma"}
key = operator.itemgetter("name")
people = sorted([p1, p2, p3], key=key)
# Bob, Diane, Emma
idx = bisect.bisect(people, "Dan")
# TypeError: '<' not supported between instances of 'str' and 'dict'
idx = bisect.bisect(people, "Dan", key=key)
# idx == 1
песочница
Разработчик: Raymond Hettinger
builtins
Модуль builtins содержит все «встроенные» функции и классы, которые программисты используют без всяких импортов: int, list, len(), open() и тому подобное.
import builtins
list is builtins.list
# True
len is builtins.len
# True
У строки появились методы str.removeprefix() и str.removesuffix(), которые отрезают голову и хвост соответственно (3.9+):
s = "Python is awesome"
s.removeprefix("Python is ")
# 'awesome'
s.removesuffix(" is awesome")
# 'Python'
У целого числа добавился метод int.bit_count(), который возвращает количество единиц в бинарном представлении числа (3.10+):
n = 42
bin
# '0b101010'
n.bit_count()
# 3
Методы словаря dict.keys(), dict.values() и dict.items() возвращают объекты-представления (view objects), которые не дублируют данные словаря, а ссылаются на них. Раньше из этих объектов нельзя было получить обратную ссылку на словарь, а теперь можно — через атрибут .mapping (3.10+):
people = {
"Diane": 70,
"Bob": 78,
"Emma": 84
}
keys = people.keys()
# dict_keys(['Diane', 'Bob', 'Emma'])
keys.mapping["Bob"]
# 78
Функция объединения коллекций zip() получила параметр strict. Он проверяет, что последовательности одинаковой длины (3.10+):
keys = ["Diane", "Bob", "Emma"]
vals = [70, 78, 84, 42]
pairs = zip(keys, vals)
list(pairs)
# [('Diane', 70), ('Bob', 78), ('Emma', 84)]
pairs = zip(keys, vals, strict=True)
list(pairs)
# ValueError: zip() argument 2 is longer than argument 1
песочница
Разработчики: Dennis Sweeney • Niklas Fiekas • Brandt Bucher
dataclasses
Модуль dataclasses генерит классы по спецификации.
Датаклассы теперь могут использовать слоты (slots) для компактных объектов с фиксированным набором свойств (3.10+).
Обычный датакласс:
from dataclasses import dataclass
@dataclass
class Person:
id: int
name: str
diane = Person(id=11, name="Diane")
diane.__dict__
# {'id': 11, 'name': 'Diane'}
diane.salary = 70
# ok
Со слотами:
from dataclasses import dataclass
@dataclass(slots=True)
class SlotPerson:
id: int
name: str
bob = SlotPerson(id=12, name="Bob")
bob.__dict__
# AttributeError: 'SlotPerson' object has no attribute '__dict__'
bob.__slots__
# ('id', 'name')
bob.salary = 78
# AttributeError: 'SlotPerson' object has no attribute 'salary'
Кроме того, датакласс теперь можно заставить принимать только словарные (keyword-only) параметры при создании объекта (3.10+):
from dataclasses import dataclass
@dataclass(kw_only=True)
class KeywordPerson:
id: int
name: str
diane = KeywordPerson(id=11, name="Diane")
# ok
diane = KeywordPerson(11, "Diane")
# TypeError: KeywordPerson.__init__() takes 1 positional argument but 3 were given
песочница
Разработчики: Yurii Karabas • Eric V. Smith
datetime
Модуль datetime работает с датой и временем.
Добавились конструкторы date.fromisocalendar() и datetime.fromisocalendar(), которые создают дату из троицы (год, неделя, день_недели) (3.8+):
import datetime as dt
day = dt.date(2022, 9, 13)
day.isocalendar()
# datetime.IsoCalendarDate(year=2022, week=37, weekday=2)
year, week, day = day.isocalendar()
next_day = dt.date.fromisocalendar(year, week, day+1)
# datetime.date(2022, 9, 14)
Кроме того, метод .isocalendar() теперь возвращает не обычный кортеж, а именованный IsoCalendarDate (3.9+). Это видно в примере выше.
песочница
Разработчики: Paul Ganssle • Dong-hee Na
fractions
Модуль fractions работает с рациональными числами.
Он получил метод Fraction.as_integer_ratio() и научился возвращать дробь как пару (числитель, знаменатель), тем самым исправив вековой позор обычного float (3.8+):
(0.25).as_integer_ratio()
# (1, 4)
(0.5).as_integer_ratio()
# (1, 2)
(0.2).as_integer_ratio()
# (3602879701896397, 18014398509481984)
# oopsie
from fractions import Fraction
Fraction("0.2").as_integer_ratio()
# (1, 5)
# so much better
Справедливости ради, decimal.Decimal научился так делать еще в 3.6. Но все равно приятно.
песочница
Разработчики: Lisa Roach • Raymond Hettinger
functools
Модуль functools — сборник вспомогательных функций высшего порядка. Одна из них — lru_cache(), которая кеширует дорогие вычисления:
import functools
import time
@functools.lru_cache(maxsize=256)
def find_user(name):
# imitating slow search
time.sleep(1)
user = {"id": 11, "name": "Diane"}
return user
find_user("Diane")
# kinda slow
find_user("Diane")
# blazingly fast
Раньше у нее всегда нужно было указывать размер кеша. А теперь можно указать @lru_cache без аргументов, и будет использоваться умолчательный размер 128 (3.8+).
Кроме того, можно узнать параметры кеша (3.9+):
find_user.cache_parameters()
# {'maxsize': 256, 'typed': False}
Если памяти вам не жалко, вместо @lru_cache можно использовать @cache — он безразмерный (3.9+).
Новый декоратор @cached_property кеширует вычисляемое свойство объекта (3.8+):
import functools
import statistics
class Dataset:
def __init__(self, seq):
self._data = tuple(seq)
@functools.cached_property
def stdev(self):
return statistics.stdev(self._data)
dataset = Dataset(range(1_000_000))
dataset.stdev
# kinda slow
dataset.stdev
# blazingly fast
А @singledispatchmethod перегружает работу метода в зависимости от типа параметра (3.8+):
import functools
class Divider:
@functools.singledispatchmethod
def divide(self, dividend, divisor):
raise NotImplementedError("Do not know how to divide those")
@divide.register
def _(self, dividend: int, divisor: int):
return dividend // divisor
@divide.register
def _(self, dividend: str, divisor: int):
# this is really stupid, I know
newlen = len(dividend) // divisor
return dividend[:newlen]
divider = Divider()
divider.divide(10, 2)
# 5
divider.divide("hello world", 2)
# 'hello'
Чувствуете, джавой потянуло?
песочница
Разработчики: Raymond Hettinger • Carl Meyer • Ethan Smith
glob
Модуль glob находит файлы и каталоги, подходящие под шаблон.
Теперь благодаря параметру root_dir в glob() и iglob() можно указать корневую директорию поиска (3.10+):
import glob
import os
os.getcwd()
# '/'
glob.glob("*", root_dir="/usr")
# ['local', 'share', 'bin', 'lib', 'sbin', 'src']
Пустячок, а приятно.
песочница
Разработчик: Serhiy Storchaka
graphlib
Модуль graphlib работает с графами. И знаете что? Это абсолютно новый модуль! (3.9+)
Пока у него только одна возможность — топологическая сортировка графов (такой порядок вершин, что для любых u → v, вершина u идет перед v):
from graphlib import TopologicalSorter
graph = {"Diane": {"Bob", "Cindy"}, "Cindy": {"Alice"}, "Bob": {"Alice"}}
# Alice → Bob → Diane
# ↳ Cindy ↗
sorter = TopologicalSorter(graph)
list(sorter.static_order())
# ['Alice', 'Cindy', 'Bob', 'Diane']
песочница
Разработчики: Pablo Galindo • Tim Peters • Larry Hastings
itertools
Модуль itertools предоставляет разнообразные итераторы для эффективной работы с коллекциями (эффективной с точки зрения использования памяти).
Одна из функций — accumulate() — рассчитывает скользящий агрегат. Теперь у нее появился параметр initial, который задает начальное значение (3.8+):
import itertools
seq = [7, 11, 19, 42]
accumulator = itertools.accumulate(seq)
list(accumulator)
# [7, 18, 37, 79]
accumulator = itertools.accumulate(seq, initial=100)
list(accumulator)
# [100, 107, 118, 137, 179]
А новая замечательная функция pairwise() проходит по коллекции и возвращает пары последовательных элементов (3.10+):
import itertools
seq = [7, 11, 19, 42]
pairer = itertools.pairwise(seq)
list(pairer)
# [(7, 11), (11, 19), (19, 42)]
песочница
Разработчики: Lisa Roach • Raymond Hettinger
math
Модуль math включает вагон и маленькую тележку математических функций.
Тут много нового:
- dist() считает евклидово расстояние между точками (3.8+);
- perm() и comb() считают перестановки и сочетания (3.8+);
- lcm() находит наименьшее общее кратное (3.9+);
- gcd() теперь считает наибольший общий делитель для произвольного количества аргументов (3.9+).
import math
math.dist((1,1), (4, 5))
# 5.0
math.perm(5, 2)
# 20
math.comb(5, 2)
# 10
math.lcm(9, 27, 60)
# 540
math.gcd(9, 27, 60)
# 3
А prod() перемножает элементы последовательности (3.8+):
import math
seq = range(3, 9)
math.prod(seq)
# 20160
песочница
Разработчики: Raymond Hettinger • Yash Aggarwal • Keller Fuchs • Serhiy Storchaka • Mark Dickinson • Ananthakrishnan • Pablo Galindo
random
Модуль random работает со случайными числами.
Новый метод randbytes() генерит случайную байтовую строку (3.9+):
import random
random.randbytes(4)
# b'\x8b\xd4\x8f\xc9'
песочница
Разработчик: Victor Stinner
shlex
Модуль shlex бьет строку на токены по правилам командной строки Unix.
А теперь не только бьет, но и обратно объединяет — благодаря функции join() (3.8+):
import shlex
tokens = ["echo", "-n", "Python is awesome"]
shlex.join(tokens)
# "echo -n 'Python is awesome'"
песочница
Разработчик: Bo Bayles
shutil
Модуль shutil работает с файлами и каталогами: копирует, переносит, удаляет.
И копировать каталоги теперь стало немного удобнее — благодаря параметру dirs_exist_ok в функции copytree() (3.8+). С ним функция не сломается, даже если целевой каталог уже существует:
from pathlib import Path
import shutil
tmp = Path("/tmp")
src = tmp.joinpath("src")
src.mkdir()
src.joinpath("src.txt").touch()
# /tmp/src
# /tmp/src/src.txt
dst = tmp.joinpath("dst")
dst.mkdir()
# /tmp/dst
shutil.copytree(src, dst)
# FileExistsError: [Errno 17] File exists: '/tmp/dst'
shutil.copytree(src, dst, dirs_exist_ok=True)
# PosixPath('/tmp/dst')
песочница
Разработчик: Josh Bronson
statistics
Модуль statistics работает с математической статистикой. Как и math, он заметно развился в последних версиях. Это еще не scipy, но уже и не тот детский сад, что был в 3.4.
Судите сами:
- fmean() считает среднее арифметическое как mean(), только быстрее (3.8+);
- geometric_mean() считает геометрическое среднее (3.8+);
- multimode() возвращает моды (самые частые значения в датасете), даже если их несколько (в отличие от mode()) (3.8+);
- quantiles() разбивает датасет на квантили (3.8+).
import statistics
seq = list(range(1, 10))
statistics.fmean(seq)
# 5.0
statistics.geometric_mean(seq)
# 4.147166274396913
statistics.multimode(seq)
# [1, 2, 3, 4, 5, 6, 7, 8, 9]
statistics.multimode("python is awesome")
# ['o', ' ', 's', 'e']
statistics.quantiles(seq)
# [2.5, 5.0, 7.5]
NormalDist описывает нормальное распределение случайной величины (3.8+):
from statistics import NormalDist
birth_weights = NormalDist.from_samples([2.5, 3.1, 2.1, 2.4, 2.7, 3.5])
drug_effects = NormalDist(0.4, 0.15)
combined = birth_weights + drug_effects
round(combined.mean, 1)
# 3.1
round(combined.stdev, 1)
# 0.5
Появились корреляция Пирсона correlation() и ковариация covariance() (3.10+):
import statistics
x = [1, 2, 3, 4, 5, 6, 7, 8, 9]
y = [9, 8, 7, 6, 5, 4, 3, 2, 1]
statistics.correlation(x, x)
# 1.0
statistics.correlation(x, y)
# -1.0
statistics.covariance(x, x)
# 7.5
statistics.covariance(x, y)
# -7.5
И даже линейная регрессия linear_regression() (3.10+):
import statistics
movies_by_year = {
2000: 371,
2003: 507,
2006: 608,
2009: 520,
2012: 669,
2015: 708,
2018: 873,
2021: 403,
}
x = movies_by_year.keys()
y = movies_by_year.values()
slope, intercept = statistics.linear_regression(x, y)
year_2022 = round(slope * 2022 + intercept)
# 697
Кстати, модуль statistics славится еще и шикарной документацией. Рекомендую.
песочница
Разработчики: Raymond Hettinger • Steven D’Aprano • Timothy Wolodzko
zoneinfo
Модуль zoneinfo предоставляет информацию о часовых поясах по всему миру. Еще один новый модуль! (3.9+)
До появления zoneinfo питон щеголял единственным часовым поясом timezone.utc, удивляя разработчиков из других языков. Теперь это исправили:
import datetime as dt
from zoneinfo import ZoneInfo
utc = dt.datetime(2022, 9, 13, hour=21, tzinfo=dt.timezone.utc)
# 2022-09-13 21:00:00+00:00
paris = utc.astimezone(ZoneInfo("Europe/Paris"))
# 2022-09-13 23:00:00+02:00
tokyo = utc.astimezone(ZoneInfo("Asia/Tokyo"))
# 2022-09-14 06:00:00+09:00
sydney = utc.astimezone(ZoneInfo("Australia/Sydney"))
# 2022-09-14 07:00:00+10:00
песочница
Разработчик: Paul Ganssle
Итого
Мы рассмотрели аж 17 модулей от 27 разработчиков — и это без учета asyncio, typing и великого множества прочих, более низкоуровневых. Как видите, стандартная библиотека активно развивается. И фичи, на мой взгляд, добавляют весьма разумно. Буду рад, если что-то из новшеств пригодится вам в работе!
Как изменилась стандартная библиотека Python за последние годы
Когда выходит очередная версия Python, все внимание достается новым фичам языка: моржовому оператору, слиянию словарей, паттерн-матчингу. Еще много пишут об изменениях в асинхронной работе (модуль...
habr.com