Глобальная блокировка интерпретатора (GIL)

GIL (Global Interpreter Lock) — проблема, присущая CPython, Stackless и PyPy, но отсутствующая в Jython и IronPython. При своей работе основной интерпретатор Python постоянно использует большое количество потоково-небезопасных данных. В основном это словари, в которых хранятся атрибуты объектов. Для избежания разрушения этих данных при совместной модификации из разных потоков перед началом исполнения нескольких инструкций (по умолчанию 100) поток интерпретатора захватывает GIL, а по окончанию освобождает. Вследствие этой особенности в каждый момент времени может исполняться только один поток Python кода, даже если в компьютере имеется несколько процессоров или процессорных ядер (GIL также освобождается на время выполнения блокирующих операций, таких как ввод-вывод, изменения/проверка состояния синхронизирующих примитивов и других — таким образом, если один поток блокируется, другие могут исполняться). Была предпринята попытка перехода к более гранулированным синхронизациям, однако из-за частых захватов/освобождений блокировок эта реализация оказалась слишком медленной. В ближайшем будущем переход от GIL к другим техникам не предполагается, однако есть python-safethread — CPython без GIL и с некоторыми другими изменениями (по утверждениям его авторов на однопоточных приложениях скорость соответствует 60-65 % от скорости оригинального CPython).

Эта проблема имеет два основных варианта решения. Первый — отказ от совместного использования изменяемых данных. При этом данные дублируются в потоках и необходимость обеспечения их синхронизации (если таковая нужна) лежит на программисте. Этот подход ведёт к увеличению потребления оперативной памяти (однако не настолько сильно, как при использовании процессов).

Второй подход — обеспечение более гранулированной синхронизации — для отдельных структур данных. В этом случае падает производительность вследствие увеличения числа освобождений/захватов блокировок.

Если необходимо параллельное исполнение нескольких потоков Python кода, то можно воспользоваться процессами, например, модулем processing, который имитирует семантику стандартного модуля threading, но использует процессы вместо потоков. Есть множество модулей, упрощающих написание параллельных и/или распределённых приложений на Python, таких как parallelpython, Pypar, pympi и других. GIL освобождается при исполнении кода большинства расширений, например numpy/scipy, позволяя на время расчётов исполняться другому Python потоку. Другим решением может быть использование IronPython или Jython, лишённых данного недостатка.