Ходячий генератор энтропии

Сборник схем описывающих взаимодействие различных подсистем в Linux. Ядра, юзерленда, общесистемного стека и различных утилит. А также просто очень полезные и интересные ссылки по различному ИТ-барахлу.

Сетевая подсистема и ioctl
Компоненты systemd
Подсистема хранения Linux
Инструменты профилирования операционной системы
Инструменты анализа производительности PostgreSQL
Профилирование Linux-машин в Amazon EC2
Ядро Linux

Разное:
Что происходит, когда вы набираете в браузере google.com и нажимаете клавишу «ввод».

Компьютеры Amiga на просторах России не так чтобы хорошо были распространены в своё время. Но тем не менее, про них многие наслышаны (кто был на Chaos Constructions поймут о чём я), про них неплохо знают, а сообщество амигаводов в России существенно. Собственно, даже известный и весьма уважаемый мной Bocha тоже фанат этих компьютеров. В остальном же мире компьютеры Amiga до сих пор предмет вожделения любого уважающего коллекционера ретрокомпьютеров, а различные компании до сих про производят для Amiga самую различную периферию и платы расширения.

Интерес к этим компьютерам не ослабевает и поныне, но время не щадит никого. Последняя «настоящая» Amiga была выпущена Commodore в 1996 и с тех пор компания прекратила своё существование. Посему если вы вдруг заинтересуетесь данной темой, готовьтесь выложить очень существенные суммы денег, чтобы купить саму Amiga (хотя бы A500) и далее прикупить некоторые количество полезных железок к ней. Если же вы захотите проапгрейдить Amiga, чтобы этим компьютером можно было пользоваться даже сегодня — то лучше зажмурьтесь. Стоимость плат-акселераторов начинаются от ста евро. Верхняя же планка запросто может пробить пару-тройку тысяч долларов.

Но куда податься бедному крестьянину, если он хочет поиграть в игры с платформы Amiga (коих она имеет в избытке), но денег и свободного времени не особо? Всегда, конечно, есть эмуляторы вроде FS-UAE, но взвести его может далеко не каждый. Это не SNES9x или Kega Fusion какой, который скачал и играй. Только ромы успевай подсовывать. Найти рабочие Workbench и Kickstart та ещё задача, поскольку у данного ПО до сих пор есть владельцы и они развивают его. Ну и сам эмулятор под Amiga не самый простой в освоении местами. Впрочем, туториалы тоже имеются. Просто придётся изрядно повозиться.

Но спрос рождает предложение и одна британская лавочка выпустила Mini-версию Amiga A500. Как мы знаем, мини-версии консолей мы уже видели много, от фантастически популярных NES/SNES-mini и MegaDrive Mini которые смели в момент, до абсолютно провальной PS1 Mini, которая настолько никому не нужна в силу своего отвратительного качества, что её до сих пор легко найти в продаже. Не берут-с… Мораль — люди не такие уж идиоты и прекрасно знают когда им дают достойный продукт, а когда фуфло.

Идея купить The A500 Mini в качестве подарка на свой день рождения пришла мне совершенно случайно, после просмотра одного ютубера. Сказано — сделано. С британского Амазона мне удалось через посредников заказать буквально предпоследнюю железку. И как как оказалось — не зря!

Но что внутри? Внутри — хорошо! Помимо небольшой копии компьютера в комплекте прилагается геймпад и мышь. Аутентичные! Правда, мышь конечно же уже лазерная.
Само устройство выполнено очень детально. На клавиатуру хочется понажимать, а в привод сбоку что-нибудь засунуть. Жаль, что всё это бутафорское. Они даже позаботились о таких мелочах, как цвет кабелей. Качество изготовления — выше всяких похвал. Разница с подобным стаффом с Алиэкспресса очень заметна. Тем, кто скажут «дороговато» — рекомендую посмотреть сколько стоит настоящая Амига в хорошем состоянии и посмотреть, а есть ли вообще подобные продукты. :)


После покупки рекомендую сразу сходить на сайт вендора и обновить прошивку, а также купить флешку, куда вы будете закидывать игры. Ах, да. Самое главное достоинство этого устройства, что здесь не нужно заниматься ромхаками, чтобы получить возможность загружать свои игры. Здесь данная возможность предоставлена совершенно штатно. Игры здесь поддерживаются как в формате adf, но основной всё же — whdl. И второе, что надо сделать после обновления прошивки — положить на флешку WHDLoad Package. Это база игр и настроек к ним. В дальнейшем производитель обещает обновления к ней, так что поглядим. Спойлер: для нетерпеливых есть решение ниже. :)

В комплекте присутствует 25 игр, из которых я на момент покупки знал всего несколько: Worms Director’s Cut, Battle Chess, Lemmings, Alien Breed и Another World, конечно же.

Прежде чем приступить к описанию бочки мёда, расскажу про ложку дёгтя. Да, это это всё же эмулятор. И эмулятор не идеальный. Какие-то игры могут работать слишком быстро, другие наоборот медленно. Некоторые могут неожиданно зависать. И в каждом случае вам придётся разбираться почему. Где-то достаточно подправить настройки эмуляции, где-то скачать другой ROM. Но даже так — всё равно будет доступна богатейшая библиотека игр с этой платформы. К слову, добрые люди ведут базу игр, работающих на The A500 Mini, можете посмотреть нужный вам тайтл.

Ещё из некоторых недостатков на мой взгляд. Тут маловато портов USB. Но тут уж как посмотреть. Но всё ж лучше было сделать устройство чуть побольше, но зато и с большим количеством портов. Для совсем уж безумного эстетства бутафорский флоппи-привод превратить в слот для SD карт.

А теперь о хорошем. Насчём с того, что эмулируется здесь не только оригинальная A500, но и более продвинутые A1200 и 2000 которые были построены на архитектуре AGA. Если копнуть ещё глубже, народ уже распотрошил что там внутри. Унутре используется Amiberry 3.3, а значит можно на ней запускать Workbench и прочие приблуды после некоторых манипуляций. А ещё можно не дожидаться обновлений базы WHDLoad на оффсайте и тащить нужное прямо из обновлений к Amiberry, так как по факту это обновления к Amiberry и есть.

Помимо геймпада и мыши, про которые уже говорил, сюда можно подключить и обычную клавиатуру. Правда, есть нюанс. Почему-то не все клавиатуры работают на ней корректно. Моя проводная Apple Keyboard ещё от Mac Mini 2.1 работает как часы, в то время как беспроводная и более современная Logitech K400r не отрабатывает нажатия стрелок в главном меню.

Как уже говорил выше, в порт USB втыкается любая пригодная флешка с играми. Куда, к слову, попутно ещё записываются сохранения. Поскольку портов USB не хватает, для расширения покупается абсолютно любой хаб, с которым всё прекрасно работает.

Прогресс можно сохранять как на SNES или NES Mini — через меню, но некоторые игры позволит делать сейвы и через собственные внутриигровые слоты сохранения. Правда, работает не во всех тайтлах. Так, например, замечательная адвенчура KGB в виде образа whdl у меня зависала при попытке сохраниться, используя игровое меню сохранений, но при запуске из ADF прекрасно работала и сохраняла всё как надо.

Стоит ли брать? Если вы не хотите тратить тонну часов на чтение мануалов по настройке эмуляторов на своём компьютере, а на настоящую Амигу нет денег — однозначно берите! Получите весьма стильный гаджет и познакомитесь с нестареющей классикой (с удовольствием играл в те же Worms Director’s Cut и KGB, например) и в целом обогатите игровой кругозор. Но не классикой единой. Под Amiga до сих пор продолжают выпускать игры, так что всегда можно найти что-то современное, но выпущенное под эту систему.
Любители поковыряться тоже внакладе не останутся. Вокруг The A500 Mini существует большое сообщество, так что полезные советы, ромы, хаки расширяющие возможности A500 Mini в наличии. Взять хотя бы Pandory 500 mod.

Как знать, может это устройство будет вашей входной точкой в чудесный мир Амиг и вы созреете до настоящего компьютера. :)

 Давно не выкладывал ссылки на всяческие схемы у себя. Кажется, пора.

Linux Kernel map. Схема всех подсистем и взаимосвязей между ними. Верхний пост тоже обновил, само собой.

«О чём думаешь, Евгений?» вопрошает меня Фейсбук. А о том, что давно у меня не было рубрики «карма тестировщика».

Дано: Fedora 34 Workstation. Ванильная. Со всеми патчами и апдейтами из штатных репозиториев. Никаких RPM Fusion и иже с ними.

• Уже несколько раз крашился Gnome, причём непонятно из-за чего. Но отчёты в ABRT сгенерились. Надо бы восстановить пароль от багзиллы Fedora и отправить логи туда.
• Постоянно пропадает звук на полсекунды или меньше в Firefox, при подключении внешней звуковой карты. Судя по всему, проблема в PipeWire. Решения пока не нашёл. Если проигрывать со штатной звуковой карты в ноутбуке — всё ОК.
• При обратном включении иконок на работе столе Gnome, иконки постоянно меняют своё местоположение при включении или выключении дока. Причём заметил, что съезжают всегда одинаково. В качестве обходного решения расположил иконки как мне надо при включенном доке и использовать Gnome Shell только с доком. Стыд, да и только.
• Очень редко, но теряются настройки внешних мониторов. Какую-то последовательность пока не уловил. Но случается правда редко и фикс занимает несколько секунд. Переживу. Туда же — меняются местами primary и secondary мониторы.
• Нихера не запоминаются настройки размера окон в Gnome Terminal.
• До сих пор надо в Gnome Terminal надо отключать Menu acceleration, чтобы заработала клавиша F10. Да, я использую Midnight Commander. Порицайте меня.
• Всё так же надо использовать Gnome Tweaks, чтобы добавить кнопки сворачивания, разворачивания и максимизации-минимизации окон.
• По хрен знает какой причине у меня не работали сначала Gnome Extensions. Решение: обнулить профиль пользователя и сбросить профили Firefox/Chrome, затем заново переустановить аддоны для браузеров.
• Если воткнуть док до загрузки ноутбука, то система будет загружаться раза в три медленнее, чем без него.

Может мне и правда в QA идти было надо?

Как-то после обновления с Catalina на BigSur у меня отвалилось два устройства. Точнее как отвалились. Мой внешний ЦАП работал, но очень эпизодически глючил. А вот принтер HP LaserJet 1018 вовсе перестал работать.

К счастью, с ЦАП проблема довольно быстро решилась выпуском обновления драйверов для BigSur, то с принтером оказалась полная засада. Чего только не перепробовал. И переустановка драйверов заново с полной зачисткой всех хвостов, установка драйверов с помощью Pacifist.В итоге уже почти смирился с тем, что придётся менять надёжный как булыжник принтер на что-то иное, как внезапно натыкаюсь на статью, а там вижу интересное:

.. и его проблемы.

Снова решил пописать про работу. На сей раз, проблема возника с RabbitMQ.

Имеется кролик с неработающими очередями. При этом всё поднято, но если заглянуть в логи, то можно увидеть в первую очередь нечто такое:

2021-06-09 10:02:38.030 [error] <0.19004.32> Error on AMQP connection <0.19004.32> (192.168.0.1:42538 -> 192.168.0.3:5672, vhost: 'none', user: 'updater', state: opening), channel 0:
{handshake_error,opening,
{amqp_error,internal_error,
"access to vhost '/' refused for user 'XXX': vhost '/' is down",
'connection.open'}}
2021-06-09 10:02:38.030 [info] <0.19004.32> closing AMQP connection <0.19004.32> (192.168.0.1:42538 -> 192.168.0.3:5672, vhost: 'none', user: 'updat
er')
2021-06-09 10:02:38.031 [info] <0.19001.32> accepting AMQP connection <0.19001.32> (192.168.0.2:14580 -> 192.168.0.3:5672)
2021-06-09 10:02:38.032 [info] <0.19020.32> accepting AMQP connection <0.19020.32> (192.168.0.1:42540 -> 192.168.0.3:5672)
2021-06-09 10:02:38.033 [error] <0.19001.32> Error on AMQP connection <0.19001.32> (192.168.0.2:14580 -> 192.168.0.3:5672, vhost: 'none', user: 'smsc', state: opening), channel 0:
{handshake_error,opening,
{amqp_error,internal_error,
"access to vhost '/' refused for user 'YYY': vhost '/' is down",
'connection.open'}}
2021-06-09 10:02:38.034 [info] <0.19001.32> closing AMQP connection <0.19001.32> (192.168.0.2:14580 -> 192.168.0.3:5672, vhost: 'none', user: 'smsc')
2021-06-09 10:02:38.035 [error] <0.19020.32> Error on AMQP connection <0.19020.32> (192.168.0.1:42540 -> 192.168.0.3:5672, vhost: 'none', user: 'updater', state: opening), channel 0:
{handshake_error,opening,
{amqp_error,internal_error,
"access to vhost '/' refused for user 'XXX': vhost '/' is down",
'connection.open'}}


Если же зайти в админку кролика, то мы видим сообщение вида:

Virtual host / experienced an error on node rabbit@somehost and may be inaccessible

После раскуривания некоторого количества логов, выяснилось, что проблема в Mnesia. По какой-то причине корраптятся сообщения в msg_stores. Если повнимательнее поискать, то можно заметить такое:


CRASH REPORT Process
<0.430.0> with 0 neighbours crashed with reason: no match of right hand value {error,{not_a_dets_file,”/var/lib/rabbitmq/mnesia/rabbit@hostname_1/msg_stores/vhosts/628WB79CIFDYO9LJI6DKMI09L/recovery.d ets”}} in rabbit_recovery_terms:open_table/1 line 197


Дальше останавливаем корлика, затем идём по указанному пути и грохаем целиком /var/lib/rabbitmq/mnesia/rabbit@hostname_1/msg_stores/vhosts/628WB79CIFDYO9LJI6DKMI09L/. После этого запускаем демона заново. Всё должно запуститься без проблем.

Некоторые люди зачем-то удаляют mnesia целиком, но если у вас, как и у меня, тонны очередей, эксчейнджей и пользователей, то потом это порой будет проблематично восстаналивать даже при наличии любой системы управления конфигурациями.

Перед чтением.

Для тех, кто не использует или не любит дистрибутивы Linux семейства RHEL, следует ориентироваться на версии ядра. В случае, когда мы говорим RHEL 6, то имеется в виду ядро 2.6.32 и ниже. Если говорим о RHEL 7/8, то 3.10 и выше.

Отвечая на вопрос «зачем». Как оказалось, у многих даже давно занимающихся администрированием Linux знания об использовании данной команды остались на уровне времён ядер 2.6.32. В то время как в новых ядрах, очень многие фичи были или инвертированы или же сильно изменены. И многие люди про это не в курсе.

Оригинал статьи лежит здесь. На случай, если кто-то мой перевод сочтёт негодным. :)

Разбираем команду free: что должен знать администратор Linux

Команда free популярна среди системных администраторов Unix/Linux. Это серьёзный инструмент, дающий полное представление об использовании памяти в ясном для человека виде.

В man странице про данную команду сказано, что free отображает общее количество свободной и используемой памяти в системе, включая пространство подкачки и физической памяти, а также буферы с кешами используемые ядром операционной системы. Данная информация собирается путём разбора содержимого /proc/meminfo.

Как и другие команды, free прошла через череду изменений на протяжении своего существования, дабы вывод её был осмысленным и точным, что требуется для дальнейшего принятия решений. В RHEL 6 вывод утилиты free ощутимо отличается от вывода такового на RHEL 7 или 8. Впрочем, ключевые параметры остаются неизменными в любой версии.

Если вы наберёте free -h в RHEL 6 (я использовал ключ -h для вывода в удобном для человека виде), то вывод будет похож на этот:

[root@srv ~]# free -h
total used free shared buffers cached
Mem: 94G 44G 49G 161M 993M 1.3G
-/+ buffers/cache: 42G 52G
Swap: 15G 0B 15G

(Рис. 1)


В RHEL 7/8 вывод выглядит иначе:

[root@server1 ~]# free -h
total used free shared buff/cache available
Mem: 15G 751M 1.2G 272M 13G 14G
Swap: 0B 0B 0B

(Рис. 2)

В то же время, в RHEL 8 всё будет выглядеть следующим образом:

[root@tiger ~]# free -h
total used free shared buff/cache available
Mem: 819Mi 164Mi 146Mi 25Mi 509Mi 491Mi
Swap: 0B 0B 0B

(Рис. 3)

Дабы сделать вывод программы более понятным для восприятия, в команде предусмотрены следующие опции: free -b, -k, -m, -g. Они отображают количество памяти в байтах, килобайтах, мегабайтах и гигабайтах. Также вы можете использовать команду free -h для отображения вывода в удобном, понятном для человека виде. Если нужны подробности, запустите free --help для дополнительной справки по возможностям программы.

Различные столбцы, показанные в разных версиях выше, указывают на общую доступную память (total), использованную (used), свободную (free), разделяемую (shared) память. Помимо этого, в выводе отображается память, расположенная в данных момент в буферах и кешах операционной системы.

Впрочем, как и в случае с большинством других команд, необходимые для устранения проблем или выполнении служебных обязанностей системному администратору столбцы вывода команды будут рассмотрены далее.

Red Hat Enterprise Linux 6

В случае с RHEL 6, сфокусироваться следует на столбцах -/+ buffers/cache. На рис. 1 выше мы видим, что общее количество памяти равно 94 гигабайтам, где израсходовано 44 гигабайта и свободно 49 гигабайт. Вообще, это довольно нагруженная система и потребление памяти в ней выглядит высоким. Волноваться не стоит, хотя всё же следует посмотреть на столбец в -/+ buffers/cache. Данное значение показывает занятые 42 гигабайта и свободные 52 Гб. Это означает, что в реальности используется всего 42 гигабайта, а не 44. Значение задействованных 44 гигабайт включает себя ещё и кеши. Заметьте, даже простой взгляд на значение колонки used без учёта значения занятых кешей уже влияет на интерпретацию оценки производительности системы.

Теперь разберём смысл колонок со значениями буферов и кешей:

· buffers: память задействованная буферами ядра
· cached: память занятая “Page Cache” (страничным кешем).

Страничный кеш — не что иное, как данные / файлы, копируемые в оперативную память, в момент когда ядро операционной системы выполняет операции чтения или записи на диске. Причина тому — производительность операций ввода-вывода. Таким образом, ядро держит эти файлы в ОЗУ и высвобождает их в тот момент, когда они не требуются или когда пространство памяти запрашивается какой-либо командой или процессом в случае отсутствия свободной памяти в системе.

Red Hat Enterprise Linux 7/8

В операционных системах RHEL 7/8 уже следует сместить фокус на колонку available, поскольку колонка -/+ buffers/cache была удалена и заменена столбцом available. В то же время, столбцы buffers и cache были объединены в единое значение buff/cache и имеют ровно тот же смысл, что и ранее. Столбец available показывает оценку сколько памяти доступно приложениям без использования подкачки.

Так когда сисадмину всё же следует начать беспокоиться?

Исправна та система, которая показывает максимально возможный объём памяти достаточный для выполнения каких-либо задач, при этом демонстрирующая следующие ожидаемые признаки нормальной работы:

· Значение free близко к 0 или имеет очень небольшие значения
· Значение used близко к общему количеству RAM
· Значение доступной памяти в available (или же описанная в столбцах free -/+ buffers/cache) является относительно большой в сравнении с общим количеством памяти.
· Размер раздела или файла подкачки не меняется

Однако, системному администратору стоит начать беспокоиться, когда появляются следующие признаки реальной нехватки памяти:

· Значение столбца available (или же столбцов free -/+ buffers/cache) близко к нулю или весьма небольшое.
· Размер подкачки начинает расти или меняться из-за того, не хватает свободных страниц памяти и теперь необходимо их сбрасывать на диск
· В dmesg появляются сообщения об OutOfMemory-killer, которые проверяются командой grep -i kill /var/log/messages* или же dmesg | grep oom-killer.

Подведение итогов

Команда free — полезный инструмент, которая может очень рассказать системному администратору о том, что происходит в системе. Знание о различиях в выводе free может помочь в более точной интерпретации выдаваемых данных.

В связи с вчерашней проблемой, связанной с устареванием корневого сертификата и криворукостью некоторых, куча народу столкнулась с тем, что перестали работать утилиты вроде curl или стало нельзя зайти на некоторые сайты.

Для Linux решение уже и так есть по ссылке выше, для прочих программистов описываю решение здесь.
Если у вас curl сейчас выдаёт такое при запросе к любому сайту с SSL:

curl: (60) SSL certificate problem: certificate has expired
More details here: https://curl.haxx.se/docs/sslcerts.html

curl performs SSL certificate verification by default, using a "bundle"
of Certificate Authority (CA) public keys (CA certs). If the default
bundle file isn't adequate, you can specify an alternate file
using the --cacert option.


Для начала проверяем что у нас используется:

openssl version -a
LibreSSL 2.6.5
built on: date not available
platform: information not available
options: bn(64,64) rc4(16x,int) des(idx,cisc,16,int) blowfish(idx)
compiler: information not available
OPENSSLDIR: "/private/etc/ssl"


Нужно заменить LibreSSL на OpenSSL где этой проблемы нет, поскольку там правильно реализована проверка сертификатов.

Для начала считаем, что скорее всего brew у вас уже стоит. :)


brew update && brew upgrade # на всякий, многие забывают обновляться
brew install openssl # это если у вас вдруг его нет
brew link --force openssl
export PKG_CONFIG_PATH="/usr/local/opt/openssl@1.1/lib/pkgconfig"
echo 'export PATH="/usr/local/opt/openssl@1.1/bin:$PATH"' >> ~/.zshrc # любители Bash и так знают что делать


Далее запускаем новый шелл и проверяем:

openssl version -a
OpenSSL 1.1.1g 21 Apr 2020
built on: Tue Apr 21 13:28:37 2020 UTC
platform: darwin64-x86_64-cc
options: bn(64,64) rc4(16x,int) des(int) idea(int) blowfish(ptr)
compiler: clang -fPIC -arch x86_64 -O3 -Wall -DL_ENDIAN -DOPENSSL_PIC -DOPENSSL_CPUID_OBJ -DOPENSSL_IA32_SSE2 -DOPENSSL_BN_ASM_MONT -DOPENSSL_BN_ASM_MONT5 -DOPENSSL_BN_ASM_GF2m -DSHA1_ASM -DSHA256_ASM -DSHA512_ASM -DKECCAK1600_ASM -DRC4_ASM -DMD5_ASM -DAESNI_ASM -DVPAES_ASM -DGHASH_ASM -DECP_NISTZ256_ASM -DX25519_ASM -DPOLY1305_ASM -D_REENTRANT -DNDEBUG
OPENSSLDIR: "/usr/local/etc/openssl@1.1"
ENGINESDIR: "/usr/local/Cellar/openssl@1.1/1.1.1g/lib/engines-1.1"


Что-то почитав список до сих пор вылезающих проблем в OS X Catalina, принял волевое решение:

sudo softwareupdate --ignore "macOS Catalina"

defaults write com.apple.systempreferences AttentionPrefBundleIDs 0

killall Dock

Теперь только сесурити апдейты на Мохаве. Ну или через релиз обновлюсь, если всё хорошо будет.

В своё время неприятно удивился, когда обнаружил, что на Docker Hub перестали выкладывать докерфайлы от образов. Порой было полезно, чтобы понять почему образ докера так или иначе ведёт или собрать свой с небольшими модификациями не занимаясь всем с нуля.

Решается просто вот этой копипастой:

docker history --no-trunc <IMAGE_ID> | tac | tr -s ' ' | cut -d " " -f 5- | sed 's,^/bin/sh -c #(nop) ,,g' | sed 's,^/bin/sh -c,RUN,g' | sed 's, && ,\n & ,g' | sed 's,\s*[0-9]*[\.]*[0-9]*[kMG]*B\s*$,,g' | head -n -1

Не секретно, просто чтобы легче найти было.