Perfect Streamer - профессиональное ПО для доставки RIST, SRT, PS1, ProMpeg etc

[Repik]

Здравствуйте, есть конкертное железо 4 GPU NVidia Tesla 16 Gb ОЗУ, DELL C4140, 128 GB ОЗУ, 2 x Intel(R) Xeon(R) Gold 6148 CPU @ 2.40GHz  (80 ядер суммарно).
В среднем одна карта кодирует 40 каналов (20-30% HD на одной карте) с деинтерлейсом и прогрессивной разверткой, при практически полной загрузке GPU карт. Настораживает, что текущее ПО для траснкодирования поедает 65-70% всех ядер, хотя поидее транскодинг на картах. Вопрос первый, есть ли у вас сравнительные тесты по схожим характеристикам?  (Понятно, что это очень относительно). Сколько ОЗУ GPU на данной карте может отъедать ваше ПО (на ПО которое мы используем, на текущий момент как ни крути и не верти съедает примерно 300 мегабайт на SD канал и 450 на HD. Что самое интересное 1070Ti съедает 150 и 300 соответственно.

Второй вопрос, планируется ли реализация серверов архива на базе hls? Очень желательно с повторением API конкурентных ПО (подробно могу в личку) для интеграции с распространными middlware платформами

Здравствуйте!

1. Уточните пожалуйста модель вашей карты Nvidia Tesla, они бывают очень разные.
Во вложении пример нагрузки из утилиты nvtop на древней и очень специфичной карте Nvidia Tesla M10 32GB(4 независимых GPU с 8GB RAM каждая).
Транскодируется для примера поток H.264 Full HD 12 мбит/с 50i/MPEG в H.264 Full HD 5 мбит/с 25P/AAC. Потребление видеопамяти 151 MB.

Нагрузка на карту зависит от используемых настроек энкодера.

На другом нашем тестовом сервере на 2x Xeon E5 2997A V4(32 core, HT выключен), 128GB RAM, 4x Quadro P4000 транскодируем 100 потоков - те же 30% в HD.
Настройки качества по умолчанию, но они по умолчанию сделаны на упор в качество "из коробки". Если важно количество потоков, то можно смело понижать на 1-2 ступени настройку энкодера, будет не хуже чем на другом софте.
Нагрузка на ЦП 45%, по картам на энкодер/декодер ~ 60-70%.
Если у ЦП включить HT, то нагрузка падает до 25-30%.

ЦП активно используется при работе транскодера, поэтому нагрузка на него тоже будет заметна, но в вашем случае учитывая что у вас ядер много и ЦП более современный, она должна быть ниже.
У нас проприетарная реализация транскодера на Nvidia CUDA, сделаны различные оптимизации и улучшения по качеству изображения. Не FFMPEG, так же это относится и к нашему транскодеру на Intel VPL.
Учитывайте что транскодирование звука на Nvidia происходит силами ЦП, тогда как на Intel транскодируется на ГП.

Протестировать вы можете в любое время, можно установить программу и активировать её на 30 дней без ограничений по функционалу(триал).

2. В следующей версии Perfect Streamer будет добавлен архив для телеканалов и камер видеонаблюдения.
В первом приближении будет базовая реализация, потом сделаем различные "режимы совместимости" под разные платформы - пожелания можете прислать в личку.
Архив будет доступен для HLS OTT и MPEG Dash, поддержка MPEG Dash будет так же доступна в следующей версии программы.

В будущем возможно сделаем вещание с архивами и в клиентской реализации нашего транспортного протокола Perfect Streamer(PS1):
Просмотр на конечных устройствах и приложениях в сетях с задержками до 500-1000 мс и потерями пакетов до 20-40%. Быстрый старт просмотра, перемотка, пауза. На современных устройствах старт просмотра заметно быстрее чем в HLS и до 20 раз эффективнее/"бронебойнее" HLS. Своего рода SRT для клиентского просмотра, но SRT для этого не предназначен. Вещание в любую точку мира без CDN.

Tesla P100 (как так пропустил сам не понял). В личку вам написал. Я так понимаю, ваше ПО на базе GStreamerа?

[Perfect Streamer]

Я так понимаю, ваше ПО на базе GStreamerа?

Здравствуйте!
GStreamer используется для некоторых задач, как и FFMPEG.
Реализация транскодера на ГП Nvidia - Nvidia Enc(CUDA) и на ГП Intel - Intel VPL.
Это собственная реализация транскодеров, не надстройка над FFMPEG("Панель FFMPEG").
Для Intel Media SDK PRO-версия мы разрабатываем транскодер с 2013 года, сейчас это Intel VPL.

[Perfect Streamer]

Доработаны инструменты Perfect Streamer:

1. TS Analyze Perfect Streamer Toolkit v2.2 — TR 101 290. Улучшенная версия утилиты MPEG-TS PCR Analyzer.

Консольный анализатор транспортного потока MPEG-TS с проверкой соответствия ETSI TR 101 290 V1.4.1 и валидацией модели T-STD буферов ISO/IEC 13818-1.

Читает UDP multicast/unicast или TS-файлы, автоматически обнаруживает PCR PID через PAT/PMT и выводит подробный или краткий отчёт на stdout.

Анализатор обходит каждый TS-пакет и сообщает о нарушениях:
- Priority 1 (декодируемость TS): синхронизация TS, потеря синхронизации, наличие и CRC PAT/PMT, счётчик непрерывности, наличие PID
- Priority 2 (рекомендуемый мониторинг): индикатор ошибок передачи, ошибки CRC, повторение / точность / разрывы PCR, интервал PTS, наличие CAT
- Priority 3 (расширенный мониторинг): интервалы NIT/SDT/EIT/TDT, неупомянутые PID, переполнение / недополнение T-STD буферов

Дополнительно выдаёт:
- Точность PCR до ±500 нс — регрессия по байтовым позициям
- Дрейф PCR в ppm (только live-режим)
- Модель T-STD буферов для каждого элементарного потока (live-режим)
- Валидация размеров SI-секций относительно лимитов ISO/EN с предупреждениями о совместимости EIT-on-STB (>1024 Б)
- UDP IAT (inter-arrival time) — статистика джиттера на уровне дейтаграмм (только live-режим)

2. MPTS Migrate Perfect Streamer Toolkit v1.0 — миграция идентичности MPTS.

Захватывает идентичность DVB SI/PSI работающего многопрограммного MPEG-TS-потока (MPTS) и воспроизводит её на экземпляре Perfect Streamer (PSS) на том же хосте. Результат: пользовательские приёмники (STB / TV) продолжают работать без повторного сканирования каналов после миграции или переключения на резерв.

Инструменты располагаются по пути /opt/pss/tools/.
ts_analyze возможно использовать без работающего Perfect Streamer на любой машине с Linux.