SCM: локальный поиск по фото и видео на macOS с поддержкой OCR и диалогов
Hacker News · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.
Проект SCM представляет собой десктопное приложение для macOS, позволяющее искать изображения и видеоролики по описанию, тексту на экране и репликам в аудио. Инструмент работает полностью локально, используя нейросетевые модели для анализа медиафайлов без передачи данных в облако.
SCM предлагает приватный способ управления медиатекой, объединяя семантический поиск, оптическое распознавание символов и транскрипцию речи в одном локальном приложении для macOS.
Разработчик allenv0 представил SCM — инструмент для глубокого поиска по фотографиям и видеофайлам на macOS. В отличие от облачных сервисов, приложение работает полностью локально: все вычисления выполняются на устройстве пользователя, а медиаданные не покидают машину. Это обеспечивает конфиденциальность и отсутствие зависимости от интернет-соединения после первоначальной загрузки моделей.
Ключевая особенность SCM — возможность поиска «как человек думает». Пользователь может описать сцену обычным языком, и локальная vision-модель найдет соответствующие кадры. Для видеофайлов система сегментирует сцены и индексирует их, позволяя переходить не просто к файлу, а к конкретному моменту времени. Дополнительно реализованы режимы поиска по тексту на изображении (OCR) и по устной речи с помощью модели Whisper.
Техническая архитектура построена на Electron и Bun. Приложение использует ONNX Runtime для работы с моделями, включая CLIP для визуального поиска и Tesseract для распознавания текста. Поддерживается несколько языков OCR, включая китайский, японский и корейский. Для видео применяется ffmpeg для определения границ сцен, а транскрипция диалогов выполняется моделями Whisper tiny.en или base.en.
Интерфейс позволяет сохранять поисковые запросы как вкладки, фильтровать результаты по категориям (скриншоты, почта, видео) и настраивать горячие клавиши. Система автоматически импортирует файлы из наблюдаемых папок, дедуплицирует их по хешам контента и поддерживает переключение между различными нейросетевыми моделями с фоновым переиндексацией.
Установка доступна через Homebrew для Apple Silicon (macOS 12+). Приложение не требует регистрации аккаунта и не собирает телеметрию. Все веса моделей загружаются один раз, после чего работа возможна в автономном режиме. Разработчик подчеркивает важность приватности: медиафайлы копируются в локальную библиотеку приложения и обрабатываются исключительно на устройстве пользователя.
SCM демонстрирует тренд на локальный ИИ для повседневных задач, предлагая мощный инструмент управления медиатекой без компромиссов в части конфиденциальности. Проект находится в активной разработке и включает систему тестирования, бенчмарки и документацию для разработчиков.