---
title: NoteMaker
emoji: 🏢
colorFrom: blue
colorTo: yellow
sdk: gradio
sdk_version: 6.0.2
app_file: app.py
pinned: false
short_description: Make your own notes
---

# NoteMaker

## Краткое описание

Проект представляет собой систему, которая принимает на вход изображение с английским текстом
и последовательно выполняет три шага: 
- распознавание текста, 
- анализ тональности текста, 
- составление сжатого конспекта, 
- озвучивание полученного конспекта.

## Архитектура системы

![Архитектура](https://drive.google.com/uc?export=view&id=1fSIHb79Bn48TBWobKzrRgOjSFwd62hyv)

## Использованные модели

Распознавание текста выполняется **EasyOCR**.

Распознанный текст подаётся в модель **distilbert-base-uncased-finetuned-sst-2-english** для определения тональности.

Для сжатия текста до конспекта используется модель **sshleifer/distilbart-cnn-12-6**. 

Полученный конспект передаётся в модель **facebook/mms-tts-eng (VITS)**, которая генерирует аудио в формате WAV.