수행기간 2023-04 ~ 2023-11
깃헙 : https://github.com/pej0918/E-yes
GitHub - pej0918/E-yes: 👁️ 2023한이음프로젝트 : 시각장애인 교육용 점자 번역 및 문서 요약 시스템
👁️ 2023한이음프로젝트 : 시각장애인 교육용 점자 번역 및 문서 요약 시스템 개발 (은상 수상)👁️ - GitHub - pej0918/E-yes: 👁️ 2023한이음프로젝트 : 시각장애인 교육용 점자 번역 및 문서 요약
github.com
🔍 목차
- 프로젝트 개요
- 프로젝트 진행과정
- 프로젝트를 마치며
1. 프로젝트 개요
☑️ 1.1. 프로젝트 소개
본 프로젝트는 시각장애인들이 영어 점자 서적을 쉽게 학습할 수 있도록, 영어 점자를 한글로 번역하고 오디오 파일로 생성해주는 기능을 제공한다. 또한, 일반 도서와 같은 텍스트 파일을 한글로 번역하고, 오디오 파일로 생성하여 시각장애인들이 더 많은 자료로 지식을 넓힐 수 있도록 도와준다. 이외에도, 한글 문서를 점자로 변환하고 오디오 파일로 생성하거나, 교정 문자 생성 및 학습 도중 궁금증 해결 등 다양한 기능을 제공하여 시각장애인들의 학습과 일상생활에 도움을 주는 것이 목표이다.
☑️ 1.2. 서비스 흐름도
전체적인 서비스 구성은 다음과 같다.
☑️ 1.3. 기능 흐름도(Flow Chart)
☑️ 1.4. 프로그램 작동 동영상
📽시연동영상 링크
https://youtu.be/nr0ZrB_GpGo?si=LVs2iwIWopKGXRgZ
https://youtu.be/nr0ZrB_GpGo?si=LVs2iwIWopKGXRgZ
2. 프로젝트 진행과정
☑️ 2.1. 프로젝트 일정
프로젝트는 아래와 같은 일정으로 진행되었다.
(1) 4월 계획 및 분석
- 프로젝트 방향 설정 및 계획 구체화
- 필요 기자재 계획 수립
(2) 5-6월 설계 및 적용
- 아키텍쳐 설계 및 구성(딥러닝 모델 및 DB)
- 점자 번역 기능 설계
- 영한 / 한영 번역 기능 설계
- 오디오 파일 생성 기능 설계
- 문법 오류 기능 설계
(3) 7-8월 개발 및 학습
- 점자 번역 기능 개발
- 영한/ 한영 번역 기능 개발
- 오디오 파일 생성 기능 개발
- 문법 오류 기능 개발
(4) 8-9월 테스트 및 보완
- 오류 개선
- 피드백 및 추가 수정개발
☑️ 2.2 주요 기능
(1) 점자 번역 및 맞춤법 검사 기능
- 16가지의 다양한 메커니즘을 확보 및 E-yes의 번역 알고리즘을 통해 영어 점자와 한글 점자 점역을 개선
(2) 문서 요약 기능
- 점독(點讀)속도가 느리다는 문제를 해결하기 위해 KoBART를 활용한 문서 요약 기능으로 긴 텍스트를 요약하여 제공
(3) 청독 서비스
- 시각장애인들은 문자보다 청각에 대한 의존도가 높으며, 많은 정보를 청각을 통해 습득함
→ 번역 및 문서 요약 결과를 MP3 파일로 생성하여 청독을 이용한 학습 능력 향상
📜 서비스 시나리오 📜
E-yes 는 사용자가 입력한 텍스트를 바탕으로 번역 및 문서 요약 결과를 생성한 후, 그 결과를 웹 화면에 나타낸다.
사용자는 한글, 영어, 한글 점자, 영어 점자 중 원하는 입출력 언어를 선택할 수 있으며 E-yes 는 16 가지의 번역 메커니즘을 제공한다.
또한, 추가로 맞춤법 검사를 진행할 수 있다. 이러한 기능은 전문 점역‧교정사의 작업을 자동화하여 정확하고 빠른 점자 번역과 교정을 돕는다.
문서 요약의 경우, KoBART 모델을 통하여 문서를 요약한다. 서비스 결과는 PDF 파일 혹은 결과를 텍스트 및 음성으로 제공하며, 사용자는 docx 파일 및 MP3 파일로 다운로드 받을 수 있다.
시각장애인은 E-yes 에서 제공하는 문서 요약 기능과 음성 파일을 사용하여 학습 자료 습득 속도를 높일 수 있다.
☑️ 2.3 사용자 UI/UX
🖼️ 사용자 UI/UX에 대한 간략한 설명 🖼️
시각장애인 대부분이 약시라는 사실에 기반하여 크고 명확한 UI, 반응형 디자인을 구현했다. 화면 페이지 수를 줄이고, 직관적인 기능, 명확한 작동방식을명시하는 것으로 사용자의 초기 앱 적응 비용을 최소화한다. 시각장애인은 휴대폰 키보드의 STT 기능을 이용하거나 소장하고 있는 문서 파일을 첨부하여 텍스트를 입력할 수 있다.
🖥️ 화면 설계서 🖥️
3. 프로젝트를 마치며
- 시각장애인 사용자에게 편리함을 주기 위해 앱 개발적인 측면에서 많은 고민이 있었다. 이식성이 좋아 웹 개발도 가능하며, 다양한 라이브러리와 기능을 구현할 수 있는 개발도구가 필요했다. 긴 회의 끝에 native react를 선택했다. 팀원 모두 처음 접해 본 도구였기 때문에 초기에 익숙해지는 데 꽤 시간이 소모되었다. 그러나 함께 공부하고 토이 프로젝트를 하며 성장할 수 있었다.
- liblouis 라이브러리는 점자 번역에 있어 가장 성능이 뛰어나 유명하다. 다만, 다양한 기능과 뛰어난 성능을 가지고 있는 만큼 설치하기가 까다롭고 복잡했다. linux 가상환경에서 설치해야 하며, 단계별로 특정 install 과정이 필요하기도 했다. 팀원들 모두 각자의 노트북으로 설치를 시도했으나 매번 실패했다. 버전의 문제, 명령어의 문제 등등 원인이 많았고, 문제점을 해결하는 과정만 3주가 소요됐다. 구글링과 멘토링, 회의를 거쳐 결론적으로 구름(goorm) ide 개발환경을 사용하여 재시도를 했고 마침내 성공적으로 설치했다.
