카메라로 알약의 사진을 찍으면 알약의 정보를 알려주는 애플리케이션 입니다.
한국교통대학교 캡스톤디자인 과제로 개발을 시작했으며, 현재 서버 교체 및 업데이트 개발 중에 있습니다.

작동 구조
애플리케이션 (클라이언트) ↔ 메인 서버 ↔ 인공지능 서버

1. 애플리케이션에서 알약 사진 촬영
2. 검색 버튼 터치 후 메인 서버로 사진 전송
3. 메인 서버에서 인공지능 서버로 사진 전달
4. 인공지능 서버에서 사진을 분석 후 알약 정보 추출
5. 추출한 알약 정보를 메인 서버로 전송
6. 메인 서버에서 알약 정보를 약학정보원 사이트에 입력하여 검색
7. 약학정보원 검색 결과를 크롤링하여 애플리케이션에 전송


사용한 인공지능 모델
ㆍText-Detection
: Naver Clova-ai CRAFT pretrained model

ㆍText-recognition
: Naver Clova-ai deep-text-recognition-benchmark
: Pretrained model(TRBA-case-sensitive)+fine-tuning with custom_data(croped pill text image)

ㆍShape-classification
: Efficient-Net-Pytorch