🗣 자연어 기반 제품 추천 시스템 - Danawa(다나와)

🚀 Motivation of Project

나이가 많으신 혹은 E-commerce 상에서 상품 구매 과정에 대해 어려움을 느끼시는 분들에게 해당 과정에 대한 노고를 줄이고 직관적인 구매 경험을 제공하고자 하였습니다.

🛠 Skills

Language

Infra

Environment (CI/CD)

🌐 Development Architrecture (Data ETL Side)

🌐 Service Architrecture

💡 Sentence-transformers model

• https://huggingface.co/jhgan/ko-sroberta-multitask
• https://github.com/jhgan00/ko-sentence-transformers

⛓ Data ETL & Response to user's query Process

1. ChromeDriver 및 Selenium, BeautifulSoup을 통한 네이버 쇼핑몰 내 상품의 상품명/가격/스펙/URL 크롤링
2. URL을 순회하며 해당 상품에 등록된 리뷰(Review) 크롤링
3. 수집된 데이터들을 CSV 형태로의 변환 및 저장
4. Sentence Transformer 모델을 사용하여 리뷰 Column Embedding 수행
5. Embedding 완료된 최종 데이터를 DynamoDB에 적재
6. 유저 요청 시, DB 스캔 후 Embedding Vector를 바탕으로 Cos-Similarity 계산
7. 유사도 기반 상위 K개 제품 반환