🍀 Introduction

한 줄 요약: sLLM에서도 Long Context Methodology가 통할까?

예상 기간: 2주

이를 통해 무엇을 얻고자 하나요: Long Context sLLM POC

💡 Objective: sLLM에서 Long Context의 잠재력을 끌어내보자.

주요 목표 sLLM에서도 Long Context Method의 잠재력을 이끌어내보자.

이를 왜 달성하고자 하나요 Long Context 실험 기반 및 노하우 마련

이를 달성하기 위해 명심해야 하거나 지켜야 할 사항들이 있을까요? 중간에 흐지부지 되지 말기 (가장 중요)

예상되는 어려운 점이 있나요? GPU 자원 - V100으로 충분할까? 충분하지 않다면 어떻게 조달할까?

🎯 KR1: Long Context 가능성 있는 sLLM을 3개 이상 후보를 선정

• [x] Initiative 1: Long Context sLLM 리스트업 (5개 이상) (100K 이상으로 보자)
  • 후보군
  • 선택 4개
• [ ] Initiative 2: Long Context 원리 탐색 논문 스킴(1~2개)
  • [ ] sLLM에서 Context Size를 어떻게 키울 수 있었을까?
    • [ ] Long context LLM : 1부 Position Embedding - https://devocean.sk.com/blog/techBoardDetail.do?ID=166264&boardType=techBlog
    • [ ] [리뷰] Meta 논문: Effective Long-Context Scaling of Foundation Models | by daewoo kim | Medium - https://moon-walker.medium.com/리뷰-meta-논문-effective-long-context-scaling-of-foundation-models-bc8824590005
    • [ ] Secret of Long Context Length - https://julie-tech.tistory.com/147
    • [ ] https://openreview.net/pdf?id=LywifFNXV5
    • [ ] https://www.databricks.com/blog/long-context-rag-performance-llms
    • [ ] https://www.datacamp.com/blog/top-open-source-llms
    • [ ] https://klu.ai/blog/open-source-llm-models
    • [ ] https://github.com/mustafaaljadery/gemma-2B-10M?tab=readme-ov-file
    • [ ] https://medium.aiplanet.com/introducing-buddhi-open-source-chat-model-with-a-128k-context-window-06a1848121d0
    • [ ] https://medium.aiplanet.com/introducing-buddhi-open-source-chat-model-with-a-128k-context-window-06a1848121d0
  • [ ] 기존 LLM과 다르게 적용된 원리가 있을까?
    • [ ] 만약 있다면 이 점이 bottleneck일 수 있지 않을까?

🎯 KR2: Long Context Benchmark에 대해 sLLM 평가 및 개선점 도출

• [ ] Initiative 1: Long Context Benchmark 선정 및 특징 비교 분석
  • [ ] LOFT
  • [ ] LongBench
  • [ ] InfiniteBench
• [ ] Initiative 2: 선정한 Benchmark에 대해 평가 수행
  • [ ] 베이스라인은 어떻게 세팅?
  • [ ] 데이터셋은?
  • [ ] 결과는?
  • [ ] 기대한 점수가 나왔을까?
• [ ] Initiative 3: Benchmark에 결과를 토대로 Next Action 수립 및 공유 (링크드인?)

⭐️ Review

OKR을 통해 원하는 목표를 달성했나요? 달성하지 못했다면 무엇이 부족했나요?