LLM에 관한 생각

요즘 드는 생각

최근 들어 ChatGPT-4o, Claude-3.5에 이어 Llama 3.1가 출시되는 등 하루가 다르게 LLM 모델들이 진화하고 있다. LLM 기반의 프로덕트를 만드는 입장에서 생각해보면

• 이전보다 더 뛰어난 모델이 등장할 때마다 프롬프트의 수정 없이 API를 호출하는 부분만 수정하면 되기 때문에 프로덕트의 수명 주기가 길어졌고
• 가용한 컨텍스트의 길이가 길어지면서 RAG만 잘 구축해도 up-to-date 데이터에 대해 강건한 프로덕트를 개발할 수 있게 되었으며
• 공장에서 찍어 내듯이 뽑혀 나온 LLM 기반의 프로덕트들을 조합하는 것만으로도 기존 플랫폼을 위협하는 새로운 플랫폼이 될 수 있다.

가령 데이터 엔지니링 분야에서는 Datahub와 같은 데이터 디스커버리 툴이 가장 먼저 대체될 것이라 생각되는데, 테이블 스키마를 등록하고 text로 질문을 작성하는 것만으로도 agent가 알아서 다음 기능들을 수행해주는 플랫폼이 등장할 수 있다.

• Table Search
• Text-to-SQL
• Data Visualization

또 DBT와 같은 도구가 여물어지면 LLM이 SQL로 선언된 파이프라인 코드를 읽고 다음과 같은 기능도 수행할 것 같다.

• Data Lineage
• Data Quality Validation

이처럼 현업에서 AI가 일으키는 급격한 변화들을 몸소 느끼다보니, LLM 동향은 반드시 뒤쳐지면 안되겠다는 생각이 들었다. 또 LLM 기반의 프로덕트로는 여전히 대체가 어려울 것 같은 분야에서 전문성을 쌓아두는 것도 괜찮을 것 같다.

그러면 앞으로는?

올해 두가지 사이드 프로젝트와 두가지 논문의 리뷰를 계획하고 있다. 먼저 사이드 프로젝트로는

1. Text-to-SQL
   • 사용자의 자연어 쿼리나 요구 사항을 SQL 쿼리로 변환하는 기능을 구현한다.
   • 또한 LLM을 사용하여 기존 쿼리의 성능을 분석하고 최적화하는 데 도움을 주는 도구를 개발한다.
2. SQL-to-Text
   • LLM을 사용하여 SQL 쿼리 결과를 자연어로 설명하는 보고서를 자동 생성하는 도구를 개발한다.
   • 데이터 시각화 툴과 통합하여 대시보드와 함께 요약한 텍스트를 생성하여 사용자에게 제공한다.

리뷰할 논문들은

1. Efficient Memory Management for Large Language Model Serving with PagedAttention

   • LLM 모델을 이용해 추론하거나 서빙할 때 처리량을 높이기 위해 사용하는 라이브러리인 vLLM에 대한 내용을 설명하고 있다.

2. Mamba: Linear-Time Sequence Modeling with Selective State Spaces

   • 컨텍스트의 길이가 길 수록 quadratic하게 증가하는 Transformer의 연산량을 줄이기 위해 Mamba라는 새로운 모델을 제안하고 있다.