개인노트

NeMo-Curator생성형 AI를 만들기 위해 필요한 초-대용량 데이터 셋을 구축하기 위한 큐레이션 도구이다. 텍스트와 이미지, 동영상 등 여러 형태의 큐레이션을 지원한다. Dask 라이브러리와 RAPIDS를 사용하여 처리 속도를 향상시켰다.Dask병렬/분산 컴퓨팅을 위한 라이브러리이다. from dask.distributed import LocalCluster cluster = LocalCluster( processes=False, ) client = cluster.get_client() # Use Dask locally import dask.dataframe as dd df = dd.read_parquet("/path/to/data.parquet") df.valu..

왜 LangGraph인가?LLM은 그 자체로 강력하지만, 다른 시스템의 retriever 또는 API 등과 연결되었을 때 특히 더 그렇다. 이는 많은 LLM 애플리케이션들이 LLM 호출 전/후로 제어 흐름 단계를 두는 이유가 된다. RAG 가 그 예시인데, 질문과 관련된 문서를 검색한 다음에 LLM에 이 문서를 같이 전달하여 응답을 받는다. 이렇게 LLM 호출 전/후의 제어 흐름을 체인이라고 부른다. 체인은 LLM을 사용한 프로그래밍에서 가장 많이 쓰이는 패러다임이다.그러나, LLM이 직접 자신이 제어 흐름을 선택하게 만들 수는 없을까? 이 것이 바로 에이전트의 정의 중 하나이다. 에이전트는 애플리케이션 제어 흐름을 LLM이 직접 선택하도록 하는 시스템이다. 체인과 다르게, 에이전트는 LLM이 애플리케이..