이 글은 FastText 사용중에 NumPy 2.0으로 인해 Python 바인딩에서 오류 발생하여 해결한 방법을 공유하고자 작성되었다.https://c0mputermaster.tistory.com/64ErrorFastText 사용 중, 다음과 같은 오류가 발생했다.ValueError: Unable to avoid copy while creating an array as requested.If using `np.array(obj, copy=False)` replace it with `np.asarray(obj)` NumPy 2.0부터 np.array(..., copy=False)의 동작이 변경되어 발생한 문제이다. https://groups.google.com/g/fasttext-library/c/4EOM..

최근에 사용자 명령어를 인식해서 어떤 작업을 실행할지 구분하는 기능이 필요했다. 간단한 텍스트 분류 모델이 필요했는데, Facebook에서 만든 오픈소스 라이브러리 FastText를 사용하여 보았다. 이 글에서는 Python을 통해 FastText 분류 모델을 구현하는 전체 과정을 소개한다. https://fasttext.cc/ fastTextLibrary for efficient text classification and representation learningfasttext.ccFastText 설치먼저 설치부터 시작. FastText는 아래처럼 pip으로 간단하게 설치할 수 있다.pip install fasttext데이터 준비모델을 학습시키기 위해, 각 명령어에 해당하는 의도를 미리 정의해두었다. ..

LLM 성능 평가 1. Performance Metrics(1) 통계적인 방식의 Metrics BLEU Score: 기계 번역 품질을 평가. LLM의 출력과 레퍼런스 번역의 일치 정도를 평가 (단어 일치 중심).ROUGE Score: 텍스트 요약 품질 평가. 출력 요약이 레퍼런스 요약의 핵심 키워드를 얼마나 잘 반영하는지 평가.딥러닝 기반의 생성 모델(Generative Model)은 텍스트 생성, 챗봇, 문서 요약 등 다양한 분야에서 사용. 생성된 문장을 평가하는 방법으로는 BLEU와 ROUGE 두 가지가 있으며, 이를 통해 모델의 성능을 측정할 수 있음BLEU와 ROUGE의 차이ROUGE: Reference Sentence의 단어가 Generated Sentence에 포함되는 정도를 측정.BLEU: ..

이 리뷰는 오직 학습과 참고 목적으로 작성되었으며, 해당 논문을 통해 얻은 통찰력과 지식을 공유하고자 하는 의도에서 작성된 것입니다. 본 리뷰를 통해 수익을 창출하는 것이 아니라, 제 학습과 연구를 위한 공부의 일환으로 작성되었음을 미리 알려드립니다. 오늘은 LLM 모델의 발전을 전반적으로 이해할 수 있는 Survey 논문에 대한 리뷰인데 전체적인 LLM의 발전과 흐름을 이해하는데 도움이 될 것 같아 리뷰하였다. 이 포스트의 논문 리뷰는 25년에 업데이트된 Large Language Models: A Survey v3버전을 기준으로 작성되었다.더보기S. Minaee, T. Mikolov, N. Nikzad, M. Chenaghlu, R. Socher, X. Amatriain, and J. Gao, "La..

LLM 모델을 기반으로 반도체 검사 명령어를 이해하는 인터페이스 구성하기 최근 대규모 언어 모델(LLM)의 활용 범위가 넓어지면서, 이를 특정 도메인에 특화시켜 적용하는 흐름이 활발해졌다.이번에는 반도체 검사 시스템을 대상으로, 자연어로 명령을 입력받아 시스템 내부 명령어 형태로 변환하는 인터페이스를 만들어보았다. 모델 여러 모델을 비교하여 보았지만 가장 빠르고 결과가 나쁘지 않았던 Hugging Face에 공개된 LGAI의 EXAONE-3.5-2.4B-Instruct를 사용하였다. https://huggingface.co/LGAI-EXAONE/EXAONE-3.5-2.4B-Instruct LGAI-EXAONE/EXAONE-3.5-2.4B-Instruct · Hugging FaceEXAONE-3.5-2.4..

오늘은 Transformer에서 인코더와 디코더의 개념을 정리하여 보고 특징을 알아보았다. Transformer : 인코더와 디코더트랜스포머(Transformer) 모델은 인코더(Encoder)와 디코더(Decoder)라는 두 가지 핵심 부분으로 나뉘어 있다. 이 두 부분은 각각 입력 문장을 이해하고, 이를 바탕으로 출력을 생성하는 중요한 역할을 한다. 이제 각 부분이 어떻게 동작하는지, 무엇이 다른지, 그리고 각각의 특징을 좀 더 자세히 살펴보자. 인코더(Encoder): 입력 데이터를 처리하고 핵심 정보를 포착하여 압축된 표현으로 변환합니다. 예를 들어, 번역 작업에서 인코더는 영어 문장을 받아 그 언어적 특징과 의미를 나타내는 벡터로 변환다.디코더(Decoder): 인코더가 변환한 표현을 받아 출력..

이 리뷰는 오직 학습과 참고 목적으로 작성되었으며, 해당 논문을 통해 얻은 통찰력과 지식을 공유하고자 하는 의도에서 작성된 것입니다. 본 리뷰를 통해 수익을 창출하는 것이 아니라, 제 학습과 연구를 위한 공부의 일환으로 작성되었음을 미리 알려드립니다.  오늘은 LLM 모델의 발전을 전반적으로 이해할 수 있는 Survey 논문에 대한 리뷰인데 전체적인 LLM의 발전과 흐름을 이해하는데 도움이 될 것 같아 리뷰하였다. 이 포스트의 논문 리뷰는 25년에 업데이트된 Large Language Models: A Survey v3버전을 기준으로 작성되었다.더보기S. Minaee, T. Mikolov, N. Nikzad, M. Chenaghlu, R. Socher, X. Amatriain, and J. Gao, "L..

이 리뷰는 오직 학습과 참고 목적으로 작성되었으며, 해당 논문을 통해 얻은 통찰력과 지식을 공유하고자 하는 의도에서 작성된 것입니다. 본 리뷰를 통해 수익을 창출하는 것이 아니라, 제 학습과 연구를 위한 공부의 일환으로 작성되었음을 미리 알려드립니다. 이 논문 "Were RNNs All We Needed?"는 시퀀스 모델링에서 Transformer 모델과 Recurrent Neural Networks (RNNs)의 효과를 비교하는 내용을 다룬다. LSTM과 GRU 모델을 단순화하여, 효율적이고 경쟁력 있는 성능을 달성할 수 있다는 점을 보여주고. Transformer 모델이 항상 최선의 선택이 아닐 수 있음을 보여주는데 주제가 흥미로워서 리뷰하게 되었다. 자연어처리(NLP) 모델에 대한 내용이지만 꽤나 ..