IXO™ 2024 Ultimate Web3 Roadshow에서 김민현 (Minhyun Kim) AI Network 대표가 “거대 기업 AI 생태계에서 자율 AI 생태계로”를 주제로 강연하였다.
김민현 대표는 엔지니어 출신으로 검색 엔진 알고리즘이나 개인화를 진행하였다.
창업의 계기는 오픈소스 AI 프로젝트를 진행하면서 자원문제가 발생하여 대안이 필요하다고 생각하여 창업을 하게 되었다.
위 글은 1년 전 챗 GTP 출시때 쓴 글을 대중들에게 이해시키기 어려웠다. AI가 대중화 되어 있던 것도 아니고, 웹3는 더욱 이해도가 부족했기에 두가지를 합한 웹3 AI는 왜 필요한지 설명을 기술적으로 해도 잘 모르겠다는 반응이 많았다.
챗GPT 출시 이후 AI가 있는 인터넷과 AI가 없는 인터넷과의 차이를 사람들이 인식하기 시작했다.
웹2 기업은 Organize 라는 동사를 쓰고 미션이 엑서스하고 유스풀하게 만들자는 취지로 기업을 운영했다.
오픈AI는 AGI (Artificial General Intelligence)가 나와서 휴머니티를 위협할것이라는 관점에서 기업을 운영하고 있다.
머신러닝이라는 분야는 통계학에서 출발했다.
AI의 20년 정도 되는 레이어의 발전사의 흐름은
- Pre-training
- Transformer : attention is all you need
- Fine-tuning
- Prompt Engineering
- ChatGPT
로 설명된다.
Pre-training 는 차원을 가르는 선이다. n – 1차원으로 항상 가를 수 있어 이것을 구별하는 일이 AI의 시작이다
챗GPT는 몇만차원 몇백만 차원을 가르고 있다.
Transformer : attention is all you need는 단어 하나에 어텐션이라는 포커스를 두고 행렬 연산으로 다음 단어를 연상하는 확률적 모델이다.
굉장히 긴 길이의 토큰을 한ㄲ번에 처리할 수 있는 구조를 GPU를 통해서 한꺼번에 처리할 수 있는 구조를 가지고 있다.
Fine-tuning 은 아키텍쳐나 모델이 나오면 단순히 함수로 나오는게 아니라 파라미터값이 많은거니, 그 파라미터 안에 데이터가 이미 들어가 있다.
함수처럼 생겼지만 함수가 아닌 데이터베이스 위에 있는 모든 텍스트 데이터의 유기적인 구조를 튜닝 함으로써 다양한 디스크를 도출하는 것이다.
Prompt Engineering 는 개발자의 도움 없이 모든 텍스트위 조합은 파운데이션 모델 안에서 이미 한번 했기 때문에 거기에 약간의 포커스만 주면 다양한 디스크를 도출할 수 있는 모델이다.
파인 튜닝까지는 개발자가 필요하여 발전도가 느리지만, 프롬프트 엔지니어링 부터는 모두가 개발자가되고 누구나 코드를 작성할 수 있고 누구나 AI를 생산할 수 있어서 빠르게 발전할 수 있다.
콘텐츠를 생산할 수 있는 프로그램을 누구나 생산할 수 있고, 그 프로그램이 콘텐츠를 생산해내면 곱하기의 곱하기가 되는 것이다.
이러한 추세는 깃허브에 이미 나타나고 있고 딥러닝 모델인 스테이블 디퓨전의 다운로드가 어나고 있다.
검색 엔진 분야에서 10년을 일하면서 검색의 변화 중 웹3는 읽기, 쓰기와 블록체인이 구현한 소유 뿐만 아니라 generate(생성) 기능을 포함해야 한다.
키워드 검색에서 사전 검색 즉 예측 검색을 지나 현재는 없는 데이터도 생성해서 결과로 제공하는 Generative Search 단계에 도달했다.
AI Network는 인공지능을 위한 인터넷으로 스테이트 레이어와 컴퓨테인션 레이어를 결합한 것으로 이더리움이 프로그램을 연결했다면 AI Network는 컨테이너를 연결하는 일까지 확장한 것으로 보면 된다.
이것으로 챗GPT를 넘어 자원 제공자와 개발자가 비용 없이 자원을 공유하고 협력하며 오픈 AI의 LLM (Large Language Model)에서 한걸음 나아가서 개인화가 가능한 Teachable-LLM, 오픈소스 AI LLM AINA를 제공하고 있다.
댓글 남기기