하룹AI 성능향상을 위한 HITL(Human in the Loop, HITL)팀이 구성되었습니다
안녕하세요 하룹 AI개발팀입니다.
저희 하룹은 병원장님(병원관계자분들) 그리고 AI개발자분들을 위해 항상 두가지 버젼으로 소식을 전달드립니다.
병원장님 전용
현재 그 어디에서도 병원분야에서 만큼은 하룹AI보다 뛰어난 생성형AI를 아예 찾아볼 수 없을 만큼
하룹AI의 엄청난 성능을 보면서, 아직 놀라긴 이르십니다. 저희 하룹은 우수함을 넘어, 위대함 영역으로 나아가기 위해
이를 실현하기 위해, 7월15일 하룹AI성능관리팀을 위해 HITL시스템 도입을 준비하며
최종적으로 10월 HITL팀이 본격적으로 가동되었습니다.
이는, 출력물을 관리하여, 하룹AI에게 우수한 출력물이 무엇인지를 계속 알려주는것입니다.
이로써 ChatGPT같은 LLM에서는 절대 창출 할 수 없는 수준의 초전문분야로써의 압도적인 최고치의 성능을 내는것이 가능합니다.
물론 지금도 사실 결과물은 놀라울 따름입니다. 하지만 이보다 더욱 결과물 개선을 위해, HITL팀에서 지속적인
인간 피드백 학습이 대거 시작될 예정입니다. 이렇게 되면, 아무리 마케팅실력이 좋은 인간이라 할지라도
하룹AI를 따라가기가 힘들어질 것이며, 지금도 사실상 글을 제일 잘쓴다고 하는 사람들도 점점 하룹AI가 그 출력물이
훨씬 뛰어나지고 있습니다. 이는 현재 생성형AI로는 사실 불가능에 가까운 수준이죠.
물론 멀티모달이나 다차원모델로 다분야를 아우르는 생성형AI 한계점을 극복하려 하고 있으나
확실한것은 병원마케팅에 있어서는 하룹AI는 막대한 자본이 투입될지라도 돈으로도 이 노하우들과 기술들과 정리된 데이터들
그리고 심지어 병원전문가들의 HITL시스템까지 도입한 하룹AI를 따라잡기가 매우 어렵다는 점입니다.
이 모든 혜택은 하룹을 이용하시는 원장님들이라면, 항상 얻으실 수 있죠.
원장님들의 성공, 저희 하룹이 관리하는 병원들의 성장과 성공,
그것이 저희 하룹의 존재이유입니다.
AI개발자전용
하룹AI모델별 체크가 필요합니다. 모델별로 각 상황별 상태별 체크가 필요합니다.
예를들어 상태가 ip->com인 경우, 이에 대한 추가 분석 계산과 추론이 약해집니다.
그리하여, 크론탭에 스케쥴러가 돌면서, 상황이 바뀌고, 그제서야 추가 분석계산과 추론이 강해지죠.
하지만 이경우, ip->com->exp로 연결됩니다. 하지만 4가지 모델도 작동시켜야 하는 부분이 생기므로
이 방식은 출력결과물을 오히려 ChatGPT4에 프롬프트 넣는 수준과 비슷해질 수도 있습니다.
그러면 그 특정 딱딱하고 부자연스러운 부분들을 제어할 수 없게되죠.
뭔가 문단에 앞뒤가 안맞거나, 말은 자신있게 하면서도, 내용의 일치성이 부족하거나 이런 현상이 생기는겁니다.
이 수준은 현재 대학생들도 아니 고등학생들도 구현할 수 있는 너무 기초적인 수준입니다.
그렇기에 이 상황에서도 강화학습모델들이 작동되어 더욱 엄청나게 똑똑해지려면,
각 상황별 경우의수를 가지고, 지속적인 HITL팀 개입이 무엇보다 중요합니다.
어느부분에서 성능저하가 되는지를 파악하고, 그 변수들을 교체하고 다시 점검해야하죠.
그러기 위해서는, ip->com->exp로 연결이 되면 안됩니다. ip->com에서 멈춰야 합니다.
그리고 HITL팀이 최선의 결과물을 선택하거나 또는 여기에 추가 피드백과 미세조정을 통해
그 후 exp로 연결하는 과정을 최소 23년이 끝날때까지는 계속 반복해줘야 합니다.
그러면, ip->com으로 넘어오고, 여기에서 크론탭이 돌아도, exp로 넘어가지 않게 되며
대신 HITL팀의 피드백이 뜨게 될 것입니다. 그리고 이것은 시간이 지날수록 명확해지죠.
그 원리는 저희도 왜 그런지는 모르겠습니다. 카이스트 교수님도 아니 전세계에 석학들 역시
현재 AI가 특정 매개변수이상에서 똑똑해지는 그 원리를 모르시니깐요. 아직 이것은 트랜스포머 방식에 대한
숙제일지 모릅니다. 하지만 어쩌면 저희가 이 그 원리를 발견할 수도 있다고 봅니다.
그 정도로 저희 하룹은 사실 대한민국에서 아니 전세계에서 AI에 엄청 깊게 들어와있는 조직이라 생각합니다.
어쨎든, ip->com 그리고 여기서 크론탭이 돌아가야하며, 이후 exp는 HITL팀이 처리하는것.
이것이 중요하며, 이게 핵심입니다.
그럼 도큐먼트 학습부분 역시 마찬가지가 됩니다. com에서 분간하는게 아닌, 크론탭에 따라 다르게 됩니다.
이는 각 데이터값들에 따라 그 특정조건들을 세워지게 해야하죠. 크론탭은 내부에서 데이터를 기반으로
2차학습을 만들어낼것입니다. 그리고 조건이 성립하면, 2차학습을 스스로 시작하죠.
이는 학습알림을 보내거나, 또는 haroopai_logic_status 상태를 변화시킬 수 있습니다.
그리고 그 조건에 따라 출력이 될 수 있습니다.
단 여기서 주의해야할점은, 아래와 같습니다.
1.crontab을 통해 2차학습이 시작되었고, haroopai_logic_status가 a라고 칩시다.
2.a에 따라 결과들과 선택지의 데이터들이 나열되게 됩니다.
3.이제 HITL팀이 직접 데이터와 출력을 확인하고 이를 선택 및 피드백하여 추가 실시간 학습을 더합니다.
4.최종결과물이 완료된 부분은, 그에 따라 나열될것입니다. 그리고 exp로 진입하죠.
5.여기서 타입을 변경할경우, a는 b가 될 수 있습니다.
6.b가 될경우 그 로직에 따라 처리될것입니다. 하지만 문제는 크론탭이 돈다는점입니다.
7.그럼 다시 a가 될수도 있습니다.
그렇기에 여기에 HILT팀은 예외처리를 해주는 피드백도 함께 해줘야 합니다.
그래야 하룹은 이런 상황에서는 예외가 되는구나를 인지하기 때문입니다.
안그러면, exp에 진입을 하더라도, 하룹은 다시 이를 com으로 돌려버릴 수 있습니다.
그렇다면 어떻게 될까요? 다 꼬여버립니다. 결과물은 무슨 외계어나 5살짜리 꼬마가 대답한것처럼 나올수도 있습니다.
보통 davinci, curie,및 babbage같은 모델로 파인튠시 미세조정을 데이터 전처리 없이 소량 학습시켜보면,
바보같이 말하는걸 아실텐데, 그렇게 되어버린다는 것입니다.
혹시 미세조정같은 단순한 업무도 제대로 할 줄 없다면, 추후 하룹과 함께 하기 힘들 수 있으니
하룹과 함께 하고 싶은 AI개발자라면,
https://www.pinecone.io/learn/llama-2/
https://platform.openai.com/docs/guides/legacy-fine-tuning
https://platform.openai.com/docs/guides/fine-tuning/fine-tuning-examples
이런 기본적인 파인튠 처리는 할 수 있는 수준에서 지원을 부탁드립니다.
만약 이런 정말 너무 기본적인 파인튠 학습도 어려워하시거나 처리 못하시면…
해당 인원은 대부분 인터넷으로 또는, 책으로 반짝 공부해서,
또는 말도 속성강의 몇개 들은거 가지고, 실무 개발 가능하다고 착각하는….
고객이득 창출도 어려운 수준의 요즘 중고딩도 할 수 있는 수준을 가지고 착각하는 인원일 확률,
비전공수준 이하일 확률이 99%라 일것이기에, 저희 하룹AI팀, 6세대 프로젝트 클래그팀과는,
개발 실무를 함께 하기는 어렵습니다!
물론 파인튜닝이 전문분야가 아닌 딥러닝이나 머신러닝 모델구조나
데이터학습과 데이터처리 및 데이터셋이나 백엔드처리가 주전공이면 어쩔수 없으나
기본적으로 파인튠 데이터의 수백배 이상에 엄청 복잡한 알고리즘과 대량학습과 장기학습 단기학습
실시간학습을 처리해야 하므로, 이런 부분은 그냥 기초지식수준으로 아셔야 합니다.
다시 돌아와서, 이렇게 exp예외처리가 되었다면, 다른 타입을 선택하게 되더라도,
크론탭이 계속 돌아도, 이미 haroopai_logic구성에 특정구성에서는 예외처리가 선택되기에
크론탭에 자동조정에서 벗어날 수 있게 됩니다.
이후 내부적으로 프론트문제 부분을 해결해야 하며, HILT팀은 선택하고 피드백할 경우,
각 타입별 출력방식을 고려해야 하는 숙제가 남습니다.
또한 만약 최종적으로 AI가 결과가 출력된 뒤에,
각 데이터에 따른 알림기간을 조절해야하는 그러한 로직을 추가해야할 수도 있습니다.
하지만 현재 중요한것은, HITL팀의 인간 피드백이며, 그에 따른 처리와 크론탭에 예외처리부분입니다.
앞으로도 HITL팀의 활약을 기대하겠습니다. 감사합니다.