generated token per second - compare each LLM model

 


출처:https://artificialanalysis.ai/

출처:https://artificialanalysis.ai/



초당생성한 토큰수를 단순히 비교가능함. Local LLM을 사용할 경우 20~50token/s 를 넘지 않는 경우가 많은데 이를 고려하면 상용LLM의 초당 토큰 생성수는 5~10배가량 빠른 것임











댓글

댓글 쓰기