자주 묻는 질문
한국어 AI 데이터셋, 자주 묻는 질문
지금 카탈로그 286개 기준입니다. 법률 자문이 아닙니다.
- 기어델에서 파일을 받을 수 있나요?
- 받을 수 없습니다. 기어델은 파일을 보관하지 않습니다. 데이터셋 카드에서 원본 제공처로 이동합니다. 원본 주소가 미확인이면 제공처에서 데이터셋 이름으로 찾습니다.
- AI Hub 데이터는 MIT와 같나요?
- 이 카탈로그에서 AI Hub 이용안내 표기는 92개입니다. 대개 계정과 별도 동의가 필요합니다. GitHub MIT와 한 표에 놓는 것은 비교용이지, Apache 2.0처럼 받으라는 뜻이 아닙니다.
- KLUE, KoBEST, KMMLU로 학습해도 되나요?
- 그 계열은 점수를 매기는 평가용입니다. 시험 문항으로 학습하면 점수는 올라가지만 쓸 수 있는 모델이 되지는 않습니다. 카탈로그 행 수는 /guides/eval-vs-train 에 있습니다. 학습이 필요하면 LLM 학습 모음을 봅니다.
- 상업 이용 가능이면 제품에 넣어도 되나요?
- 가능으로 표시된 항목은 161개입니다. 적힌 라이선스에서 허용 가능성을 읽은 것이지, 출시 허가가 아닙니다. 원본 LICENSE를 다시 읽습니다. AI Hub와 국립국어원은 가입이 남아 있는 경우가 많습니다.
- 용량 숫자가 실제 파일 크기인가요?
- 아닙니다. 기어델의 용량은 원본 사이트에서 가져온 표기입니다. 샘플만 공개됐거나, 나눠 받거나, 예전 숫자일 수 있습니다.
- 원본 페이지가 없어지면 어떻게 되나요?
- 기어델은 복사본을 두지 않습니다. 원본이 사라지면 깨진 카드를 남기지 않고 홈으로 보냅니다.
- 잘못된 한국어 데이터를 받지 않으려면?
- 고르기 도구(/tools/choose)에서 과제를 먼저 정합니다. 지시문, 벤치마크, 음성 인식, 음성 합성은 서로 다른 필터입니다. 비교 페이지(/compare)는 라이선스, 제공처, 용량 표기를 나란히 보여 줍니다. 둘 다 파일을 보관하지 않습니다.
- 토큰 수나 JSONL 변환도 하나요?
- 브라우저에서만 합니다. /tools/tokens 는 o200k_base(GPT-4o·GPT-5)와 cl100k_base(GPT-4)이고 GPT-6 순위는 없습니다. /tools/jsonl-csv 는 JSONL을 CSV·TSV로, /tools/cite 는 카탈로그 칸 인용(저자 이름은 만들지 않음), /tools/ko-quality 는 한글 깨짐·자모·존댓말 혼용, /tools/ko-script 는 한글 비율·가나·키릴 혼동 문자, /tools/ko-markup 은 HTML·위키 찌꺼기, /tools/try 는 카탈로그 발췌, /tools/jsonl 은 Alpaca·ShareGPT·OpenAI messages, /tools/csv-jsonl 은 표를 JSONL로, /tools/jsonl-sample 은 필드 보기, /tools/pii 는 전화·주민번호·이메일 패턴, /tools/jsonl-split 은 train/val/test, /tools/jsonl-dedup 은 중복 줄, /tools/jsonl-length 는 토큰 길이, /tools/overlap 은 학습·평가 문장 겹침, /tools/chat-template 은 ChatML·Llama 3 껍데기, /tools/text-stats 는 UTF-8과 EUC-KR 바이트, /tools/hangul 은 NFC/NFD입니다. 붙여 넣은 글은 올리지 않습니다.
- 에이전트가 JSON으로 카탈로그를 받으려면?
- https://geardel.com/llms.txt 와 /data/index.json 은 무료입니다. 원본 주소·샘플·검색은 Base USDC(x402) 결제 뒤에 열립니다. GET /api/v1 부터 보고 /x402 를 읽습니다.
고르는 법 → · 라이선스 비교 → · x402 API → · 토큰 수 → · JSONL → · CSV→JSONL → · JSONL 나누기 → · JSONL 중복 → · 문장 겹침 → · PII 가리기 → · JSONL 샘플 → · 데이터 품질 → · 샘플 체험 → · JSONL→CSV → · 인용 → · 문자종 → · 스크랩 찌꺼기 → · 확인 기록 → · SFT 형식 → · 평가와 학습 →