Korean AI Evaluation Specialist (South Korea)

Opportunity Overview
Handshake is looking for Korean speakers based in South Korea to help make AI responses more personalized. This is not a traditional job — you'll share your own real-world experience using ChatGPT and help evaluate and rank AI responses so future models can better tailor their answers to individual users.
This is an ongoing, project-based opportunity you can take on alongside your current role.
기회 개요
Handshake는 한국에 거주하며 한국어를 사용하는 분들을 찾고 있습니다. AI 응답을 더욱 개인화하는 데 도움을 주실 분을 모십니다. 이것은 전통적인 직업이 아닙니다 — ChatGPT를 사용하신 실제 경험을 공유하고, AI가 생성한 응답을 평가하고 순위를 매기는 작업을 통해 향후 모델이 개별 사용자에게 더 맞춤화된 답변을 제공할 수 있도록 도와주시게 됩니다.
이는 지속적인 프로젝트 기반의 기회로, 현재 하시는 일과 병행하여 진행하실 수 있습니다.
What You'll Do
Complete tasks on Handshake's annotation platform using your own real-world experience with AI tools
Compare and evaluate AI-generated responses, sharing your honest preferences and reasoning
Provide clear written feedback that helps AI better understand and personalize responses for individual users
Complete tasks at your own pace with no set schedule or minimum hour requirement
담당 업무
Handshake의 어노테이션 플랫폼에서 AI 도구를 사용한 실제 경험을 바탕으로 작업을 완료합니다
AI가 생성한 응답을 비교 및 평가하고, 솔직한 선호도와 그 이유를 공유합니다
AI가 개별 사용자에게 맞는 응답을 더 잘 이해하고 개인화할 수 있도록 명확한 서면 피드백을 제공합니다
정해진 일정이나 최소 근무 시간 없이 본인의 속도에 맞춰 작업을 완료합니다
Qualifications
Ideal candidates meet all of the following:
Location — Based in South Korea and able to work remotely in an asynchronous, self-directed capacity
Language — Fluent in Korean, both written and spoken, with strong written communication skills for explaining your reasoning clearly. Good working understanding of English (ideally B2 level) as the platform, instructions, and training materials will all be in English.
AI experience — Prior hands-on experience using ChatGPT or similar AI chat assistants, with enough familiarity to compare responses thoughtfully and articulate what makes one answer better suited to a given user than another
Judgment — Comfortable forming and defending your own preferences between two AI-generated responses, even when the differences are subtle
자격 요건
이상적인 지원자는 다음 사항을 모두 충족합니다:
위치 — 한국에 거주하며 비동기적이고 자기주도적인 방식으로 원격 근무가 가능해야 합니다
언어 — 한국어에 능통해야 하며(읽기 및 쓰기 모두), 본인의 판단 근거를 명확하게 설명할 수 있는 우수한 작문 능력이 필요합니다. 플랫폼, 안내 사항, 교육 자료가 모두 영어로 제공되므로 영어에 대한 실무적인 이해도(가급적 B2 수준)도 필요합니다.
AI 경험 — ChatGPT 또는 유사한 AI 챗봇을 실제로 사용해 본 경험이 있어야 하며, 응답을 신중하게 비교하고 특정 사용자에게 어떤 답변이 더 적합한지 명확히 설명할 수 있는 충분한 이해가 필요합니다
판단력 — 두 AI 생성 응답 사이에서 차이가 미묘할 때에도 자신만의 선호를 형성하고 이를 설득력 있게 제시할 수 있어야 합니다
Required For All Applicants
Comfortable sharing your own ChatGPT conversation history for research and product improvement purposes (handled confidentially)
Strong written communication in Korean, with good understanding of English
Ability to work independently in a remote, asynchronous environment
모든 지원자 필수 요건
연구 및 제품 개선 목적으로 본인의 ChatGPT 대화 기록을 공유하는 데 동의해야 합니다 (비밀이 보장되어 처리됩니다)
한국어로 우수한 작문 능력을 갖추어야 하며, 영어에 대한 실무적인 이해도가 있어야 합니다
원격 및 비동기 환경에서 독립적으로 업무를 수행할 수 있어야 합니다
#HandshakeAI

Work arrangement
Yes