Apify MCP 서버

Apify MCP 서버(Actors MCP Server)는 Apify 플랫폼에서 제공하는 Model Context Protocol(MCP) 서버 구현체입니다. 이 서버를 통해 LLM(대규모 언어 모델)은 3,000개 이상의 사전 구축된 클라우드 도구를 활용하여 웹사이트, 이커머스, 소셜 미디어, 검색 엔진, 지도 등에서 데이터를 추출할 수 있습니다.

주요 기능

• Apify Actors 통합: 다양한 웹 데이터 추출 액터 실행 및 관리
• 고급 웹 스크래핑: 복잡한 웹사이트 및 SPA(Single Page Application)에서 데이터 추출
• 작업 실행 및 모니터링: 데이터 추출 작업 실행, 상태 확인, 결과 조회
• 데이터 저장 및 조회: 추출된 데이터 관리 및 검색
• 다양한 데이터 소스 지원: 웹사이트, 이커머스, 소셜 미디어, 지도 등 다양한 소스 지원

제공 도구

Apify MCP 서버는 다음과 같은 도구를 제공합니다:

Actors 관리 도구

• list_actors: 사용 가능한 모든 액터 목록 조회
• search_actors: 특정 기준으로 액터 검색
• get_actor_details: 특정 액터의 세부 정보 조회
• list_actor_versions: 액터의 모든 버전 조회

실행 관리 도구

• run_actor: 특정 액터 실행
• get_run_details: 실행에 대한 세부 정보 조회
• get_run_status: 실행 상태 확인
• stop_run: 진행 중인 실행 중지
• delete_run: 실행 기록 삭제

데이터 관리 도구

• get_dataset_items: 특정 데이터셋의 항목 조회
• list_datasets: 모든 데이터셋 목록 조회
• download_dataset: 데이터셋 다운로드
• list_key_value_stores: 모든 키-값 저장소 목록 조회
• get_key_value_store_record: 특정 키-값 저장소에서 레코드 조회

특화된 도구

• extract_website_data: 웹사이트에서 구조화된 데이터 추출
• extract_search_results: 검색 엔진 결과 추출
• extract_social_profiles: 소셜 미디어 프로필 데이터 추출
• extract_e_commerce_data: 이커머스 사이트에서 상품 데이터 추출
• extract_map_data: 지도 서비스에서 위치 데이터 추출

설정 방법

Claude Desktop에 추가하기

Claude Desktop의 claude_desktop_config.json 파일에 다음 JSON 블록을 추가합니다:

{
  "mcpServers": {
    "apify-mcp": {
      "command": "npx",
      "args": [
        "-y",
        "@apify/actors-mcp-server"
      ],
      "env": {
        "APIFY_API_TOKEN": "your-apify-api-token"
      }
    }
  }
}

Apify API 토큰 얻기

1. Apify 계정에 가입 또는 로그인합니다.
2. 계정 설정 → 통합에서 API 토큰을 확인하거나 새로 생성합니다.
3. 생성된 API 토큰을 환경 변수 APIFY_API_TOKEN에 설정합니다.

사용 사례

• 시장 조사: 경쟁 업체 웹사이트에서 가격, 제품 정보 등 추출
• 소셜 미디어 분석: 트위터, 인스타그램, 페이스북 등에서 콘텐츠 및 트렌드 분석
• 가격 모니터링: 여러 이커머스 사이트에서 가격 변동 추적
• 리뷰 및 평점 분석: 제품 리뷰 및 평점 수집 및 감성 분석
• 지도 데이터 추출: 특정 지역의 상점, 서비스 등 위치 데이터 수집
• 구인 정보 수집: 취업 사이트에서 새로운 채용 정보 추출
• 뉴스 및 콘텐츠 모니터링: 뉴스 사이트 및 블로그에서 최신 콘텐츠 추출

인기 있는 Apify Actors

Apify는 다양한 웹 데이터 추출 작업을 위한 사전 구축된 도구(Actor)를 제공합니다:

1. Web Scraper: JavaScript 렌더링을 지원하는 범용 웹 스크레이퍼
2. Instagram Scraper: 인스타그램 프로필, 해시태그, 게시물 데이터 수집
3. Amazon Product Scraper: 아마존 제품 정보, 가격, 리뷰 수집
4. Google Maps Scraper: 구글 지도에서 비즈니스 정보 추출
5. LinkedIn Jobs Scraper: 링크드인에서 구인 정보 수집
6. Google Search Results Scraper: 구글 검색 결과 추출
7. Twitter Scraper: 트위터 프로필, 트윗, 해시태그 데이터 수집
8. Price Aggregator: 여러 온라인 상점에서 가격 정보 모니터링

데이터 추출 예시

웹사이트 데이터 추출:

{
  "url": "https://example.com/products",
  "selectors": {
    "productList": ".product-list .product-item",
    "productName": ".product-name",
    "productPrice": ".product-price",
    "productDescription": ".product-description"
  }
}

검색 결과 추출:

{
  "searchEngine": "google",
  "query": "best smartphones 2025",
  "maxResults": 50,
  "includeRelatedQueries": true
}

소셜 미디어 프로필 추출:

{
  "platform": "instagram",
  "username": "exampleuser",
  "extractFollowers": true,
  "extractPosts": true,
  "maxPosts": 20
}

보안 고려사항

• Apify API 토큰은 기밀 정보로 취급하고 안전하게 관리해야 합니다.
• 웹 스크래핑 시 해당 웹사이트의 이용 약관 및 로봇 배제 표준(robots.txt)을 준수해야 합니다.
• 개인 정보가 포함된 데이터 추출은 관련 개인 정보 보호법을 준수해야 합니다.
• 서버 부하를 방지하기 위해 요청 빈도 제한 및 속도 제어를 적용해야 합니다.
• 추출된 데이터의 저장 및 처리에 있어 데이터 보안 모범 사례를 따라야 합니다.

비용 및 리소스 관리

• Apify는 사용량 기반 요금 체계를 제공합니다(플랫폼 크레딧 또는 구독 플랜).
• 데이터 추출 작업의 복잡성, 데이터 양, 실행 빈도에 따라 비용이 달라집니다.
• 자원 소비를 최적화하기 위해 필요한 데이터만 추출하고 불필요한 중복 작업을 피하세요.
• 대규모 웹 스크래핑 작업은 분산 프록시 및 고급 설정을 사용하여 효율성을 높이세요.

라이센스

이 서버는 Apache 2.0 라이센스에 따라 라이센스가 부여됩니다.

관련 링크

• Apify Actors MCP GitHub 저장소
• Apify 공식 웹사이트
• Apify Platform 문서
• Apify Actors 디렉토리
• 레퍼런스 서버 개요