카페힐링

오늘은 오라클 DB 사용 시 자주 발생하는 에러 코드들에 정리해 보겠습니다. 

오라클(Oracle) DB 사용 시 자주 마주치는 에러 코드들은 원인과 해결책이 있습니다.

자주 발생되는 대표적인 오라클 에러 코드와 해결 방안을 정리해볼게요: 

* 오라클 자주 발생되는 에러 코드 및 해결책

* 버전 별 매뉴얼 목록

1. 데이터 메쉬(Data Mesh)의 개념

데이터 메쉬(Data Mesh)는 기존의 중앙집중형 데이터 웨어하우스 또는 데이터 레이크와 달리, 도메인 중심(Domain-Oriented)으로 데이터를 분산 관리하면서도 자율성과 거버넌스를 동시에 확보하는 분산형 데이터 아키텍처입니다.

* 핵심 개념

• 데이터를 기술이 아닌 도메인 중심의 자산(Product)으로 다룸
• 데이터 소유권과 책임을 도메인 팀이 직접 담당
• 자기 서비스형(Self-Service) 데이터 인프라 제공
• 데이터 거버넌스 및 표준화는 전사적으로 일관되게 적용
• 기존 "중앙 집중형 데이터 레이크"에서 → 분산형 데이터 네트워크 모델로 진화한 것

2. 데이터 메쉬의 주요 기술 요소 (4대 원칙 - 도프셀패)

1. Domain-Oriented Ownership (도메인 중심의 소유 및 관리)
   • 각 부서(마케팅, 재무, 물류 등)가 데이터 제품의 생산자 및 소비자 역할을 담당
   • 데이터 품질, 보안, 스키마 정의 등을 현업이 직접 관리
2. Data as a Product (데이터를 제품처럼 다룸)
   • 데이터를 API화하거나 서비스화하여 명확한 사용자 대상과 품질 보장
   • SLAs, 문서화, 메타데이터 등 제품 수준의 서비스 제공 요구됨
3. Self-Service Data Infrastructure (자기 서비스형 인프라)
   • 개발자가 아닌 도메인 사용자도 쉽게 데이터 파이프라인을 구축하고 활용할 수 있도록 UI, 자동화 도구 제공
   • 예: 파이프라인 자동 생성, 저장소 자동 할당, 모니터링 대시보드 등
4. Federated Computational Governance (분산 컴퓨팅 기반 거버넌스)
   • 분산된 데이터 환경에서도 보안, 데이터 표준, 품질, 컴플라이언스를 일관되게 적용
   • 자동화된 거버넌스 도구(정책, 카탈로그, 데이터 품질 점검 등) 필요

3. 대표적인 글로벌 제품 / 솔루션

• Databricks archictecture 

• Snowflake archictecture 

• AWS Lake Formation + Glue + Redshift archictecture 

4. 국내에서 데이터 메쉬 기술이 경쟁력을 갖기 위한 요건

 (1) 도메인 중심 조직 및 데이터 운영 모델의 전환

• 전통적인 중앙 집중형 IT 운영 조직 → 도메인 자율적 운영 모델로 전환 필요
• 현업 중심 데이터 운영 역량 강화 (데이터 책임자, 데이터 제품 오너 육성 등)

 (2) 데이터 제품화에 대한 인식 전환과 지원

• 데이터 = 일회성 리포트가 아니라 재사용 가능한 제품이라는 인식이 필요
• SLA, 품질관리, 서비스 API화 등 ‘제품처럼 운영하는 문화’가 필요함

 (3) 자기 서비스형 인프라 구현 역량

• 현업이 쉽게 데이터 처리, 통합, 분석할 수 있도록 UI/UX가 직관적인 플랫폼 개발
• 자동화된 파이프라인, 배포 시스템, 템플릿, 노코드/로우코드 도구 필요

 (4) AI 기반 거버넌스 및 메타데이터 자동화 기술 확보

• 메타데이터 수집 및 활용의 자동화 수준이 낮음 → 이를 AI/ML로 강화해야 함
• 정책 기반 접근 제어, 데이터 품질 점검 자동화, 카탈로그 동기화 필요

 (5) 오픈소스 및 글로벌 기술과의 호환성 확보

• Presto, Trino, Apache Iceberg, Delta Lake 등 오픈소스 호환성 확보
• 글로벌 생태계와 연동이 가능한 데이터 메쉬 아키텍처 설계 필요

1. Redshift Spectrum 개념 및 개념도 

* Redshift Spectrum 개념

• Amazon Redshift에서 S3에 저장된 데이터를 직접 SQL로 분석할 수 있게 해주는 기능
• S3의 데이터를 Redshift로 옮기지 않고 바로 조회 가능

* 주요 특징

• 대용량 S3 데이터를 별도 적재 없이 바로 분석
• 데이터 저장 비용 절감
• 데이터 레이크(S3)와 Redshift를 효율적으로 연결
• 복잡한 SQL로 S3 원본 데이터 분석 가능

* 개념도 

2. Amazon S3 (Simple Storage Service) — 대용량 저장소

* 개념

• S3는 AWS의 대표적인 오브젝트 스토리지 서비스
• 비정형 데이터(텍스트, 이미지, 동영상, 로그 등)나 반정형 데이터(JSON, CSV 등)를 저장하기 좋음
• 서버 없이도 언제 어디서나 인터넷만 연결되면 데이터를 저장하고 읽을 수 있음

* 주요 특징

* S3가 잘 쓰이는 대표 사례

• 웹/모바일 앱에서 사진, 동영상, 첨부파일 저장소로 사용
• 로그 데이터 저장 (ELB, CloudTrail 로그)
• 데이터 레이크로 구축해서 추후 분석용으로 저장
• 머신러닝 학습용 데이터 저장소로 활용
• 정적 웹사이트 호스팅 (HTML, CSS, JS 파일 저장)

* S3에서 직접 분석도 가능

• Amazon Athena 연결 시 SQL로 S3 데이터를 직접 조회
• AWS Glue로 ETL 후 Redshift로 넘기는 데이터 파이프라인 구축 가능

3. Amazon Redshift — 대용량 분석용 데이터 웨어하우스 (DWH)

* 핵심 개념

• Redshift는 AWS의 고성능 데이터 웨어하우스 서비스
• 정형 데이터 분석용으로 설계되어, 테이블/스키마 구조로 데이터 저장
• 대량의 데이터도 빠르게 처리하기 위해 컬럼 기반 저장 (Columnar Storage) + 병렬 처리 구조 (MPP: Massively Parallel Processing)

* 주요 특징

* 비용 구조

• 저장 비용 + 컴퓨팅 비용 → 쿼리 돌릴 때마다 컴퓨팅 비용 증가
• 클러스터 크기, 저장 용량, 쿼리량에 따라 요금 달라짐
• 예약 인스턴스 구매하면 비용 절감 가능

* Redshift 활용 사례

• 전사 매출, 고객 행동 데이터 등 대규모 데이터 분석
• KPI 대시보드 제작 (매출 분석, 고객 이탈 예측 등)
• 로그 데이터 집계 후 비즈니스 인사이트 도출
• 데이터 마트(Data Mart)로 가공해서 BI 분석용 제공

* Redshift Spectrum 특징 (S3와 연결)

• S3에 저장된 원본 데이터를 Redshift SQL로 직접 분석
• 예시 쿼리:  SELECT * FROM s3_schema.logs WHERE action = 'purchase';
• 데이터 이중 저장 필요 없이 분석 가능 → 비용 효율적

4. S3 vs Redshift  비교

5. 핵심 요약 

✅ 1. 콘텐츠 기반 필터링 (Content-Based Filtering)

개념:

• 사용자가 선호했던 아이템의 텍스트 특성(태그, 설명, 키워드 등)을 분석해 유사한 특성을 가진 다른 아이템을 추천
• 자연어처리(NLP) 기술과 벡터화 모델 활용

주요 기술:

• TF-IDF
• Word2Vec / FastText / GloVe
• BERT 기반 문장 임베딩
• Cosine Similarity

예시:

• 블로그/뉴스 추천: 사용자가 읽은 글의 핵심 키워드 추출 → 유사 기사 추천
• 이커머스: 상품 설명 벡터화 → 유사 상품 추천

✅ 2. 협업 필터링 + NLP (Hybrid with Text Embedding)

개념:

• 전통적인 유저-아이템 매트릭스 기반 협업 필터링에 텍스트 임베딩 정보를 추가해 추천 성능 향상
• Cold Start(신규 유저/아이템 문제) 해결에 효과적

적용 방법:

• 상품 설명이나 리뷰 텍스트를 BERT 임베딩으로 벡터화 후 추천 모델에 추가 입력
• 예시: CF(행렬) + 상품 설명 벡터 → 유사도 계산

✅ 3. 텍스트 기반 유사도 모델 (Similarity Search Model)

핵심 알고리즘:

• Sentence-BERT (SBERT)
• FAISS (Facebook AI Similarity Search)로 대규모 유사도 검색
• Cosine Similarity / Euclidean Distance

적용 예:

• 사용자의 검색 문장과 상품/컨텐츠 설명을 벡터화 후 유사도 기반 추천
• 실시간 상품 검색 추천이나 질문-답변 추천 시스템에서 활용

✅ 4. 주제 모델링 기반 추천 (Topic Modeling)

주요 기술:

• LDA (Latent Dirichlet Allocation)
• BERTopic (BERT + Topic Modeling)
• NMF (Non-negative Matrix Factorization)

예시:

• 고객 리뷰나 선호 텍스트에서 주요 토픽 추출 → 같은 토픽의 콘텐츠 추천
• 커뮤니티 게시글 자동 분류 및 추천

✅ 5. 대화형 추천 시스템 (Conversational Recommender)

기술:

• GPT / LLaMA / Claude 등 LLM 활용
• 대화에서 취향/선호 키워드 실시간 추출 후 추천

예시:

• "오늘 저녁에 가볍게 마실 수 있는 차 추천해줘" → 제품 DB에서 필터링 후 추천
• 쇼핑몰 챗봇

1. 아마존 Redshift의 DW 개요

Amazon Redshift는 AWS(Amazon Web Services)에서 제공하는 완전관리형 클라우드 데이터 웨어하우스(DW) 서비스입니다.
대규모 데이터 분석, 비즈니스 인텔리전스(BI), 실시간 데이터 처리까지 지원하며, 페타바이트(PB)급 대용량 데이터도 고성능으로 분석할 수 있는 솔루션입니다.

주요 특징

• 기존 온프레미스 DW보다 구축과 운영이 쉽고 빠름
• 비용 효율적이며 필요한 만큼 확장(Scale-Out) 가능
• SQL 기반으로 기존 분석 환경과 호환성 뛰어남
• AI/ML, 데이터 레이크 등 AWS 생태계와 원활하게 연동 가능

2. 아마존 Redshift의 기술적 특징

① MPP(Massively Parallel Processing) 아키텍처

• 대량 데이터를 여러 노드에서 병렬 처리해 빠른 쿼리 성능 제공
• 각 노드가 독립적인 저장소 및 프로세싱 능력 보유

② 컬럼 기반 저장 (Columnar Storage)

• 필요한 컬럼만 읽어 쿼리 성능 극대화
• 스토리지 효율성을 높여 비용 절감

③ 자동 압축 및 최적화

• 데이터 유형 분석 후 자동으로 압축 방식 적용
• 쿼리 성능과 저장 공간 효율성 극대화

④ 고성능 하드웨어 및 네트워크

• SSD 기반 스토리지, 고속 네트워크 구성
• 최신 RA3 인스턴스 도입으로 스토리지와 컴퓨팅 분리 지원

⑤ 실시간 확장성과 탄력성

• 데이터 증가에 맞춰 노드 수 추가 및 감소 가능
• 서버 관리 필요 없이 자동으로 클러스터 확장 및 축소

⑥ AWS 서비스와의 완벽한 연동

• S3, AWS Glue, Lambda, SageMaker 등과 자연스럽게 통합
• AI/ML 분석, ETL 파이프라인 구성 용이

3. 아마존 Redshift의 구성도 및 구성요소

가. Redshift 기본 아키텍처 구성도

 

 

나. Leader Node, Compute Nodes 상세 

다. Redshift의 핵심 구성 요소

4. Redshift를 기업에 적용하기 위한 방안

① 데이터 마이그레이션 전략 수립

• 기존 DW(Sybase, Oracle 등)에서 Redshift로 데이터 이전 계획 수립
• AWS DMS(AWS Database Migration Service) 활용해 단계적 이관
• 데이터 검증 및 품질 관리 체계 마련

② 데이터 파이프라인 구축

• ETL/ELT 프로세스 설계 (AWS Glue, Lambda, Step Functions 등 활용)
• 실시간 스트리밍 데이터 수집 (Kinesis, Kafka → Redshift)

③ BI/AI 분석 환경 구축

• Power BI, Tableau 등 BI 도구 연계
• Amazon SageMaker 등 AI 서비스 연동해 예측 분석 환경 구성

④ 비용 최적화 전략 마련

• Concurrency Scaling과 Redshift Spectrum 적극 활용
• Reserved Instance(예약 인스턴스) 구매로 장기 비용 절감
• Data Lake(S3) 연동을 통해 저비용 고성능 분석 구조 설계

⑤ 데이터 보안 및 거버넌스 강화

• VPC 및 IAM 권한 정책 설계
• 데이터 암호화(AES-256), 감사 로그 적용
• 데이터 마스킹 및 개인정보 보호 정책 수립

5. Redshift 활용 사례

① 글로벌 유통 기업

• 매일 수백 테라바이트의 판매 및 재고 데이터를 Redshift에 적재
• 실시간 매출 분석과 재고 최적화로 운영 효율성 극대화

② 금융·보험 업계

• 수백만 고객의 거래 데이터 분석
• AI 기반 리스크 모델링과 고객 맞춤형 상품 추천 시스템 구축

③ 이커머스 및 온라인 플랫폼

• 웹/앱 로그, 구매 데이터, 고객 행동 데이터를 실시간 분석
• Redshift Spectrum으로 S3에 저장된 원천 로그 데이터까지 분석
• 실시간 마케팅 자동화 및 개인화 추천 서비스 운영

④ 제조업 및 IoT 분야

• 공정 데이터와 센서 데이터를 Redshift로 통합 분석
• AI 기반 품질 예측, 설비 고장 예측 시스템 구현

⑤ 스타트업 및 SaaS 기업

• 초기에는 소규모로 시작하고 필요에 따라 스케일업
• BI 도구 및 머신러닝 플랫폼과 쉽게 연동해 빠른 서비스 개발 및 개선

5. AWS 참고 

• https://docs.aws.amazon.com/ko_kr/redshift/latest/dg/c_high_level_system_architecture.html

​TeraStream은 데이터스트림즈(DataStreams)가 개발한 고성능 데이터 통합 솔루션으로, 대용량 데이터의 추출, 변환, 적재(ETL) 과정을 효율적으로 처리합니다. 이 솔루션은 다양한 데이터 소스로부터 데이터를 수집하고, 이를 통합하여 기업의 데이터 관리 및 분석 역량을 향상시키는 데 중점을 둡니다. TeraStream이 경쟁 제품과 차별화되는 가장 큰 특장점은 고속 데이터 처리 성능과 강력한 병렬 처리 엔진입니다. 이를 통해 대용량 데이터의 추출(Extract), 변환(Transform), 적재(Load)을 기존 방식보다 20~30배 빠르게 수행할 수 있습니다.

1. TeraStream의 개요 및 회사 정보 

2. TeraStream의 기술적 특징

3. TeraStream의 장점 및 단점

4. TeraStream의 활용 사례

5. TeraStream과 비교할 수 있는 기술 요소와 비교

6. TeraStream을 AI에 활용하여 얻을 수 있는 이점

7. TeraStream이 빅데이터 아키텍처 기술에서의 역할

8. TeraStream 구성도 

TeraStream 교육 자료 링크 : https://www.slideshare.net/slideshow/tera-stream/15460583 

웹에서 조사한 내용 기반이며 개인적인 사견의 내용이 들어가지는 않았습니다. 

아마존에서 간단히 테스트 할 일이 생겨서 가입하려고 하는데, 처음 하시는 분들에게 도움이 되고자 관련한 글을 게시합니다. 

무료 서비스를 사용할건데요. 실수로 유료 서비스를 사용하게 되면 매월 자동 결재가 되어 버립니다. 우리의 소중한 금액이 새어 버리면 안 되므로, 금액이 없는 카드를 사용하시거나 통장 연계가 안 되어 있는 놀고 있는 카드를 사용하시는게 좋을 듯 싶네요. 

예전에 가입하던 방식에 대비해서 결재 관련 절차가 추가 되었네요. 

금방 가입이 되니 한번 진행해 보시면 될 거 같습니다. 

1. 아마존 가입 사이트로 이동 

https://signin.aws.amazon.com/signup?request_type=register

위 사이트로 이동해서 이메일 주소와 account name(계정 이름)를 넣고 이메일 인증(Verify email address)을 진행합니다. 
이메일 인증을 진행하면 입력한 이메일 주소로 인증코드가 있는 메일이 오게 되고요. 
인증코드를 입력합니다. 

전송 받은 인증코드를 입력합니다. 

2. 비밀번호를 입력하고 다음 단계로 진행합니다. 

4. 연락처와 주소를 입력하는 단계입니다. 

주소는 네이버 영문주소를 활용해서 한글 주소를 입력하면 영문주소로 변경해주는 아래 사이트를 활용합니다. 
아래 사이트에서 표현된 주소를 입력합니다. 주소를 입력하시면 영문주소로 변환된 주소가 표현됩니다. 

변환된 영문 주소를 적합한 위치에 복사/붙여넣기 진행합니다. 
https://search.naver.com/search.naver?where=nexearch&ie=utf8&X_CSA=address_search&query=%EB%84%A4%EC%9D%B4%EB%B2%84%20%EC%98%81%EB%AC%B8%EC%A3%BC%EC%86%8C

5. AWS에 가입하기 위해 카드 정보을 입력합니다. 신규로 입력하셔도 되고 브라우저에 사전에 등록해 놓은 카드 정보를 사용하셔도 됩니다. AWS에 연계해서 사용할 카드를 입력합니다. 

6. 아마존 멀티 인증을 위해 법인카드에 대한 비밀번호와 생년월일을 추가로 입력합니다. 

7. 본인확인 절차를 진행합니다.  휴대전화 번호를 입력하면 입력한 전화번호로 인증코드가 전송됩니다.

전송받은 코드를 입력합니다. 

전송 받은 코드를 입력하고 다음 단계로 진행합니다. 

8. 지원 플랜을 '기본 지원-무료'를 선택합니다. '가입 완료' 버튼을 누르면 가입이 완료 됩니다. 

9. AWS Management Console로 이동하게 되면 AWS 서비스를 이용할 수 있는 사이트로 접근이 됩니다. 

여기까지 따라와서 가입하시느라 수고가 많으셨네요.  짝짝짝~~~ 

원하시는 AWS 서비스를 이용하시면 됩니다.  

https://blog.naver.com/captainai/223562368571