비정형 데이터: AI 기술 수용의 장애물

Kaushik은 기술 설계자이자 소프트웨어 컨설턴트로서 소프트웨어 분석, 개발, 아키텍처, 디자인, 테스트 및 교육 업계에서 20년 이상의 경험을 보유하고 있습니다. 그…

Eddie Wrenn은 영국과 호주 전역의 국내 및 국제 뉴스룸에서 일한 리포터이자 뉴스 편집자입니다.

인공지능은 이미 동향 분석, 의료 진단 지원 등의 업무에서 그 가치를 입증하고 있습니다. 그러나 그 효율성은 구조화된 데이터에 달려 있는데, 이는 데이터 부족으로 인해 약점이 될 수 있습니다. 구조화된 데이터에 대한 AI의 의존도는 구조화되지 않았거나 구문 분석하기 어려운 데이터에 직면할 때 장애물이 되어 AI의 능력을 제한합니다. 다행스럽게도 비정형 데이터를 처리하는 AI의 역량을 강화하려는 노력이 진행되고 있습니다.

인공지능(AI)은 이전에는 상상할 수 없었던 일을 해낸다.

보행자와 도로 표지판을 구별하여 자율 주행 자동차를 안내하고, 기사의 어조를 검토하고 피드백을 제공하며, 의사에게 유용한 환자 데이터를 제공하고, 시간을 절약하고 사려 깊은 수천 가지 작업을 수행할 수 있습니다.

그러나 AI가 수행하는 작업을 수행하기 위해 구조화된 데이터에 의존하는 경우가 많으며 이러한 의존성은 AI의 아킬레스건이 될 수 있습니다.

AI는 구조적이거나 구조화되지 않은 다양한 소스의 모든 유형의 데이터를 처리할 수 있습니다. 예는 다음과 같습니다:

AI 시스템에는 적어도 대규모 작업의 경우 일관된 데이터 형식이 필요하지만, 다양한 소스의 데이터가 완고하게 다양하고 구조에 맞추기 어려운 경우 균일성을 적용하는 것은 어려운 일입니다.

데이터를 형태로 만들기 위해 오류, 원치 않는 공간, 이상값 제거 등 데이터를 전처리하는 프로세스는 시간이 많이 걸리는 프로세스입니다.

데이터는 API, JSON 파일 또는 스프레드시트를 통해 제공되는 다양한 형식으로 제공될 수도 있으며, 시간이 지남에 따라 새로운 데이터 형식이 등장하여 문제를 더욱 복잡하게 만들 수 있습니다.

데이터 기밀성은 복잡성을 가중시킬 수도 있으므로 공급자는 데이터 유출을 방지하기 위해 극도로 주의해야 합니다.

X-ray, CT 스캔, MRI를 테스트 사례로 사용하여 AI와 의료 영상을 통해 비정형 데이터가 AI 도입을 방해하는 방식을 이해해 보겠습니다.

이상적으로 AI는 영상 보고서를 분석하고 방사선사 및 의사가 질병을 정확하고 신속하게 진단할 수 있도록 해야 합니다. 그러나 다음 요소는 이미징 출력을 올바르게 해석하는 AI의 능력을 심각하게 제한합니다.

품질, 각도, 조명 및 환자 위치 측면의 가변성으로 인해 AI가 영상을 이해하기 어려워 잠재적으로 오류나 잘못된 출력이 반환될 수 있습니다.

다양한 환자의 해부학적 측면에서 다양성은 AI 시스템이 이해하기 어려운 과제입니다. AI는 균일성을 좋아하며 여전히 인체 해부학의 다양성을 받아들이고 있습니다.

주석을 사용하면 AI가 이미징을 더 잘 이해할 수 있습니다. 주석이 없으면 AI가 이미징 플레이트를 자체적으로 파악해야 하는데, 이는 유용한 리소스 없이는 어려운 작업입니다.

AI에는 데이터의 균일성과 일관성이 필요하지만 흔하지 않거나 희귀한 질병에 대한 영상 촬영은 데이터 처리 능력을 심각하게 제한합니다. 이러한 조건을 이해하려면 AI 시스템이 상황에 따라 학습해야 합니다.

이미징에는 기계 문제, 이미징 프로토콜 비준수 또는 환자 신체 위치 변경과 같은 다양한 요인으로 인해 소음, 인공물 및 왜곡이 포함될 수 있습니다. 구조화되지 않은 데이터는 이러한 문제로 인해 발생하며 AI가 이해하기 어렵게 만듭니다.

AI는 구조화된 데이터에 대한 의존성으로 인해 다양한 사용 사례를 해결하는 데 갈 길이 멀습니다. 한편, 조직의 경우 구조화된 데이터를 제공하는 것은 여전히 ​​비용과 시간이 많이 소요되는 작업입니다.

AI의 잠재력을 최대한 활용하려면 데이터 프로비저닝 및 구문 분석을 개선해야 하며 동시에 구조화되지 않은 데이터를 처리할 수 있는 AI 시스템을 갖추기 위해 많은 작업이 필요합니다.

Kaushik은 소프트웨어 분석, 개발, 아키텍처, 디자인, 테스트 및 교육 업계에서 23년 이상의 경험을 보유한 기술 설계자이자 소프트웨어 컨설턴트입니다. 그는 신기술과 혁신 분야에 관심이 있습니다. 그는 웹 아키텍처, 웹 기술, Java/J2EE, 오픈 소스, WebRTC, 빅 데이터 및 의미 기술에 중점을 두고 있습니다. 그는 요구사항 분석, 아키텍처 설계 및 구현, 기술 사용 사례 준비, 소프트웨어 개발 분야에서 자신의 전문 지식을 입증했습니다. 그의 경험은 보험, 은행, 항공, 운송, 문서 관리, 제품 개발 등과 같은 다양한 영역에 걸쳐 있습니다. 그는 메인프레임(IBM S/390),…