PP25060400013 (14)【2025資訊轉型與創新】數據應用開發主管

職缺條件

大學(含)以上
1.程式設計和軟體工程
1.1.程式語言: 精通 Python,並熟悉至少一種其他語言,例如 JavaScript、Java
1.2.軟體工程: 掌握軟體開發流程、版本控制、測試和部署等基本知識,並能應用於 RAG 流程和向量庫的開發
1.3.資料結構和演算法: 了解常見的資料結構和演算法,例如圖論、搜尋算法等,並能應用於相似度搜尋和向量嵌入
1.4.API 開發和整合: 熟悉 RESTful API 設計原則,並能將 RAG 流程和向量資料庫整合到現有系統中
2.機器學習和深度學習機器學習基礎: 了解機器學習的基本概念,包括監督學習、非監督學習和強化學習,並能應用於向量嵌入模型的訓練和評估
2.1.深度學習基礎: 熟悉深度學習模型,例如 CNN、RNN 和 Transformer,並了解其在自然語言處理和向量嵌入中的應用
2.2.自然語言處理 (NLP): 掌握 NLP 的基本概念和技術,例如文本分類、情感分析和語義相似度計算,並能應用於 RAG 流程中的資料處理和相似度搜尋
3.GenAI 和 RAG 技術
3.1.GenAI 模型: 熟悉主流的 GenAI 模型,例如 GPT-4、PaLM 和 LaMDA,並了解其特性和在 RAG 中的應用
3.2.RAG 技術: 深入理解 RAG 技術的原理和流程,包括資料處理、向量嵌入、相似度搜尋和提示增強等步驟
3.3.Prompt Engineering: 掌握 Prompt Engineering 技術,能夠設計有效的 Prompt 來引導 GenAI 模型生成準確、可靠的輸出
4.向量資料庫和向量嵌入
4.1.向量資料庫: 熟悉主流的向量資料庫,例如 Pinecone、Milvus 和 FAISS,並了解其特性、優缺點和應用場景
4.2.向量嵌入模型: 了解 SentenceTransformers、Word2Vec 等向量嵌入模型的原理和應用,並能根據資料特性和應用需求選擇合適的模型
4.3.相似度搜尋: 掌握向量相似度搜尋算法,例如餘弦相似度、歐式距離等,並能應用於 RAG 流程中的資料檢索
5.其他重要技能
5.1.問題解決能力: 能夠分析和解決 RAG 流程和向量資料庫開發過程中遇到的問題
5.2.溝通和協作能力: 能夠與 GenAI 應用開發者、數據科學家等跨部門團隊有效溝通和協作
5.3.持續學習能力: 保持對 GenAI 和 RAG 領域最新技術和趨勢的關注,並持續學習和精進自己的技能
5.4.英文能力: GenAI 領域的許多重要資源和文獻都是英文的,良好的英文能力可以幫助你更好地學習和掌握相關知識

工作地

台灣

薪資待遇

面議(經常性薪資達4萬元或以上)

工作職責

一、設計與開發 RAG(Retrieval-Augmented Generation)流程
建構高效且可擴充的 RAG 流程,支援 GenAI 應用場景,包括:
 - 資料預處理:將文本、圖像、程式碼等多種格式資料轉換為模型可理解的輸入
 - 向量嵌入:應用向量化技術(如 SentenceTransformers)將資料轉為向量表示,並儲存於向量資料庫
 - 相似度檢索:根據使用者查詢,快速檢索出語意上最相關的資料片段
 - 提示強化:整合檢索結果至 LLM 提示詞中,提升生成內容的準確性與相關性
 - 輸出生成:結合語境與知識基礎,由 GenAI 模型產出高品質內容
 - 評估並選用最適合的向量資料庫與嵌入模型(如 Pinecone、Milvus),確保系統效能與可擴充性
 - 持續優化 RAG 整體流程的精準度、查詢速度與資源效率

二、建構與維運向量資料庫系統
根據業務需求選型向量資料庫,進行環境部署與性能調校
設計合理的資料 schema,並確保資料一致性、完整性與安全性
開發自動化工具與腳本,協助資料的導入、更新、同步與清理
監控資料庫運作情況,持續進行效能優化與問題排查

三、開發與調優向量嵌入模型
根據不同資料類型與應用情境,選擇適用的嵌入技術與模型架構
使用現有工具(如 HuggingFace、SentenceTransformers)訓練或微調向量模型
建立模型效能評估機制,並依據結果進行優化與版本控管

四、提升 GenAI 應用品質
利用 RAG 技術降低幻覺(hallucination)風險,提升回應準確度與可信度
建立內容驗證與監控機制,確保模型輸出符合業務邏輯與事實基礎
持續推動 GenAI 應用可觀測性與品質保證流程

五、跨部門合作與技術溝通
與 GenAI 應用工程師、資料科學家及產品團隊緊密協作,確保資料應用與業務需求對齊
以簡明方式向非技術人員說明 RAG 技術與向量資料庫的運作邏輯與價值,推動跨部門共識與落地

六、技術研究與專業發展
掌握最新的 RAG 框架、向量資料庫技術與嵌入模型演進趨勢
研究前沿的向量搜尋演算法與多模態資料處理技術
積極參與相關研討會、工作坊與開發者社群,拓展技術視野與業界人脈