PP25060400014 (15)【2025資訊轉型與創新】數據應用開發工程師

職缺條件

大學(含)以上
1.程式設計和軟體工程
1.1.程式語言: 精通 Python,並熟悉至少一種其他語言,例如 JavaScript、Java
1.2.軟體工程: 掌握軟體開發流程、版本控制、測試和部署等基本知識,並能應用於 RAG 流程和向量庫的開發
1.3.資料結構和演算法: 了解常見的資料結構和演算法,例如圖論、搜尋算法等,並能應用於相似度搜尋和向量嵌入
1.4.API 開發和整合: 熟悉 RESTful API 設計原則,並能將 RAG 流程和向量資料庫整合到現有系統中
2.機器學習和深度學習機器學習基礎: 了解機器學習的基本概念,包括監督學習、非監督學習和強化學習,並能應用於向量嵌入模型的訓練和評估
2.1.深度學習基礎: 熟悉深度學習模型,例如 CNN、RNN 和 Transformer,並了解其在自然語言處理和向量嵌入中的應用
2.2.自然語言處理 (NLP): 掌握 NLP 的基本概念和技術,例如文本分類、情感分析和語義相似度計算,並能應用於 RAG 流程中的資料處理和相似度搜尋
3.GenAI 和 RAG 技術
3.1.GenAI 模型: 熟悉主流的 GenAI 模型,例如 GPT-4、PaLM 和 LaMDA,並了解其特性和在 RAG 中的應用
3.2.RAG 技術: 深入理解 RAG 技術的原理和流程,包括資料處理、向量嵌入、相似度搜尋和提示增強等步驟
3.3.Prompt Engineering: 掌握 Prompt Engineering 技術,能夠設計有效的 Prompt 來引導 GenAI 模型生成準確、可靠的輸出
4.向量資料庫和向量嵌入
4.1.向量資料庫: 熟悉主流的向量資料庫,例如 Pinecone、Milvus 和 FAISS,並了解其特性、優缺點和應用場景
4.2.向量嵌入模型: 了解 SentenceTransformers、Word2Vec 等向量嵌入模型的原理和應用,並能根據資料特性和應用需求選擇合適的模型
4.3.相似度搜尋: 掌握向量相似度搜尋算法,例如餘弦相似度、歐式距離等,並能應用於 RAG 流程中的資料檢索
5.其他重要技能
5.1.問題解決能力: 能夠分析和解決 RAG 流程和向量資料庫開發過程中遇到的問題
5.2.溝通和協作能力: 能夠與 GenAI 應用開發者、數據科學家等跨部門團隊有效溝通和協作
5.3.持續學習能力: 保持對 GenAI 和 RAG 領域最新技術和趨勢的關注,並持續學習和精進自己的技能
5.4.英文能力: GenAI 領域的許多重要資源和文獻都是英文的,良好的英文能力可以幫助你更好地學習和掌握相關知識

工作地

台灣

薪資待遇

面議(經常性薪資達4萬元或以上)

工作職責

一、設計與開發 RAG 流程(Retrieval-Augmented Generation)
建置 GenAI 應用所需的 RAG 流程,包括:
 - 資料處理:轉換各種格式(如文本、圖像、程式碼)為模型可解析的結構
 - 向量嵌入:將處理後資料轉為向量表示,並儲存於向量資料庫
 - 相似度檢索:根據使用者查詢,在向量資料庫中搜尋最相關的內容
 - 提示強化:將檢索結果整合至 LLM 輸入提示中,提升生成結果品質
 - 結果產生:透過 GenAI 模型生成最終回應

評估並選擇合適的嵌入模型與向量資料庫(如 Pinecone、Milvus),持續優化流程效能與準確性

二、建置與維護向量資料庫
部署並設定向量資料庫系統,依據需求設計資料結構(schema)
開發資料導入、更新、自動化維護相關工具與腳本
監控資料庫效能與資源使用,進行調校與最佳化

三、開發與優化向量嵌入模型
根據應用場景選擇適合的嵌入模型
利用工具(如 SentenceTransformers)進行模型訓練與微調
監測模型準確性與表現,進行優化與迭代

四、提升 GenAI 應用準確性與可靠性
利用 RAG 技術降低模型產生幻覺(hallucination)的機率
確保模型生成內容具備事實性、準確性與一致性
建立監控與評估機制,強化系統回應品質

五、跨部門協作與技術溝通
與 GenAI 工程師、資料科學家、產品團隊密切合作,確保系統設計符合實際需求
以簡潔方式向非技術同仁說明 RAG 與向量技術的核心概念與應用價值

六、技術研究與持續進修
追蹤 RAG 架構、向量資料庫、嵌入技術等相關領域的最新發展
研究新穎的相似度搜尋算法與嵌入技術應用
參與社群活動、技術論壇或研討會,拓展專業視野