课程中文标题:面向3D与视觉特效的机器学习
课程英文标题:Machine Learning for 3D and VFX
课程时长:10周(40+小时)
核心技术:Python、Git、PyTorch、TensorFlow、Houdini集成、Unity集成、计算机视觉、强化学习、LLMs、高斯泼溅
行业应用:3D内容生成、视觉特效(VFX)、游戏开发、AI动画、几何生成、神经风格迁移
一、课程核心模块与技术亮点
1. 开发基础与环境搭建
• Python与Git版本控制实战
• Houdini开发者环境配置与数据管道构建
• 设计模式与SOLID原则在生产代码中的应用
2. 3D/VFX领域机器学习集成
• Houdini自定义HDA工具开发(数据I/O、节点预测系统)
• 基于AI的资产质量检测与动画预测
• MediaPipe人体姿态估计与深度估计点云处理
3. 生成式AI与前沿技术
• 提示驱动3D几何与纹理生成
• 大语言模型(LLM)微调与HoudiniAI助手开发
• 高斯泼溅技术、神经风格迁移、YOLO目标检测
4. 跨平台生产管线部署
• Unity与Houdini双平台ML算法集成
• MLOps实践:Docker容器化、FastAPI部署、云服务
• 强化学习训练游戏AI代理(OpenAI Gym环境)
(注:课程需具备Houdini中级基础,重点聚焦机器学习在3D内容创作与视觉特效流程中的工业化应用。)
第一周
工具资源 – 网站资源 – 操作系统 – 计算机架构回顾 – 数据结构与算法 – Git版本控制 – Python语法精讲 – Numpy库精讲 – Jax框架概览 – 设计模式 – SOLID原则
第二周
数据科学库 – 机器学习基础与传统算法 – Houdini开发者环境配置 – Houdini平台预测实现 – 实战练习 – 实际应用中的数据提取技术 – Houdini数据接入流程
第三周
数据可视化 – 数据库系统 – Houdini自定义数据交互插件开发 – 数据与ML模型管道架构 – MNIST手写识别 – Houdini集成Pytorch – 智能资产质检系统 – 节点预测系统
第四周
Streamlit可视化框架 – Tensorboard监控工具 – Huggingface生态 – 预训练模型应用 – 管道模型部署 – 微调与迁移学习 – 智能自动化概念 – 卷积神经网络
第五周
Docker容器化 – 计算机视觉入门 – Mediapipe框架导论 – DCC软件数据提取 – 面部网格识别 – 姿态预测系统 – 智能动画生成 – 动画预测算法
第六周
深度估计技术 – 点云数据处理入门 – 几何网格算法 – 提示式三维建模 – 智能材质生成 – 深度伪造技术 – 三维开发AI应用
第七周
强化学习基础 – OpenAI Gym环境搭建 – Acrobot控制实验 – 经典游戏强化学习 – 游戏AI训练系统 – Houdini智能体预测 – 强化学习实战案例
第八周
大语言模型导论 – Houdini智能助手开发 – 文档精调专用模型 – Transformer架构解析 – 管道智能助手 – 大模型技术应用 – 合成数据生成
第九周
FastAPI框架 – 云存储系统 – 智能聚类仿真 – 传统机器学习算法 – Unity引擎ML集成 – Houdini算法实现 – 自建管道系统
第十周
高斯溅射技术入门 – 眼动面部追踪 – YOLO目标检测 – 文本识别系统 – 颜色阈值检测器 – 神经风格迁移 – 系统架构设计 – MLOps实践 – 云服务平台
资料:



