##LipNet 这是一个 深度学习的实验项目,参考了论文《LIPNET: END-TO-END SENTENCE-LEVEL LIPREADING》的网络架构与参数配置,并基于Google的深度学习框架Tensorflow完成。 该项目同LIPNET这篇论文一样也使用了下面地址的视频数据集 。 http://spandh.dcs.shef.ac.uk/gridcorpus 由于该数据集提供的视频中包含的是整张人脸,不利于网络对于唇语的学习。因此我提供了 mouth_extract.py这个脚本来提取人嘴周围的图片。 input_data.py该脚本是为了网络输入数据准备的,因此数据预处理的工作就在这个文件中执行 stcnn.py这个文件包含网络的实现与训练过程,你可以参考论文来弄清楚网络架构。 要想运行这个脚本,你必须要先安装Tensorflow,并到上面我提到的地址去下载数据。 因为这是个实验性的项目,因此准确率远没有论文提到的好,不过我会持续改进,如果有谁对这个项目感兴趣,也可以和我讨论,我们一同改进 我的QQ:1269079025
-
Notifications
You must be signed in to change notification settings - Fork 3
CHANYUEPO/LipNet
Folders and files
Name | Name | Last commit message | Last commit date | |
---|---|---|---|---|
Repository files navigation
About
No description, website, or topics provided.
Resources
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published