Skip to content

CHANYUEPO/LipNet

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

4 Commits
 
 
 
 
 
 
 
 

Repository files navigation

##LipNet 这是一个 深度学习的实验项目,参考了论文《LIPNET: END-TO-END SENTENCE-LEVEL LIPREADING》的网络架构与参数配置,并基于Google的深度学习框架Tensorflow完成。 该项目同LIPNET这篇论文一样也使用了下面地址的视频数据集 。 http://spandh.dcs.shef.ac.uk/gridcorpus 由于该数据集提供的视频中包含的是整张人脸,不利于网络对于唇语的学习。因此我提供了 mouth_extract.py这个脚本来提取人嘴周围的图片。 input_data.py该脚本是为了网络输入数据准备的,因此数据预处理的工作就在这个文件中执行 stcnn.py这个文件包含网络的实现与训练过程,你可以参考论文来弄清楚网络架构。 要想运行这个脚本,你必须要先安装Tensorflow,并到上面我提到的地址去下载数据。 因为这是个实验性的项目,因此准确率远没有论文提到的好,不过我会持续改进,如果有谁对这个项目感兴趣,也可以和我讨论,我们一同改进 我的QQ:1269079025

About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages