Skip to content

abhayvjoshi/youtube_insights

BranchesTags

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

2 Commits
data
data
 
 
youtube_insight
youtube_insight
 
 
.gitignore
.gitignore
 
 
README.md
README.md
 
 
example.py
example.py
 
 
setup.py
setup.py
 
 

Repository files navigation

YouTube-insight

An integrated YouTube data crawler

YouTube-insight is a tool to crawl video metadata and historical data for YouTube videos, and first used to construct datasets in the following paper,

Siqi Wu, Marian-Andrei Rizoiu, and Lexing Xie. Beyond Views: Measuring and Predicting Engagement in Online Videos. AAAI International Conference on Weblogs and Social Media (ICWSM), 2018. [ paper | code | data | slides ]

Installation

Install from source, run

git clone https://github.com/avalanchesiqi/youtube-insight.git
cd youtube-insight
python setup.py install

Python packages version

All codes are developed and tested in Python 3.6, along with google-api-python-client 1.6.5, urllib3 1.22 and googletrans 2.3.0.

Code usage

An simple example is given below:

import json
from youtube_insight.crawler import Crawler

insight_crawler = Crawler()
d_key = 'Set your own developer key!'
parts = 'snippet,statistics,topicDetails,contentDetails'
insight_crawler.set_key(d_key)
insight_crawler.set_parts(parts)

vid = 'ITtlxjvLQis'
video_data = insight_crawler.crawl_insight_data(vid)
print(json.dumps(video_data, indent=4, sort_keys=True))

Before using this YouTube-insight crawler, you need to register your Google developer key and set it in the d_key field.

We also provide a quickstart script that handles input and output from text files in example.py. It's so easy to use -- you provide an input file then we take care of everything! The two main functions you can utilize directly are:

  1. Given a list of YouTube channel ID, crawl all video IDs.
  2. Given a list of YouTube video ID, crawl all video insight data.

Some argparse options:

  • '-i' / '--input': input file path of video ids or channel ids, required=True
  • '-o' / '--output': output file path of video data or channel video list, required=True
  • '-c' / '--channel': input a list of channel IDs or not, default=False
  • '-r' / '--relevant': retrieve relevant videos from YouTube API or not, default=False

Given a list of YouTube channel ID, crawl all video IDs

Code usage

python example.py -i data/channel_ids.txt -o data/channel_videos.json -c

Each line is the information of a YouTube channel in json format, an example is shown below, in which the channelVideos field lists all video IDs from requested channel.

{
   "channelId": "UC004_RYu6VWmOaM4PhwQSwg",
   "snippet": {
      "publishedAt": "2011-06-01T15:17:18.000Z",
      "description": "",
      "thumbnails": "https://yt3.ggpht.com/-AnUftzhIf_U/AAAAAAAAAAI/AAAAAAAAAAA/4OHWA4f05hg/s88-c-k-no-mo-rj-c0xffffff/photo.jpg",
      "title": "RenzJulianVEVO"
   },
   "statistics": {
      "viewCount": "59355",
      "commentCount": "2",
      "subscriberCount": "131",
      "hiddenSubscriberCount": false,
      "videoCount": "20"
   },
   "channelVideos": ["nXJQZSKJh4M", "Trz_RKPGL9U", "X_MJGbZ8Jwg", "4igq0hrvjME", "_YrZw8sIlok", "Fgrxb-keVgw", "uFgk8oTu5Cs", "U_zN8Tu0UDY", "Ohi6QmgMRUA", "ZZ3H-78vE9U", "oE4oxm7DjQI", "su8SVq9t8lU", "aukKxO0obmw", "Bc2k7r_BYVI", "5v-4ZlWF-OI", "xplhYpu54oc", "yI2aEIbE4RI", "seO9R6CUgm0", "7ZpQjo9QXSg", "LO7YJQEoFn0"]
}

Given a list of YouTube video ID, crawl all video insight data

Code usage

python example.py -i data/video_ids.txt -o data/video_insights.json -r

Each line is a YouTube video in json format, an example is shown below, in which the relevantVideos field lists all relevant video IDs returned by YouTube API.

{
   "id": "XnQn7nt-U_Q",
   "snippet":{
      "publishedAt": "2016-07-29T15:03:21.000Z",
      "channelId": "UCPJevK3WjujoP0HKP8P5C2g",
      "title": "Lana Lyric - She Don't Need Nobody ft. Zyrel",
      "description": "Music video for She Don't Need Nobody ft Zyrel performed by Lana Lyric.\n\nhttp://www.rewiredmusicgroup.com\n\nCopyright (C) 2016 Rewired Music Group.\n\nhttp://vevo.ly/1JeBj4",
      "thumbnails": "https://i.ytimg.com/vi/XnQn7nt-U_Q/default.jpg",
      "channelTitle": "LanaLyricVEVO",
      "tags": ["vydia", "music", "music video", "She Don't Need Nobody", "Lana Lyric", "Zyrel", "Rap/Hip-Hop", "Single", "2016", "Rewired Music Group", "Peejay Svoboda", "vevo"],
      "categoryId": "10",
      "detectLanguage": "en"
   },
   "contentDetails": {
      "duration": "PT4M",
      "definition": "hd",
      "caption": "false",
      "licensedContent": true
   },
   "statistics": {
      "viewCount": "1343",
      "likeCount": "15",
      "dislikeCount": "1",
      "favoriteCount": "0",
      "commentCount": "4"
   },
   "topicDetails":{
      "relevantTopicIds": ["/m/0glt670", "/m/04rlf", "/m/04rlf", "/m/0glt670"],
      "topicCategories": ["https://en.wikipedia.org/wiki/Music", "https://en.wikipedia.org/wiki/Hip_hop_music"]
   },
   "insights": {
      "startDate": "2016-07-29", 
      "days": [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 35, 36, 37, 38, 39, 40, 41, 43, 44, 45, 46, 47, 48, 49, 50, 51, 53, 55, 56, 58, 59, 60, 61, 62, 63, 64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 75, 77, 78, 79, 80, 81, 82, 83, 85, 86, 87, 88, 89, 90, 91, 92, 94, 95, 96, 97, 98, 99, 100, 102, 104, 106, 109, 110, 112, 113, 114, 115, 116, 117, 119, 120, 121, 123, 124, 125, 126, 128, 129, 130, 131, 132, 133, 134, 135, 136, 137, 138, 139, 140, 141, 142, 143, 144, 145, 147, 148, 149, 150, 151, 153, 154, 155, 156, 157, 158, 159, 160, 161, 164, 165, 166, 167, 168, 169, 170, 171, 172, 174, 175, 176, 177, 178, 180, 182, 183, 184, 185, 186, 189, 190, 191, 193, 194, 195, 196, 197, 198, 199, 201, 205, 206, 207, 208, 209, 210, 211, 212, 213, 214, 215, 216, 217, 218, 219, 222, 223, 224, 225, 226, 227, 228, 229, 230, 232, 233, 234, 235, 236, 237, 238, 239, 240, 241, 242, 243, 244, 245, 246, 247, 248, 249, 250, 251, 252, 253, 254, 255, 257, 258, 259, 260, 261, 263, 264, 265, 266, 267, 268, 269, 270, 271, 272, 273, 276, 277, 278, 279, 281, 282, 283, 284, 286, 287, 288, 290, 291, 292, 294, 295, 297, 298, 299, 300, 301, 302, 303, 304, 305, 306, 307, 308, 309, 310, 311, 313, 316, 317, 318, 320, 321, 322, 323, 324, 325, 326, 327, 328, 329, 330, 331, 332, 333, 334, 335, 336, 338, 339, 340, 341, 343, 344, 345, 346, 347, 348, 351, 352, 353, 355, 356, 358, 359, 360, 361, 363, 364, 365, 366, 367, 368, 369, 370, 373, 374, 376, 379, 380, 381, 382, 383, 384, 385, 386, 387, 388, 389, 390, 391, 392, 393, 394, 395, 396, 397, 398, 399, 401, 402, 403, 404, 405, 406, 407, 408, 409, 410, 411, 412, 413, 415, 417, 419, 420, 421, 423, 424, 426, 427, 428, 429, 431, 433, 434, 436, 438, 439, 440, 441, 442, 443, 444, 445, 446, 447, 448, 449, 450, 451, 453, 454, 455, 458, 460, 461, 463, 464, 467, 468, 470, 472, 473, 474, 476, 477, 478, 479, 480, 481, 482, 483, 484, 485, 486, 487, 488, 489, 490, 491, 492, 493, 494, 495, 496, 497, 498, 499, 500, 501, 502, 503, 504, 505, 506, 509, 510, 511, 512, 513, 515, 516, 517, 518, 519, 520, 521, 523, 524, 525, 527, 529, 530, 531, 532, 534, 535, 536, 538, 540, 541, 542, 543, 544, 545, 547, 548, 549, 550, 552, 553, 554, 555, 556, 559, 561, 562, 564, 565, 566, 567, 568, 570, 571, 572, 573, 574, 575, 576, 577, 578, 580],
      "dailyView": [4, 3, 19, 20, 26, 6, 10, 9, 5, 5, 23, 23, 7, 2, 7, 13, 7, 5, 4, 1, 4, 3, 3, 5, 3, 3, 8, 4, 4, 4, 1, 3, 3, 3, 2, 5, 2, 1, 4, 3, 5, 1, 4, 2, 3, 1, 1, 1, 3, 3, 1, 1, 1, 1, 2, 2, 3, 2, 4, 9, 6, 4, 2, 1, 1, 2, 2, 3, 1, 3, 4, 3, 1, 7, 2, 1, 2, 2, 4, 1, 1, 1, 3, 1, 4, 1, 4, 3, 2, 1, 7, 3, 3, 3, 4, 3, 3, 2, 1, 6, 17, 5, 3, 3, 3, 2, 3, 8, 1, 1, 3, 3, 3, 5, 1, 8, 3, 3, 1, 2, 5, 4, 2, 6, 6, 2, 5, 3, 1, 1, 1, 1, 2, 3, 2, 5, 2, 2, 2, 2, 3, 4, 5, 2, 1, 1, 4, 1, 3, 3, 3, 1, 0, 2, 3, 4, 2, 5, 1, 4, 6, 1, 2, 1, 1, 2, 1, 4, 1, 1, 2, 1, 1, 4, 2, 1, 4, 1, 4, 2, 6, 1, 8, 4, 3, 3, 3, 8, 1, 1, 3, 0, 2, 4, 3, 4, 4, 3, 3, 2, 3, 2, 3, 3, 1, 3, 7, 4, 3, 3, 1, 1, 2, 1, 2, 6, 1, 5, 1, 1, 2, 3, 2, 2, 2, 4, 2, 2, 1, 2, 2, 2, 4, 3, 2, 2, 2, 6, 0, 1, 2, 3, 1, 1, 5, 3, 2, 2, 2, 2, 3, 1, 1, 1, 2, 7, 1, 3, 2, 6, 3, 2, 2, 2, 6, 4, 1, 4, 3, 2, 2, 3, 2, 2, 2, 1, 1, 2, 1, 4, 1, 1, 1, 2, 3, 2, 5, 1, 1, 1, 8, 1, 1, 1, 2, 3, 4, 2, 4, 1, 1, 2, 1, 1, 3, 3, 1, 1, 4, 1, 3, 1, 3, 3, 1, 5, 2, 2, 4, 1, 3, 2, 1, 2, 1, 2, 2, 3, 1, 3, 1, 1, 1, 1, 1, 1, 1, 1, 2, 4, 3, 1, 4, 2, 1, 3, 1, 2, 1, 1, 1, 2, 2, 3, 3, 2, 2, 1, 1, 3, 4, 1, 4, 1, 2, 5, 3, 3, 3, 1, 3, 1, 1, 1, 1, 2, 1, 1, 4, 3, 1, 2, 2, 1, 3, 2, 1, 1, 2, 2, 2, 2, 2, 1, 1, 2, 1, 1, 2, 1, 4, 1, 3, 2, 2, 1, 2, 1, 2, 3, 4, 1, 1, 2, 2, 10, 4, 4, 2, 1, 2, 4, 3, 1, 0, 3, 2, 1, 3, 1, 1, 1, 3, 1, 3, 3, 0, 2, 3, 2, 2, 1, 2, 2, 1, 1, 1, 2, 2, 1, 2, 1, 2, 1, 1, 1, 5, 1, 1, 3, 2, 2, 7, 2, 2, 4, 2, 4, 1, 2, 2, 3, 1, 1, 3, 2, 4, 1, 4, 1, 4, 2, 4],
      "totalView": 1340,
      "dailyShare": [1, 0, 0, 0, 1, 0, 0, 0, 0, 2, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 3, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0],
      "totalShare": 18,
      "dailyWatch": [11.4, 4.4, 29.35, 20.05, 60.2833333333, 2.75, 24.9666666667, 14.95, 9.25, 11.7166666667, 50.75, 43.75, 10.25, 4.4, 2.05, 12.6666666667, 5.78333333333, 14.4166666667, 1.86666666667, 0.233333333333, 2.11666666667, 0.516666666667, 2.75, 1.96666666667, 1.23333333333, 4.13333333333, 7.31666666667, 9.05, 0.9, 2.7, 0.216666666667, 0.85, 3.45, 0.4, 0.35, 1.9, 3.16666666667, 0.0333333333333, 3.56666666667, 1.36666666667, 4.4, 3.98333333333, 1.68333333333, 5.41666666667, 8.03333333333, 0.2, 0.166666666667, 3.88333333333, 4.66666666667, 7.65, 0.15, 1.46666666667, 2.85, 0.05, 0.35, 4.28333333333, 0.783333333333, 0.116666666667, 8.71666666667, 8.9, 1.56666666667, 3.8, 0.683333333333, 0.05, 0.366666666667, 4.25, 6.6, 5.1, 0.366666666667, 1.3, 8.61666666667, 1.23333333333, 3.98333333333, 3.76666666667, 2.8, 3.93333333333, 1.28333333333, 1.06666666667, 1.35, 0.183333333333, 1.41666666667, 1.65, 0.933333333333, 0.683333333333, 3.33333333333, 0.05, 1.33333333333, 1.05, 0.266666666667, 0.266666666667, 5.9, 0.3, 0.766666666667, 0.616666666667, 4.43333333333, 4.56666666667, 2.71666666667, 4.26666666667, 1.05, 6.15, 45.65, 6.35, 0.283333333333, 1.46666666667, 1.33333333333, 1.2, 4.28333333333, 23.5666666667, 1.1, 1.36666666667, 0.75, 4.45, 1.05, 5.5, 0.35, 1.61666666667, 2.48333333333, 0.733333333333, 0.0666666666667, 1.95, 0.833333333333, 1.03333333333, 3.68333333333, 5.0, 2.41666666667, 2.06666666667, 3.11666666667, 1.26666666667, 0.7, 0.3, 0.0166666666667, 0.283333333333, 0.3, 0.366666666667, 0.266666666667, 1.2, 0.7, 3.0, 1.28333333333, 0.133333333333, 1.61666666667, 5.31666666667, 1.66666666667, 0.183333333333, 1.53333333333, 0.25, 0.8, 0.133333333333, 0.65, 0.6, 1.01666666667, 0.0333333333333, 0.0, 0.466666666667, 0.616666666667, 1.45, 0.683333333333, 1.7, 0.333333333333, 0.6, 3.68333333333, 0.0666666666667, 4.3, 12.2666666667, 0.3, 0.516666666667, 0.416666666667, 0.6, 0.05, 0.316666666667, 0.266666666667, 0.15, 0.283333333333, 0.916666666667, 0.4, 0.116666666667, 1.6, 0.0666666666667, 0.8, 0.233333333333, 1.11666666667, 0.1, 6.55, 1.1, 0.383333333333, 0.4, 0.85, 20.25, 1.53333333333, 0.116666666667, 0.716666666667, 0.0, 0.833333333333, 1.61666666667, 0.483333333333, 5.9, 1.5, 0.616666666667, 4.76666666667, 0.45, 0.633333333333, 0.333333333333, 3.05, 1.8, 0.0666666666667, 1.9, 9.81666666667, 1.11666666667, 3.26666666667, 0.733333333333, 0.0666666666667, 0.35, 0.233333333333, 0.516666666667, 5.46666666667, 2.2, 0.116666666667, 1.36666666667, 0.333333333333, 0.15, 1.2, 0.316666666667, 0.616666666667, 3.13333333333, 0.966666666667, 3.81666666667, 0.05, 0.266666666667, 0.233333333333, 3.4, 0.316666666667, 0.333333333333, 2.78333333333, 2.81666666667, 0.3, 0.266666666667, 0.3, 2.46666666667, 0.0, 3.98333333333, 2.93333333333, 0.95, 0.166666666667, 0.433333333333, 1.78333333333, 0.65, 0.45, 1.6, 0.3, 1.1, 3.83333333333, 0.0666666666667, 0.116666666667, 0.85, 4.96666666667, 4.93333333333, 0.283333333333, 3.85, 0.783333333333, 2.2, 0.4, 0.2, 6.41666666667, 4.3, 1.2, 1.23333333333, 0.05, 2.9, 0.616666666667, 1.06666666667, 1.1, 0.95, 0.383333333333, 0.883333333333, 0.233333333333, 0.216666666667, 0.383333333333, 0.3, 0.15, 1.36666666667, 0.283333333333, 0.1, 0.233333333333, 1.13333333333, 0.683333333333, 0.716666666667, 4.76666666667, 0.0333333333333, 0.2, 0.35, 10.5333333333, 0.316666666667, 0.483333333333, 0.283333333333, 0.466666666667, 1.4, 0.75, 0.45, 1.05, 0.483333333333, 2.86666666667, 0.45, 0.55, 0.183333333333, 1.66666666667, 0.866666666667, 1.83333333333, 0.116666666667, 0.95, 0.1, 1.13333333333, 3.38333333333, 1.5, 0.45, 0.1, 2.03333333333, 0.0333333333333, 0.966666666667, 4.93333333333, 0.133333333333, 0.683333333333, 0.233333333333, 3.53333333333, 0.416666666667, 0.133333333333, 0.333333333333, 0.816666666667, 0.883333333333, 0.333333333333, 2.21666666667, 0.116666666667, 0.1, 0.266666666667, 0.25, 0.233333333333, 0.1, 0.116666666667, 1.11666666667, 3.1, 7.21666666667, 1.98333333333, 0.266666666667, 5.1, 0.3, 0.3, 3.78333333333, 0.0833333333333, 0.616666666667, 0.0666666666667, 0.4, 0.05, 6.05, 0.6, 1.33333333333, 2.68333333333, 0.683333333333, 0.9, 0.55, 0.9, 0.566666666667, 0.816666666667, 0.55, 0.8, 0.0333333333333, 4.63333333333, 1.01666666667, 0.9, 0.816666666667, 0.733333333333, 0.516666666667, 1.91666666667, 0.483333333333, 0.283333333333, 0.116666666667, 0.3, 1.1, 0.416666666667, 0.4, 0.583333333333, 0.733333333333, 0.733333333333, 0.483333333333, 0.9, 0.0666666666667, 0.0666666666667, 0.7, 2.93333333333, 0.2, 0.2, 3.53333333333, 0.15, 4.15, 4.45, 2.23333333333, 0.5, 1.01666666667, 0.633333333333, 0.35, 1.11666666667, 0.3, 1.5, 0.5, 1.13333333333, 1.28333333333, 3.78333333333, 0.166666666667, 2.76666666667, 1.11666666667, 0.383333333333, 0.55, 2.38333333333, 0.6, 0.3, 0.5, 0.233333333333, 24.6166666667, 4.5, 1.11666666667, 0.933333333333, 0.266666666667, 0.133333333333, 1.31666666667, 0.666666666667, 0.2, 0.0, 4.7, 0.683333333333, 0.333333333333, 0.766666666667, 0.116666666667, 0.3, 0.2, 0.616666666667, 0.55, 1.48333333333, 4.31666666667, 0.0, 0.333333333333, 0.666666666667, 0.7, 0.316666666667, 0.3, 2.5, 0.45, 0.25, 0.0833333333333, 3.96666666667, 0.316666666667, 0.65, 0.05, 0.316666666667, 0.6, 0.916666666667, 0.0833333333333, 0.416666666667, 0.15, 3.7, 1.58333333333, 1.53333333333, 6.43333333333, 3.01666666667, 0.783333333333, 1.78333333333, 0.4, 1.61666666667, 6.26666666667, 0.816666666667, 0.616666666667, 0.0333333333333, 0.3, 1.16666666667, 0.966666666667, 0.05, 0.25, 0.766666666667, 2.01666666667, 1.46666666667, 0.0, 0.416666666667, 0.216666666667, 1.11666666667, 1.85, 4.5], 
      "avgWatch": 0.8616044776120957,
      "dailySubscriber": [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
      "totalSubscriber": 1
   },
   "relevantVideos": ["nxlcbPh6uns", "PT2_F-1esPk", "mNT_WyRcVJU", "EW1dLymlm3s", "B56IBLlZyuk", "KEI4qSrkPAs", "sg34LyfYobo", "6ZKbEGzvub0", "6fBZBntjEOA", "5GL9JoH4Sws", "7fKHkT1_VyI", "Gb0zSG0kwZ8", "1Vn1BXfsd4Q", "bMpFmHSgC4Q", "h-HbNph19k0", "ES9zCvZsb40", "dUBW_Y9-UAU", "P7WO0I3qKzw", "dHcfpzTxJi8", "1y6smkh6c-0", "nYh-n7EOtMA", "3v5HZTwFBCs", "YBbUQ8NBnok", "EbhsbLeq-xg", "42CRTZ_GHV8", "6CnP8ghhZPQ", "l06PgBJWZqk", "PkWotCFXQc0", "Du5-zXZyWaE", "4VG9WDSaWN0", "nGomTkNhEW0", "ikz6Iwo4lJM", "gJpAR_YwrFU", "_4cGX4KogyY", "Su92XV3J-oA", "DyIIe0t_RwY", "JesZWS0att8", "4LwRqByQ5h4", "nMIoAJRgYVE", "7_tSinRVwU8", "ejkP7y-VtqE", "HXeYRs_zR6w", "QTXqOdaVwQ4", "TW-pxuxjd3c"]
}

defaultLanguage/detectLanguage field

Some videos have defaultLanguage returned by YouTube API, but some don't. If not, we use googletrans 2.3.0 to detect a language from video title and description.

Change log

2018-08-09

  1. Remove the force field in argparse, now you can append to existing output file without worrying about rewriting.
  2. Change the languageDetector from langdetect 1.0.7 to googletrans 2.3.0.

DOI

About

No description, website, or topics provided.

Resources

Readme
Activity

Stars

0 stars

Watchers

2 watching

Forks

1 fork
Report repository

Releases

No releases published

Packages

No packages published

Languages