BeautifulSoup.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "name": "BeautifulSoup.ipynb",
      "version": "0.3.2",
      "provenance": [],
      "collapsed_sections": [],
      "toc_visible": true,
      "include_colab_link": true
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    }
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/soiqualang/colab/blob/master/BeautifulSoup.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "EOj49geQ2nOD",
        "colab_type": "text"
      },
      "source": [
        "# Tham khảo\n",
        "\n",
        "https://viblo.asia/p/web-crawling-voi-thu-vien-beautifulsoup-1VgZvNGOZAw\n",
        "\n",
        "https://www.crummy.com/software/BeautifulSoup/bs4/doc/#a-function"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "mKCM_1ZRyHPt",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "from bs4 import BeautifulSoup\n",
        "import urllib.request"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "GQv1jfUXyYm0",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "url =  'https://vnexpress.net'\n",
        "page = urllib.request.urlopen(url)\n",
        "soup = BeautifulSoup(page, 'html.parser')"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "LAjIpFuy0ECD",
        "colab_type": "text"
      },
      "source": [
        "# Get only one"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "S4viQv6kyb7z",
        "colab_type": "code",
        "outputId": "c814783e-d46f-400d-968c-cee9b09c90f5",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 88
        }
      },
      "source": [
        "new_feed = soup.find('section', class_='featured container clearfix').find('a')\n",
        "print(new_feed)"
      ],
      "execution_count": 0,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "<a class=\"thumb thumb_5x3\" href=\"https://vnexpress.net/thoi-su/do-doc-nguyen-van-hien-bi-de-nghi-ky-luat-3933076.html?vn_source=top1&amp;vn_medium=buildtop&amp;vn_campaign=nonpersonalize\" title=\"Đô đốc Nguyễn Văn Hiến bị đề nghị kỷ luật\">\n",
            "<img alt=\"Đô đốc Nguyễn Văn Hiến bị đề nghị kỷ luật\" class=\"vne_lazy_image\" data-original=\"https://vcdn-vnexpress.vnecdn.net/2019/06/03/dodoc1-1559555054-2429-1559555058_500x300.jpg\" src=\"https://vcdn-vnexpress.vnecdn.net/2019/06/03/dodoc1-1559555054-2429-1559555058_500x300.jpg\"/>\n",
            "</a>\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Ck9F-DLGy63y",
        "colab_type": "code",
        "outputId": "933cc7bd-c4e8-4ffe-9cb5-d1448e8b2759",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 71
        }
      },
      "source": [
        "title=new_feed.get('title')\n",
        "link=new_feed.get('href')\n",
        "\n",
        "print('Tile:{} \\nLink: {}'.format(title,link))"
      ],
      "execution_count": 0,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Tile:Đô đốc Nguyễn Văn Hiến bị đề nghị kỷ luật \n",
            "Link: https://vnexpress.net/thoi-su/do-doc-nguyen-van-hien-bi-de-nghi-ky-luat-3933076.html?vn_source=top1&vn_medium=buildtop&vn_campaign=nonpersonalize\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "gmhVSHPZ0G_D",
        "colab_type": "text"
      },
      "source": [
        "# Get all\n",
        "\n",
        "Use find_all() instead find()"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "E5g0DQ0dzg8K",
        "colab_type": "code",
        "outputId": "2c7bb335-f52d-455a-a55d-52d791dbf4e6",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 649
        }
      },
      "source": [
        "new_feed = soup.find('section', class_='featured container clearfix').find_all('a')\n",
        "print(new_feed)"
      ],
      "execution_count": 0,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "[<a class=\"thumb thumb_5x3\" href=\"https://vnexpress.net/thoi-su/do-doc-nguyen-van-hien-bi-de-nghi-ky-luat-3933076.html?vn_source=top1&amp;vn_medium=buildtop&amp;vn_campaign=nonpersonalize\" title=\"Đô đốc Nguyễn Văn Hiến bị đề nghị kỷ luật\">\n",
            "<img alt=\"Đô đốc Nguyễn Văn Hiến bị đề nghị kỷ luật\" class=\"vne_lazy_image\" data-original=\"https://vcdn-vnexpress.vnecdn.net/2019/06/03/dodoc1-1559555054-2429-1559555058_500x300.jpg\" src=\"https://vcdn-vnexpress.vnecdn.net/2019/06/03/dodoc1-1559555054-2429-1559555058_500x300.jpg\"/>\n",
            "</a>, <a href=\"https://vnexpress.net/thoi-su/do-doc-nguyen-van-hien-bi-de-nghi-ky-luat-3933076.html?vn_source=top1&amp;vn_medium=buildtop&amp;vn_campaign=nonpersonalize\" title=\"Đô đốc Nguyễn Văn Hiến bị đề nghị kỷ luật\">\n",
            "Đô đốc Nguyễn Văn Hiến bị đề nghị kỷ luật </a>, <a class=\"icon_commend\" href=\"https://vnexpress.net/thoi-su/do-doc-nguyen-van-hien-bi-de-nghi-ky-luat-3933076.html#box_comment\" style=\"white-space: nowrap; display: none;\">\n",
            "<span class=\"txt_num_comment font_icon\" data-objectid=\"3933076\" data-objecttype=\"1\" data-type=\"comment\"></span>\n",
            "</a>, <a href=\"https://vnexpress.net/thoi-su/nguyen-pho-thu-tuong-vu-van-ninh-bi-de-nghi-ky-luat-3918832.html\" title=\"Nguyên Phó thủ tướng Vũ Văn Ninh bị đề nghị kỷ luật\">Nguyên Phó thủ tướng Vũ Văn Ninh bị đề nghị kỷ luật</a>, <a href=\"https://vm.vnexpress.net\" target=\"_blank\" title=\"VnExpress Marathon\"><img alt=\"VnExpress Marathon\" src=\"https://scdn.vnecdn.net/vnexpress/restruct/i/v75/banner/04_pc_home_banner.jpg\" title=\"VnExpress Marathon\"/></a>, <a href=\"https://vnexpress.net/so-hoa/sinh-vien-kinh-te-tim-laptop-tot-tam-8-12-trieu-dong-3933081.html?vn_source=topnews1&amp;vn_medium=buildtop&amp;vn_campaign=nonpersonalize\" title=\"Sinh viên kinh tế tìm laptop tốt tầm 8-12 triệu đồng\">\n",
            "Sinh viên kinh tế tìm laptop tốt tầm 8-12 triệu đồng </a>, <a class=\"icon_commend\" href=\"https://vnexpress.net/so-hoa/sinh-vien-kinh-te-tim-laptop-tot-tam-8-12-trieu-dong-3933081.html#box_comment\" style=\"white-space: nowrap; display: none;\">\n",
            "<span class=\"txt_num_comment font_icon\" data-objectid=\"3933081\" data-objecttype=\"1\" data-type=\"comment\"></span>\n",
            "</a>, <a href=\"https://vnexpress.net/du-lich/tiec-dua-o-sai-gon-am-thuc-trung-dong-o-ha-noi-3932906.html?vn_source=topnews2&amp;vn_medium=buildtop&amp;vn_campaign=nonpersonalize\" title=\"Tiệc dứa ở Sài Gòn, ẩm thực Trung Đông ở Hà Nội\">\n",
            "Tiệc dứa ở Sài Gòn, ẩm thực Trung Đông ở Hà Nội </a>, <a class=\"icon_commend\" href=\"https://vnexpress.net/du-lich/tiec-dua-o-sai-gon-am-thuc-trung-dong-o-ha-noi-3932906.html#box_comment\" style=\"white-space: nowrap; display: none;\">\n",
            "<span class=\"txt_num_comment font_icon\" data-objectid=\"3932906\" data-objecttype=\"1\" data-type=\"comment\"></span>\n",
            "</a>, <a href=\"https://vnexpress.net/phap-luat/bon-nam-sinh-nhat-nghich-dai-vi-muon-xem-tau-phanh-khan-cap-3933054.html?vn_source=topnews3&amp;vn_medium=buildtop&amp;vn_campaign=nonpersonalize\" title=\"Bốn nam sinh Nhật 'nghịch dại' vì muốn xem tàu phanh khẩn cấp\">\n",
            "Bốn nam sinh Nhật 'nghịch dại' vì muốn xem tàu phanh khẩn cấp </a>, <a class=\"icon_commend\" href=\"https://vnexpress.net/phap-luat/bon-nam-sinh-nhat-nghich-dai-vi-muon-xem-tau-phanh-khan-cap-3933054.html#box_comment\" style=\"white-space: nowrap; display: none;\">\n",
            "<span class=\"txt_num_comment font_icon\" data-objectid=\"3933054\" data-objecttype=\"1\" data-type=\"comment\"></span>\n",
            "</a>, <a href=\"https://vnexpress.net/kinh-doanh/coteccons-hop-tac-tap-doan-tuan-chau-phat-trien-du-an-bat-dong-san-3932985.html?vn_source=topnews4&amp;vn_medium=buildtop&amp;vn_campaign=nonpersonalize\" title=\"Coteccons hợp tác Tập đoàn Tuần Châu phát triển dự án bất động sản\">\n",
            "Coteccons hợp tác Tập đoàn Tuần Châu phát triển dự án bất động sản </a>, <a class=\"icon_commend\" href=\"https://vnexpress.net/kinh-doanh/coteccons-hop-tac-tap-doan-tuan-chau-phat-trien-du-an-bat-dong-san-3932985.html#box_comment\" style=\"white-space: nowrap; display: none;\">\n",
            "<span class=\"txt_num_comment font_icon\" data-objectid=\"3932985\" data-objecttype=\"1\" data-type=\"comment\"></span>\n",
            "</a>, <a href=\"https://vnexpress.net/khoa-hoc/bon-rua-an-xuat-hien-sau-mot-nut-bam-3933014.html?vn_source=topnews5&amp;vn_medium=buildtop&amp;vn_campaign=nonpersonalize\" title=\"Bồn rửa ẩn xuất hiện sau một nút bấm\">\n",
            "Bồn rửa ẩn xuất hiện sau một nút bấm </a>, <a class=\"icon_commend\" href=\"https://vnexpress.net/khoa-hoc/bon-rua-an-xuat-hien-sau-mot-nut-bam-3933014.html#box_comment\" style=\"white-space: nowrap; display: none;\">\n",
            "<span class=\"txt_num_comment font_icon\" data-objectid=\"3933014\" data-objecttype=\"1\" data-type=\"comment\"></span>\n",
            "</a>, <a href=\"https://vnexpress.net/doi-song/can-ho-ham-ho-trong-chung-cu-cao-cap-sai-gon-3932935.html?vn_source=topnews6&amp;vn_medium=buildtop&amp;vn_campaign=nonpersonalize\" title=\"Căn hộ 'hầm hố' trong chung cư cao cấp Sài Gòn\">\n",
            "Căn hộ 'hầm hố' trong chung cư cao cấp Sài Gòn </a>, <a class=\"icon_commend\" href=\"https://vnexpress.net/doi-song/can-ho-ham-ho-trong-chung-cu-cao-cap-sai-gon-3932935.html#box_comment\" style=\"white-space: nowrap; display: none;\">\n",
            "<span class=\"txt_num_comment font_icon\" data-objectid=\"3932935\" data-objecttype=\"3\" data-type=\"comment\"></span>\n",
            "</a>, <a href=\"https://vnexpress.net/so-hoa/apple-samsung-se-huong-loi-nhat-khi-huawei-bi-cam-3932865.html?vn_source=topnews7&amp;vn_medium=buildtop&amp;vn_campaign=nonpersonalize\" title=\"Apple, Samsung sẽ hưởng lợi nhất khi Huawei bị cấm\">\n",
            "Apple, Samsung sẽ hưởng lợi nhất khi Huawei bị cấm </a>, <a class=\"icon_commend\" href=\"https://vnexpress.net/so-hoa/apple-samsung-se-huong-loi-nhat-khi-huawei-bi-cam-3932865.html#box_comment\" style=\"white-space: nowrap; display: none;\">\n",
            "<span class=\"txt_num_comment font_icon\" data-objectid=\"3932865\" data-objecttype=\"1\" data-type=\"comment\"></span>\n",
            "</a>, <a href=\"https://vnexpress.net/du-lich/nhung-diem-den-ly-tuong-de-check-in-trong-thang-6-3932735.html?vn_source=topnews8&amp;vn_medium=buildtop&amp;vn_campaign=nonpersonalize\" title=\"Những điểm đến lý tưởng để check-in trong tháng 6\">\n",
            "Những điểm đến lý tưởng để check-in trong tháng 6 </a>, <a class=\"icon_commend\" href=\"https://vnexpress.net/du-lich/nhung-diem-den-ly-tuong-de-check-in-trong-thang-6-3932735.html#box_comment\" style=\"white-space: nowrap; display: none;\">\n",
            "<span class=\"txt_num_comment font_icon\" data-objectid=\"3932735\" data-objecttype=\"3\" data-type=\"comment\"></span>\n",
            "</a>, <a href=\"https://vnexpress.net/giai-tri/cac-nguoi-dep-trung-nien-goi-y-trang-phuc-cho-tiec-tra-chieu-3932887.html?vn_source=topnews9&amp;vn_medium=buildtop&amp;vn_campaign=nonpersonalize\" title=\"Các người đẹp trung niên gợi ý trang phục cho tiệc trà chiều\">\n",
            "Các người đẹp trung niên gợi ý trang phục cho tiệc trà chiều </a>, <a class=\"icon_commend\" href=\"https://vnexpress.net/giai-tri/cac-nguoi-dep-trung-nien-goi-y-trang-phuc-cho-tiec-tra-chieu-3932887.html#box_comment\" style=\"white-space: nowrap; display: none;\">\n",
            "<span class=\"txt_num_comment font_icon\" data-objectid=\"3932887\" data-objecttype=\"3\" data-type=\"comment\"></span>\n",
            "</a>, <a href=\"https://vnexpress.net/giai-tri/angelina-jolie-da-n-ca-c-con-di-mua-qua-sinh-nha-t-cho-mi-nh-3933051.html?vn_source=topnews10&amp;vn_medium=buildtop&amp;vn_campaign=nonpersonalize\" title=\"Angelina Jolie dẫn các con đi mua quà sinh nhật cho mình\">\n",
            "Angelina Jolie dẫn các con đi mua quà sinh nhật cho mình </a>, <a class=\"icon_commend\" href=\"https://vnexpress.net/giai-tri/angelina-jolie-da-n-ca-c-con-di-mua-qua-sinh-nha-t-cho-mi-nh-3933051.html#box_comment\" style=\"white-space: nowrap; display: none;\">\n",
            "<span class=\"txt_num_comment font_icon\" data-objectid=\"3933051\" data-objecttype=\"1\" data-type=\"comment\"></span>\n",
            "</a>]\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Vpd7Cirs0T6S",
        "colab_type": "code",
        "outputId": "72a0d1a2-c921-45db-820b-597db50a224e",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 887
        }
      },
      "source": [
        "for feed in new_feed:\n",
        "    title=feed.get('title')\n",
        "    link=feed.get('href')\n",
        "    print('Tile:{} \\nLink: {}'.format(title,link))"
      ],
      "execution_count": 0,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Tile:Đô đốc Nguyễn Văn Hiến bị đề nghị kỷ luật \n",
            "Link: https://vnexpress.net/thoi-su/do-doc-nguyen-van-hien-bi-de-nghi-ky-luat-3933076.html?vn_source=top1&vn_medium=buildtop&vn_campaign=nonpersonalize\n",
            "Tile:Đô đốc Nguyễn Văn Hiến bị đề nghị kỷ luật \n",
            "Link: https://vnexpress.net/thoi-su/do-doc-nguyen-van-hien-bi-de-nghi-ky-luat-3933076.html?vn_source=top1&vn_medium=buildtop&vn_campaign=nonpersonalize\n",
            "Tile:None \n",
            "Link: https://vnexpress.net/thoi-su/do-doc-nguyen-van-hien-bi-de-nghi-ky-luat-3933076.html#box_comment\n",
            "Tile:Nguyên Phó thủ tướng Vũ Văn Ninh bị đề nghị kỷ luật \n",
            "Link: https://vnexpress.net/thoi-su/nguyen-pho-thu-tuong-vu-van-ninh-bi-de-nghi-ky-luat-3918832.html\n",
            "Tile:VnExpress Marathon \n",
            "Link: https://vm.vnexpress.net\n",
            "Tile:Sinh viên kinh tế tìm laptop tốt tầm 8-12 triệu đồng \n",
            "Link: https://vnexpress.net/so-hoa/sinh-vien-kinh-te-tim-laptop-tot-tam-8-12-trieu-dong-3933081.html?vn_source=topnews1&vn_medium=buildtop&vn_campaign=nonpersonalize\n",
            "Tile:None \n",
            "Link: https://vnexpress.net/so-hoa/sinh-vien-kinh-te-tim-laptop-tot-tam-8-12-trieu-dong-3933081.html#box_comment\n",
            "Tile:Tiệc dứa ở Sài Gòn, ẩm thực Trung Đông ở Hà Nội \n",
            "Link: https://vnexpress.net/du-lich/tiec-dua-o-sai-gon-am-thuc-trung-dong-o-ha-noi-3932906.html?vn_source=topnews2&vn_medium=buildtop&vn_campaign=nonpersonalize\n",
            "Tile:None \n",
            "Link: https://vnexpress.net/du-lich/tiec-dua-o-sai-gon-am-thuc-trung-dong-o-ha-noi-3932906.html#box_comment\n",
            "Tile:Bốn nam sinh Nhật 'nghịch dại' vì muốn xem tàu phanh khẩn cấp \n",
            "Link: https://vnexpress.net/phap-luat/bon-nam-sinh-nhat-nghich-dai-vi-muon-xem-tau-phanh-khan-cap-3933054.html?vn_source=topnews3&vn_medium=buildtop&vn_campaign=nonpersonalize\n",
            "Tile:None \n",
            "Link: https://vnexpress.net/phap-luat/bon-nam-sinh-nhat-nghich-dai-vi-muon-xem-tau-phanh-khan-cap-3933054.html#box_comment\n",
            "Tile:Coteccons hợp tác Tập đoàn Tuần Châu phát triển dự án bất động sản \n",
            "Link: https://vnexpress.net/kinh-doanh/coteccons-hop-tac-tap-doan-tuan-chau-phat-trien-du-an-bat-dong-san-3932985.html?vn_source=topnews4&vn_medium=buildtop&vn_campaign=nonpersonalize\n",
            "Tile:None \n",
            "Link: https://vnexpress.net/kinh-doanh/coteccons-hop-tac-tap-doan-tuan-chau-phat-trien-du-an-bat-dong-san-3932985.html#box_comment\n",
            "Tile:Bồn rửa ẩn xuất hiện sau một nút bấm \n",
            "Link: https://vnexpress.net/khoa-hoc/bon-rua-an-xuat-hien-sau-mot-nut-bam-3933014.html?vn_source=topnews5&vn_medium=buildtop&vn_campaign=nonpersonalize\n",
            "Tile:None \n",
            "Link: https://vnexpress.net/khoa-hoc/bon-rua-an-xuat-hien-sau-mot-nut-bam-3933014.html#box_comment\n",
            "Tile:Căn hộ 'hầm hố' trong chung cư cao cấp Sài Gòn \n",
            "Link: https://vnexpress.net/doi-song/can-ho-ham-ho-trong-chung-cu-cao-cap-sai-gon-3932935.html?vn_source=topnews6&vn_medium=buildtop&vn_campaign=nonpersonalize\n",
            "Tile:None \n",
            "Link: https://vnexpress.net/doi-song/can-ho-ham-ho-trong-chung-cu-cao-cap-sai-gon-3932935.html#box_comment\n",
            "Tile:Apple, Samsung sẽ hưởng lợi nhất khi Huawei bị cấm \n",
            "Link: https://vnexpress.net/so-hoa/apple-samsung-se-huong-loi-nhat-khi-huawei-bi-cam-3932865.html?vn_source=topnews7&vn_medium=buildtop&vn_campaign=nonpersonalize\n",
            "Tile:None \n",
            "Link: https://vnexpress.net/so-hoa/apple-samsung-se-huong-loi-nhat-khi-huawei-bi-cam-3932865.html#box_comment\n",
            "Tile:Những điểm đến lý tưởng để check-in trong tháng 6 \n",
            "Link: https://vnexpress.net/du-lich/nhung-diem-den-ly-tuong-de-check-in-trong-thang-6-3932735.html?vn_source=topnews8&vn_medium=buildtop&vn_campaign=nonpersonalize\n",
            "Tile:None \n",
            "Link: https://vnexpress.net/du-lich/nhung-diem-den-ly-tuong-de-check-in-trong-thang-6-3932735.html#box_comment\n",
            "Tile:Các người đẹp trung niên gợi ý trang phục cho tiệc trà chiều \n",
            "Link: https://vnexpress.net/giai-tri/cac-nguoi-dep-trung-nien-goi-y-trang-phuc-cho-tiec-tra-chieu-3932887.html?vn_source=topnews9&vn_medium=buildtop&vn_campaign=nonpersonalize\n",
            "Tile:None \n",
            "Link: https://vnexpress.net/giai-tri/cac-nguoi-dep-trung-nien-goi-y-trang-phuc-cho-tiec-tra-chieu-3932887.html#box_comment\n",
            "Tile:Angelina Jolie dẫn các con đi mua quà sinh nhật cho mình \n",
            "Link: https://vnexpress.net/giai-tri/angelina-jolie-da-n-ca-c-con-di-mua-qua-sinh-nha-t-cho-mi-nh-3933051.html?vn_source=topnews10&vn_medium=buildtop&vn_campaign=nonpersonalize\n",
            "Tile:None \n",
            "Link: https://vnexpress.net/giai-tri/angelina-jolie-da-n-ca-c-con-di-mua-qua-sinh-nha-t-cho-mi-nh-3933051.html#box_comment\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "JUyiyV411lI0",
        "colab_type": "text"
      },
      "source": [
        "## Test\n",
        "\n",
        "http://bannhanong.vn/hoidap/NDQ=/index.bnn"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "tcBRqP8o0jCC",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "url =  'http://bannhanong.vn/hoidap/NDQ=/index.bnn'\n",
        "page = urllib.request.urlopen(url)\n",
        "soup = BeautifulSoup(page, 'html.parser')"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "NxQCCzGT3OhL",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "ul1=soup.find('ul','kasks')"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "XeSgHvfe3rYq",
        "colab_type": "code",
        "outputId": "73beb667-e109-4316-e4f1-fc7bf7a739df",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 496
        }
      },
      "source": [
        "links=ul1.find_all('a')\n",
        "\n",
        "for link in links:\n",
        "    #tieude=link.contents[0]\n",
        "    tieude=link.text\n",
        "    url=link.get('href')\n",
        "    print('Tiêu đề: {} - Url: {}'.format(tieude,url))\n",
        "    "
      ],
      "execution_count": 0,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Tiêu đề: Bưởi đang có trái xịt thuốc cỏ cháy có ảnh hưởng gì không?? - Url: http://bannhanong.vn/cauhoi/NDI3Nw==/index.bnn\n",
            "Tiêu đề: Nhà em có vườn táo đào vàng năm thứ 3 . Bố em cắt cành từ trước tết .mà đến bây giờ một số cây đâm trồi rất ít , một số ra thì lại bị sâu và bị hỏng. xin hỏi nguyên nhân và cách khác phục ạ . em xin chân thành cảm ơn !mong nhận được sự hỗ trợ sớm nhất từ phía chuyên gia . - Url: http://bannhanong.vn/cauhoi/NDI3Mw==/index.bnn\n",
            "Tiêu đề: Chương trình cho tôi hỏi : Cách làm nhãn T6 ra hoa chín vụ và cách chăm sóc sau khi ra hoa - Url: http://bannhanong.vn/cauhoi/NDI3MA==/index.bnn\n",
            "Tiêu đề: Chào các chuyên gia, nhà em trồng xoài tứ quý nhưng mừa mưa xoài hay bị da cám em xin hỏi cách trị? Và hiện tại bông coài đang bị sâu làm tổ ngay cuốn đục vào trong cuốn bông làm bông bị héo thối em muốn hỏi cách trị?... Cảm ơn vì đã xem... - Url: http://bannhanong.vn/cauhoi/NDI2Ng==/index.bnn\n",
            "Tiêu đề: Nhà có trồng 2 cây vú sữa, trên 10 năm. Cây ra bông rất nhiều. Nhưng kg đậu trái nào, đã hơn 10 năm nay. Cây phát triển rất tốt. Cho hỏi vì sao? Và cách xử lý cho đậu trái. - Url: http://bannhanong.vn/cauhoi/NDI1Nw==/index.bnn\n",
            "Tiêu đề: Cây vú sữa trồng được 6 năm, 3 năm nay thường ra hoa vào tháng 4-5( dương lịch) nhưng không đậu quả. Mong được tư vấn hướng dẫn ạ! - Url: http://bannhanong.vn/cauhoi/NDI1NQ==/index.bnn\n",
            "Tiêu đề: Cho em hoi la o ngoai lang son co trong BUOI da xanh đuợc khong vay - Url: http://bannhanong.vn/cauhoi/NDIzOQ==/index.bnn\n",
            "Tiêu đề: Cho con hỏi sao dưa hấu và dưa leo khi bắt đầu ra hoa lại chết ton.? Cách phòng - Url: http://bannhanong.vn/cauhoi/NDIyNg==/index.bnn\n",
            "Tiêu đề: Xin hỏi địa chỉ bán cây mít thái changai giống tin cậy ở Miền bắc - Url: http://bannhanong.vn/cauhoi/NDIxNA==/index.bnn\n",
            "Tiêu đề: Kính thưa các chuyên gia. Em xin hỏi một số vấn đề như sau :\n",
            "   Nhà em có trồng khoảng 70 gốc mít thái, được 2 năm. Hiện em đang sử dụng phân chuồng ủ hoai cùng với tricodema và có ý định muốn chuyển sang dùng phân hữu cơ vi sinh liệu có hiệu quả hơn không ạ. - Url: http://bannhanong.vn/cauhoi/NDIwMw==/index.bnn\n",
            "Tiêu đề: Cháu quê ở Hải Dương muốn trồng 300 cây mít thái Changai, với khí hậu rét về mùa đông thì trồng mít thái Changai có phù hợp không? Xin hỏi địa chỉ mua cây giống mít thái Changai tin cậy ở Miền Bắc? - Url: http://bannhanong.vn/cauhoi/NDE5OQ==/index.bnn\n",
            "Tiêu đề: Xin trường trình cho hỏi tôi ở  gia Lai có trồng được giống nho lùn pháp không và thời gian cho trái của cây là bao lâu, mua giống ở đâu để đạt được chất lượng tốt nhất. Xin cảm ơn. - Url: http://bannhanong.vn/cauhoi/NDE5Mw==/index.bnn\n",
            "Tiêu đề: các bác cho cháu hỏi. hiện tại cháu có diện tích 2400m2 đất phù sa sông Hồng. cháu đang muốn trồng cây Bơ vào diện tích đó. Bác cho cháu hỏi  cây Bơ có hợp với khí hậu ngoài miền bắc không. Cháu xin cám ơn các chuyên gia - Url: http://bannhanong.vn/cauhoi/NDE4NQ==/index.bnn\n",
            "Tiêu đề: Chào các chuyên gia, tôi có một số vấn đề về cây ăn quả muốn hỏi mong các chuyên gia vui lòng giải đáp giúp ạ.\n",
            "+ thứ 1: nhà tôi có trồng 20 cây bưởi diễn, trồng được 3 năm. đã ra quả nhưng quả hơi nhỏ, ăn không được ngọt đậm, và thân cây bị mốc đen rất nhiều ở thân cây và cành. Xin hỏi cách chữa trị và chăm bón.\n",
            "+ thứ 2: nhà tôi có 20 cây na xiêm, trồng được 1 năm. cây rất còi, lá đỏ ít màu xanh. chưa có quả.  đất pha cát. xin hỏi cách chăm sóc cho cây, và đất này có phù hợp để trồng na không ạ.\n",
            "xin chân thành cảm ơn ! - Url: http://bannhanong.vn/cauhoi/NDE4Mw==/index.bnn\n",
            "Tiêu đề: Xin chào chương trình\n",
            "Cho em hỏi là sầu riêng nhà em hay bị xì mủ ở thân bây giờ mình phải chữa như thế nào và bằng thuốc gì và mua ở đâu a.? Em cảm ơn - Url: http://bannhanong.vn/cauhoi/NDE2Mw==/index.bnn\n",
            "Tiêu đề: Cho tôi hỏi : đối với nhãn ghép phun phân hóa mầm hoa sau bao lâu thì khoanh cành. Sau khoanh cành bao nhiêu ngày thì có thể phun kích hoa. - Url: http://bannhanong.vn/cauhoi/NDE1OQ==/index.bnn\n",
            "Tiêu đề: Em chào các cô, chú ah. \n",
            "Em có trồng khoản 300 gốc xoài Đài Loan, cho em hỏi khi dùng loại bao trái màu vàng thì trái có hiện tượng xì mủ, trong khi đó những trái kg bao hoặc dùng loại bao màu trắng thì lại kg bị xì mủ. \n",
            "Em nhờ các chuyên gia tư vấn cũng như phương pháp khắc phục ah. em cảm ơn - Url: http://bannhanong.vn/cauhoi/NDE0OA==/index.bnn\n",
            "Tiêu đề: Cho em hỏi phân heo ủ hoai có bón được cho cây sầu riêng không ạ - Url: http://bannhanong.vn/cauhoi/NDEzNA==/index.bnn\n",
            "Tiêu đề: Cho hỏi cách chăm sóc cây xoài trái vụ cần những gì ạ - Url: http://bannhanong.vn/cauhoi/NDExNQ==/index.bnn\n",
            "Tiêu đề: Chào bạn của nhà nông, cho em hỏi để trị sâu  , rầy trên cây sâu riêng thì có rất nhiều loại thuốc có hoạt chất khác nhau để sử dụng. Vậy ta nên dùng thuốc có hoạt chất gì để xịt mà không ảnh hưởng đến bộ lá , hoa và quả sầu riêng. Xin cảm ơn ! - Url: http://bannhanong.vn/cauhoi/NDEwOA==/index.bnn\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "h2Fpq_XUDDSh",
        "colab_type": "text"
      },
      "source": [
        "## Get content of url"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "D6-EhQWB3sri",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "url =  'http://bannhanong.vn/cauhoi/NDI3Nw==/index.bnn'\n",
        "page = urllib.request.urlopen(url)\n",
        "soup = BeautifulSoup(page, 'html.parser')"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Pf1EmA82DJda",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 419
        },
        "outputId": "55f13a31-9012-4214-b81f-5cf25e79c908"
      },
      "source": [
        "div1=soup.find('table')\n",
        "print(div1)"
      ],
      "execution_count": 28,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "<table>\n",
            "<tr>\n",
            "<td>\n",
            "<p><strong>Câu hỏi</strong>: Bưởi đang có trái xịt thuốc cỏ cháy có ảnh hưởng gì không??</p>\n",
            "<p><strong>Người hỏi</strong>: <span style=\"text-transform: capitalize;\">Phan thanh thuân</span></p>\n",
            "<p><strong>Email</strong>: <a href=\"mailto:Quangngyen2702@gmail.com\" style=\"text-decoration: none; color: blue;\">Quangngyen2702@gmail.com</a> - <strong>Điện thoại</strong>: 0938435155</p>\n",
            "<p><strong>Địa chỉ</strong>: Ap 1 xa sing nhan </p>\n",
            "</td>\n",
            "</tr>\n",
            "<tr>\n",
            "<td>\n",
            "<p style=\"padding: 15px;\"><strong>Trả lời</strong></p>\n",
            "<div class=\"idfont\">\n",
            "<p style=\"text-align:justify\">Chào bạn!</p>\n",
            "<p style=\"text-align:justify\">Thạc sỹ Nguyễn Phước Tuyên tư vấn cho bạn như sau:</p>\n",
            "<p style=\"text-align:justify\"><span style=\"font-size:12px\"><span style=\"font-family:arial,helvetica,sans-serif\">Bạn không nói rỏ là thuốc gì. Thường thuốc diệt cỏ cháy có hoạt chất là Paraquat, Paraquat là loại hóa chất có trong thuốc diệt cỏ đã bị cấm ở châu Âu nhưng ở nước ta đến tháng 2/2019 mới cấm hẳn. Trên thị trường Paraquat được gọi với các tên như Glamoxone, Cyclone, Surehre, Prelude. Paraquat thẩm qua tiểu tràng rất nhanh. Nồng độ huyết tương lên đến đỉnh cao sau 2 giờ, 5-10% được hấp thụ qua ruột, còn lại được thải trừ qua phân. Do vậy, chỉ cần uống quá 40mg Paraquat/kg (khoảng một thìa canh 15ml) dung dịch Paraquat thường gây tử vong trong 1-5 ngày do suy đa phủ tạng hoặc do bỏng niêm mạc tiêu hóa, bỏng thực quản có thể gây thủng dẫn đến viêm trung thất. Hiện khoa học chưa tìm ra thuốc kháng độc, điều trị ngộ độc loại hoạt chất này</span></span></p>\n",
            "<p style=\"text-align:justify\"><span style=\"font-size:12px\"><span style=\"font-family:arial,helvetica,sans-serif\">Nó diệt màu xanh chất diệp lục của cây, nên cây bưởi mới trồng bị ảnh hưởng, cây bưởi lớn phun sát gốc sẽ không ảnh hưởng. Tuy nhiên đối với vườn cây ăn quả người ta khuyến cáo không nên sử dụng thuốc trừ cỏ, mma2 sử dụng máy phát cỏ. Do cỏ dại là bơm sinh học chuyển khí ô-xy xuống rễ, giúp đất tơi xốp và che đất chống xói mòn. Cỏ dại sau khi cắt ũ nấm Trichoderma sử dụng làm phân xanh.</span></span></p>\n",
            "</div>\n",
            "</td>\n",
            "</tr>\n",
            "</table>\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "9yjk8MjRDkjJ",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 183
        },
        "outputId": "43f89f67-1a86-4699-e528-b8fd6b8aabd8"
      },
      "source": [
        "str1=div1.find_all('tr')\n",
        "print(str1[0])"
      ],
      "execution_count": 29,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "<tr>\n",
            "<td>\n",
            "<p><strong>Câu hỏi</strong>: Bưởi đang có trái xịt thuốc cỏ cháy có ảnh hưởng gì không??</p>\n",
            "<p><strong>Người hỏi</strong>: <span style=\"text-transform: capitalize;\">Phan thanh thuân</span></p>\n",
            "<p><strong>Email</strong>: <a href=\"mailto:Quangngyen2702@gmail.com\" style=\"text-decoration: none; color: blue;\">Quangngyen2702@gmail.com</a> - <strong>Điện thoại</strong>: 0938435155</p>\n",
            "<p><strong>Địa chỉ</strong>: Ap 1 xa sing nhan </p>\n",
            "</td>\n",
            "</tr>\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "QONy6R0VFA2S",
        "colab_type": "text"
      },
      "source": [
        "#SQLite 3\n",
        "\n",
        "https://phocode.com/blog/2016/03/21/python-co-so-du-lieu-sqlite/\n",
        "\n",
        "https://datatofish.com/create-database-python-using-sqlite3/\n",
        "\n",
        "```sql\n",
        "conn = sqlite3.connect('TestDB.db')  # You can create a new database by changing the name within the quotes\n",
        "c = conn.cursor() # The database will be saved in the location where your 'py' file is saved\n",
        "\n",
        "# Create table - CLIENTS\n",
        "c.execute('''CREATE TABLE CLIENTS\n",
        "             ([generated_id] INTEGER PRIMARY KEY,[Client_Name] text, [Country_ID] integer, [Date] date)''')\n",
        "```\n",
        "\n",
        "## Get dict from query\n",
        "\n",
        "https://stackoverflow.com/questions/3300464/how-can-i-get-dict-from-sqlite-query\n",
        "\n",
        "```sql\n",
        "import sqlite3\n",
        "\n",
        "def dict_factory(cursor, row):\n",
        "    d = {}\n",
        "    for idx, col in enumerate(cursor.description):\n",
        "        d[col[0]] = row[idx]\n",
        "    return d\n",
        "\n",
        "con = sqlite3.connect(\":memory:\")\n",
        "con.row_factory = dict_factory\n",
        "cur = con.cursor()\n",
        "cur.execute(\"select 1 as a\")\n",
        "print cur.fetchone()[\"a\"]\n",
        "```"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "TDKIG0zdEPQp",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "import sqlite3"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "EW0mFt1yFJta",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 217
        },
        "outputId": "1042b611-8637-4f8a-f74e-31284b905372"
      },
      "source": [
        "#Make DB\n",
        "!wget 'http://dev.dothanhlong.org/download/db1.db'\n",
        "conn=sqlite3.connect('db1.db')\n",
        "#c = conn.cursor()"
      ],
      "execution_count": 97,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "--2019-06-03 12:37:25--  http://dev.dothanhlong.org/download/db1.db\n",
            "Resolving dev.dothanhlong.org (dev.dothanhlong.org)... 139.99.46.176\n",
            "Connecting to dev.dothanhlong.org (dev.dothanhlong.org)|139.99.46.176|:80... connected.\n",
            "HTTP request sent, awaiting response... 200 OK\n",
            "Length: 3072 (3.0K)\n",
            "Saving to: ‘db1.db’\n",
            "\n",
            "\rdb1.db                0%[                    ]       0  --.-KB/s               \rdb1.db              100%[===================>]   3.00K  --.-KB/s    in 0s      \n",
            "\n",
            "2019-06-03 12:37:26 (254 MB/s) - ‘db1.db’ saved [3072/3072]\n",
            "\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "c9YuI9seFWVK",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "#make funtion by soiqualang\n",
        "\n",
        "def insert_table(table,field,value,conn):\n",
        "    with conn:\n",
        "        cur = conn.cursor()\n",
        "        strfield=\"\"\n",
        "        strvalue=\"\"\n",
        "        for i in range(0,len(field)):\n",
        "            strfield+=field[i]+\", \"\n",
        "            strvalue+=\"'\"+value[i]+\"', \"\n",
        "        strfield+=field[i]\n",
        "        strvalue+=\"'\"+value[i]+\"'\"\n",
        "        sql_add_news=\"INSERT INTO \"+table+\"(\"+strfield+\") VALUES (\"+strvalue+\")\"\n",
        "        #print(sql_add_news)\n",
        "        cur.execute(sql_add_news)\n",
        "\n",
        "def dict_factory(cursor, row):\n",
        "    d = {}\n",
        "    for idx, col in enumerate(cursor.description):\n",
        "        d[col[0]] = row[idx]\n",
        "    return d\n",
        "        \n",
        "def getElement(tbl_table,element,where,id,conn):\n",
        "    with conn:\n",
        "        cur = conn.cursor()\n",
        "        id=str(id)\n",
        "        #sql='SELECT SQLITE_VERSION()'\n",
        "        sql=\"Select \"+element+\" from \"+tbl_table+\" where \"+where+\"='\"+id+\"'\"\n",
        "        #print(sql)\n",
        "        cur.execute(sql)\n",
        "        data = cur.fetchone()\n",
        "        #data=cur.fetchall()\n",
        "        return data[0]\n",
        "\n",
        "def table_to_array1(table,conn):\n",
        "    with conn:\n",
        "        conn.row_factory = dict_factory\n",
        "        cur = conn.cursor()\n",
        "        sql=\"SELECT * from \"+table\n",
        "        #print(sql)\n",
        "        cur.execute(sql)\n",
        "        rows = cur.fetchall()        \n",
        "        '''\n",
        "        for row in rows:\n",
        "            print (\"%s %s %s\" % (row[\"id\"], row[\"ques\"], row[\"ans\"]))\n",
        "        '''\n",
        "        return rows\n",
        "        "
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "MYsfArSNMjU9",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "field=['ques','ans','info']\n",
        "value=['qqqq2','aaaaa2','iiiii2']\n",
        "\n",
        "insert_table('qa',field,value,conn)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "P8OfLT9KPBCe",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 35
        },
        "outputId": "eed94b42-8bc6-4255-93a1-e4264bff2c50"
      },
      "source": [
        "ans=getElement('qa','ans','id',2,conn)\n",
        "print(ans)"
      ],
      "execution_count": 126,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "aaaaa2\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Ty2weswSVZ6x",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 54
        },
        "outputId": "29d35cdd-736e-49ca-9cb7-b8a15c996270"
      },
      "source": [
        "rows=table_to_array1('qa',conn)\n",
        "#print(rows)\n",
        "\n",
        "for row in rows:\n",
        "    print(row['id'],row['ques'],row['ans'])"
      ],
      "execution_count": 142,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "1 qqqq1 aaaaa1\n",
            "2 qqqq2 aaaaa2\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Tdc4RZ4kcbmk",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        ""
      ],
      "execution_count": 0,
      "outputs": []
    }
  ]
}