분류 전체보기 43

[Node.js] Starting Node.js with Crawling (Parsing XML/RSS, PhantomJS?, CasperJS?)

XML/RSS 해석 - eXtensible Markup Langauge / Really Simple Syncdication - XML - eXtensible Markup Language의 약어로 목적에 맞게 사용될 수 있는 범용적인 데이터 형식 - 기본적으로 텍스트 데이터, 각각의 데이터에 태그를 붙임으로써 문서나 데이터를 구조화 가능 - XML의 목적 : 다른 종류의 시스템 간에 구조화된 문서와 데이터를 쉽게 공유하는 것 - XML은 범용적인 형식이며, XML을 바탕으로 한 다양한 데이터 형식이 존재 - 뉴스 사이트의 요약 정보인 RSS나 벡터 그래픽을 다루는 SVG도 XML을 바탕으로 한다. - 엑셀/워드 등 마이크로스프트의 오피스 저장 형식도 여러 XML파일을 ZIP으로 압축한 것 - XML은 기계..

JavaScirpt/Node.js 2020.12.07

[Node.js] Starting Node.js with Crawling, HTML 재귀적 다운

저번 글에 이어서 계속 책 내용을 진행해 보려고 한다 상대 URL을 절대 URL로 변경 - 페이지에서 링크를 추출하는 프로그램을 저번에 작성하였는데, a 태그의 href 속성을 잘 살펴보면 절대 경로가 아닌 상대경로로 출력되던 것을 알 수 있었다 - 상대경로란, 현재 웹 페이지의 위치를 기준으로 기술한 대상 파일의 경로를 뜻하는데 - Node.js의 'url' 표준 module을 사용하면 상대경로를 절대 경로로 변환할 수 있다. - url 모듈의 resolve 메소드를 사용한다 (parameter로 기본 url과, 상대 url을 인자로 준다) - 코드 // download url module const urlType = require('url'); // convert relative path to abs..

JavaScirpt/Node.js 2020.12.06

[Node.js] Starting Node.js with Crawling, HTML 다운로드 까지

Introduction 부족하지만 웹이나 SNS 상의 데이터를 크롤링하여 얻어온 데이터를 감성분석하여 키워드에 대한 사람들의 감정을 알아보려는 프로젝트를 기획하고 있다. 이 글은 데이터를 웹으로부터 얻어오기 위한 첫 기록이며, 내가 공부하는 책의 Summary이다. github.com/Jpub/JSWebCrawler Jpub/JSWebCrawler 리포지토리. Contribute to Jpub/JSWebCrawler development by creating an account on GitHub. github.com ECMAScript가 실현한 범용 자바스크립트의 세계 - ECMAScript는 Ecma International에 의해 표준화된 스크립트 언어의 명세서. - 웹 브라우저별로 달랐던 클라이언트..

JavaScirpt/Node.js 2020.12.05

[Learning Python] Hello world

Hello Python kaggle에서 게시한 듀토리얼을 그대로 따라가고, 공부하는 python 학습 일기장이 될 것이다. www.kaggle.com/colinmorris/hello-python Hello, Python Explore and run machine learning code with Kaggle Notebooks | Using data from no data sources www.kaggle.com www.kaggle.com/learn/python Learn Python Tutorials Learn the most important language for data science. www.kaggle.com First Practice # hello python # key python skill..

Python/basic 2020.11.19

[Practice Algorithm, GeeksForGeeks] Given a sorted and rotated array, find if there is a pair with a given sum

정렬되고, 순회되어 변경된 배열에서 주어진 sum의 값에 더해지어 만족되는 value pair 쌍을 구하는 문제이다. 본래는 while문으로 O(n!)간단하게 만들어 볼 수 있으나, binary search로 max값에 해당하는 Pivot을 찾아내고, 경우에 따라 다른 시간복잡도를 보이는 알고리즘을 짜보았다.. ㅠ www.geeksforgeeks.org/given-a-sorted-and-rotated-array-find-if-there-is-a-pair-with-a-given-sum/ Given a sorted and rotated array, find if there is a pair with a given sum - GeeksforGeeks A Computer Science portal for gee..

[Practice Algorithm, GeeksForGeeks] Search pivot in an sorted and rotated array

음.. 정렬되고, 순회되어 변경된 array에서 해당 key를 찾고 index를 반환하는 알고리즘이다. 당장 생각나는 바로는 무식하게 for문으로 돌려서 O(n)으로 찾을 수 있겠지만, 문제에서 찾고자 하는 바는 O(logn)의 시간복잡도를 원한다. 음.. 이진트리를 쓰면 O(logn)으로 줄여볼 수 있을거 같은데, 이진트리를 쓰지않고서 할 수 있는 방법이 있을까? practice.geeksforgeeks.org/problems/search-in-a-rotated-array/0 Search in a Rotated Array | Practice | GeeksforGeeks practice.geeksforgeeks.org 문제 Given a sorted and rotated array A of N disti..

[Practice Algorithm, GeeksForGeeks] Rotate Array2

저번에 포스팅한 rotate Array와 비슷한 문제를 풀어보았다. practice.geeksforgeeks.org/problems/rotate-array-by-n-elements/1# Rotate Array | Practice | GeeksforGeeks practice.geeksforgeeks.org 문제 Given an array of size N. The task is to rotate array by D elements where D ≤ N. Example 1: Input: N = 7 Arr[] = {1, 2, 3, 4, 5, 6, 7} D = 2 Output: 3 4 5 6 7 1 2 Explanation: Rotate by 1: [2, 3, 4, 5, 6, 7, 1] Rotate by 2: ..