麻烦帮我抓取下http://120.236.48.169:89/HPMS/ProjectInfoList.aspx 的数据,注意它有很多页,要每一页都抓取。输出为 json 文件就行。技术栈是axios 和 cheerio。代码写在 Project/index.js 这个文件里
This commit is contained in:
parent
540f8c0263
commit
793cd32d9b
814
Project/data.json
Normal file
814
Project/data.json
Normal file
@ -0,0 +1,814 @@
|
||||
[
|
||||
{
|
||||
"序号": "1",
|
||||
"项目名称": "瑞景荟花园",
|
||||
"开发企业": "广东翔栩房地产开发有限公司",
|
||||
"项目地址": "普宁市普宁大道与大南山路交叉口东北侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34713"
|
||||
},
|
||||
{
|
||||
"序号": "2",
|
||||
"项目名称": "普宁万洋众创城项目(一期)第三批工程",
|
||||
"开发企业": "揭阳普宁万洋众创城科技有限公司",
|
||||
"项目地址": "揭阳市普宁市英歌山普宁产业转移工业园,坛北路北侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34707"
|
||||
},
|
||||
{
|
||||
"序号": "3",
|
||||
"项目名称": "星河明珠湾花园(七期)",
|
||||
"开发企业": "普宁市星宏房地产开发有限公司",
|
||||
"项目地址": "普宁市普惠高速公路南侧、寒妈水库西北侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34673"
|
||||
},
|
||||
{
|
||||
"序号": "4",
|
||||
"项目名称": "普宁万洋众创城项目(一期)第二批工程",
|
||||
"开发企业": "揭阳普宁万洋众创城科技有限公司",
|
||||
"项目地址": "揭阳市普宁市英歌山普宁产业转移工业园,坛北路北侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34672"
|
||||
},
|
||||
{
|
||||
"序号": "5",
|
||||
"项目名称": "华骏雅苑",
|
||||
"开发企业": "普宁市华骏投资置业有限公司",
|
||||
"项目地址": "普宁市流沙北街道南平路西侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34652"
|
||||
},
|
||||
{
|
||||
"序号": "6",
|
||||
"项目名称": "侨光新园",
|
||||
"开发企业": "普宁市浩顺房地产开发有限公司",
|
||||
"项目地址": "普宁市第三小东侧、侨北二路北侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34648"
|
||||
},
|
||||
{
|
||||
"序号": "7",
|
||||
"项目名称": "普宁万洋众创城项目(一期)",
|
||||
"开发企业": "揭阳普宁万洋众创城科技有限公司",
|
||||
"项目地址": "揭阳市普宁市英歌山普宁产业转移工业园,坛北路北侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34631"
|
||||
},
|
||||
{
|
||||
"序号": "8",
|
||||
"项目名称": "百美花园",
|
||||
"开发企业": "广东旭炫地产有限公司",
|
||||
"项目地址": "普宁市池尾大道(新寮段)东南侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34626"
|
||||
},
|
||||
{
|
||||
"序号": "9",
|
||||
"项目名称": "吉之里",
|
||||
"开发企业": "普宁市吉之旅房地产开发有限公司",
|
||||
"项目地址": "普宁市福宁路南侧、玉潭路东侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34587"
|
||||
},
|
||||
{
|
||||
"序号": "10",
|
||||
"项目名称": "翔栩商业街(商住楼)",
|
||||
"开发企业": "普宁市翔栩房地产开发有限公司",
|
||||
"项目地址": "普宁市普宁大道南北侧、揭神路东侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34581"
|
||||
},
|
||||
{
|
||||
"序号": "11",
|
||||
"项目名称": "商住楼(欢乐颂楼)",
|
||||
"开发企业": "普宁市金泰房地产开发有限公司",
|
||||
"项目地址": "普宁市普宁大道北侧、赤华南路东侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34556"
|
||||
},
|
||||
{
|
||||
"序号": "12",
|
||||
"项目名称": "星河明珠湾花园(六期)",
|
||||
"开发企业": "普宁市星宏房地产开发有限公司",
|
||||
"项目地址": "普宁市普惠高速公路南侧、寒妈水库西北侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34537"
|
||||
},
|
||||
{
|
||||
"序号": "13",
|
||||
"项目名称": "新华名园",
|
||||
"开发企业": "普宁市鸿发投资有限公司",
|
||||
"项目地址": "普宁市占陇镇占杨村广汕公路南侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34528"
|
||||
},
|
||||
{
|
||||
"序号": "14",
|
||||
"项目名称": "星河明珠湾花园(三期)",
|
||||
"开发企业": "普宁市星宏房地产开发有限公司",
|
||||
"项目地址": "普宁市广汕公路(云落段)西北侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34526"
|
||||
},
|
||||
{
|
||||
"序号": "15",
|
||||
"项目名称": "星河明珠湾花园(四期)",
|
||||
"开发企业": "普宁市星宏房地产开发有限公司",
|
||||
"项目地址": "普宁市云落中学东南侧、寒妈水库南侧,国道324线云落段西北侧、寒妈水库南侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34521"
|
||||
},
|
||||
{
|
||||
"序号": "16",
|
||||
"项目名称": "方直普宁悦府",
|
||||
"开发企业": "普宁市方直恒泰房地产开发有限公司",
|
||||
"项目地址": "普宁大道(贵政山路段)北侧、大学路东侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34519"
|
||||
},
|
||||
{
|
||||
"序号": "17",
|
||||
"项目名称": "保利和府",
|
||||
"开发企业": "普宁市华荣实业投资有限公司",
|
||||
"项目地址": "普宁市324国道(高明段)东南侧规划寒妈东路北侧保利和府",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34518"
|
||||
},
|
||||
{
|
||||
"序号": "18",
|
||||
"项目名称": "御锦阳光花园",
|
||||
"开发企业": "普宁市丽达纺织有限公司",
|
||||
"项目地址": "普宁市池尾街道市科技工业园内御锦阳光花园",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34516"
|
||||
},
|
||||
{
|
||||
"序号": "19",
|
||||
"项目名称": "盛迪嘉光明印象花园",
|
||||
"开发企业": "广东东和实业投资有限公司",
|
||||
"项目地址": "普宁大道东侧东二环大道(原环市东路)南侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34513"
|
||||
},
|
||||
{
|
||||
"序号": "20",
|
||||
"项目名称": "时代中心",
|
||||
"开发企业": "普宁市金莎投资有限公司",
|
||||
"项目地址": "普宁市流沙市区环市北路南侧广达北路东侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34504"
|
||||
},
|
||||
{
|
||||
"序号": "21",
|
||||
"项目名称": "华美汇悦中心",
|
||||
"开发企业": "广东超亿美投资有限公司",
|
||||
"项目地址": "普宁市区环市北路南侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34502"
|
||||
},
|
||||
{
|
||||
"序号": "22",
|
||||
"项目名称": "翔栩新城中心华府(一期)",
|
||||
"开发企业": "广东翔栩房地产开发有限公司",
|
||||
"项目地址": "普宁市新光南路东侧立新路南侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34501"
|
||||
},
|
||||
{
|
||||
"序号": "23",
|
||||
"项目名称": "翔栩城市花园(三期)",
|
||||
"开发企业": "广东翔栩房地产开发有限公司",
|
||||
"项目地址": "普宁大道南侧、凤凰山公园北侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34500"
|
||||
},
|
||||
{
|
||||
"序号": "24",
|
||||
"项目名称": "翔栩城市花园(二期)",
|
||||
"开发企业": "广东翔栩房地产开发有限公司",
|
||||
"项目地址": "普宁大道南侧、凤凰山公园北侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34499"
|
||||
},
|
||||
{
|
||||
"序号": "25",
|
||||
"项目名称": "百美雅苑",
|
||||
"开发企业": "广东新东海电器有限公司",
|
||||
"项目地址": "普宁市流沙南街道泗竹埔村城南大道西侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34497"
|
||||
},
|
||||
{
|
||||
"序号": "26",
|
||||
"项目名称": "星河明珠湾花园(五期)",
|
||||
"开发企业": "普宁市星宏房地产开发有限公司",
|
||||
"项目地址": "普宁市国道324云落段西北侧、普宁市云落中学东南侧、寒妈水库西南侧,普宁市云落中学东侧、寒妈水库南侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34496"
|
||||
},
|
||||
{
|
||||
"序号": "27",
|
||||
"项目名称": "翔栩城市花园(一期)",
|
||||
"开发企业": "广东翔栩房地产开发有限公司",
|
||||
"项目地址": "普宁大道南侧、凤凰山公园北侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34491"
|
||||
},
|
||||
{
|
||||
"序号": "28",
|
||||
"项目名称": "桂硕园",
|
||||
"开发企业": "普宁市英豪投资有限公司",
|
||||
"项目地址": "普宁市流沙西街道赤华南路西侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34486"
|
||||
},
|
||||
{
|
||||
"序号": "29",
|
||||
"项目名称": "嘉润新园",
|
||||
"开发企业": "普宁市宏鹏房地产开发有限公司",
|
||||
"项目地址": "普宁大道大长陇村灰上片区路段北侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34483"
|
||||
},
|
||||
{
|
||||
"序号": "30",
|
||||
"项目名称": "中骏·云景府",
|
||||
"开发企业": "普宁骏合房地产开发有限公司",
|
||||
"项目地址": "普宁市北二环大道(流沙东街道斗文村段)南侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34479"
|
||||
},
|
||||
{
|
||||
"序号": "31",
|
||||
"项目名称": "华美春天园",
|
||||
"开发企业": "普宁市华天房地产开发有限公司",
|
||||
"项目地址": "普宁市南环大道北侧、大学路东侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34477"
|
||||
},
|
||||
{
|
||||
"序号": "32",
|
||||
"项目名称": "凯旋花园",
|
||||
"开发企业": "广东泰亨源实业有限公司",
|
||||
"项目地址": "普宁市军埠镇莲坛村",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34472"
|
||||
},
|
||||
{
|
||||
"序号": "33",
|
||||
"项目名称": "江景园",
|
||||
"开发企业": "普宁市泓亨实业有限公司",
|
||||
"项目地址": "普宁市赵厝寮路南侧、河滨路东侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34333"
|
||||
},
|
||||
{
|
||||
"序号": "34",
|
||||
"项目名称": "普宁商业街屋第188/189/190幢",
|
||||
"开发企业": "广东育鹏投资置业有限公司",
|
||||
"项目地址": "普宁市普宁大道商业街南侧第188、189、190幢",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34269"
|
||||
},
|
||||
{
|
||||
"序号": "35",
|
||||
"项目名称": "普宁商业街屋第183幢",
|
||||
"开发企业": "广东育鹏投资置业有限公司",
|
||||
"项目地址": "普宁市普宁大道商业街南侧第183幢",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34268"
|
||||
},
|
||||
{
|
||||
"序号": "36",
|
||||
"项目名称": "普宁商业街屋第182幢",
|
||||
"开发企业": "广东育鹏投资置业有限公司",
|
||||
"项目地址": "普宁市普宁大道商业街南侧第182幢",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34267"
|
||||
},
|
||||
{
|
||||
"序号": "37",
|
||||
"项目名称": "普宁商业街屋第157幢",
|
||||
"开发企业": "广东育鹏投资置业有限公司",
|
||||
"项目地址": "普宁市普宁大道商业街南侧第157幢",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34266"
|
||||
},
|
||||
{
|
||||
"序号": "38",
|
||||
"项目名称": "普宁商业街屋第154幢",
|
||||
"开发企业": "广东育鹏投资置业有限公司",
|
||||
"项目地址": "普宁市普宁大道商业街南侧第154幢",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34264"
|
||||
},
|
||||
{
|
||||
"序号": "39",
|
||||
"项目名称": "唐商花园",
|
||||
"开发企业": "普宁华创文实业开发有限公司",
|
||||
"项目地址": "普宁市北环大道(流沙东街道斗文村段)北侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34119"
|
||||
},
|
||||
{
|
||||
"序号": "40",
|
||||
"项目名称": "翔栩水岸花园(二期)",
|
||||
"开发企业": "普宁市翔桦地产有限公司",
|
||||
"项目地址": "普宁市康美大道西侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34100"
|
||||
},
|
||||
{
|
||||
"序号": "41",
|
||||
"项目名称": "盛世华府",
|
||||
"开发企业": "普宁市南园瑞锦纺织印染有限公司",
|
||||
"项目地址": "普宁市北环大道(环市北路)南侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34091"
|
||||
},
|
||||
{
|
||||
"序号": "42",
|
||||
"项目名称": "新华城",
|
||||
"开发企业": "普宁市鸿捷胜房地产开发有限公司",
|
||||
"项目地址": "普宁市池尾街道新寮村广达北路西侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34088"
|
||||
},
|
||||
{
|
||||
"序号": "43",
|
||||
"项目名称": "翔栩*商业街(商铺)",
|
||||
"开发企业": "普宁市翔栩房地产开发有限公司",
|
||||
"项目地址": "普宁大道南北侧揭神路东侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34072"
|
||||
},
|
||||
{
|
||||
"序号": "44",
|
||||
"项目名称": "盛世华庭东区",
|
||||
"开发企业": "普宁市俊嘉房地产开发有限公司",
|
||||
"项目地址": "普宁市流沙市区城关东路西侧、赤华北路东侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34066"
|
||||
},
|
||||
{
|
||||
"序号": "45",
|
||||
"项目名称": "万泰金融大厦",
|
||||
"开发企业": "广东万泰投资有限公司",
|
||||
"项目地址": "普宁市流沙市区普宁广场南侧万泰金融大厦",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34059"
|
||||
},
|
||||
{
|
||||
"序号": "46",
|
||||
"项目名称": "白沙陇新城(H区)春熙园",
|
||||
"开发企业": "普宁市佳泰实业投资有限公司",
|
||||
"项目地址": "普宁市流沙北街道白沙陇路南侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34049"
|
||||
},
|
||||
{
|
||||
"序号": "47",
|
||||
"项目名称": "华美景轩",
|
||||
"开发企业": "普宁市恒森投资有限公司",
|
||||
"项目地址": "普宁市南溪镇老方村华美景轩",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34045"
|
||||
},
|
||||
{
|
||||
"序号": "48",
|
||||
"项目名称": "翔栩水岸花园",
|
||||
"开发企业": "普宁市翔桦地产有限公司",
|
||||
"项目地址": "普宁市揭神路西侧广东福尔莱制衣有限公司西北侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34033"
|
||||
},
|
||||
{
|
||||
"序号": "49",
|
||||
"项目名称": "盛世华轩",
|
||||
"开发企业": "普宁市俊嘉房地产开发有限公司",
|
||||
"项目地址": "普宁市流沙市区赤华北路西侧南华路南侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34028"
|
||||
},
|
||||
{
|
||||
"序号": "50",
|
||||
"项目名称": "普宁中药材专业市场",
|
||||
"开发企业": "康美中药城(普宁)有限公司",
|
||||
"项目地址": "普宁市揭神路东侧普宁中药材专业市场",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34027"
|
||||
},
|
||||
{
|
||||
"序号": "51",
|
||||
"项目名称": "翔栩·帝景花园",
|
||||
"开发企业": "普宁市翔栩纺织有限公司",
|
||||
"项目地址": "普宁市普宁大道南侧揭神路东侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34026"
|
||||
},
|
||||
{
|
||||
"序号": "52",
|
||||
"项目名称": "普宁商贸广场",
|
||||
"开发企业": "普宁市合兴物流有限公司",
|
||||
"项目地址": "普宁市洪阳镇鸣岗村",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34020"
|
||||
},
|
||||
{
|
||||
"序号": "53",
|
||||
"项目名称": "盛迪嘉光明花园",
|
||||
"开发企业": "普宁市华尔街投资发展有限公司",
|
||||
"项目地址": "普宁市南华路北侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34016"
|
||||
},
|
||||
{
|
||||
"序号": "54",
|
||||
"项目名称": "盛迪嘉光明花园",
|
||||
"开发企业": "普宁市华尔街投资发展有限公司",
|
||||
"项目地址": "普宁市南华路北侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34015"
|
||||
},
|
||||
{
|
||||
"序号": "55",
|
||||
"项目名称": "盛迪嘉光明花园",
|
||||
"开发企业": "普宁市华尔街投资发展有限公司",
|
||||
"项目地址": "普宁市南华路北侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34014"
|
||||
},
|
||||
{
|
||||
"序号": "56",
|
||||
"项目名称": "盛迪嘉光明花园",
|
||||
"开发企业": "普宁市华尔街投资发展有限公司",
|
||||
"项目地址": "普宁市南华路北侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34013"
|
||||
},
|
||||
{
|
||||
"序号": "57",
|
||||
"项目名称": "万泰汇大厦",
|
||||
"开发企业": "普宁市友兴实业有限公司",
|
||||
"项目地址": "普宁市流沙市区普宁广场南侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34009"
|
||||
},
|
||||
{
|
||||
"序号": "58",
|
||||
"项目名称": "万泰汇购物中心",
|
||||
"开发企业": "普宁市万泰购物广场有限公司",
|
||||
"项目地址": "普宁市流沙市区普宁广场南侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34006"
|
||||
},
|
||||
{
|
||||
"序号": "59",
|
||||
"项目名称": "华美创意园",
|
||||
"开发企业": "广东超亿美投资有限公司",
|
||||
"项目地址": "普宁市区环市北路南侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=33998"
|
||||
},
|
||||
{
|
||||
"序号": "60",
|
||||
"项目名称": "金桂园",
|
||||
"开发企业": "普宁市金盘科技有限公司",
|
||||
"项目地址": "普宁市流沙市区新河西路西侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=33997"
|
||||
},
|
||||
{
|
||||
"序号": "61",
|
||||
"项目名称": "尚东明珠",
|
||||
"开发企业": "广东嘉懋投资置业有限公司",
|
||||
"项目地址": "普宁市流沙大道北侧普宁国际商品城",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=33995"
|
||||
},
|
||||
{
|
||||
"序号": "62",
|
||||
"项目名称": "尚东一品(南区)",
|
||||
"开发企业": "广东嘉懋投资置业有限公司",
|
||||
"项目地址": "普宁市流沙大道北侧普宁国际商品城",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=33994"
|
||||
},
|
||||
{
|
||||
"序号": "63",
|
||||
"项目名称": "盘龙湾花园",
|
||||
"开发企业": "普宁市盘龙湾温泉度假村有限公司",
|
||||
"项目地址": "普宁市云落镇古安村",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=33993"
|
||||
},
|
||||
{
|
||||
"序号": "64",
|
||||
"项目名称": "尚东一品(北区)",
|
||||
"开发企业": "广东嘉懋投资置业有限公司",
|
||||
"项目地址": "普宁市流沙大道北侧普宁国际商品城",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=33992"
|
||||
},
|
||||
{
|
||||
"序号": "65",
|
||||
"项目名称": "尚东步行街",
|
||||
"开发企业": "广东嘉懋投资置业有限公司",
|
||||
"项目地址": "普宁市流沙大道北侧普宁国际商品城",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=33991"
|
||||
},
|
||||
{
|
||||
"序号": "66",
|
||||
"项目名称": "维美新城",
|
||||
"开发企业": "普宁市维美表业有限公司",
|
||||
"项目地址": "普宁市里湖镇镇区安池公路北侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=33989"
|
||||
},
|
||||
{
|
||||
"序号": "67",
|
||||
"项目名称": "南欣邸",
|
||||
"开发企业": "普宁市合润投资有限公司",
|
||||
"项目地址": "普宁市大南山街道流石路东侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=33985"
|
||||
},
|
||||
{
|
||||
"序号": "68",
|
||||
"项目名称": "汇润·吉祥里",
|
||||
"开发企业": "普宁市汇润地产有限公司",
|
||||
"项目地址": "普宁市占陇镇镇区广汕公路南侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=33979"
|
||||
},
|
||||
{
|
||||
"序号": "69",
|
||||
"项目名称": "汇润·幸福里",
|
||||
"开发企业": "普宁市汇润地产有限公司",
|
||||
"项目地址": "普宁市流沙市区新河西路西侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=33978"
|
||||
},
|
||||
{
|
||||
"序号": "70",
|
||||
"项目名称": "宏御雅轩",
|
||||
"开发企业": "普宁市宏御房地产开发有限公司",
|
||||
"项目地址": "普宁市占陇镇占陈村镇政府东侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=33977"
|
||||
},
|
||||
{
|
||||
"序号": "71",
|
||||
"项目名称": "盛迪嘉花园",
|
||||
"开发企业": "普宁市盛迪嘉置业投资有限公司",
|
||||
"项目地址": "普宁市池尾街道上寮村广达北路西侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=33974"
|
||||
},
|
||||
{
|
||||
"序号": "72",
|
||||
"项目名称": "桂荣名轩",
|
||||
"开发企业": "普宁市华隆兴房地产开发有限公司",
|
||||
"项目地址": "普宁市池尾街道华市村南华路南侧桂荣名轩",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=33967"
|
||||
},
|
||||
{
|
||||
"序号": "73",
|
||||
"项目名称": "丽江骏景花园",
|
||||
"开发企业": "普宁市骏景房地产开发有限公司",
|
||||
"项目地址": "普宁市流沙新河东路东侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=33963"
|
||||
},
|
||||
{
|
||||
"序号": "74",
|
||||
"项目名称": "港泰公寓",
|
||||
"开发企业": "广东港丽投资有限公司",
|
||||
"项目地址": "普宁市高铁站广场西南侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=33952"
|
||||
},
|
||||
{
|
||||
"序号": "75",
|
||||
"项目名称": "翔栩嘉应华府",
|
||||
"开发企业": "普宁市翔应地产有限公司",
|
||||
"项目地址": "普宁市广达北路西侧金池路北侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=33940"
|
||||
},
|
||||
{
|
||||
"序号": "76",
|
||||
"项目名称": "桂荣碧水湾",
|
||||
"开发企业": "普宁市桂荣碧水湾房地产开发有限公司",
|
||||
"项目地址": "普宁市里湖镇河头村河头小学东侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=1"
|
||||
},
|
||||
{
|
||||
"序号": "77",
|
||||
"项目名称": "桂荣·君林天下",
|
||||
"开发企业": "普宁市华隆兴房地产开发有限公司",
|
||||
"项目地址": "普宁市池尾华市金池路南侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=2"
|
||||
},
|
||||
{
|
||||
"序号": "78",
|
||||
"项目名称": "福盛花园",
|
||||
"开发企业": "普宁市福盛房地产开发有限公司",
|
||||
"项目地址": "普宁市广达东路东侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=3"
|
||||
},
|
||||
{
|
||||
"序号": "79",
|
||||
"项目名称": "盛世华庭西区",
|
||||
"开发企业": "普宁市流沙广厦房地产开发有限公司南园经营部",
|
||||
"项目地址": "普宁市流沙市区赤华北路东侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=-4"
|
||||
},
|
||||
{
|
||||
"序号": "80",
|
||||
"项目名称": "桂荣·碧水湾",
|
||||
"开发企业": "普宁市桂荣碧水湾房地产开发有限公司",
|
||||
"项目地址": "普宁市里湖镇河头村河头小学南侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=-8"
|
||||
},
|
||||
{
|
||||
"序号": "81",
|
||||
"项目名称": "汇润·雅苑",
|
||||
"开发企业": "普宁市汇润地产有限公司",
|
||||
"项目地址": "普宁市流沙西街道赵厝寮村广达东",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=-7"
|
||||
},
|
||||
{
|
||||
"序号": "82",
|
||||
"项目名称": "玉湖雅苑",
|
||||
"开发企业": "普宁市创宇房地产开发有限公司",
|
||||
"项目地址": "普宁市环城南路",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=-9"
|
||||
},
|
||||
{
|
||||
"序号": "83",
|
||||
"项目名称": "尚堤中央",
|
||||
"开发企业": "",
|
||||
"项目地址": "普宁市流沙西街道城南大道赤水村坛头片",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=-11"
|
||||
},
|
||||
{
|
||||
"序号": "84",
|
||||
"项目名称": "万盛花园",
|
||||
"开发企业": "广东好盈投资有限公司",
|
||||
"项目地址": "普宁市流沙南街道光草洋村城南大道南侧文竹西侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=-12"
|
||||
},
|
||||
{
|
||||
"序号": "85",
|
||||
"项目名称": "翔栩万泰城",
|
||||
"开发企业": "普宁市翔栩房地产开发有限公司",
|
||||
"项目地址": "揭神路西侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=-19"
|
||||
},
|
||||
{
|
||||
"序号": "86",
|
||||
"项目名称": "紫晖花园",
|
||||
"开发企业": "广东天豪投资有限公司",
|
||||
"项目地址": "广东省普宁市广达东路",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=-21"
|
||||
},
|
||||
{
|
||||
"序号": "87",
|
||||
"项目名称": "御景城二区",
|
||||
"开发企业": "普宁市恒润投资有限公司",
|
||||
"项目地址": "普宁市流沙市区环市北路南赤华路西侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=23"
|
||||
},
|
||||
{
|
||||
"序号": "88",
|
||||
"项目名称": "南方梅园(已注销)",
|
||||
"开发企业": "广东南方梅园生态村有限公司",
|
||||
"项目地址": "广东省普宁市云落镇寒妈湖",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=-24"
|
||||
},
|
||||
{
|
||||
"序号": "89",
|
||||
"项目名称": "南方梅园·山湖雅居",
|
||||
"开发企业": "广东南方梅园生态村有限公司",
|
||||
"项目地址": "普宁市广汕公路(云落段)西北侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=-25"
|
||||
},
|
||||
{
|
||||
"序号": "90",
|
||||
"项目名称": "维美温泉度假村",
|
||||
"开发企业": "揭阳市鸿森房地产开发有限公司",
|
||||
"项目地址": "揭阳市普侨区南部工业园西区",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=-29"
|
||||
},
|
||||
{
|
||||
"序号": "91",
|
||||
"项目名称": "南方梅园·山湖名庭",
|
||||
"开发企业": "广东南方梅园生态村有限公司",
|
||||
"项目地址": "普宁市广汕公路(云落段)西北侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=-30"
|
||||
},
|
||||
{
|
||||
"序号": "92",
|
||||
"项目名称": "凯逸阳光",
|
||||
"开发企业": "普宁市凯特曼投资有限公司",
|
||||
"项目地址": "普宁市流沙文竹南路东侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=50"
|
||||
},
|
||||
{
|
||||
"序号": "93",
|
||||
"项目名称": "212",
|
||||
"开发企业": "普宁市碧桂园置业有限公司",
|
||||
"项目地址": "1221",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=-84"
|
||||
},
|
||||
{
|
||||
"序号": "94",
|
||||
"项目名称": "盈泰华府",
|
||||
"开发企业": "普宁市盈泰投资有限公司",
|
||||
"项目地址": "普宁市普宁大道北侧揭神路西侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=59"
|
||||
},
|
||||
{
|
||||
"序号": "95",
|
||||
"项目名称": "山湖名庭",
|
||||
"开发企业": "广东南方梅园生态村有限公司",
|
||||
"项目地址": "普宁市广汕公路(云落段)西北侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=-61"
|
||||
},
|
||||
{
|
||||
"序号": "96",
|
||||
"项目名称": "尚东一品地下负一层车库",
|
||||
"开发企业": "广东嘉懋投资置业有限公司",
|
||||
"项目地址": "普宁市流沙大道北侧普宁国际商品城",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=62"
|
||||
},
|
||||
{
|
||||
"序号": "97",
|
||||
"项目名称": "华桂苑",
|
||||
"开发企业": "普宁市赵厝寮投资有限公司",
|
||||
"项目地址": "普宁市流沙大道北侧体育路西侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=63"
|
||||
},
|
||||
{
|
||||
"序号": "98",
|
||||
"项目名称": "盛迪嘉花园",
|
||||
"开发企业": "普宁市盛迪嘉置业投资有限公司",
|
||||
"项目地址": "普宁市池尾街道上寮村广达北路西侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=-67"
|
||||
},
|
||||
{
|
||||
"序号": "99",
|
||||
"项目名称": "普宁碧桂园",
|
||||
"开发企业": "普宁市碧桂园置业有限公司",
|
||||
"项目地址": "普宁市池尾街道塘塔路北侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=-78"
|
||||
},
|
||||
{
|
||||
"序号": "100",
|
||||
"项目名称": "吉华园",
|
||||
"开发企业": "普宁市捷佳房地产开发有限公司",
|
||||
"项目地址": "普宁市建设路西侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=-13"
|
||||
},
|
||||
{
|
||||
"序号": "101",
|
||||
"项目名称": "松竹园",
|
||||
"开发企业": "普宁市松桂房地产开发有限公司",
|
||||
"项目地址": "普宁市流沙市区新光北路西侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=-16"
|
||||
},
|
||||
{
|
||||
"序号": "102",
|
||||
"项目名称": "御景城",
|
||||
"开发企业": "普宁市恒润投资有限公司",
|
||||
"项目地址": "普宁市流沙市区广达北路东侧南华路北侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=-17"
|
||||
},
|
||||
{
|
||||
"序号": "103",
|
||||
"项目名称": "创展华府",
|
||||
"开发企业": "普宁市创展电脑科技有限公司",
|
||||
"项目地址": "普宁市流沙中河工业区引榕东路北侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=27"
|
||||
},
|
||||
{
|
||||
"序号": "104",
|
||||
"项目名称": "滨湖华府",
|
||||
"开发企业": "普宁市永茂实业投资有限公司",
|
||||
"项目地址": "普宁市池尾街道金池路北侧新春路西侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=-31"
|
||||
},
|
||||
{
|
||||
"序号": "105",
|
||||
"项目名称": "尚堤中央负一层车库",
|
||||
"开发企业": "",
|
||||
"项目地址": "普宁市流沙西街道城南大道赤水村坛头片(地下负一车库)",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=34"
|
||||
},
|
||||
{
|
||||
"序号": "106",
|
||||
"项目名称": "尚堤中央负二层车库",
|
||||
"开发企业": "",
|
||||
"项目地址": "普宁市流沙西街道城南大道赤水村坛头片(地下负二车库)",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=35"
|
||||
},
|
||||
{
|
||||
"序号": "107",
|
||||
"项目名称": "友兴商务中心",
|
||||
"开发企业": "普宁市友兴实业有限公司",
|
||||
"项目地址": "普宁市流沙南街道马栅侨新路圆盘西侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=43"
|
||||
},
|
||||
{
|
||||
"序号": "108",
|
||||
"项目名称": "翠轩花园",
|
||||
"开发企业": "广东天豪投资有限公司",
|
||||
"项目地址": "普宁市流沙市区玉华南路西侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=46"
|
||||
},
|
||||
{
|
||||
"序号": "109",
|
||||
"项目名称": "馨源轩",
|
||||
"开发企业": "普宁市汇泰恒业房地产开发有限公司",
|
||||
"项目地址": "普宁市区流沙大道北侧新平路西侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=54"
|
||||
},
|
||||
{
|
||||
"序号": "110",
|
||||
"项目名称": "御景城三区",
|
||||
"开发企业": "普宁市恒润投资有限公司",
|
||||
"项目地址": "普宁市流沙赤华北路与南华路交界处",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=-39"
|
||||
},
|
||||
{
|
||||
"序号": "111",
|
||||
"项目名称": "康美·福临门公馆",
|
||||
"开发企业": "康美实业投资控股有限公司",
|
||||
"项目地址": "普宁市流沙西街道城南大道北侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=52"
|
||||
},
|
||||
{
|
||||
"序号": "112",
|
||||
"项目名称": "春熙园",
|
||||
"开发企业": "普宁市佳泰实业投资有限公司",
|
||||
"项目地址": "普宁市流沙北街道白沙陇路南侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=53"
|
||||
},
|
||||
{
|
||||
"序号": "113",
|
||||
"项目名称": "山湖雅居(已注销)",
|
||||
"开发企业": "广东南方梅园生态村有限公司",
|
||||
"项目地址": "广东省普宁市广汕公路(云落段)西北侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=-26"
|
||||
},
|
||||
{
|
||||
"序号": "114",
|
||||
"项目名称": "平安里花园",
|
||||
"开发企业": "康美中药城(普宁)有限公司",
|
||||
"项目地址": "普宁流沙市区文竹北路东环市北路南平安里花园",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=40"
|
||||
},
|
||||
{
|
||||
"序号": "115",
|
||||
"项目名称": "中信华府",
|
||||
"开发企业": "普宁市中信房地产开发有限公司",
|
||||
"项目地址": "普宁市流沙新河东侧",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=5"
|
||||
},
|
||||
{
|
||||
"序号": "116",
|
||||
"项目名称": "ewrwer",
|
||||
"开发企业": "揭阳市自然资源局",
|
||||
"项目地址": "erwrw",
|
||||
"项目链接": "http://120.236.48.169:89/HPMS/ProjectDetailsInfo.aspx?code=33933"
|
||||
}
|
||||
]
|
||||
167
Project/index.js
Normal file
167
Project/index.js
Normal file
@ -0,0 +1,167 @@
|
||||
import axios from 'axios';
|
||||
import * as cheerio from 'cheerio';
|
||||
import fs from 'fs/promises';
|
||||
|
||||
const BASE_URL = 'http://120.236.48.169:89/HPMS/';
|
||||
const START_URL = BASE_URL + 'ProjectInfoList.aspx';
|
||||
|
||||
// 从HTML中提取表格数据的函数
|
||||
function extractDataFromHtml($) {
|
||||
const data = [];
|
||||
// 查找包含数据的表格行,跳过表头
|
||||
const rows = $('.resultlist table tr:has(td)');
|
||||
|
||||
rows.each((i, row) => {
|
||||
const columns = $(row).find('td');
|
||||
// 项目信息表格有4列:序号、项目名称、开发企业、项目地址
|
||||
if (columns.length >= 4) {
|
||||
const projectNameCell = $(columns[1]); // 项目名称在第2列
|
||||
const projectNameLink = projectNameCell.find('a');
|
||||
|
||||
const rowData = {
|
||||
'序号': $(columns[0]).text().trim(),
|
||||
'项目名称': projectNameLink.length ? projectNameLink.text().trim() : projectNameCell.text().trim(),
|
||||
'开发企业': $(columns[2]).text().trim(),
|
||||
'项目地址': $(columns[3]).text().trim(),
|
||||
'项目链接': '', // 初始化项目链接字段
|
||||
};
|
||||
|
||||
// 如果项目名称有链接,提取链接地址
|
||||
if (projectNameLink.length) {
|
||||
const onclickAttr = projectNameLink.attr('onclick');
|
||||
if (onclickAttr) {
|
||||
// 从onclick属性中提取链接
|
||||
const match = onclickAttr.match(/open_click\(['"]([^'"]+)['"]\)/);
|
||||
if (match && match[1]) {
|
||||
const origin = new URL(BASE_URL).origin;
|
||||
rowData['项目链接'] = new URL(match[1], origin).href;
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
data.push(rowData);
|
||||
}
|
||||
});
|
||||
return data;
|
||||
}
|
||||
|
||||
/**
|
||||
* 抓取网站所有数据,处理分页
|
||||
* @returns {Promise<Array<Object>>} - 所有抓取的数据记录数组
|
||||
*/
|
||||
async function scrapeWebsite() {
|
||||
let allData = [];
|
||||
console.log('开始抓取第一页数据...');
|
||||
|
||||
let response = await axios.get(START_URL, {
|
||||
headers: {
|
||||
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
|
||||
}
|
||||
});
|
||||
|
||||
let $ = cheerio.load(response.data);
|
||||
allData = extractDataFromHtml($);
|
||||
console.log(`第一页抓取完成,获得 ${allData.length} 条数据。`);
|
||||
|
||||
// 获取总页数
|
||||
const pageCountSpan = $('#PageNavigator1_LblPageCount');
|
||||
const totalPages = pageCountSpan.length ? parseInt(pageCountSpan.text(), 10) : 1;
|
||||
console.log(`共发现 ${totalPages} 页。`);
|
||||
|
||||
// 收集表单数据,用于POST请求
|
||||
const formValues = {};
|
||||
$('input[name^="txt"], select').each((idx, el) => {
|
||||
const name = $(el).attr('name');
|
||||
if (name) {
|
||||
formValues[name] = $(el).val() || '';
|
||||
}
|
||||
});
|
||||
|
||||
// 抓取其余页面
|
||||
for (let i = 2; i <= totalPages; i++) {
|
||||
console.log(`正在抓取第 ${i} 页...`);
|
||||
|
||||
const viewState = $('#__VIEWSTATE').val();
|
||||
const viewStateGenerator = $('#__VIEWSTATEGENERATOR').val();
|
||||
const eventValidation = $('#__EVENTVALIDATION').val();
|
||||
|
||||
if (!viewState) {
|
||||
console.log('无法找到 __VIEWSTATE,终止抓取。');
|
||||
break;
|
||||
}
|
||||
|
||||
const postData = new URLSearchParams();
|
||||
postData.append('__EVENTTARGET', 'PageNavigator1$LnkBtnNext');
|
||||
postData.append('__EVENTARGUMENT', '');
|
||||
postData.append('__VIEWSTATE', viewState);
|
||||
postData.append('__VIEWSTATEGENERATOR', viewStateGenerator);
|
||||
if (eventValidation) {
|
||||
postData.append('__EVENTVALIDATION', eventValidation);
|
||||
}
|
||||
|
||||
// 添加表单字段
|
||||
for (const name in formValues) {
|
||||
postData.append(name, formValues[name]);
|
||||
}
|
||||
postData.append('PageNavigator1$txtNewPageIndex', (i - 1).toString());
|
||||
|
||||
response = await axios.post(START_URL, postData, {
|
||||
headers: {
|
||||
'Content-Type': 'application/x-www-form-urlencoded',
|
||||
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36',
|
||||
'Referer': START_URL,
|
||||
}
|
||||
});
|
||||
|
||||
$ = cheerio.load(response.data);
|
||||
const nextPageData = extractDataFromHtml($);
|
||||
console.log(`第 ${i} 页抓取完成,获得 ${nextPageData.length} 条数据。`);
|
||||
|
||||
if (nextPageData.length === 0) {
|
||||
console.log(`第 ${i} 页没有数据,抓取结束。`);
|
||||
break;
|
||||
}
|
||||
allData = allData.concat(nextPageData);
|
||||
}
|
||||
|
||||
console.log(`\n抓取全站数据完毕!共 ${allData.length} 条原始记录。`);
|
||||
return allData;
|
||||
}
|
||||
|
||||
/**
|
||||
* 对抓取的数据进行后处理:
|
||||
* 1. 重新编号序号字段
|
||||
* @param {Array<Object>} allData - 原始抓取数据
|
||||
* @returns {Promise<Array<Object>>} - 处理后的数据
|
||||
*/
|
||||
async function processScrapedData(allData) {
|
||||
// 重新编号序号字段
|
||||
for (let i = 0; i < allData.length; i++) {
|
||||
allData[i]['序号'] = (i + 1).toString();
|
||||
}
|
||||
console.log('序号字段已重新编号。');
|
||||
|
||||
return allData;
|
||||
}
|
||||
|
||||
// 主函数
|
||||
async function main() {
|
||||
try {
|
||||
const allData = await scrapeWebsite();
|
||||
const processedData = await processScrapedData(allData);
|
||||
|
||||
// 保存为JSON文件
|
||||
await fs.writeFile('./data.json', JSON.stringify(processedData, null, 4), 'utf-8');
|
||||
console.log('项目数据已保存至 data.json 文件。');
|
||||
|
||||
console.log('\n所有数据抓取和处理任务已完成。');
|
||||
|
||||
} catch (error) {
|
||||
console.error('抓取或处理过程中发生错误:', error.message);
|
||||
if (error.response) {
|
||||
console.error('Status:', error.response.status);
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
main();
|
||||
Loading…
Reference in New Issue
Block a user