Uploading the AI Crawler System: MindSpider

2025-08-27 13:49:07 +08:00
parent 822bad557f
commit 587e709e82
174 changed files with 34562 additions and 25 deletions
@@ -0,0 +1,11 @@
+# 声明：本代码仅供学习和研究目的使用。使用者应遵守以下原则：  
+# 1. 不得用于任何商业用途。  
+# 2. 使用时应遵守目标平台的使用条款和robots.txt规则。  
+# 3. 不得进行大规模爬取或对平台造成运营干扰。  
+# 4. 应合理控制请求频率，避免给目标平台带来不必要的负担。   
+# 5. 不得用于任何非法或不当的用途。
+#   
+# 详细许可条款请参阅项目根目录下的LICENSE文件。  
+# 使用本代码即表示您同意遵守上述原则和LICENSE中的所有条款。  
+
+
@@ -0,0 +1,53 @@
+# 声明：本代码仅供学习和研究目的使用。使用者应遵守以下原则：  
+# 1. 不得用于任何商业用途。  
+# 2. 使用时应遵守目标平台的使用条款和robots.txt规则。  
+# 3. 不得进行大规模爬取或对平台造成运营干扰。  
+# 4. 应合理控制请求频率，避免给目标平台带来不必要的负担。   
+# 5. 不得用于任何非法或不当的用途。
+#   
+# 详细许可条款请参阅项目根目录下的LICENSE文件。  
+# 使用本代码即表示您同意遵守上述原则和LICENSE中的所有条款。  
+
+
+# -*- coding: utf-8 -*-
+# @Author  : relakkes@gmail.com
+# @Name    : 程序员阿江-Relakkes
+# @Time    : 2024/6/2 11:06
+# @Desc    : 抽象类
+
+from abc import ABC, abstractmethod
+from typing import Any, List, Optional
+
+
+class AbstractCache(ABC):
+
+    @abstractmethod
+    def get(self, key: str) -> Optional[Any]:
+        """
+        从缓存中获取键的值。
+        这是一个抽象方法。子类必须实现这个方法。
+        :param key: 键
+        :return:
+        """
+        raise NotImplementedError
+
+    @abstractmethod
+    def set(self, key: str, value: Any, expire_time: int) -> None:
+        """
+        将键的值设置到缓存中。
+        这是一个抽象方法。子类必须实现这个方法。
+        :param key: 键
+        :param value: 值
+        :param expire_time: 过期时间
+        :return:
+        """
+        raise NotImplementedError
+
+    @abstractmethod
+    def keys(self, pattern: str) -> List[str]:
+        """
+        获取所有符合pattern的key
+        :param pattern: 匹配模式
+        :return:
+        """
+        raise NotImplementedError
@@ -0,0 +1,40 @@
+# 声明：本代码仅供学习和研究目的使用。使用者应遵守以下原则：  
+# 1. 不得用于任何商业用途。  
+# 2. 使用时应遵守目标平台的使用条款和robots.txt规则。  
+# 3. 不得进行大规模爬取或对平台造成运营干扰。  
+# 4. 应合理控制请求频率，避免给目标平台带来不必要的负担。   
+# 5. 不得用于任何非法或不当的用途。
+#   
+# 详细许可条款请参阅项目根目录下的LICENSE文件。  
+# 使用本代码即表示您同意遵守上述原则和LICENSE中的所有条款。  
+
+
+# -*- coding: utf-8 -*-
+# @Author  : relakkes@gmail.com
+# @Name    : 程序员阿江-Relakkes
+# @Time    : 2024/6/2 11:23
+# @Desc    :
+
+
+class CacheFactory:
+    """
+    缓存工厂类
+    """
+
+    @staticmethod
+    def create_cache(cache_type: str, *args, **kwargs):
+        """
+        创建缓存对象
+        :param cache_type: 缓存类型
+        :param args: 参数
+        :param kwargs: 关键字参数
+        :return:
+        """
+        if cache_type == 'memory':
+            from .local_cache import ExpiringLocalCache
+            return ExpiringLocalCache(*args, **kwargs)
+        elif cache_type == 'redis':
+            from .redis_cache import RedisCache
+            return RedisCache()
+        else:
+            raise ValueError(f'Unknown cache type: {cache_type}')
@@ -0,0 +1,131 @@
+# 声明：本代码仅供学习和研究目的使用。使用者应遵守以下原则：  
+# 1. 不得用于任何商业用途。  
+# 2. 使用时应遵守目标平台的使用条款和robots.txt规则。  
+# 3. 不得进行大规模爬取或对平台造成运营干扰。  
+# 4. 应合理控制请求频率，避免给目标平台带来不必要的负担。   
+# 5. 不得用于任何非法或不当的用途。
+#   
+# 详细许可条款请参阅项目根目录下的LICENSE文件。  
+# 使用本代码即表示您同意遵守上述原则和LICENSE中的所有条款。  
+
+
+# -*- coding: utf-8 -*-
+# @Author  : relakkes@gmail.com
+# @Name    : 程序员阿江-Relakkes
+# @Time    : 2024/6/2 11:05
+# @Desc    : 本地缓存
+
+import asyncio
+import time
+from typing import Any, Dict, List, Optional, Tuple
+
+from cache.abs_cache import AbstractCache
+
+
+class ExpiringLocalCache(AbstractCache):
+
+    def __init__(self, cron_interval: int = 10):
+        """
+        初始化本地缓存
+        :param cron_interval: 定时清楚cache的时间间隔
+        :return:
+        """
+        self._cron_interval = cron_interval
+        self._cache_container: Dict[str, Tuple[Any, float]] = {}
+        self._cron_task: Optional[asyncio.Task] = None
+        # 开启定时清理任务
+        self._schedule_clear()
+
+    def __del__(self):
+        """
+        析构函数，清理定时任务
+        :return:
+        """
+        if self._cron_task is not None:
+            self._cron_task.cancel()
+
+    def get(self, key: str) -> Optional[Any]:
+        """
+        从缓存中获取键的值
+        :param key:
+        :return:
+        """
+        value, expire_time = self._cache_container.get(key, (None, 0))
+        if value is None:
+            return None
+
+        # 如果键已过期，则删除键并返回None
+        if expire_time < time.time():
+            del self._cache_container[key]
+            return None
+
+        return value
+
+    def set(self, key: str, value: Any, expire_time: int) -> None:
+        """
+        将键的值设置到缓存中
+        :param key:
+        :param value:
+        :param expire_time:
+        :return:
+        """
+        self._cache_container[key] = (value, time.time() + expire_time)
+
+    def keys(self, pattern: str) -> List[str]:
+        """
+        获取所有符合pattern的key
+        :param pattern: 匹配模式
+        :return:
+        """
+        if pattern == '*':
+            return list(self._cache_container.keys())
+
+        # 本地缓存通配符暂时将*替换为空
+        if '*' in pattern:
+            pattern = pattern.replace('*', '')
+
+        return [key for key in self._cache_container.keys() if pattern in key]
+
+    def _schedule_clear(self):
+        """
+        开启定时清理任务,
+        :return:
+        """
+
+        try:
+            loop = asyncio.get_event_loop()
+        except RuntimeError:
+            loop = asyncio.new_event_loop()
+            asyncio.set_event_loop(loop)
+
+        self._cron_task = loop.create_task(self._start_clear_cron())
+
+    def _clear(self):
+        """
+        根据过期时间清理缓存
+        :return:
+        """
+        for key, (value, expire_time) in self._cache_container.items():
+            if expire_time < time.time():
+                del self._cache_container[key]
+
+    async def _start_clear_cron(self):
+        """
+        开启定时清理任务
+        :return:
+        """
+        while True:
+            self._clear()
+            await asyncio.sleep(self._cron_interval)
+
+
+if __name__ == '__main__':
+    cache = ExpiringLocalCache(cron_interval=2)
+    cache.set('name', '程序员阿江-Relakkes', 3)
+    print(cache.get('key'))
+    print(cache.keys("*"))
+    time.sleep(4)
+    print(cache.get('key'))
+    del cache
+    time.sleep(1)
+    print("done")
@@ -0,0 +1,87 @@
+# 声明：本代码仅供学习和研究目的使用。使用者应遵守以下原则：  
+# 1. 不得用于任何商业用途。  
+# 2. 使用时应遵守目标平台的使用条款和robots.txt规则。  
+# 3. 不得进行大规模爬取或对平台造成运营干扰。  
+# 4. 应合理控制请求频率，避免给目标平台带来不必要的负担。   
+# 5. 不得用于任何非法或不当的用途。
+#   
+# 详细许可条款请参阅项目根目录下的LICENSE文件。  
+# 使用本代码即表示您同意遵守上述原则和LICENSE中的所有条款。  
+
+
+# -*- coding: utf-8 -*-
+# @Author  : relakkes@gmail.com
+# @Name    : 程序员阿江-Relakkes
+# @Time    : 2024/5/29 22:57
+# @Desc    : RedisCache实现
+import pickle
+import time
+from typing import Any, List
+
+from redis import Redis
+
+from cache.abs_cache import AbstractCache
+from config import db_config
+
+
+class RedisCache(AbstractCache):
+
+    def __init__(self) -> None:
+        # 连接redis, 返回redis客户端
+        self._redis_client = self._connet_redis()
+
+    @staticmethod
+    def _connet_redis() -> Redis:
+        """
+        连接redis, 返回redis客户端, 这里按需配置redis连接信息
+        :return:
+        """
+        return Redis(
+            host=db_config.REDIS_DB_HOST,
+            port=db_config.REDIS_DB_PORT,
+            db=db_config.REDIS_DB_NUM,
+            password=db_config.REDIS_DB_PWD,
+        )
+
+    def get(self, key: str) -> Any:
+        """
+        从缓存中获取键的值, 并且反序列化
+        :param key:
+        :return:
+        """
+        value = self._redis_client.get(key)
+        if value is None:
+            return None
+        return pickle.loads(value)
+
+    def set(self, key: str, value: Any, expire_time: int) -> None:
+        """
+        将键的值设置到缓存中, 并且序列化
+        :param key:
+        :param value:
+        :param expire_time:
+        :return:
+        """
+        self._redis_client.set(key, pickle.dumps(value), ex=expire_time)
+
+    def keys(self, pattern: str) -> List[str]:
+        """
+        获取所有符合pattern的key
+        """
+        return [key.decode() for key in self._redis_client.keys(pattern)]
+
+
+if __name__ == '__main__':
+    redis_cache = RedisCache()
+    # basic usage
+    redis_cache.set("name", "程序员阿江-Relakkes", 1)
+    print(redis_cache.get("name"))  # Relakkes
+    print(redis_cache.keys("*"))  # ['name']
+    time.sleep(2)
+    print(redis_cache.get("name"))  # None
+
+    # special python type usage
+    # list
+    redis_cache.set("list", [1, 2, 3], 10)
+    _value = redis_cache.get("list")
+    print(_value, f"value type:{type(_value)}")  # [1, 2, 3]