为您找到搜索结果：6196个
安装torchtext
主要内容：如何使用torchtext建立语料库如何使用torchtext将词转下标，下标转词，词转词向量如何建立相应的迭代器torchtext组件流程：定义Field：声明如何处理数据，主要包含以下数据预处理的配置信息，比如指定分词方法，是否转成小写，起始字符，结束字符，补全字符以及词典等等定义Dataset：用于得到数据集，继承自pytorch的Dataset。此时数据集里每一个样本是一个经过Field声明的预处理预处理后的wordlist建立vocab：在这一步建立词汇表，词向量(wordembeddings)构造迭代器Iterator：:主要是数据输出的模型的迭代器。构造迭代器，支持batch定制用来分批次训练模型。(deeplearning)C:UsersWQBin>condasearchtorchtextLoadingchannels:done#NameVersionBuildChanneltorchtext0.4.0pyhb384e40_1anaconda/cloud/pytorchtorchtext0.5.0py_1anaconda/cloud/pytorch(de...
mongodb的安装与使（三）之复杂操作 嵌套array查询，aggregate $unwind $match $project
mongodb多层嵌套查询官网案例：db.inventory.insertMany([{item:"journal",instock:[{warehouse:"A",qty:5},{warehouse:"C",qty:15}]},{item:"notebook",instock:[{warehouse:"C",qty:5}]},{item:"paper",instock:[{warehouse:"A",qty:60},{warehouse:"B",qty:15}]},{item:"planner",instock:[{warehouse:"A",qty:40},{warehouse:"B",qty:5}]},{item:"postcard",instock:[{warehouse:"B",qty:15},{warehouse:"C",qty:35}]}]);官网推荐使用{{}}和（.）的方式去逐层条件筛选。当时两者不太一样。方法一：嵌套{{}，{}}db.inventory.find({"instock":{warehouse:"A",qty:5}})这种查询需要保持嵌套格式一致甚至字...
pytorch安装与入门（二）--tensor的基本操作
pytorch数据类型python数据类型IntfloatIntarray Floatarray torch数据类型tensorofsize()FloatTensorofsize()IntarrayIntTensorofsize[d1,d2,…]FloatarrayFloatTensorofsize[d1,d2,…] 数据类型案例：>>>importtorch>>>a=torch.randn(2,3)>>>atensor([[-1.5869,-0.3355,-0.4608],[-0.6137,1.1864,0.1175]])>>>a.type()'torch.FloatTensor'>>>type(a)<class'torch.Tensor'>>>>isinstance(a,torch.tensor)Traceback(mostrecentcalllast):File"<stdin>",line1,in<module&g...
pytorch安装与入门（一）
好久没有更新pytorch，这次更新做个笔记 1.安装CUDAhttps://developer.nvidia.com/cuda-toolkit-archive 设置环境变量后输入nvcc-VC:UsersWQBin>nvcc-Vnvcc:NVIDIA(R)CudacompilerdriverCopyright(c)2005-2019NVIDIACorporationBuiltonFri_Feb__8_19:08:26_Pacific_Standard_Time_2019Cudacompilationtools,release10.1,V10.1.105 2.安装pytorchPyTorchonWindowsonlysupportsPython3.x 2.1解决慢到无法装的问题最有效方法是添加镜像源，常见的清华或中科大。先查看是否已经安装相关镜像源，windows系统在cmd窗口中执行命令：condaconfig--show使用【condaconfig--addchannels】添加清华数据源channe...
远程jupyter+pycharm配置 （一）之安装与使用技巧
作为一个数据工程师，最喜欢的事情就是不停的在现实的服务端环境调试代码的参数。我们在本地的环境与生产的状况决然不同，我们一开始在本地写代码测试再部署到服务端的三板斧就不适用了。 最好的方式可以直接在linux环境下的服务端直接写代码，分步调试。之前我在银行都是使用集成在CDSW的环境IDE，但是如今我们需要自己拼凑一个可用类似的工具。这样我们就要用到远程jupyter，即服务端提供jupyterserver，而我们只需要直接在本地环境直接使用server暴露的web接口上直接写代码，分步调试运行测试即可。作为一个仅仅做数据的开发人员，我更喜欢使用pycharm的源码查看，跳转等功能。所以最终我们需要的是一个远程jupyter+pycharm配置的IDE工具。本篇文章就是搭建一个如此好用的神兵利器的博客说明书。Jupyternotebook 是一种Web应用，基于网页的用于交互计算的应用程序，可用于全过程计算：开发、文档编写、运行代码和展示结果。以前又称为IPythonnotebook,是一个交互式笔记本,支持运行40+种编程语言.可以用来编写漂亮的交互式文档Jupyt...
mongodb的安装与使用（三）之 pymongo
连接MongoClient连接MongoDB我们需要使用PyMongo库里面的MongoClient，一般来说传入MongoDB的IP及端口即可，第一个参数为地址host，第二个参数为端口port，端口如果不传默认是27017。另外MongoClient的第一个参数host还可以直接传MongoDB的连接字符串，以mongodb开头，例如：frompymongoimportMongoClientclient=MongoClient()#参数client=pymongo.MongoClient(host='192.168.154.201',port=27017)#url:mongodb://username:password@host/database_name--当MongoDB里面有多个数据库,分别是test1,test2...,可以通过下面的url形式来进行访问特定的数据库#mongodb://username:password@host:port/---默认进入adminclient=MongoClient('mongodb://wqbin:12345@localhost:270...
mongodb的安装与使用（二）之 增删改查与索引
MongoDB创建数据库语法：useDATABASE_NAME note:查看所有数据库使用showdbs创建的空数据库test并不在数据库的列表中，需要向test数据库插入一些数据才能显示它。MongoDB删除数据库MongoDB 删除数据库的语法db.dropDatabase()只有先进入相应的数据,执行drop操作才会把test 库数据删除。 查看集合db.getCollectionNames() 1.1MongoDB 使用 insert() 或 save() 方法向集合中插入文档，语法如下：db.COLLECTION_NAME.insert(document)案例如下：>usetestswitchedtodbtest>db.col.insert({blog:'少年阿斌的博客',...description:'这真是有趣的博主',...by:'wqbin',...url:'https://www.cnblogs.com/wqbin/',...ta...
mongodb的安装与使用（一）
MongoDB一种由C++语言编写的，是一个基于分布式文件存储的非关系型数据库(NoSql)，是一种强大、灵活、可扩展的数据存储方式，因为MongoDB是文档模型，数据结构由键值(key=>value)对组成，似于JSON对象，字段值可以包含其他文档，数组及文档数组。自由灵活很高。同时对于大数据量、高并发、弱事务的互联网应用，与高负载的情况下，添加更多的节点，可以保证服务器性能。MongoDB内置的水平扩展机制提供了从百万到十亿级别的数据量处理能力，还对MapReduce式聚合的支持,以及对地理空间索引的支持。MongoDB旨在为WEB应用提供可扩展的高性能数据存储解决方案。优点文档结构的存储方式，能够更便捷的获取数据内置GridFS，支持大容量的存储海量数据下，性能优越动态查询全索引支持,扩展到内部对象和内嵌数组查询记录分析快速,就地更新高效存储二进制大对象(比如照片和视频)复制（复制集）和支持自动故障恢复内置Auto-Sharding自动分片支持云级扩展性，分片简单MapReduce支持复杂聚合缺点不支持事务操作MongoDB占用空间过大（不过这个确定对于目前快速下跌的硬盘价...
mysql的数据库存放的路径以及安装路径
1.查看数据库的存放路径 进入mysql终端mysql>showvariableslike'%datadir%'; 2.查看文件安装路径[root@hadoop01etc]#whereismysqlmysql:/usr/bin/mysql/usr/lib64/mysql/usr/share/mysql/usr/share/man/man1/mysql.1.gz 安装了mysql,但是不知道文件都安装在哪些地方、放在哪些文件夹里，可以用下面的命令查看所有的文件路径 whereis 然后我们依次访问上面四个文件夹和文件：[root@hadoop01~]#cd/usr/bin/mysql-bash:cd:/usr/bin/mysql:Notadirectory[root@hadoop01~]#more/usr/bin/mysql********/usr/bin/mysql:Notatextfile********[root@hadoop01~]#cd/usr/lib64/mysql[root@hadoop01mysql]#lltotal...
mahout从入门到放弃--安装（1）
1.稀里糊涂下载 我的集群是hadoop2.7.3，本来想找到对应的mahout版本，但是没有找到。本着安全原则，mahout最新版本是0.14.0，回退一个版本使用0.13.0mahout地址 2.安装后一波操作：解压到D：Zoo和配置好环境变量后，运行报错！！！D:ooapache-mahout-distribution-0.13.0in>mahout"===============DEPRECATIONWARNING===============""ThisscriptisnolongersupportedfornewdriversasofMahout0.10.0""Mahout'sbashscriptissupportedandifsomeonewantstocontributeafixforthis""itwouldbeappreciated.""MahouthomesetD:oomahout-0.14.0""ERROR:Couldnotfindmahout-examples-*.jobinD:oomaho...
python 安装第三方包
python环境是Anaconda3安装的，由于项目需要用到git的第三方包，但是在conda自带的环境中没有。例如使用jieba分词库。 安装的三种方式：（1）全自动安装：`easy_installjieba`或者`pipinstalljieba`/`pip3installjieba`和conda界面安装（2）半自动安装：先下载http://pypi.python.org/pypi/jieba/或者从git下载，解压后运行`pythonsetup.pyinstall`（3）手动安装：将jieba目录放置于当前目录或者site-packages目录 最后通过importjieba来引用第一种方法：自动安装第一种方法又可以分成三种方法：1.直接conda界面自动安装2.condainstalljieba 3.pip3install jieba 第二种方法:半自动+git1.首先上githup下载jieba分词库 2.然后加压到任意目录 3.打开cmd命令行窗口并切换到ji...
基于idea的maven（一）Maven的安装
1.Maven前置依赖检查电脑是是否安装java 2.下载maven网址 www.apache.org 解压maven压缩包，并创建相应的maven本地仓库的路径。打开conf文件夹中修改settings.xml文件 2.配置环境变量maven已经完成了安装，我们可以通过DOS命令检查一下我们是否安装成功：mvn-v 3. settings.xml的修改和研究setting.xml的配置文件分类（更改配置的本地仓库）（1）直接修改Maven中conf文件夹中的setting.xml文件注：此时更改后，所有的用户都会受到影响，而且如果maven进行升级，那么所有的配置都会被清除，所以要提前复制和备份/conf/settings.xml文件（2）在.m2文件夹下建立一个setting·xml文件 （3）.(多说一下)项目里的pom.xml 有个优先级的，应该是pom>用户级别>全局级别例：如果pom中不配置，就取用户级别，如果用户级别也没有配置，就取全...